用于低端GPU代码推理的LLMs

为了评估廉价的二手Nvidia Tesla P40 24G,这是一个小实验,用于在Apple M1、Nvidia T4 16G和P40上运行LLMs编码。

最新的SoA模型,Replit-code-v1-3b,Code-T5+家族已经测试过。

ChatGPT中文站
tokens/second

2023-10-20 16:48:21 AI中文站翻译自原文