用于低端GPU代码推理的LLMs
为了评估廉价的二手Nvidia Tesla P40 24G,这是一个小实验,用于在Apple M1、Nvidia T4 16G和P40上运行LLMs编码。
最新的SoA模型,Replit-code-v1-3b,Code-T5+家族已经测试过。
为了评估廉价的二手Nvidia Tesla P40 24G,这是一个小实验,用于在Apple M1、Nvidia T4 16G和P40上运行LLMs编码。
最新的SoA模型,Replit-code-v1-3b,Code-T5+家族已经测试过。