跨多个参与提供者并发训练请求者图
? 发布说明 ?
我们很高兴地宣布Ravenverse的下一个版本,该版本支持跨多个参与提供者同时训练请求者图。
请求方
1. 现在,基于深度学习图形的复杂度、运算、权重大小和其他一些参数,我们的后端自动确定并设置计算图所需的参与者数量。请求者不能再在ravop.execute()函数中手动设置此数值。
2. 在Ravenverse GitHub存储库中,我们根据GPT-2模型进行了微调,并添加了示例脚本。请求者可以先生成一个“。pt”(pytorch)模型文件,然后在Ravenverse中进行分布式训练。例如,我们添加了一个诗歌生成器GPT,可以训练它根据不同的情感(如恐惧、期待、神秘、恐怖等)写诗。此外,还有一个使用GPT的数字排序应用程序,它接受输入向量并简单地将其排序。
3. 为子图形成实施了新颖的优化技术。图编译时间显著加速。
提供方
4.改进的乒乓刷新速率,更快地将子图分配给提供者。
5. 具有减小有效载荷大小以更高效地传输结果的新子图计算机制。观察到巨大加速。
6. 在断开连接情况下,备份提供商支持维护图表进度。
7. 基于图形复杂性修改的GPU基准测试度量。
我们的图书馆:
Ravpy: https://pypi.org/project/ravpy/ Ravop: https://pypi.org/project/ravop/ RavDL: https://pypi.org/project/ravdl/
您可以在各自的存储库“Readme”文件中找到每个库的文档。请尝试使用它们,并让我们知道是否遇到任何问题。
乌鸦协议 GitHub:https://github.com/ravenprotocol
享受这个新版本!❤️
— 乌鸦协议团队