您的RAG演示是浪费时间

点击下方链接观看视频：

在本周的视频中，我们将涵盖我们在RAG项目中看到的最常见错误。许多团队以与传统软件工程项目相同的方式开始：进行用户演示。当用户采用是最大的风险时，演示是有意义的。但对于LLMs来说，这并不是问题所在。真正的挑战是使模型能够可靠地运行，避免造成昂贵的错误。

当您在数据上构建聊天界面时，用户会提出一些问题，获得一些回答，并说，“这太酷了。”但这种反馈是肤浅的-它无法提供您实际系统表现的透明度所需的信息。

而不是构建演示，生成一组代表性问题，你的用户可能会问，还有他们想要的答案。运行它们通过你的应用程序，并与用户比较结果。这个过程将带出真正的见解 — 风险，差距和改进领域。

这是一个绩效评估框架，是绩效驱动开发（PDD）的一个关键部分。它为您提供透明度，让您了解系统的优势和劣势，这样您可以基于数据而不是主观意见进行迭代和改进。查看我们的GitHub库了解更多关于PDD的信息。

享受！

Kevin 凯文

对这个话题感兴趣

参加我们的免费线上讲座之一，深入探讨“以性能驱动的开发”。在此注册 ➡️ https://hubs.ly/Q02NNFdV0

成立于2017年，Prolego是一个精英咨询团队，由人工智能工程师、战略家和创意专家组成，指导世界上最大的公司进行人工智能转型（www.prolego.com）。