高级 RAG 烹饪指南与技巧

如何根据标准搭建自己的红绿灯

👨🏾‍💻 领英 ⭐️| 🐦 Vilimin.com | ❤️ViliminGPT.com

简而言之，简单的RAG是什么？

目前所阐述的RAG的主要概念包括从外部知识数据库中获取文件。随后，这些文件连同用户的查询被传输到一个LLM中，以生成回复。实质上，RAG包括检索组件、外部知识数据库和生成组件。

在一个简化的RAG场景中，该过程涉及将文本分成片段，使用Transformer编码器模型将这些片段嵌入向量，将这些向量放入一个索引，并最终为LLM生成提示。这个提示指示模型根据在搜索阶段发现的上下文来回应用户的查询。

一旦明确定义了需求，构建高级RAG就涉及实施更复杂的技术和策略，可以是在检索或生成组件中。这样可以确保满足这些要求。此外，复杂的技术可以分为分别满足两种高级成功要求的技术，或同时满足这两种要求的技术。

高级RAG（检索增强生成）技术。它涵盖了：

➡️ 建立先进的RAG系统的动机 ➡️ 基本的RAG系统 ➡️ 先进的RAG系统 ➡️ 先进RAG系统的关键能力和质量评分 ➡️ 构建外部知识步骤

🔍 基本的RAG：它涉及从外部知识数据库中检索文档，并将这些文档与用户的查询一起传递给LLM以生成响应。主要组件包括检索组件、外部知识数据库和生成组件。

🌐 RAG 的成功要求：一个成功的 RAG 系统应具备两个主要的能力：检索必须找到与用户查询最相关的文档，生成必须有效地利用这些文档来回答用户查询。

💡 进阶的红黄绿模式 (Advanced RAG)：构建进阶的红黄绿模式需要应用更复杂的技术和策略来满足成功要求。这些技术可以独立地解决高级别的成功要求，也可以同时解决两者。

🎯 检索的高级技术：这包括通过网格搜索来进行超参数调优，以及为递归或路由检索组织外部知识。

🖥️ 生成的高级技巧：包括充分利用已检索的文件、重新排序结果，并使用信息压缩减少噪音。

🤝 同时应对检索和生成的高级技术：这包括生成器增强检索和迭代式检索-生成器 RAG。

有兴趣阅读更多的人请继续往下阅读：

随着人工智能应用领域的拓展，对RAG的要求变得越来越复杂和多样化。尽管基础RAG框架很有弹性，但可能无法满足不同行业和不断变化的使用案例的微妙需求。这就是高级RAG技术发挥核心作用的地方。这些精致的方法旨在解决特定挑战，提供更高的精确性、适应性和信息处理效率。

在高层次上，RAG系统包含三个关键模块：

检索器 - 从知识源中检索与上下文相关的文本段。
再排序器（可选）— 对检索到的段落进行重新评分和重新排序
生成器 - 将上下文与检索到的片段整合，生成输出文本
数据准备：它从用户上传数据开始，然后将数据进行“分块”并带有嵌入进行存储，建立了检索的基础。
检索：一旦提出问题，系统会运用向量搜索技术对存储的数据进行挖掘，准确定位相关信息。
循环查询（LLM）：检索到的信息然后被用于为语言模型（LLM）提供背景，通过将背景与问题结合起来准备最终提示。结果是根据提供的丰富上下文数据生成的答案，展示了RAG产生可靠、有知识的回答的能力。