大型语言模型（LLMs）：什么是LLMs？它位于何处？如何使用？以及何时不适用！
综述
在生成式人工智能、语言模型以及聊天机器人领域，不再只有OpenAI独占统治地位。Google、Meta和AWS等其他知名公司已经纷纷加入，并伴随着全球范围内日益增长的初创公司数量。
LLMs是生成AI聊天机器人背后的强大模型。这些模型在大量文本和代码数据集上进行训练，可以生成文本、翻译语言、撰写不同类型的创意内容，并以信息化的方式回答您的问题。
LLMs能够做的不仅仅是创建内容，还可以与搜索引擎、数据库、知识库以及外部工具进行交互，从而实现智能代理的创建，这些代理能够感知、理解和执行任务。
LLM有不同的形状和形式。它们以不同的许可证方式可访问，针对不同的目的，并且具有不同的大小。
实施LLMs涉及选择已建立的基于云的解决方案或开源模型，每种方案在可靠性、定制性和数据处理能力方面都有独特的优势。在LLM项目中，数据治理是一个关键因素，以确保负责任和道德的使用，数据质量至关重要。
虽然LLM具有巨大的潜力，但其实施却会产生诸如参数调整、快速工程、推理、云费用和转化成本等成本。
并非每个问题都需要LLM解决方案。在需要透明和公平性的场景中，由于其可解释性，符号决策模型可能更受青睐而胜过LLM解决方案。
LLMs：生成AI的引擎
在生成AI革命的幕后，是LLM（语言模型）- 强大的AI引擎，驱动着聊天机器人。就像云计算提供给Web和移动应用程序以强大支持一样，这些AI引擎提供了计算能力和语言技巧，使得聊天机器人能够与用户进行自然对话。LLMs并不是新的[1]，但它们的重大进展得归功于Google的研究团队发布的深度学习模型 - Transformer[2]。此模型经过其他大型科技公司的改进，现在驱动着诸如OpenAI的ChatGPT，Google的Bard，Anthropic的Claude，Inflection AI的Pi，xAI的Grok，以及最近AWS的Q等聊天机器人。
LLM的内部功能
能够生成连贯且相关的文本的LLMs的能力基于一种称为“嵌入”的过程（见下图）。该过程涉及将单词转化为只有机器理解的数值表示。这些表示使得LLMs能够辨别单词之间的关系，预测新的单词和表达方式。这种转化类似于非常智能的半自动打字功能。它使得LLMs能够生成不仅连贯而且与用户查询相关的文本。
然而，由于它们依赖于统计数据和概率，LLMs对相同的查询可能产生不连贯的回复，生成错误信息，甚至产生幻觉。这种限制是它们设计上固有的，因此出现了提示工程。
重要的工程是一种新的引导输入方法，旨在解决这些挑战。这种技术能够有效地将高级人类请求转化为精确的机器指令，就像商业分析工具将业务分析师的请求转化为数据库查询一样。因此，重要的工程能够引导LLMs产生特定且准确的结果，从而最大程度地减少模棱两可的解释或不准确的情况。
LLM的不同形式
LLM（语言模型）存在不同的形状和形式。它们根据不同的许可证可供使用，这和其他软件类似，基本上将其区分为由公司拥有的闭源LLM（例如OpenAI的GPT-4和Google的Gemini）以及可以自由提供给个人和组织使用的开源LLM（例如Meta的Llama 2、TII的Falcon 180B和Mistral AI的7B模型）。
无论是闭源还是开源的大型语言模型（LLMs）都有其内部工作方式，但在用户友好性、所需技术专长和预期用途方面有所不同。
闭源LLM通常提供更用户友好的体验，并且需要较少的技术专长。它们通常被用于商业用途，比如提供客户服务、生成营销材料，或为用户创建个性化体验。
另一方面，开源的LLMs提供更多的灵活性和定制化选项，但可能需要更多的技术知识才能有效使用。它们通常用于研究目的，比如探索自然语言处理的新技术或构建定制应用程序。
LLM也有不同的尺寸。起初，人们认为更大的LLM，如Falcon 180B，更好，但最近的趋势转向了更小、资源消耗较少的LLM，如Mistral 7B，这些LLM与更大的同类产品一样表现出色。这一发展有潜力使LLM的部署和使用更加节约资源。
超越内容创作
LLMs不仅可以响应提示，还可以被编程与数据库、搜索引擎和其他应用程序进行交互。这种协调能力使得LLMs能够接收用户请求，将其派发到其他应用程序，并将结果组合成用户可理解的响应。像LangChain这样的工具在LLM技术中开辟了新的领域，为智能代理（参见下图）的创建开启了可能性：它们能够感知和理解其环境，并通过规划和推理来无缝地完成任务。
前方道路将会充满挑战
预测技术发展仍然是一项复杂的任务，然而来自OpenAI/Microsoft、Meta和Google等行业领导者的见解揭示了正在进行的趋势：
- 经济实惠的模型：一种有前景的趋势预计降低学习和使用成本。这源于模型优化的不断改进以及为LLMs设计的新芯片的潜在发展[4]。这些进步可以增强效率并使语言模型更易获取。
- 专业化模式：未来可能会见证LLMs进入特定领域，利用多样化的数据和专家文件来打造专业化的商业模式。这表明针对各行业的定制解决方案和创新方法。[5]，[6]，[7]。
- 智能代理：展望未来，LLMs将整合推理和规划等复杂功能。您只需定义您的问题，智能代理将无缝处理所需的在线服务协调，以满足您的需求。
毫无疑问，LLMs正在铺平一条通往全新软件结构的道路，以至于一种新型的LLMs品种被预期能够促进与数据库、知识库、搜索引擎和外部工具的交互[8]。
LLM 策略：从哪里开始
在公司内部，生成式人工智能将通过像ChatGPT这样的聊天机器人（针对文本或代码）提高生产力，并通过DALL-E等工具在核心和支持功能中培养创造力，用于生成图像。
- 在设计和创新中，它有潜力以更少的时间创造出新颖、令人惊讶和有价值的视觉设计。这种潜力吸引了多个行业，包括汽车、电子、家具、玩具、时尚、奢侈品和化妆品。
- 在研究和开发中，它可以帮助开发者编写代码和文档，生成合成数据，并进行测试场景。它还可以识别开发过程中的异常和缺陷。
- 在数据工程、科学和治理中，它可以用于在真实数据稀缺或过于敏感而无法共享的情况下生成数据集，例如在制药和医疗保健领域。
- 在营销和销售中，它可以帮助创建结合了文字、图片和视频的营销和销售材料。它还帮助组织编制产品用户指南并协助分析客户反馈。
- 在金融、法律和人力资源领域，它可以简化财务报表、年度报告和法律文件的起草和审核流程。它可以自动总结大量的监管文件，回答许多法律文件的问题，甚至可以为候选人评估创建面试问卷。
然而，生成式人工智能的深远影响实际上体现在将LLMs作为知识驱动助手的使用上，正如摩根士丹利创新的案例所展示的那样。
作为其财富管理内容库的一部分，摩根士丹利拥有超过10万页的知识资源，分布在多个内部网站上，且以不同的格式进行编写。这种异构性过去常常妨碍了客户顾问获取投资销售或客户查询信息，以至于复杂的请求往往需要多位文档作者的参与，导致风险高且沟通耗时。
随着OpenAI的GPT-4，摩根士丹利开发了一个面向内部的聊天机器人，它提供了可行的知识，来自于内部文件。这些知识数据库已经超越了简单的文档存储库，为顾问们提供了访问财富管理领域最权威专家的专业知识[9]。
这说明的是，即使对于一个不属于科技、娱乐或媒体行业的公司来说，LLM的好处也是巨大的，而在这种情况下，主要的利益就是将LLM用作知识驱动的助手。
LLM实施：需要计划什么
一旦您确定了生成型AI的用例，就会出现两种主要的实施途径。第一种途径是利用像OpenAI/Microsoft、Google或AWS这样的已建立的供应商通过云解决方案提供全面的人工智能服务。这种方法提供了广泛的功能和已确立的可靠性。
第二种方法是使用开源LLM（如Falcon、Llama和Mistral），它们都提供了创建定制或垂直模型的灵活性，以满足特定需求，例如在国防等敏感行业中处理机密数据。这种方法优先考虑适应性和定制化。
这两条路径之间的战略决策关键在于确立的可靠性和尖端的适应性之间的平衡。对于需要强大基础和经过验证性能的项目来说，来自可靠供应商的基于云的解决方案是一个理想的选择。相反地，对于需要定制化、灵活性和处理敏感数据能力的项目，开源LLM提供了更适合的选择。
下表提供了关于不同类型的法律图形模型（LLMs）在决策中的利与弊的概述：通用目的与定制、封闭源码与开源码。这种详细分析有助于理解多样化的LLM类型及其最佳应用。
最后，将数据治理的基础性方面视而不见会极其重要，以便在LLM项目的实施过程中持续管理和保护数据。由于数据、文件和法规的不断演变，没有任何LLM能够免受环境变化的影响。只有通过数据治理，我们才能及时了解这些变化并确保负责任和道德的数据使用[10]。根据先对他们的10万份文件进行预处理所获得的训练数据的质量，摩根斯坦利在使用GPT-4方面的成功部分归功于LLM的质量，更主要归功于训练数据的质量[11]。
LLM费用
LLMs潜力巨大，但它们的实施和运营都会伴随着一些开支。运营LLM会涉及到五个关键的成本：
- 微调成本：这是对特定文本和代码数据集上的一般LLM进行训练的成本，以使其更适合于特定任务或领域。这可能是一个较大的成本，因为训练一个大型语言模型可能需要大量的时间和计算资源。
- 提示工程成本：这是为了让语言模型（LLM）能够很好地回应您的业务需求并给出预期答案而创建的成本。这可能是一个耗时的过程，但是确保正确性非常重要，以确保LLM能够提供准确和有用的回复。
- 推断成本：这是处理查询并生成响应的成本。通过将系统架构设计为将部分处理工作卸载到其他组件，并使用清晰、简洁且易于LIM理解的提示，可以将这个成本最小化。
- 云费用：这是将LLM托管在云平台（如Microsoft Azure，谷歌云平台或亚马逊网页服务）上的成本。这包括LLM使用的GPU的预付费成本。
- 转型成本：这些是与改变您的业务流程以利用LLM的能力相关的成本。这可能包括员工培训、工作流程变更以及应用程序和用户界面开发以将LLM整合到您现有的系统中[12]。
当LLM不是解决方案时
虽然LLMs在处理大量数据方面拥有巨大的能力，但它们固有的不透明性在确保公平和透明方面提出了挑战。这些系统依赖于训练数据中的复杂模式，可能会无意中延续偏见或错误，从而可能影响重要决策[13]。
在需要最高透明度和追溯性的情况下，例如在信用评估、保险承保和候选人招聘等领域，象征性决策模型成为LLMs的首选替代方案[14]。
符号决策模型提供了一种结构化且易解释的决策方法。它们基于明确的规则和逻辑表示，为决策推导过程提供了清晰的追踪。在决策严重影响个人生活或业务结果的领域中，这种透明度变得至关重要。
我们能同时使用LLMs和符号模型吗？答案是肯定的：例如，LLMs可以直接从文档中生成规则，保留原始来源的链接，以便进行清晰的解释。它们还可以用来生成决策过程的叙述[15]。
关于作者
作为一名专注于数据和人工智能转型的顾问和临时高管，我协助规模化企业、成长中的创业公司和已建立的企业在战略举措方面，如管理复杂项目、制定市场战略和进行审计。拥有超过15年的经验，我帮助客户利用数据和人工智能在营销、销售、客户关系管理和供应链管理等领域的能力。在零售、奢侈品、化妆品、金融和保险行业。除了实践经验外，我还拥有人工智能领域的博士学位、博士后研究经历和两项专利。您可以通过LinkedIn联系到我[16]。
致谢
本文是对我之前关于生成式人工智能的文章的延续，介绍了文本对X聊天机器人的概念[17]。尽管前文对这项新技术进行了概述，但本文将更深入地探讨LLMs——推动对话式用户界面聊天机器人的强大引擎。
它汇集了对美国、瑞士、法国和新加坡的LLM早期采用者的访谈见解。它还包括自2022年11月OpenAI ChatGPT发布以来发表的100多篇科学、技术和商业文章的彻底分析。来自我在LinkedIn帖子上的讨论中的宝贵意见还丰富了其内容。
两篇文章旨在向高管提供简洁而全面的对这项技术的理解，代表了数据驱动数字化转型的下一个阶段。
参考文献
[1] https://www.linkedin.com/pulse/%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%9E%8B%E8%AF%AD%E8%A8%80%E7%9A%84%E7%AE%80%E5%8F%B2-bob/
[2] https://www.ft.com/content/37bb01af-ee46-4483-982f-ef3921436a50
[3] https://lilianweng.github.io/posts/2023-06-23-agent/ [3] https://lilianweng.github.io/zh/posts/2023-06-23-agent/
[4] https://venturebeat.com/ai/新的Transformer架构可以使语言模型更快速和资源高效化/
[5] https://venturebeat.com/ai/walmart-emerging-tech-team-transforming-retail-with-conversational-ai/ [5] https://venturebeat.com/ai/walmart-emerging-tech-team-transforming-retail-with-conversational-ai/ [5] https://venturebeat.com/ai/walmart-emerging-tech-team-transforming-retail-with-conversational-ai/ [5] https://venturebeat.com/ai/walmart-emerging-tech-team-transforming-retail-with-conversational-ai/
[6] https://jingdaily.com/posts/generative-ai-luxury-brands-moncler-valentino-ai-generated-campaigns
[7] https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/ [7] https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/
[8] https://openai.com/blog/introducing-the-gpt-store [8] https://openai.com/blog/介绍-gpt-商店
[9] https://openai.com/customer-stories/morgan-stanley [9] https://openai.com.cn/customer-stories/morgan-stanley
[10] https://towardsdatascience.com/no-data-governance-no-data-intelligence-9b45bf819638 [10] 没有数据治理即没有数据智能
[11] https://m.soundcloud.com/ux-magazine/podcast-im-s2e22-release
[12] https://hbr.org/2023/11/what-ceos-need-to-know-about-the-costs-of-adopting-genai? [12] https://hbr.org/2023/11/ceos%e9%9c%80%e8%a6%81%e7%9f%a5%e9%81%93%e5%85%b3%e4%ba%8e%e5%bc%80%e5%8f%91%e6%b9%98%e4%ba%ba%e5%b7%a5%e6%99%ba%e8%83%bd%e5%b8%a6%e6%9d%a5%e6%88%90%e4%bb%a3%e6%88%90%e4%b8%8b%e7%9a%84%e6%88%90%e4%bb%bb%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bbb%e5%85%83%e4%b8%8b%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bbb%e5%85%83%e4%b8%8b%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bbb%e5%85%83%e4%b8%8b%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%a9%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%a9%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%a9%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98%e4%bd%bf%e7%94%a8%e6%88%a9%e7%9a%84%e6%88%90%e4%bb%bb%e6%88%90%e8%b4%b9%e7%94%a8%e9%97%ae%e9%a2%98
[13] https://www.investopedia.com/terms/e/ecoa.asp [13] https://www.investopedia.com.cn/terms/e/ecoa.asp
[14] https://hassan-laasri.medium.com/explainability-in-operational-decisioning-simple-is-enough-a5cbfe64d670
[15] https://medium.com/@pierrefeillet/使用生成式人工智能进行业务自动化的方法——通往全面决策的路径-3dd91c57e38f
[16] https://www.linkedin.com/in/hassanlaasri/
