成为GPT提示大师

简化版

有三种类型的提示：

1. 减少
2. 转化
3. 生成/扩张

你还需要知道：

1. 布鲁姆的分类法
2. 潜在内容
3. 新兴能力
4. 幻觉是一种特色，而不是一个错误。

如果你已经了解以上内容，那么你不需要阅读这篇文章。否则，请继续阅读！

释放大型语言模型的潜力

大型语言模型（LLM）如GPT-4和Claude已经引起了技术人员和大众的想象力。它们生成类似人类的文本并进行对话的能力似乎像科幻小说中的情节。然而，就像任何新技术一样，对LLM的内部工作原理仍存在很多混淆和争议。

在本文中，我的目标是为了澄清LLMs的关键能力，提供一个高级分类方式。我希望能以通俗易懂的方式解释LLMs的当前状态，让非专家也能理解，同时还能找出进一步研究和开发的领域。最终，我相信如果从伦理上负责任地引导，LLMs有巨大的潜力来增强人类智能。

什么是LLM？

首先，究竟何谓大型语言模型？在最基本的层面上，大型语言模型是一个基于深度学习神经网络的模型，使用大规模的文本数据，如书籍、网站和社交媒体帖子进行训练。所谓的“大型”是指这些模型有数十亿个参数，使其能够建立非常复杂的语言统计表示。

LLM 训练的关键任务是在给定先前上下文的情况下预测序列中的下一个单词或标记。因此，如果它看到文本“猫跳过了...”，它会学会预测“篱笆”作为可能的下一个标记。反复进行此操作可以使 LLM 了解有关语言工作方式以及单词和概念之间的关系的隐式知识。

这个训练过程以及所使用的大规模数据集，将大量的世界知识嵌入到像克劳德和GPT-4这样的LLM中。然而，重要的是要理解LLM没有明确的知识或手工编码规则，它们所有的能力都是通过识别训练数据中的模式而产生的新兴结果。

基本的LLM操作

在高水平上，LLM具有三种主要的操作模式：

1. 减少操作：从大到小。
2. 操作转换：保持大小和/或含义。 ≈
3. 生成（或扩展）操作：从小到大。

让我们开始吧。

还原操作

当涉及到削减操作时，LLMs展现出强大的能力。这些操作涉及将大段文字或文档作为输入，并将其精简为更为简洁的输出。削减任务利用LLMs的语言建模优势来识别和提取最显著的信息。

一个常见的简化操作是摘要。当给定一段冗长的输入文本时，LLM可以生成一个简洁的摘要，仅涵盖关键要点。这是通过分析文档，寻找主要主题、事件和描述的事实来完成的。然后，模型试图将这些元素综合成一个简短的摘要，传达完整文档的核心要点。LLM通常在有限长度内具有基本摘要的高技能，去除不必要的细节，同时保留语义的含义。

与摘要相关的是提炼的任务。这不仅仅是将文档简化为提取和精炼其基本原理、发现或事实。提炼旨在过滤掉输入中的噪音和冗余，仅净化核心知识或论断。对于科学文档来说，一个 LLM 可能会识别和综合实验的关键假设、结果和结论。提炼需要更深入的理解来将外围内容与核心论断分离开来。

提取是LLM（大规模语言模型）利用的另一种简化技术。这种技术涉及浏览文本并提取特定的信息片段。例如，LLM可以阅读一个文档并仅提取姓名、日期、数字或其他目标数据。提取是支持问答的基础，而问答是LLM的一个擅长领域。当被要求从一段文字中提取特定细节时，LLM通常能够准确地检索所需的信息。

总体而言，简化操作直接利用了大型语言模型的优势。它们的统计学习使它们能够识别和传达冗长输入文本中最显著的部分。总结、精炼、提取和类似技术将随着大型语言模型的不断进步而变得更加强大。

• 摘要之中，用更少的词汇来表达相同的意思。可以使用列表、注解、行政摘要。
• 蒸馏 - 清洗下层原则或事实。去除所有噪音，提取公理、基础等。
• 提取--检索特定类型的信息。问答，列出名称，提取日期等。
• 特征化 - 描述文本内容。可以描述整个文本，也可以描述其中的主题。
• 分析 - 寻找模式或根据一个框架进行评估。结构分析，修辞分析等。
• 评价-测量，打分或判断内容。批改试卷，根据道德标准评估。
• 批评- 在文本的环境中提供反馈。提供改进的建议。

转型操作

与简化任务相比，转换操作的目标是在不显着缩小或扩大输入文本的情况下重新塑造或重新构建它们。LLMs展示了强大的语言转换能力，可以将内容重新塑造成新的格式和样式，同时保留整体意义。

一个常见的转换技术是重新格式化 - 改变文本的呈现方式，而不改变其信息内容。例如，一个LLM可以很容易地将散文转化为剧本对话，将博客文章翻译成推文，或将一段文字从主动变为被动语态。重新格式化利用了模型对流派和语言惯例的结构理解。

翻译自然语言是LLMs的另一个重要转换能力。在给定一种语言的输入文本后，它们可以通过更换词汇和语法，同时保持语义一致性，将其重写为另一种语言。翻译质量在不同语言对之间有所差异，但随着使用更多的多语言数据进行训练，翻译质量不断提高。

改述也属于变换操作的范围之内。LLM在这里旨在使用完全不同的词语和措辞来重新编写输入文本，同时传达相同的基本含义。这测试了模型生成多种逻辑上等效的句法变化的能力。改述在抄袭检测和提高清晰度方面有应用。

最后，为了更好地流畅和组织性，重组内容可以被视为一种转变。辅助语言模型可以重新排列段落以增强逻辑连接，更顺序地呈现思想，或改善文本可读性。他们的训练使模型具备了如何构建连贯叙述和论证的能力。

总的来说，转型能力使LLMs能够以新的方式重新混合和呈现文本，以满足不同的需求。这些技术对于为特定受众量身定制内容和克服语言障碍等任务非常有帮助。LLMs已经熟练掌握许多转换技巧，并且只会变得更加熟练。

• 重新格式化 — 仅更改表现形式。 将散文改成剧本，XML改成JSON。
• 重构 - 以更高效的方式实现相同的结果。用不同的方式表达相同的意思。
• 语言变更 — 在不同语言之间进行翻译。从英语到俄语，从C++到Python。
• 结构重组-优化逻辑流程等。改变顺序，增加或删除结构。
• 修改-重新编写文本以实现不同的意图。改变口吻，形式，礼仪，风格等。
• 澄清 - 使事物更易于理解。装饰或更清晰地表达。

生成（扩充）操作

而简化和转换任务涉及操作现有文本，生成操作则是完全从零开始合成全新内容。这对LLM的创造能力提出了更高的要求，产生的结果更加多变且依赖于上下文。尽管如此，他们在生成写作方面的能力仍在快速发展。

一个主要的生成应用是通过高层提示起草原始文档，如故事、文章、代码或法律文件。在接收初步指示后，LLM作曲家会努力将这个种子内容扩展为一篇具有主题性、逻辑流畅和文体流畅的连贯草稿。结果可能有些粗糙，但像GPT-4这样的模型可以生成令人印象深刻的初稿，适合人类进行精细修订。

给定一组参数或设计目标，LLMs还可以熟练地生成计划和步骤以实现目标。这种计划能力是通过它们推断逻辑行动序列以因果地导致期望结果来实现的，并且这种推断是基于它们的训练数据来进行的。计划还依赖于它们对世界运作方式的潜在知识。LLM可以提出从厨房菜谱到软件工作流程的计划。

更开放的生成能力包括LlMs的头脑风暴和创意构思。当面对提示或创意简介时，模型可以提供一系列可能性、概念和想象的解决方案，供人类策划。它们词语间的统计关联能够让模型在头脑风暴时朝着意想不到的方向延伸。由LlM提示生成的最有前景的创意可被选择继续发展。

最后，LLM在扩充或详述现有文本方面展示强大的生成能力。当给定一个种子段落或文档时，它们擅长通过额外的相关细节和解释来扩展内容。这使得简明的文本可以有机地借助模型的潜在知识进行扩展。这样的扩展以创造性的方式丰富了骨架性文本。

这些合在一起突显了，在适当的环境下，语言模型可以从少量的输入中综合大量的新文字。生成写作相对于减少或转换任务来说不太自然，但它代表着一个有着有前景研究结果的领域。引导语言模型生成负责任且丰富的内容将是一个不断进行的设计挑战。

• 起草 - 生成某种文件的草稿。代码、虚构、法律文本、知识库、科学、故事讲述。
• 规划 - 根据参数制定计划。行动、项目、目标、使命、约束、背景。
• 头脑风暴-使用想象列出各种可能性。构思，探索可能性，解决问题，假设推理。
• 扩大 — 进一步阐述和说明某事。扩展、阐发和演绎，展开有关的内容。

布鲁姆的认知分类法

布鲁姆认知目标分类法是一个经典的教育框架，共列出了学习的六个认知技能水平。该分类法于1950年代首次提出，它从基础到高级提供了一种能力层次结构：记忆、理解、应用、分析、评价和创造。通过布鲁姆认知目标分类法来审视LLMs，可以突显它们多面而广泛的能力。

在最基本的层面上，LLM在记住和检索包含在训练数据集中的事实知识方面表现出色。像GPT-4这样的模型比任何人一生中能够消化的文字要多得多。这使得它们可以在受到提示时回答几乎任何主题的信息。它们的统计学习起到了一个庞大的知识存储库的作用，可以进行查询。

LLMs也展示出在理解概念、建立词语与含义之间联系上的强大能力。他们的环境学习能够对从抽象哲学到高级物理的各种事物进行全面的识别。即使对于训练数据中没有直接涵盖的复杂主题，LLMs也能通过上下文和解释快速推断出含义。

将知识应用于新情境也是法学硕士的职责范围之内。毕竟，他们的整个目的就是生成语言的实用应用，无论是写作、翻译还是对话。正确的用法和情境适应对于模型准确执行任何任务来说都是必不可少的。如果没有熟练的应用，它们就没有实际效用。

在布鲁姆的认知目标中，通过建立联系来分析信息是LLM的另一个优势。像Claude这样的工具可以跨多个维度分析文本的结构、风格和论证凝聚力等方面。通过正确的构架，LLM可以运用所学的认知能力对几乎任何段落进行批判性分析。

LLM 在给定适当标准时，也擅长评估和判断内容。模型可以轻松对文本进行特征化，包括阅读水平、目标受众、语法、推理等等。更高级的 LLM 甚至可以审慎地批评潜在行动的道德性。

最后，LLM在布鲁姆认知目标论中展现出了最高层次的技能：创作原创内容。虽然生成需要比简化任务更仔细的提示，但模型能够产生合成的故事、文章、对话和其他创造性作品。它们的新兴能力使LLM具有巨大的生成潜力，只要适当激活。

总而言之，现代的LLMs在布鲁姆税onomy的各个层次上都表现出色。它们拥有丰富的潜在知识和学得的认知技能的结合，赋予了从记住事实到富有想象力的创造等各种应用能力。随着LLMs的不断发展演进，我们可以期待它们的布鲁姆能力变得更加强大和多方面。

潜在内容

大型语言模型最引人注目的一个方面是它们能够展现出未明确编程的知识和推理能力。这源于像GPT-4这样的模型参数中积累的大量潜在知识，通过预测性训练过程产生。

LLMs中嵌入的潜在知识可以松散地分为三类：

培训数据 — 在培训过程中接触大量文本的积累，使机型获得了关于无数话题的事实性知识。例如，克劳德根据其培训语料库中的信息潜在编码了历史、科学、文学、时事等方面的知识。这构成了一个庞大的知识库，可以通过适当的提示进行查询。

世界知识-除了具体的事实之外，LLM还会积累更多关于事物运作方式的一般性世界知识。他们在不同背景环境下的接触，使模型能够学习有关文化、物理、因果关系和人类行为的暗含假设。这使得他们能够对日常情境进行直观的推理。

学习的认知技能 - 基于预测的学习方法还会给模型注入潜在能力，如摘要、翻译和开放领域问题回答。这些能力是通过自我监督目标间接培养而来，而非硬编码规则。

这个潜在的知识储备对人工智能来说是一个改变游戏规则的因素。然而，指导和提取这个知识仍然具有挑战性。通常情况下，需要适当的提示或技巧来激活模型的相关部分。比喻地说，潜在的知识就像一片茂密的森林，需要巧妙地导航。

虽然有所承诺，但依赖潜在知识也凸显出目前LLM的局限性。它们的推理很大程度上依赖于通过人类直觉来确定所需的知识。为了使模型能够更好地学习、索引和激活它们自己的潜在知识，将需要更先进的技术。

总的来说，像GPT-4这样的模型所积累的潜在知识和技能范围令人深感印象深刻。解释、组织和有选择性地利用这个知识储备的方法将成为LLMs继续演变的重要研究领域。潜在知识可以开启超越硬编码规则所能达到的可能性。

新兴能力

在迄今为止开发的最大语言模型中，出现了超出其训练数据中明确包含的能力。这些高阶能力是由庞大的模型规模、广泛的数据和基于预测的学习方法之间的相互作用所产生的。

四个紧急能力的例子是：

心智理论—— LLMs已展现出一定程度的认识自己与他人之间观点的能力。像Claude这样的模型可以根据交谈的上下文来调整语气和风格，似乎能够理解困惑，并区分自己的知识与人类知识。这些暗示着“心智理论”的迹象很可能来自对无数社交对话的模拟。看吧？Reddit也有它的好处。LLMs通过阅读评论部分学会了理解人类思维。可能出错的地方...

暗示的认知 - LLMs在生成每个标记之前能够“思考”的能力意味着在训练数据中并未直接呈现的潜在认知能力。当模型预测下一个词时，它们似乎执行动态推理、抽象和推断。准确地建模因果链需要归纳、演绎和类比形成等认知过程。

逻辑推理 — LLM们也展现出了在给定信息的基础上进行演绎和归纳推理的能力。他们的统计学习使得能够在概念之间建立联系并概括抽象原则。虽然还有一定的限制，但目标导向推理似乎是模拟文本因果链的产物。

上下文学习 — 大型模型展示出利用上下文来预测新信息和技能的能力。即使没有经过明确训练，它们也能使用原始训练数据中未曾见过的信息和指令。这种快速的上下文知识和能力获取并非直接内建。在人类中，我们将其称为高智能的标志之一的“即兴创作”。

这些初生的能力源于对人类言论中复杂模式的识别，而非手工编码的规则。它们暗示了未来的LLM可能如何从模式识别过渡到更深层次的推理、想象和因果理解。然而，仍存在着一些重要的限制，需要进一步的研究和发展。

创造力和幻觉

保持HTML结构，将以下英文文本翻译为简体中文： LLM的能力制造听起来似乎合理的陈述可能看起来像一个漏洞，但实际上它代表了智能的核心特征。正如人类在面临幻觉等风险的同时演化出了想象力和创造力一样，AI系统也必须在采取预防措施的同时发展生成能力。

人类展示了创造力和幻觉之间的连续性，源自于同一神经源——自发的模式生成。将动物特征结合成新奇生物的洞穴艺术最初锻炼了这一能力。如果想象力超越现实，未受限制地发展，它可能会在某些精神障碍中显现出来。低语型神经网络模型 (LLMs) 展示了一种类似的推测性生成谱，对于智能至关重要。

完全抑制不可预测的“幻觉”也将消除创造潜力。理想的解决方案不是消除，而是负责地引导生成过程。对于道德、伦理和社会利益的研究将促进人工智能创造力的蓬勃发展。

减轻风险涉及对事实和现实的坚守。从带外系统中添加真实世界的数据。温和地引导 LLMs 验证他们的陈述，使他们与真相保持联系。检查引用或数据对无拘无束的猜测提供重要的摩擦力。

同样重要的是透明地传达生成文本的信心水平。当想象力超越观察时，语言模型应该表明不确定性，以保持信任。可验证性评分等技术可以帮助量化推测与事实知识。

总的来说，AI的负责任发展应该包容而非排斥推测和隐喻这样的能力。通过谨慎使用，它们可以增强人类的创造力和问题解决能力，而不是散布错误信息。解决之道是认识到创造力和幻觉之间的连续性，然后有思考地培养前者，同时将后者的有害形式降至最低。

结论

大型语言模型代表了一项技术突破，为增强人类智能开辟了有望的新道路。然而，要充分实现它们的潜力，需要对它们的工作原理进行深入研究，并采取合乎伦理的预防措施。

本文旨在提供一种易于理解的LLMs基本能力和局限性的分类。简化、转化和生成操作利用了当前模型的不同优势。潜在知识强大，但在激活方面严重依赖提示。而推理等新兴特性对于未来的系统显示出了潜力。

当然，滥用语言模型会带来一定风险，这是不容忽视的。但与其拒绝它们因为过于危险或难以控制，负责任的做法是将研究和开发的方向引导到真正能增强人类能力和创造力的有益应用上。如果在未来的几年中能小心翼翼地操控，语言模型将有助于开启人类的新篇章。

请查看下方的YouTube视频，以及这里提供的免费幻灯片。