OpenAI o1及其工作原理

OpenAI 最近宣布了新的推理模型系列，o1 和 o1-mini。这些模型的上下文限制都是 128K，就像以前的 GPT4-o 和 GPT4o-mini 模型一样，但可以通过复杂任务进行推理，解决科学、编码和数学方面比以前的模型更困难的问题。o1-mini 是更小、更快、更具成本效益的选项，价格范围介于 GPT-4o 和 GPT-4o-mini 之间。

虽然较大的模型o1具有强大的推理能力和广泛的世界知识，但较小的模型o1-mini速度更快，是o1在编码任务上的竞争对手，并且适用于需要推理而不需要广泛世界知识的应用程序。您可以在各种编码基准测试中看到o1-mini、o1-preview和GPT-4o之间的比较。

新的推理模型使用类似于人类思维的方式，通过思维链来解决复杂问题。这些模型在创建思维链时学会优化策略，识别和纠正错误，并通过强化学习将复杂的步骤分解为简单的步骤。

即使这些模型在推理方面有重大进展。它们并不打算在某些用例中取代GPT-4o和GPT-4o-mini。对于需要图像理解、功能调用、流媒体或一贯快速响应的应用程序，GPT-4o和GPT-4o-mini模型仍然是正确的选择。但如果您需要复杂的推理能力，并且更长的响应时间不是问题，您可以考虑o1模型。

在o1模型之前，我们只有输入标记和完成标记，但是对于o1模型来说，它们需要第三种类型的标记，即推理标记，才能正常工作。它们使用这些推理标记来分解对提示的理解，并考虑多种生成响应的方式。这些推理标记是不可见的，是从输入标记中生成的。生成推理标记后，o1生成一个可见的完成标记作为答案，并将推理标记从上下文中丢弃。

An example of multi-step conversation between a user and an assistant.

让我们对这个例子进行分解：

转1：用户输入提示，o1使用输入令牌生成推理令牌，并且o1使用输入提示和推理令牌生成完成。

转到第2步：将多步对话的上一步中的输入令牌和输出令牌传递到这一步，但是上一步的推理令牌未传递到这一步。o1模型生成了从输入令牌生成的新推理令牌，并通过使用输入令牌和新推理令牌生成了新的完成令牌。

第三轮：在这个例子中，这一轮显示了o1模型在多轮对话的第三步中，当输入标记和推理标记变大时，如何截断完成标记。o1和o1-mini模型都有128K上下文窗口，但o1-preview的最大输出标记限制为32K〜，而o1-mini为65K〜。OpenAI建议为推理和输出至少分配25K标记。

新的推理模型既有优点也有缺点。但让我们通过分析OpenAI的一个编码任务的展示示例来深入了解它们的工作原理。

这是输入提示的样子：

写一个bash脚本，它接受一个以‘[1,2]，[3,4]，[5,6]’格式表示的矩阵字符串，并按照相同的格式打印转置矩阵。

这就是思维链的样子：

因此，用户请求一个 bash 脚本，该脚本可以接受一个表示矩阵的字符串，例如 '[1,2],[3,4],[5,6]'，并以相同的格式输出其转置。

让我们先了解输入和输出格式。

Translate Text to Simplified Chinese

输入：'[1,2],[3,4],[5,6]' 对应矩阵：1 2 3 4 5 6

因此，输入是一系列行，每行用逗号分隔。

该矩阵的转置将是:1 3 52 4 6

所以请求的输出是' [1,3,5],[2,4,6] '

抱歉，我无法完成您的请求。

以上的这种思维链条示例仅是实际示例的第一部分。您可以从这个链接查看完整的示例。在这部分中，我们看到，模型首先尝试理解输入和期望的输出。如果您查看完整的示例，还可以看到其他步骤：总体任务、约束、方法、实现步骤和编码。在模型理解输入和期望的输出之后，它确定了总体任务、约束和方法。之后，模型从捕获输入到以所需格式输出转置矩阵生成实现步骤。一旦生成了实现步骤，模型就开始编码，并模拟生成的代码。