通往AGI的道路：为什么抽象化而非仅仅扩展模型才是关键

在过去几年里，我们看到人工智能周围出现了一场激动人心的急剧增长。ChatGPT和其他大型语言模型(LLMs)的推出承诺要革新行业，提高生产力，甚至取代工作。许多人认为AI正处于成为真正卓越的事物——人工通用智能(AGI)的边缘，能够像人类一样学习和推理。但是，一年多过去了，尽管这些模型已经成为有用的工具，但它们未能实现它们的伟大承诺。

为什么AGI还没有到来?炒作告诉我们，因为这些模型能够通过考试，回答复杂问题，并生成连贯的文章，它们正朝着真正智能的方向迈进。然而，现实更加复杂。虽然LLMs擅长模仿模式和背诵记忆知识，但它们很难解决新的或陌生的问题——这些问题需要从第一原则进行推理，而不仅仅是模式识别。

这就是智能真正的挑战所在。智能不仅仅是在已知任务上表现出色，而且还要具备适应和泛化的能力。想象一下：知道如何在熟悉的道路上导航是一回事，但是当地形发生变化时，能够建造一条新的道路——这才是真正的智能。而这恰恰是当前人工智能技术难以弥合的鸿沟。

在这篇博客中，我们将探讨LLMs的局限性，并讨论通往AGI的道路上缺失的东西。我们将深入探讨为什么单纯的记忆不足以胜任，流体智力与静态技能的差异，以及为什么人工智能的未来可能取决于深度学习与程序综合的新合成方法。通往AGI的道路很长，但了解这些挑战使我们更接近构建可以真正思考、推理和适应的机器。让我们超越炒作，了解创造智能所需的真正步骤。

智慧的万花筒 — 复杂中隐藏的模式

乍一看，世界似乎令人不知所措 - 是一个无穷无尽的复杂性、随机性和新奇感的流动。每时每刻都感觉独一无二，每个新问题似乎与我们之前解决过的不同。但在所有这些多样性之下隐藏着一种隐藏的简单性。万花筒假说提供了一种美丽的思考方式：就像一个万花筒利用几个镜像的彩色玻璃片创建无限的图案，世界是由重复出现在不同方式中的模式构建而成。

智慧的本质在于发现这些模式并将它们转化为抽象概念 —— 可以在新情况下重复使用的理解要点。人类自然而然地做到了这一点。例如，当你学习开车时，你并不只是记住如何在一个特定的道路上驾驶一辆特定的汽车。你提取关键的抽象概念：制动器如何工作，方向盘如何影响方向，交通规则如何引导行为。将旧知识应用于新情况的能力正是帮助你在任何城市驾驶的关键，即使道路各不相同。

在智能中的抽象角色

简单来说，抽象是通过识别经验中重要的部分来减少复杂性的过程。想象一下，你遇到一个新的难题或挑战。与其把它视为完全陌生的东西，你下意识地将其与之前见过的其他事物进行比较。你学到的模式 — 无论是规则、策略还是概念 — 让你把问题分解为你已经理解的部分。这种识别类比和相似之处的能力是智慧思维的基础。

为什么抽象对人工智能很重要

当前的AI模型如GPT-4也依赖于模式识别来生成答案。但它们的模式大部分都是从数据中记忆的。它们很难像人类那样识别抽象概念。如果一个问题的表述方式与它们之前遇到过的不同，它们通常会失败。例如，如果一个AI已经看过问题“1公斤钢和1公斤羽毛哪个更重？”成千上万次，它可以给出正确答案（“它们一样重”）。但如果你把问题改成“10公斤钢和1公斤羽毛哪个更重？”很多模型仍然会给出相同的答案，因为它们依赖于记忆的模板而不是真正理解基本原则。

从模式到智能

这种限制突显了记忆模式和提取真实抽象之间的关键差异。智力不仅仅是关于回忆过去的信息 - 它是关于将这些知识适应新颖情况。一个理解算术规则的人可以解决一个他们以前从未见过的数学问题，但人工智能可能会出现犹豫，除非它已经看过类似的例子。

要建立真正智能的系统，我们需要的人工智能能够识别并重复有意义的抽象，而不仅仅是识别熟悉的模式。这就是当前模型存在问题的地方 - 它们擅长重现所见过的内容，但很难从所学到的内容中创造新的解决方案。

万花筒假说告诉我们，智力不在于精通每个特定任务。相反，它在于发现隐藏在复杂性下的简单构建模块，并重新组装它们来解决新问题。对于人类来说，这个过程是自然而然的。然而，对于人工智能来说，这仍然是一个难以捉摸的挑战 - 研究人员仍在努力解决这个问题。

为什么大型语言模型表现不佳

当像ChatGPT和GPT-4这样的大型语言模型（LLMs）首次登场时，它们让我们眼前一亮。它们可以通过考试，写文章，解决编程难题，并生成令人毛骨悚然的人类对话。但在令人印象深刻的表现背后隐藏着一个根本性缺陷：这些模型并没有真正理解它们执行的任务 - 它们只是识别模式。

LLMs就像异常优秀的鹦鹉一样。它们可以根据广泛的训练数据背诵答案。但是，缺乏更深层次的推理，当面临与它们训练过程稍有不同的问题时，它们就会出现困难。

记忆的问题

一个LLM的最大优势是它们能够从庞大的数据集中记忆模式和解决方案。但这也是它们最大的弱点：记忆限制了泛化能力。

让我们回顾一个之前的例子。当被问到，“1千克的钢比1千克的羽毛重吗？”一个训练有素的LLM给出了正确答案：“它们重量相同。”但是，如果我们稍微改变问题，将它改为“10千克的钢或1千克的羽毛？”同样的模型可能会失败。为什么呢？因为这个模型是在进行模式匹配，而不是在进行推理。它在回忆一个常见的网络话题，而不是理解重量比较的逻辑。

这突显了一个核心问题：LLMs缺乏真正的解决问题能力。它们依赖任务熟悉度-是否在训练过程中看到类似的例子-而不是可以让它们解决陌生任务的逻辑原则。

语言模型的脆弱性

LLM的另一个挑战是它们的脆弱性。如果稍微改变问题或问题的措辞，模型很容易失败。人类理解，如果交换单词或变量，问题的本质并不会改变。但LLM在改写问题时会遇到困难，因为它们的表现与之前遇到的特定单词模式紧密相关。

例如，如果一个LLM从训练数据中学会如何解决“蒙提霍尔问题”，当问题被以预期方式呈现时，它将正确提供解决方案。但是，如果引入一个微小的变化，比如交换名称或稍微改变问题结构，模型通常会给出错误答案。这不是智能 - 这是表面模式匹配。

任务熟悉度 vs. 任务复杂度

有趣的是，LLM并不受任务复杂性的限制，而是受到任务是否熟悉的限制。他们可以解决与他们在训练数据中看到的相符的困难问题。然而，简单但不熟悉的任务经常让他们感到困惑。例如，虽然LLM可能解决来自流行编程挑战网站的编程难题，但在遇到之前从未遇到过的新变体时可能会苦苦挣扎，即使对人类来说，这可能是微不足道的。

这揭示了一个令人担忧的事实：如今的人工智能表现建立在熟悉上，而非智能上。真正的智能需要能够将知识应用到新情境中——这是目前LLM尚未具备的技能。

误导性的基准

当LLM通过考试或在标准化测试中得分很高时，会给人一种他们具有人类水平智能的印象。然而，这些基准误传了他们能力的本质。

考试设计时假设人类:

没有提前记住答案。
可以通过常识解答新颖问题。

但是LLM（具有有效“阅读”互联网的能力）记忆解决方案而不是通过理性推理。通过记忆通过考试与理解科目并不相同。这就是为什么使用人类测试作为AI性能基准会产生一种虚假的进步感。

一般化的需求

智能人工的根本挑战不在于它能完成多少任务，而在于它能很好地泛化到新问题。真正的智能不是关于提前知道每个答案；而是关于适应陌生情况并即兴创造新解决方案。

没有归纳能力，一个系统在熟悉的情境之外就会变得僵化和无效。

例如：

一个懂得如何做乘法的人可以计算任何数字的乘积，不仅仅是他们练习过的数字。
另一方面，一个LLM可能只能解决与其训练示例完全匹配的数学问题。

目前的LLM可以执行许多令人印象深刻的任务，但它们无法从第一原理推理。它们的知识是固定的，仅限于它们以前遇到过的内容。因此，即使是微不足道的改变——一个新的变量名称，不同的措辞，或者稍微不熟悉的情景——都可能使它们离轨。

如果我们想要建造能够像人类一样思考、推理和学习的机器，我们需要超越记忆和模式匹配。真正的智能不是掌握有限的任务集，而是适应新情况——即使是你没有准备好的情况。这是人工智能研究人员需要解决的挑战：我们如何让人工智能像人类一样泛化？

下一部分将探讨真正智能是什么样子——以及它与今天的人工智能模型所展示的静态技能有何不同。

真正的智慧 — 从静态技能转向灵活思维

今天的人工智能和真正的智能之间的区别在于适应和概括能力。虽然像GPT-4这样的LLM展示了静态技能——有效地执行他们已经记住的任务——真正的智能涉及流体思维：处理新的、未预料到的挑战的能力而无需事先准备。本节探讨了流体智能与静态技能的区别，以及为什么它对构建像人类一样思考的机器至关重要。

静态技能：死记硬背没有理解

静态技能代表解决熟悉问题的能力。由于经过大量数据的训练，LLMs在这个领域表现出色。例如，如果一个人工智能已经看过足够多的法律案例，它可以起草合同或为常见情况提供法律建议。但是静态技能有局限性 - 它们依赖于预先学习的解决方案，在面对陌生情况时会崩溃。

将静态技能看作道路网络：它让你在预定义的点之间移动，但你只能使用已经存在的道路。如果出现新目的地，你会被困住。同样，LLM只能在之前所见的范围内工作。它们缺乏在情势需要时建立新道路的灵活性。

流体智力：创造新解决方案的能力

相比之下，流体智力就像一家修路公司。它不仅仅是沿着预先存在的路径前行 - 它可以修建新的道路以连接任何两个点，即使它们以前从未被连接过。这是人类智慧的标志：能够根据新颖挑战创造新的解决方案的能力。

人类在遇到新经历并学会如何应对时表现出流体智力，例如：

在一个具有不同交通规则的新城市学习开车。
通过应用基本原则解决他们以前从未见过的数学问题。
适应突发计划变更并找到一个替代方案。

流体智力需要在紧要关头思考，并从已知的知识中综合出新的解决方案 - 即使你以前从未遇到过这个特定问题。

智力的范围

重要的是要认识到情报存在于一个谱系上：

记忆知识：存储的事实和答案，但没有理解。
有组织的知识：提供有限概括的分组模式。
抽象模型：适用于不同上下文的更深层次模式。
元模型：能够动态创建新模型和解决方案。

大多数LLM今天都困在有组织的知识和抽象模型之间。它们显示了一定的泛化能力，但仅限于狭窄范围。 AGI的目标是达到更高层次的抽象和流畅思维，使系统能够在不依赖于记忆模板的情况下生成全新问题的解决方案。

真正智能的路径在于教会机器不仅仅靠记忆来操作。他们必须学会建立抽象概念并在实时中综合新的解决方案，而不仅仅是模仿知识。

从人类身上我们可以学到什么

人类在处理陌生情况方面非常擅长。这种能力源自我们的能力：

从以往经验中提取有意义的抽象。
将这些抽象概念应用到新挑战中。
从有限的信息中高效学习，而不需要上千个例子。

要使人工智能达到这种水平，它必须超越静态技能，学会以流畅和高效的方式运行。在下一节中，我们将探讨程序合成如何帮助弥合这一差距，使我们更接近真正的通用人工智能。

程序综合 - 通往自适应智能的道路

如果大型语言模型在泛化方面存在困难，那么我们如何构建可以适应不熟悉情况的系统？一个有前途的方法是程序合成——以一种模仿人类逐步推理方式寻找解决方案。虽然大型语言模型通过识别模式并在它们之间进行插值来运作，但程序合成提供了一种从头开始构建明确、逻辑解决方案的方式。

在这一部分，我们将探讨程序合成的工作原理，为什么它具有解决AI泛化问题的潜力，以及它如何可以补充LLMs的优势。

什么是程序综合？

在其核心，程序合成涉及生成一个程序 - 本质上是一组解决给定任务的指令。它不依赖于记忆，而是通过搜索可能程序的空间从单个构建块构建解决方案。这反映了人类如何逻辑地解决问题，将问题分解为步骤并利用先前的知识构建新答案。

在操作中的程序综合示例：

假设你被要求解决一个你从未见过的数学难题。你可以将它分解为更小的步骤 - 首先识别模式，然后应用熟悉的规则，最后从这些部分构建出一个新的解决方案。
程序综合工作原理类似，从较小的部分组成解决方案，即使完整问题并不熟悉。

程序综合如何补充LLMs

虽然LLM擅长类型1思维（直觉和模式识别），但在类型2思维（逻辑推理和逐步解决问题）方面却很困难。这是程序合成的优势所在。程序合成涉及搜索可能程序的图形。每个程序由小操作（如数学函数或逻辑门）组成，必须正确排列以解决任务。

然而，单单程序合成并不完美。搜索所有可能的解决方案 — 即组合爆炸 — 是非常耗时的。想象一下尝试猜出一个有数千种可能密码的锁的正确组合；没有一种好方法来缩小选项时是低效的。

这就是为什么 AI 的未来可能在融合 LLMs 和程序合成的优势上。LLMs 提供直觉来猜测哪些解决方案可能有效，而程序合成提供逻辑严谨性来验证和完善这些猜测。

ARC 數據集：測試通用智能

抽象和推理语料库（ARC）是一个旨在测试人类和人工智能系统智能的数据集。与传统基准不同，ARC数据集由全新的任务组成，这些任务不能通过记忆解决。相反，它们需要抽象和推理。

为什么ARC很重要：LLMs在ARC上表现不佳，因为它暴露了它们在泛化上的无能。虽然这些模型可以通过识别熟悉的模式来通过人类考试，但ARC迫使它们在需要时构建新的解决方案 - 这是它们无法胜任的。
程序综合和 ARC：尽管使用较少的计算能力，程序综合在 ARC 数据集上表现出了早期的潜力，甚至胜过了 LLMs。这表明离散程序搜索提供了一种更有效的方法来解决新颖的任务。

未来：将直觉与逻辑融为一体

人类智慧通过结合直觉和逻辑来发挥作用。例如，当下棋时，你不会分析每一种可能的走法 — 你的直觉会缩小选择范围，然后通过剩下的选项进行推理。这种快速直觉和缓慢逻辑的融合使得人类思维如此强大。

要构建真正智能的机器，我们需要复制这种融合。人工智能发展的下一步可能涉及：

使用LLMs进行直觉：LLMs提供有关解决方案的初始猜测，缩小搜索空间。
使用程序合成实现精准：程序合成将这些猜测仔细搜索以找到最佳解决方案。

通过结合这两种方法，人工智能系统可以实现直觉的速度和逻辑的严谨，使它们更加适应新情况。

实践中的程序综合

我们已经开始看到了这种混合方法的例子：

Python代码生成：一些人工智能系统使用LLMs生成候选Python程序来完成任务，然后测试这些程序，找出哪些是有效的。
外部验证者：在像ARC这样的比赛中，研究人员正在使用外部验证系统与LLM一起以改进性能，通过完善不正确的解决方案。

这些早期的努力表明人工智能的下一个突破不会仅仅通过扩大LLM来实现。相反，它将通过将程序合成与深度学习相结合实现，创建能够像人类一样有效地推理新问题的系统。

为什么下一个突破可能来自于大型实验室之外？

尽管大型科技公司专注于扩展LLMs，但人工智能的下一次重大飞跃可能来自独立研究人员或小型实验室尝试新理念。ARC挑战显示创新通常来自探索新方向，而不仅仅是构建更大模型。

程序合成、符号推理和混合模型代表了通往AGI的替代路径，不依赖于海量数据或计算能力。这些方法强调创造力和解决问题，而不仅仅是 brute force。这将需要不仅仅是更多的数据和更大的模型；还需要将离散程序搜索与连续学习相结合的新架构和框架。

为了更接近通用人工智能（AGI），我们需要能够进行以下操作的人工智能系统：

识别模式并生成初步猜测（第一类型思维）。
通过逻辑推理和综合解决新问题（Type-2思维）。
高效地泛化跨领域，将知识应用于陌生任务。

你如何可以为AI的未来做出贡献

无论您是学生、开发人员、研究人员还是人工智能爱好者，都有几种方式可以为这个不断发展的领域做出有意义的贡献。以下是可行的步骤和资源，以帮助您参与其中。

1. 参加人工智能竞赛和挑战

竞赛为开发新想法和在现实世界情境中测试解决方案提供了很好的途径。许多这样的挑战，像 ARC 奖，侧重于适应性问题解决，而不是蛮力记忆。

ARC挑战：尝试这个旨在测试抽象推理和程序综合能力的基准测试。
Kaggle 竞赛：Kaggle 经常举办竞赛，参与者解决真实世界的AI挑战。
顶级提示：专注于集成LLM和符号推理的混合解决方案。即使是小创新也可以产生巨大的影响。

为什么重要：竞赛可以让您与其他研究人员合作，并让人们注意到您在AI社区中的存在。

2. 学习程序合成和符号人工智能

许多人工智能今天面临的问题不能仅通过扩大LLM解决。程序合成和符号人工智能提供了构建自适应系统的替代路径。

程序综合的学习工具：从学习搜索算法和图遍历的基础知识开始（例如，广度优先搜索，深度优先搜索）。
探索遗传编程：这是一种程序合成的形式，其中解决方案随着时间演变，就像生物进化一样。

推荐资源:

图书：“Program Synthesis” 由Gulwani等人编写。
教程：MIT开放课程提供免费的人工智能和符号逻辑课程。

为什么重要：掌握符号推理的专业知识能够让你具有优势，因为与LLMs相比，这些技术尚未得到充分利用。

3. 尝试混合模型。

人工智能的下一个领域将涉及将LLM的优势与程序综合结合起来。您可以尝试混合方法，创造更智能的系统。

使用LLM API进行代码生成：尝试使用诸如GPT-4或Codex等工具生成候选程序，并使用外部工具验证它们。
构建简单程序搜索引擎：实现小规模搜索引擎，验证生成解决方案的正确性。
探索AI工具的使用：构建将符号推理、外部验证器或API调用整合到其工作流程中的模型。

为什么重要: 混合模型展示了如何将直觉和逻辑相结合可以比任何单一方法更好地解决问题。

4. 参与人工智能研究社区

参与研究社区可以加速你的学习，并帮助你将自己的想法贡献给更广泛的听众。以下是参与的方式：

参加人工智能会议：像NeurIPS、ICML和ICLR这样的会议展示了人工智能领域最新的研究成果。
关注AI论坛和讨论组：加入类似Reddit的r/MachineLearning或AI Twitter等平台，以了解最新的趋势。
协作开源项目：GitHub托管许多开源人工智能工具，欢迎贡献。

为什么重要：积极参与社区可以帮助你更快地学习，与专家建立联系，甚至在创新项目上进行合作。

5. 探索认知科学与人类智能

AGI需要理解人类思维和学习方式。探索人工智能和认知科学的交集将为您建立适应性系统带来宝贵的见解。

研究认知模型：研究人类智能和问题解决模型，比如卡内曼的系统1和系统2思维。
尝试使用认知数据集如ARC来探索人类和人工智能在解决问题时的不同方式。
顶级资源：《思考，快与慢》由丹尼尔·卡尼曼提供了对人类认知的双过程理论的深入探讨。

为什么重要：AGI不仅仅是编程，它更是关于理解智能本身。

6.关注概括性，而不仅仅是表现。

大多数目前的AI基准都奖励记忆和特定任务的表现。要构建真正智能的系统，把重点转向泛化。

创建新的基准：设计实验来测试适应性思维，而不仅仅是任务完成。
尝试少样本学习实验：着重于构建能够像人类一样从少量示例中学习的模型。
研究泛化指标：探索算法信息理论，以了解我们如何衡量人工智能模型的泛化能力。

为什么重要：将焦点从性能转移到泛化是推动人工智能超越狭隘智能的关键。

7. 从小开始，有大志。

通往AGI的道路漫长而不确定，但即使是小的贡献也可能产生重大影响。首先建立小型项目来测试新的想法，或者加入正在进行的研究工作。关键是保持好奇心，进行实验和合作。

构建小型研究原型：从探索混合模型或泛化策略的简单项目开始。
参加研究竞赛：向会议和挑战提交论文或原型。
记录您的旅程：撰写博客，在GitHub上分享您的实验，并与其他研究人员互动。

为什么重要：小步骤导致重大突破，特别是在像AI这样迅速发展的领域。

结论：塑造人工智能的未来

通往AGI的道路需要新的思想、实验和合作。现在是参与其中的激动人心的时刻，因为下一个重大突破可能会来自像您这样的人 - 愿意探索超越主流的新道路的人。

无论您是参加比赛、构建混合模型，还是深入认知科学研究，都有无数种方法可以贡献。人工智能的未来不仅仅是扩展模型，而是要从根本上重新思考智能。

因此，迈出第一步——参加比赛，合作项目，或开始尝试新想法。人工智能的下一代不仅仅会在实验室中发生，它将受到敢于想象可能性的人塑造。而这个人很可能就是你。

参考：

弗朗索瓦·肖莱的讲座 https://youtu.be/s7_NlkBwdj8?si=7IBc6sKNoSkfMVrU