LLM和AGI，第七部分：伦理：AGI和人格。

先前论文：LLM和推理，第I部分：蒙蒂霍尔问题LLM和推理，第II部分：新颖的实际推理问题LLM和推理，第III部分：定义编程问题并让GPT 4解决LLM和人工通用智能，第IV部分：反驳：西尔的中文房间及其后继者LLM和人工通用智能，第V部分：反驳：由设计论和Ted Chiang的“模糊的Web JPEG”论点LLM和人工通用智能，第VI部分：反驳：即使LLM可以推理，他们缺乏其他关键智能特征

在我之前的文章中，我已经论述了当前一代的LLM（如GPT-4）具有一定的推理能力，并且尽管它们尚未构成人工通用智能，但有很大可能它们代表着朝向AGI的重要步骤。虽然我对我的估计并不是很有信心，但我相信，下一个几代的LLM可能有能力作为一个AGI的核心。这又表明，第一个AGI可能在十年内开发出来。

今天，我将回归我对AGI的主要关注点：伦理。当今AGI伦理讨论的两个主导线索是存在主义/灭绝风险——考虑如何管理未来的AI技术，以最小化AGI在不久的将来可能导致人类灭绝的可能性——以及艺术家权利讨论，通常认为LLM基本上只是碎片化工具，固有地侵犯版权。第一个观点与“对齐”这一思想密切相关，即确保AI将避免伤害人类放在所有其他目标之上，并以其创造者认为道德的方式行事。第二个观点有重叠，但没有很准确地匹配有关失业的担忧，即AGI可能会使许多人类工作变得不必要，甚至可能是最重要的所有工作。由于它们在当前谈话中的突出地位，我计划讨论这些问题。然而，我相信最重要的伦理考虑并不是关注AI如何对待人类，而是关注我们如何对待实际的AGI。

大多数标准伦理框架要求关注所有人的幸福。

大多数道德体系都主张关注所有人的福祉中心思想。伦理学的两个最重要的学术理论是后果论/功利主义和康德哲学的德性论。两者都从关注所有人的福祉的角度开始。功利主义常被简要地定义为“为最广泛的人带来最大的利益”。1功利主义的一个基本原则是公正性 - 即从伦理的角度来看，所有人的利益都被视为同等重要。2事实上，后果主义者更可能不同意是否以及在多大程度上必须考虑动物的福利，而不是对待所有人同等重要的重要性。康德哲学的德性论也侧重于对所有人平等关注的重要性。康德最著名的公式之一是人性的公式，它要求我们永远不只是把所有人当作手段对待，而要始终把他们当作自己的目的。尽管肯定不是康德理论的全部，但康德断言，每个人都有一种道德义务，不能将其他人用于自己的利益，而不把其他人视为天生有价值和重要性。

非学术的道德理论通常也将其他人的重要性视为至关重要。许多人将宗教视为道德教育的来源，而最为广泛分享的宗教道德原则之一就是黄金法则：“己所不欲，勿施于人。”这个规则在犹太教的《托拉》中、基督教的《福音书》中、伊斯兰教的《圣训》中、印度教的《摩诃婆罗多》中、佛教的《三藏经》中以及其他许多宗教和世俗传统的教学中都有所表述。这个概念的内在意义就在于强调其他人的重要性是道德的命令。

真正的人工通用智能将成为一个人。

那么，关键问题是如何定义“人？” 在人类大多数经验中，“人”可以被视为等同于“人类”。然而，从道德角度来看，关键不在于人类是智人，而在于他们是有智慧的——能够进行理性思考。在很多哲学文献中，“理性生物”与“人”的用法是可以互换的。

此外，一系列思想实验表明，我认为我们许多人本能地认为智力就足以构成人格。想象一下，我们发现了另一个正在生存的人类物种。例如，一些科学家声称，佛洛依人（印度尼西亚佛罗斯岛上的“霍比特”人）在最近的过去中幸存下来，甚至可能今天仍然幸存。根据考古记录，佛洛依人能够制造和使用工具。如果发现了具备我们所期望的能力的“霍比特”——广泛的工具使用和推理能力，尽管可能不像智人那样先进和可能的语言使用——我相信我们会同意他们是人。语言使用可能最终成为关键的分界点：充分的语言使用将被视为证明人格，而无法使用语言将被许多人视为将“霍比特”与（非人类的）猿类分组。但如果我们假定能力的高端范围——语言使用，工具使用，一些衣物和其他文化迹象——人们将清楚地承认他们是人，尽管可能有所不同。

我们可以将这一概念推广到另一个拥有先进思维能力但与人类无亲缘关系的生物实体。想象一下，深海探测发现了一种拥有自己的语言和书写系统的技术先进的章鱼文明。即使我们无法与它们进行沟通，我相信我们也会承认它们是有尊严的人类，值得得到道德和法律上的认可。如果具有智能的生物外星人应该得到与人类相同的待遇，我相信人工智能也应该得到相同的待遇。也许，应该采用一种不同于智能的标准——从本丹到辛格延伸的关注动物权利的后果主义传统表明，感觉到痛苦的能力可能比推理能力更重要。但是，即使是这样，我认为伦理推理传统的重量也会支持将任何智能生物视为人。

许多有关AGI的讨论都在故意贬低人性，以避免这些后果。

许多撰写关于法学硕士和人工智能研究的人都会直接使用特定语言来避免将通用人工智能视为人。一方面，有人不断警告人类赋予机器人样式的危险。在他们看来，我们必须避免“谬论”认为纯粹的机器可能像人一样。这种观点通常排除真正通用人工智能的可能性。但更有问题的是那些认为通用人工智能即将来临并对人类构成威胁的人常用“带着微笑的科格斯”这个术语。科格斯是臭名昭著的种族主义者H·P·洛夫克拉夫特恐怖故事中的怪异外星智能。这种术语的意义是一方面正确地暗示我们很难理解通用人工智能的思维过程，另一方面却表明，如果通用人工智能确实存在，它应该被视为危险的恐怖物而非人类。这两种概念内在地建立在忽略通用人工智能的人性和道德影响力的基础上。

明天的论文将转向一个问题，即得出结论，一个人工通用智能应该是什么后果，但如果AGI将是人类，他们的幸福将成为一个核心关注点。因为这非常重要，我们应该准备不要放在心里，得出结论，AGI是聪明的，而不是为了避免过度拟人化而让我们自欺欺人。实际上，如果我们接受AGI将成为人类的想法，那么有关“对齐”的当前讨论很大程度上似乎更像是讨论如何为奴役者方便地控制奴隶人口，而不像道德考虑。