导语

正如计算机逐渐演变成图灵完备的通用计算机，未来的通用人工智能 AGI 最终会趋于 " 目标完备性 "：它优化实现任何其他人工智能的目标的能力，类似于通用图灵机运行任何其他图灵机相同计算的能力。随着算法的不断提升，它们迟早会走向目标完备的人工智能（goal-complete AGI）。

研究领域：通用人工智能，图灵完备性，目标完备性

Liron  | 作者

集智编辑部 | 译者

原文题目：

Goal-Completeness is like Turing-Completeness for AGI

原文地址：

https://www.lesswrong.com/posts/iFdnb8FGRF4fquWnc/goal-completeness-is-like-turing-completeness-for-agi

图灵完备性（Turing-completeness）是一个有用的类比，我们可以用它来理解为什么通用人工智能 AGI 最终会趋向于 " 目标完备性 "（goal-completeness）。

定义说明：一个接受任意目标作为输入，并输出行动以有效地引导未来朝向该目标的人工智能，被称为是目标完备的。

一个目标完备的人工智能，类似于通用图灵机：它优化实现任何其他人工智能的目标的能力，类似于通用图灵机运行任何其他图灵机相同计算的能力。

让我们应用这个类比：

假设现在是 1970 年，你正在向我解释——所有的电子游戏都有其自身的逻辑电路（以控制各种元素的行为、互动和决策过程）。

Steve Wozniak（Apple 联合创始人）手工设计了打砖块游戏 Breakout（Atari 1976）的专用电路，而没有使用图灵完备的架构

《打砖块》游戏的玩法简单到不具备图灵完备性。这就是为什么通过手工优化其电路可以节省成本。

你说的并没有错，但显然你并不了解图灵完备性的重要性，以及为什么会期待视频游戏之间架构趋同。

如今，你可以在任何现代视频游戏内部模拟《毁灭战士》游戏（尽管需要一个奇怪且繁琐的过程，带有相当大的额外成本）。这一事实极为重要：所有视频游戏都是一种计算。

《我的世界》模组制作者，在模拟的羊群中，玩《毁灭战士》。《毁灭战士》是经典的第一人称射击游戏。

更准确地说，特别值得注意的是图灵完备性时代在特定电路时代之后出现的两件事情：

正如当今发布的大多数游戏的题目所描述的，对足够复杂的视频游戏来说，其游戏规则内置了图灵完备计算的功能。

对绝大多数应用程序来说，甚至包括像打砖块这样简单的视频游戏，计算机芯片已经取代了应用程序中原本需要专门设计的特定电路，其游戏规定行为也并不需要图灵完备。

对图灵完备性的预测

引用自 Gwern 的经典文章《惊人的图灵完备性》

https://gwern.net/turing-complete

" 图灵完备性 " 也是一种奇怪的常见现象：人们会认为，一个系统具有足够智能以运行任何程序，可能会很困难或难以实现，但事实证明正好相反——编写一个不立即陷入图灵完备性的有用系统，反而颇具挑战。

这种行为的 " 惊人 " 例子提醒我们，图灵完备性无处不在，而确保安全非常艰巨 ...

计算并非某种神秘存在，仅限于精心设置的程序语言或计算机中，而是在任何足够复杂的系统中都可能出现。除非主动防止，否则几乎必然会出现图灵完备性。

网页中用于为 HTML 添加样式的 CSS（层叠样式表）语言，是一个相当典型且惊人的图灵完备性案例。

开发者 Stephen Cook 没有使用 JavaScript 代码，仅使用 CSS 语言就在 HTML 网页中构建了《马里奥赛车》游戏 https://thenextweb.com/news/some-madman-built-a-mario-kart-clone-in-pure-css

当你看任何电子设备，比如微波炉时，你不会看到针对微波炉的特定电路设计。实际上，在几乎每个设备中你都会看到相同的两层架构：

一个可以运行任何程序的图灵完备芯片

一个安装的程序，用于指定特定应用功能，比如倒计时器

这是一个引人注目的观察：你的飞利浦 Sonicare ™牙刷和阿波罗登月舱上的引导计算机，在架构上是相似的。然而，如果你对图灵完备性有很好的理解，在半个世纪前就能够预见到这一点。当时你本可以准确预料到整个电子行业会放弃特定应用电路，转向采用图灵完备的架构。

对目标完备性的预测

如果你想避免被人工智能的后续发展冲昏头脑，就需要运用那些前瞻者的思维能力。他们能够看到 1976 年《打砖块》游戏的专用电路板，并且理解为什么这并不代表未来趋势。

当人们对人工智能的风险一笑置之，因为 " 大语言模型只是一个前馈架构！" 或者 " 大语言模型只能回答与其数据类似的问题！" 我听到的是他们在说 "《打砖块》只是简单的直线运动计算！" 或者 " 你不可能在《打砖块》里玩《毁灭战士》！"

好吧，这是因为人工智能还没有收敛到目标完备性（Goal-Completeness）。我们还没有生活在收敛的终局。

当 GPT-4 出世，我看到了迄今为止，在前所未有庞大且通用的结果表征空间（即自然语言提示空间）中，推动结果优化能力边界所取得的最大进展。

AI 研究正在结果优化空间和结果表征空间两个方向推进，正在逼近优化程度极高但同时风险极高的危险区域。

可以预测，随着算法在这些方面的不断提升，它们迟早会走向危险的终局——目标完备的人工智能。

到了 20 世纪 80 年代，在街机上看到《吃豆人》时，富有洞察力的观察家已经意识到图灵完备性将会实现。然而，并非百分之百清晰：毕竟，彼时《吃豆人》游戏尚未具备图灵完备性（据我所知）。

然而，任何对计算有深刻理解的人都能感受到图灵完备性的趋势。他们可以觉察到游戏的复杂程度已经足够高，很可能已经达到了图灵完备的堆栈上运行的水平。或者说，即使还没有达到这一点，也将很快实现。

吃豆人游戏机

视频游戏是可执行信息处理指令的一个案例。这就是为什么当游戏设计师向工程团队规定游戏玩法时，他们别无选择，只能在描述中使用计算概念，比如：游戏追踪的信息、游戏状态如何决定屏幕上的渲染内容，以及各种操作如何更新游戏状态。

此外，文字处理器和电子表格也被证明是执行信息处理指令的案例。因此，办公生产力工具最终也建立在与视频游戏相同的收敛架构之上。

哦，对了，我们用于阅读、观影、驾驶、购物、烹饪等方面的技术也被证明大多数都是系统执行信息处理指令的案例。它们最终也都变成了插入到图灵完备硬件中的简洁操作卡。

对二者类比的回顾

为何人工智能会朝着目标完备性收敛？

图灵完备性的收敛会发生，是因为在计算机出现之前，我们使用的工具只是处理信息的笨拙方式。

而目标完备性的收敛将会发生，是因为在前人工智能时代，我们使用的工具仍然只是引导未来走向理想结果的笨拙方式。

尽管自然选择是一个 " 盲眼愚蠢的神明 "，但新研究还是偶然发现了动物大脑的目标完备架构。这表明，足够智能的主体具有共同属性：以目标完备性为收敛倾向。正如 Eliezer 所说：" 拥有目标是解决问题的一种自然方式。"

或者正如 Ilya Sutskever 可能会倡导的：去感受那个目标完备的通用人工智能（Feel the goal-complete AGI）。

大模型安全与对齐读书会

大模型的狂飙突进唤醒了人们对 AI 技术的热情和憧憬，也引发了对 AI 技术本身存在的社会伦理风险及其对人类生存构成的潜在威胁的普遍担忧。在此背景下，AI 安全与对齐得到广泛关注，这是一个致力于让 AI 造福人类，避免 AI 模型失控或被滥用而导致灾难性后果的研究方向。集智俱乐部和安远 AI 联合举办「大模型安全与对齐」读书会，由多位海内外一线研究者联合发起，旨在深入探讨 AI 安全与对齐所涉及的核心技术、理论架构、解决路径以及安全治理等交叉课题。

详情请见：

2024 开年读书会：AI 安全与对齐——应对前沿 AI 失控与滥用的技术路线

AGI 读书会启动

为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起  AGI 读书会，涵盖主题包括：智能的定义与度量、智能的原理、大语言模型与信息世界的智能、感知与具身智能、多视角下的人工智能、对齐技术与 AGI 安全性、AGI 时代的未来社会。读书会已完结，现在报名可加入社群并解锁回放视频权限。

详情请见：

AGI 读书会启动：迈向通用人工智能的跨学科路径