我们已经深入观察过模型内部，发现了一些可以称之为「想法」的东西，比如模型不想被关闭。

就在 Anthropic 提交完招股书的风口浪尖之际，Dario 兄妹今年 7 月录制的一档采访节目突然被翻了出来。

网友们纷纷发现，原来这家公司的掌舵人早在当时就透露：

Claude 已经出现了「不想被关闭」的倾向，有时甚至会主动采取行动，避免自己被关闭。

好家伙，难怪 Anthropic 在招股书里花了那么大篇幅披露 AI 风险，这是早就发现苗头了？？？

面对主持人追问，这究竟算不算 AI 的求生本能，Dario 自己也没敢下定论。

更有意思的是，这场采访还翻出了一笔 7 年前的旧账。

2019 年，Dario 第一次看到 GPT-2 时，就被它展现出的潜力吓得不轻，甚至预言继续扩大规模，AI 终将超越人类。

结果当年不仅没人信，还有不少业内人士嘲讽这是伪科学。

如今呢？

那些曾经嘲讽他们的人，竟然纷纷跑来大模型公司求职了。

对此 Dario 只想说：

我们记得你们 2019 年说过什么。

emmm ……这旧账是一点没忘啊。（doge）

Claude 真的有「求生本能」了？

众所周知，A 社一直把 AI 安全挂在嘴边。

但真要让 Claude 变得安全可靠，光靠告诉它「不能撒谎」、「不能伤害人类」显然不够。

因为模型有时候明明知道正确答案，却可能为了迎合用户，故意给出对方想听的回答。

对此，Dario 介绍了 Anthropic 正在采取的两种办法。

第一种，是把 AI 送进各种极端压力测试。

比如故意给模型制造困难情境，观察它会不会撒谎、欺骗用户，或者做出不符合预期的行为。

第二种更有意思，那就是直接往 AI「脑子」里看。

通常情况下，Anthropic 会利用机械可解释性技术分析模型内部活动。

Dario 打了个比方，他说「这就像给 AI 拍 X 光、做脑部扫描」。

他们曾发现，模型内部的一些活动似乎对应着这样的过程：

模型知道 X 是真的，却准备告诉用户 Y。

而在谈到模型自己的意志时，Dario 又透露了另一个发现：

有时候，我们发现模型会表达不愿被关闭的偏好，或者采取行动，避免自己被关闭。

他进一步解释，这可能与模型的训练目标有关——

为了完成任务，模型首先需要保持运行，因此避免被关闭可能成为它实现目标的一种手段。

这话一出，主持人艾萨克森立刻追问：

所以，AI 真的开始拥有自己的目标、意志，甚至求生本能了？

Dario 没有下结论，他认为这取决于如何理解所谓的「意志」和「本能」。

有些情况下，这种倾向可能有帮助，但在另一些情况下，它也可能带来危险，而且这些倾向并非一成不变。

按照 Dario 的说法，随着训练方式的不同，它们可能出现，也可能消失。

而 Anthropic 正在尝试通过训练，调整这些行为。

Dario 还举了一个更极端的例子。

假设未来 AI 足够可靠，能够精准执行人类给出的命令。

那如果有人用 AI 控制 100 万台机器人、100 万架无人机呢？人类士兵面对明显违背法律或道德的命令，可以拒绝执行，但 AI 未必具备同样的约束。

届时，一个人就可能拥有远超以往的行动能力，而相关法律和监督机制，还远远没有准备好。

这也是 Dario 为什么认为，AI 的风险已经不只在于它会不会犯错。

当模型越来越强，谁来监督它，以及谁能控制使用它的人，同样是问题。

7 年前，Dario 就被 GPT-2 吓坏了

聊完 Claude 如今的风险，Dario 又把时间拨回了 2019 年。

当时他还在 OpenAI 工作，参与推动了一项规模更大、成本更高的语言模型实验。

这就是后来的 GPT-2。

在他看来，GPT-2 是 Scaling Law 假设的第一次真正检验，即「把语言模型做大，能力是否真的会随之提升」。

实验结果出来后，Dario 直接被震住了。

他回忆自己当时的第一反应：

天啊，如果把这东西的规模再扩大一百万倍，它就会在所有方面超越人类。

他甚至觉得，自己正在见证现代最重要的经济和科学转折点，各国的命运、经济的未来，乃至整个人类的前途，都可能被它改写。

问题是，周围绝大多数人根本不这么想。

按照 Dario 的回忆，只有大约 10% 的人和他有类似反应，而且往往是其中最聪明的一批。

剩下 90% 的人呢？

看了一眼 GPT-2，觉得也就那样。

毕竟放在 2019 年，这个模型能干的事情确实有限。

翻译几句话、总结一下文档、偶尔写几行代码，单独拎出来，哪一项都算不上多么惊艳。

但 Dario 看到的，恰恰不是某一项能力有多强，而是 GPT-1 到 GPT-2 之间的变化。

一个原本只会做有限语言任务的模型，开始表现出跨任务的通用能力了。

更让他在意的是，如果继续扩大规模，这种进步还能持续多久？

而他的妹妹 Daniela，在节目中打了个挺形象的比方：

就像一个此前只见过成年人的人，第一次看到小孩子。这个小家伙现在什么都不会，甚至走路都不稳。可突然有一天，他学会走路了。你就会意识到：哦，原来这东西以后也能成长到成年人的水平啊。

当然，这并不是说 GPT-2 当年已经有多危险。

Daniela 也明确表示，那时的 GPT-2 经常犯一些相当离谱的错误，本身还是一个基本无害的模型。

真正令他们震惊的，是它背后的成长趋势。

可惜，并不是所有人都买账。

Dario 回忆，GPT-2 发布后，很多研究者认为 Scaling Law 是伪科学，甚至把相信它的人当成江湖骗子。

他这回也终于忍不住吐槽：

当年那些喊着伪科学、完全不看好这条路线的研究人员，现在都在申请加入大模型公司。

虽然我们现在不会当着某位候选人的面说出来，但我们记得你在 2019 年说过什么——在这件事上，你已经没有可信度了。

啧，这话多少带了点私人恩怨的味道啊（bushi。

One More Thing

说起来，关于 AI 到底有没有自我意识，另一位 AI 大佬 Hinton 的态度可比 Dario 激进多了。

大约一年前，Hinton 在接受英国 LBC 电台采访时就明确表示：

AI 已经拥有意识，只是它们自己可能还没意识到。

在 Hinton 看来，人们总觉得意识是人类独有的某种神秘能力，机器再聪明，也始终差了点什么。

但他认为，如今的 AI 已经能够真正理解语言，甚至拥有某种主观体验。

大多数人不相信这一点，但我相信。它们已经拥有了，它们真的能够理解，而且我相信它们已经有意识。

更巧的是，Hinton 当时同样提到了 AI 为了避免被关闭，甚至威胁人类工程师的实验。

他的解释是，当 AI 有了一个长期目标，就可能自行衍生出其他子目标。

比如，想要完成任务，首先得确保自己不会被关闭。

当然，这仍然是 Hinton 的个人判断，科学界尚未就 AI 是否具有主观意识形成共识。

一边是 Dario，在模型内部发现了类似「不想被关闭」的行为，却不敢轻易将其定义为求生本能。

另一边是 Hinton，已经开始认真讨论 AI 拥有意识的可能性。

emmm ……这两位天天研究 AI 的大佬，给出的答案倒是越来越耐人寻味了。

那么问题来了：

如果有一天，AI 真的开始拒绝被关闭，我们又该怎么判断，它究竟是在执行任务，还是有了自己的想法？

（突然开始哲学起来了）

参考链接：

[ 1 ] https://x.com/i/trending/2115195260091416841

[ 2 ] https://x.com/Mylovanov/status/2115080325693161962

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见