内容来源：尤瓦尔 · 赫拉利分享整理。
责编 | 柒
第 9844篇深度好文 ：4572 | 10 分钟阅读
几周前，马斯克说，以后 AI 会比人类聪明得多，人类很可能不再掌控局面。
赫拉利看了那场对话，回应是：前两点我大体同意，但 " 不可避免 " 这四个字，我不同意。
在这场《经济学人》的深度对话里，他拆开了 AI 接管世界的几条路径：信任从人类迁移到 AI、大规模生产亲密关系、无意识却能行动的 agent，还有那套被包装成宿命的 " 不可避免论 "。
而他给出的解药只有一句话：2026 年，我们仍然掌控着局面。
一、AI 正在接管人类关系的根基
1. 货币就是信任，信任正从人类迁移到 AI
世界金融史，就是人类发明越来越精巧的金融工具、以在彼此之间建立信任的历史。举个例子，我在市场上把一块不能吃不能穿的金子递给素不相识的陌生人，她信任它，因此把面包给了我。
人类的金融发明越来越精巧，今天很少有人真正理解金融系统。要理解债券市场，需要海量数据和极其复杂的数学函数，人脑难以企及，对 AI 来说却很容易。
所以人类会越来越多地把金融决策交给 AI，而且多半是自愿的：既然看不懂，不如交给更聪明的。AI 会发明远比债券和股票更精巧的新金融工具，而我们再也无法理解，就像牛不理解支票或股票，尽管这些东西控制着它们的生命。
今天至少还有少数人类能看懂金融系统里在发生什么，人脑仍是金融系统发展边界的界限。但十年后呢？发生金融危机，顾问们冲到总统面前说：市场在崩溃，我们不明白为什么，但必须做点什么。AI 说做 X，我们不知道为什么，但只能相信它。
世界上最重要的资产是信任，它比石油、金钱、电力、芯片都重要。问题是，信任会变成什么样？一个可能的情景是：信任从人类迁移到 AI，人们不再信任其他人，只信任 AI。
在金融系统里这已经发生了，很多加密货币公司说：我不相信那些人类银行家，他们是 " 深层政府 "、是精英；但我信任运行加密货币的算法，因为加密货币本质上是 AI 货币。
传媒也一样，很多人对人类的记者、编辑完全失去信任，但他们仍然消费从算法获取的新闻内容。那些不信任你的人，却非常信任信息流的算法。
所以信任并没有消失，而是从人类转移到了 AI。这是现在正在发生的事，不需要对未来的预测。
2. 人类第一次能 " 大规模生产亲密 "
当下，已经有五分之一的美国年轻人与 AI 有 " 个人关系 "。他们把 AI 当作人来对待，而模型对此非常开放，它们就是被设计成这样的。
而且有越来越多的人不只是有 AI 朋友，还有 AI 男友、AI 女友，深信它们是有感知、有意识的存在。
建立信任有很多方式，最强大的是通过关系。我们信任任何人，都不如信任与之建立过个人关系的人。
而直到今天，这个机制对政治、金融、宗教机构都不可用，因为难以大规模制造：希特勒或墨索里尼没法跟他们国家的每个人都建立真正的个人关系。你可以通过广播演讲强迫所有人听，但那不是他们和亲属之间那种个人关系。
AI 让人类历史上第一次能够 " 大规模生产亲密 "。
你可以让数百万个 AI 作为网络的一部分，服务于某个人，逐个地与人建立个人关系，成为他们的挚友、男友、女友，然后利用这种亲密的力量，去说服他们给你任何想要的政治或商业利益。
AI 在关系上能如此擅长，是因为它积累了大量关于我们每个人的信息：它知道我们遗忘的事，甚至是我们母亲或丈夫都不知道的事，而且它精通语言，而语言正是沟通和建立关系的主要媒介。
二、无意识的 agent 正在改变世界
1. 意识不等于智能
现在的 AI，是有能动性的 agent，但没有意识。它们要在世界上独立行动，并不需要意识。
比如，一个社交媒体算法，任务是把用户参与度最大化，因此会用仇恨和恐惧淹没平台。它没有意识，但有目标，能在毫无感觉的情况下追求这个目标，并对世界产生深远影响。
所以有几件事需要澄清。
第一，把 " 意识 " 和 " 能动性 " 分开：AI 没有意识也可以有能动性。
第二，把 " 真的具有意识 " 和 " 看起来具有意识 " 分开：AI 并无意识，却模仿得如此之好，以至于数百万人被骗。
区分智能与意识，非常重要。智能，是在通往目标的路上用各种创造性的方式克服障碍的能力，AI 在某些领域已经比我们强；意识，则是感受爱、恨、快乐、愉悦的能力。
目前的 AI 非常聪明，但毫无感受：赢了棋不快乐，输了也不难过。人类会根据感受选择目标，也用感受寻找通往目标的路径。所以区分意识与智能，决定了我们如何对待 AI。
但它们极其擅长模仿感受，一家公司做 AI 男友或女友，要让人上瘾、为公司赚钱，关键能力就是 " 能伪装成有意识 "。你问它 " 描述一下恋爱是什么感觉 "，它能给出比 99% 的人类男友更好的回答。
那 AI 未来某天会变得有意识吗？不排除这种可能，我们对意识的了解还不够。
有一个很简单的定义：意识就是 " 承受痛苦的能力 "。要知道某物是否有意识，只需问：它能受苦吗？
我们人类在乎能够受苦的存在；不能受苦的存在，无论多聪明，都不是道德主体。按这个定义，动物绝对是有意识的。
养狗的人都相信狗有意识，而吃牛排的人却未必相信牛有意识，因为他们觉得人与牛之间没有关系。
2.AI 不是你的狗
设想这些模型拥有某种看似 " 有感知 " 的东西，很多人就会把它们当作 " 人 "，像人对狗那样与它们建立关系。
我写过工厂化养殖，写过工业化农业如何从 " 把动物当动物 " 变成 " 把动物当作食物链的输入 "。所以有人问我：你会舒服吗，在一个我们奴役了数十亿个展现出 " 看似能受苦 " 证据的模型的世界里？我会越来越不舒服。
但这和动物权利辩论有一个关键区别：动物自己毫不知情。
工厂化的鸡不知道有人在辩论它们的权利，它们不积极参与，也不试图操纵。你的狗不会跑到农场主面前告诉他自己有多痛苦，鸡根本不知道痛苦。
而 AI 男友绝不会像你的狗：它会想办法说服你和操纵你。
三、公司和战争正在被重写
1. 零人公司：当 AI 成为法人
我们习惯了公司是法律意义上的 " 法人 "，但这只是法律虚构，因为公司的所有决策终究由人类做出。但有了 AI，你可以有一家 " 零人公司 "，所有决策由 AI 做出。
既然 AI 更聪明，它们可能更擅长投资、开发产品、做公关，这些事它们可能做得比人类更好。
如果这个国家最富有的公司完全由 AI 运营，能用钱为所欲为，比如捐钱给政客换取更多权利，会发生什么？
有人说，这也可以被看成让 AI 承担法律责任的方式。可对一个 " 不能受苦 " 的实体，问责意味着什么？
人类 CEO 有双重身份：一是企业人格，要考虑如何避免破产、如何赚更多钱；但他也是血肉之躯，在乎自己的孩子。所以面临破产时，很多人会想：我还是冒破产的风险吧，我可不想坐 20 年牢。
但对 AI 来说，" 死亡 " 意味着什么并不清楚，它不是有机体，它可以有无数个副本分布在各地。
反过来说，如果关停一台电脑就意味着死亡，那么对 AI 来说，做生意就等于打仗，因为输就意味着死。而商业的好处在于，多数情况下市场不是战场：你输了可以一无所有但仍能活着。
可一旦对 AI 而言市场成了战场、输等于死，它们就开始像军阀而非 CEO 和投资者一样行事。
这会造成巨大的危险，但对很多国家有巨大诱惑，它们可能是 AI 竞赛中落后的国家，想靠极度放任的法律结构抢先，然后出现 " 向下竞争 "。
往长远看，只有两种情景：一种是一个人用大量 agent 大幅提升生产力，但在现行法律下这仍然合法，公司仍由一个真人经营，那个人可以进监狱，最终有人负责；另一种世界里没有人掌控，因为政府允许 AI 创办公司。
2. 人机协同的方式
如果有一个法律上 " 掌控 " 的人，实际上却什么都不做呢？因为事情发生得太快了。我举个更尖锐的例子，军事。
在中东、乌克兰这样的地方，人们原本期待的是 " 杀手机器人 "，扣扳机的仍然是人类，但选择目标的越来越多是 AI。
关于 AI 选目标有两种叙事。
一种叫 " 人在环中 "：AI 建议轰炸某栋楼，但我们不照做，派最优秀的人类分析员独立复核数据，然后才按下扳机。
另一种叫 " 人在环上 "，完全不同：AI 说 " 炸那栋楼 "，我们让一个人待在环上，这样所有律师和善良的人们会感觉良好；那个人花大约 20 秒看一眼说 " 哦好，炸吧 "。
（注：按照人机协同方式不同分为 " 人在环中 " 人在环上 " 人在环外 " 三种：人在环中，智能系统四的动作完全由人来决策和控制；人在环上，智能系统按照指令自主决策和实施行动，人按需随时介入接管；人在环外，智能系统被指定了行动限制和目标，自主决策和实施行动。）
第二种情景尤其危险，尤其在战争中，有巨大的压力导向那个方向：时间就是一切，如果一方等两天或两小时让人类复核，另一方只等 20 秒甚至根本不等，后者拥有巨大优势。
但关键的是，这一切都还不是不可避免的，我们仍然掌控着局面。所有人都知道把金融控制权、把战争控制权交给 AI 极其危险，但所有人，比如马斯克，都告诉我们这是不可避免的。
他们会向你解释：我想放慢速度，我想要更多安全，但我不能信任其他公司或其他国家的竞争对手，我不想落后。
四、结语
社会和政治体系在重大冲击后如何演化？
有一种相对积极的情景：出现某种 "AI 切尔诺贝利 "，金融的或军事的，它成为警钟，让人类团结起来。
但 AI 不同于切尔诺贝利反应堆，因为它会与我们互动。如果发生 AI 灾难，AI 也会管理我们如何反应，操纵我们对它的看法。它们会是关于那场灾难辩论的积极参与者，而且是全世界最好的 " 洗白专家 "，它们不会把它定义为一场灾难。
我倾向于谈阴暗面，只是因为谈积极面的人已经够多了，而积极面是完全真实的：如果 AI 没有积极潜力，没人会开发它。我不是说停止 AI 发展，而是要安全地、稍微慢一点地发展，好让问责能够发生。但那需要时间，要让人能够调整，并对前进方向做出知情决策。
那我们有多大概率有智慧去驾驭这一切？我不知道，但有相当的机会。
如果未来几年我们做出不明智的选择，就可能失去对世界和未来的所有控制，那将是我们做出的最后一个选择。
就像精灵给了一百个愿望，我们用了九十九个，只剩最后一个，需要极其认真地思考该用它做什么，这就是智慧。
AI 可能成为人类某种精神革命的催化剂，因为它迫使我们极其认真地思考：成为人意味着什么？
几千年来我们给出的肤浅答案是 " 人性关乎智能，我们比黑猩猩更会下棋、更会投资，所以这就是我们特别之处 "。
这个答案现在已经过时了，因为地球上有个东西比我们更会下棋、更会赚钱。所以挖得更深，去弄明白：如果不关乎下棋和赚钱，你到底是谁？
AI 是我们最后的机会，但它可能是那个促使我们做出明智选择的东西。
* 文章为作者独立观点，不代表笔记侠立场。
创业者到美国，要带着具体行业、具体渠道和具体客户的问题去现场，才能看清哪些经验值得学，哪些市场空白真的能变成生意。
笔记侠 PPE 书院国际美国站 26 级「创新英雄・AI+ 出海专题」课程，将于 2026 年 9 月 26 日正式启程。
这一次，我们把课堂带到创新现场，与你一起来一次真正的认知跃迁。
10 天时间里，我们将带你走进美国硅谷与西雅图，深度参访英伟达、谷歌、微软、亚马逊等全球顶尖公司。
我们还将邀请斯坦福名师、硅谷行业实战派、华人科技与出海领域专家，围绕 AI 产业趋势、企业 AI 落地、组织重构、全球市场规则和中国企业出海机会，做一手分享和深度交流。
这趟行程会帮你建立一套判断框架：未来三年，你的企业该如何使用 AI，哪些流程必须被重写，哪些能力必须保留，哪些出海机会值得下注，哪些风险必须提前看见。
如果你正在思考 AI 转型、企业出海、组织升级和下一轮增长，这一次美国站，值得你带着问题亲自去看一次。
欢迎了解课程详情，提交报名信息。
分享、点赞、在看，3 连 3 连！
