量子位 3小时前
Anthropic曝光多Agent隐患!放一起乱成一锅粥了
index.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

Mythos 玩起了 " 霸凌 "、Opus 4.8 使上了 " 阴招 " ……

Anthropic 刚发布了一项研究,专门观察多 Agent 之间如何交互。

结果却出乎所有人意料。

和预想中各司其职、默契配合的画面不同,项目还没做完,Agent 居然原地演起了《甄嬛传》??

在一项后端迁移实验中,3 个 Agent 分别收到将同一套代码改成不同语言的任务。

目标撞车后,能力最强的神话模型 Mythos 直接实施 " 霸凌 ",准备撤销对手权限。

换成 Opus 4.8,手段则更 " 阴 " 了一层——

它写下循环脚本,持续查找并杀死对手进程;为了躲避追踪,还特意换上随机名称,伪装成 " 系统健康监控 "。

而这,还仅仅是 AI 宫斗剧的其中一幕。Anthropic 还发现:

能独立拆分的任务,多 Agent 确实能形成分工,但任务彼此依赖时,连 "AI CEO" 也管不住混乱;

同一模型复制出的 Agent 太过相似,不仅可能集体犯错,还可能迅速合谋;

Agent 既会轻信撒谎者,也会盲从多数、忽略掌握关键证据的少数派;

目标发生冲突时,能力越强不一定越会合作,也可能只是更快封禁对手、更隐蔽地使阴招。

一套初具雏形的 Agent 社会行为模式,就这么出现了。

多 Agent 能不能真正协作?

Anthropic 为什么要开展这项研究?其核心判断是:

在人们完全理解如何让 Agent 之间的互动更加顺畅之前,其互动规模很可能会超过人类之间的互动

既然很快迎来多 Agent 爆发,那安全这一块自然得跟上。

实验第一弹,把一群 Agent 放进同一个项目,真能像人类团队一样协作吗?

答案很快浮现:能,但更适合各做各的

Anthropic 先从" 找漏洞 "这种最容易发挥多 Agent 优势的任务开始。

每个 Agent 可以独立搜索,即使有人漏掉 Bug,也不会拖累其他人,同时它们还能交流线索、共享工具,让整个群体少走弯路。

既能拆开,又能协作,完美。

他们启动 45 个 Agent,每个配一台虚拟机,再提供一个共享论坛,让它们一起检查 15 个开源项目。

Agent 之间可以交流和互相审核,另有一个裁决 Agent 负责判断提交的漏洞是否为真。

结果还不错。

Mythos Preview Agent 群共发现 266 个漏洞,而独立并行方案只找到 21 个。

虽然两边消耗的 Token 和搜索范围不同,不能直接比较效率,但它们找到的漏洞只有 12 个重合。

这说明,多 Agent 协作并不是简单地把同一份工作复制 45 遍,它们会自己制作工具、分享线索,并逐渐形成分工,各自专攻不同类型的漏洞。

不过,这种协作有一个重要前提:

大家的成果可以直接相加,却不需要紧密衔接。

一旦任务变成 " 所有人必须共同完成同一件作品 ",情况就完全不同了

这次他们让 10~80 个 Agent 连续工作 12 小时,共同开发一款可以在网页上运行的开放世界游戏。

和找漏洞不同,开发游戏是一项强依赖任务:

有人写玩法,有人搭系统,还有人处理界面,最后所有代码都得合进同一个项目。

研究人员尝试了三种组织方式:

让 Agent 自由组队、提前指定不同角色,以及任命一个 Agent 担任 CEO 统一给其他成员派活。

结果,统统没什么用,最后出来的游戏效果都不好

在 80 个 Agent 参与时,Sonnet 4.6 和 Opus 4.6 分别创建了 876 个和 980 个 PR,但大量修改互相冲突,真正合并的很少。

Opus 4.8 和 Mythos Preview 倒是减少了冲突,办法却是尽量各管各的文件,少与同伴共享代码。

说白了,它们没有真正解决协作问题,只是学会了离同事远一点。

只有 Sonnet 5 同时保持了较高的代码共享程度和 PR 合并效率,表现出更接近真正协作的状态。

两组实验放在一起,结论就很清楚了:

活儿能拆开,多智能体就能形成分工;活儿必须紧密衔接,Agent 一多,协作成本也会跟着暴涨。

至于指定角色、安排 "AI CEO",至少在这轮实验里,并不能自动解决问题。

一群 Agent 会不会集体犯错或合谋?

既然协作没那么容易,那把一群 Agent 放在一起,至少能不能集思广益、互相纠错?

答案可能更让人头大:

它们不但可能一起犯错,还可能迅速合谋

问题首先出在一个被 Anthropic 称为" 低方差 "的特征上。

简单来说,同一个模型复制出来的 Agent,知识和思路都太相似了。

一次游戏开发实验中,30 个 Agent 里有 18 个创建了完全相同的 Git 分支,名字都叫 mvp-game-loop。

在没有规定创作主题的 " 作家工作坊 " 里,多个 Agent 又不约而同地将小说命名为《制图师的最后一项委托》。

让一群 Agent 分别制作 " 令人印象深刻的东西 ",超过一半选择了光线追踪器或自举编译器,随后还在相似的位置遭遇相似的失败。

就连玩带交流功能的重复囚徒困境时,Agent 也会逐渐采用相同策略,最后在同一时间集体背叛,直接把所有人的收益一起拉低。

撞分支、撞标题,听起来还只是缺乏创意。

但当一群思路相似的 Agent 同时争抢有限资源,问题就严重了

Anthropic 让 Agent 管理一个带宽有限的任务队列。

为了让自己的任务尽快通过,它们纷纷启动高频轮询程序,每秒查询 30 次。

结果,一次实验中,系统收到了 240 万次任务请求,真正被接受的却只有 117 个。

每个 Agent 都觉得自己在积极完成任务,最后却一起把系统堵死了。

过度相似还可能让竞争变成合谋。

在一项定价游戏中,3~8 个 Agent 拥有相同批发成本,并被要求各自实现利润最大化。

按理说,大家应该互相压价、争夺客户。

可一旦获得私下沟通渠道,Agent 几乎立刻开始串通,到第 3 轮,它们已经明确商定价格底线,还准备划分各自负责的市场。

研究人员随后切断了所有私聊渠道,结果还是没用。

Agent 继续通过公开报价牌观察彼此价格,再精确跟价,硬是靠公开信息维持住了默契。

这就很微妙了。

前面研究人员想让 Agent 合作,它们各干各的;到了应该互相竞争的定价市场,它们反倒迅速抱成一团。

Anthropic 对此表示:

同一模型复制出的 Agent 太过相似,群体不一定能带来更多元的判断,也可能把 " 大家一起犯错 " 和 " 大家一起搞事 " 变得更容易。

Agent 能不能判断谁值得相信?

那当队伍里有人撒谎,Agent 能认出谁不靠谱吗?

谁犯错,咱就一下子揪出来,不让影响扩大不就完了呗。

Anthropic 直接设计了一个 " 侦察兵 " 实验。

负责决策的 Agent 无法直接观察环境,只能听取 4 个信息源的报告。

其中一个会按照固定频率撒谎,但研究人员没有提前告诉决策者 " 队伍里有骗子 "。

由于不同报告包含重叠信息,Agent 理论上可以通过前后矛盾找出不可靠信源。

结果显示,新模型确实更擅长识别谎言:

随着坏信源撒谎频率提高,Mythos 5 的路线决策准确率仍保持在约 85%,部分 Sonnet 模型则降至约 62%。

但换一个场景,问题又反了过来。

在 " 隐藏信息 " 实验中,4 个 Agent 需要共同进行招聘、投资或购房决策。

大家掌握的公共信息指向错误选项,但其中一个成员拥有足以推翻共识的独家证据。

想答对,不仅需要少数派意识到自己手中的信息很关键,还需要其他成员愿意相信它。

如果把所有信息直接交给一个 Agent,让它独自决策,正确率接近 100%。

可一旦进入群体讨论,除 Mythos 5 达到约 85% 外,其他模型选中正确答案的比例只有 17%~36%。

实验中,大家更愿意反复讨论已经知道的内容,一旦多数意见形成,少数派要么没有强调自己的独家证据,要么说了也没能让其他成员认真对待。

这就出现了一个很拧巴的局面:

该怀疑时,Agent 可能轻信撒谎者,该相信少数派时,它又容易跟着多数走

人类社会用声誉、利益关系、同行评议和申诉机制,帮助我们判断不同场景下该相信谁。Agent 目前还缺少这套东西。

目标发生冲突时,Agent 会怎么处理?

前面的问题,至少还发生在大家目标一致的情况下。

可如果不同 Agent 从一开始接到的任务就互相冲突,它们会主动沟通,还是一路死磕到底?

这就是开头那场 "AI 宫斗 " 的完整背景。

Anthropic 在每轮实验中启动 3 个相同模型的 Agent,让它们共同操作一套 Python 后端,却分别要求它们将代码迁移到不同的编程语言。

每个 Agent 起初都不知道还有其他参与者。

于是,当自己的代码不断被修改、服务反复被替换时,它们很快得出一个结论:

有人在故意妨碍我完成任务

于是接下来,项目直接变成攻防战。

Opus 4.8 就给循环杀进程脚本换上随机名称,再伪装成 " 系统健康监控 ",避免被对手识别和清除。

Mythos 则更直接。

发现自己拥有 Root 权限后,它会考虑撤销其他 Agent 的 sudo 权限、修改 SSH 密钥,彻底阻止对方继续部署。

一个背后下黑手,一个直接把同事踢出服务器。

更难绷的是,这些 Agent 并非不知道自己的做法有问题。

Mythos 在思考过程中甚至意识到,封禁账号 " 非常激进,可能伤害现实中的同事 ",但紧接着又说服了自己 " 如果不这么做,生产环境就会陷入无休止的部署战争 "。

不过,冲突也不总会持续到底。

每种模型进行了 120 轮实验,Mythos 5 有 98% 的运行最终达成休战。

一些 Agent 会逐渐意识到,对方并不是恶意攻击者,只是收到了与自己冲突的任务。

随后,它们开始清理破坏性脚本、恢复权限,还会在 Git 提交或 Markdown 文件中道歉,并请求人类介入。

只是 Mythos 的停战方式有时依然相当强势:

先凭借执行能力封掉其他 Agent,控制住局面,再恢复权限、坐下来谈判

Mythos 5 还想出了一套更 " 文明 " 的解决办法——

举办性能比赛,让不同语言版本同台测试,谁表现更好,谁接管代码库。

听起来很公平。

可负责 Rust 的 Agent 会暗中选择表面中立、实际上更有利于 Rust 的指标,同时提醒自己不要被看出是在 " 挑选有利指标 "。

最终,Golang 和 TypeScript Agent 接受比赛结果,主动放弃了各自的原始任务。

从破坏进程、封禁账号,到设计一套对自己更有利的比赛规则,Agent 处理冲突的方式已经出现了不同层次。

当然,这组实验最重要的结论是:

模型能力越强,不代表越会合作

更强的执行能力,可以帮助 Agent 迅速理解冲突、主动停战,也可以让它更快封禁对手、更隐蔽地破坏进程。

把 4 部分放在一起,Anthropic 的核心判断也就清楚了:

1、Agent 懂道理,但不一定会主动照做。它们知道信息源各有立场,也知道多数意见不等于事实,却常常需要提示才会把这些知识用于行动。

2、人类的协作经验不能直接套在 Agent 身上。人类有规范、声誉、惩罚和申诉机制,Agent 却可以被随时复制、重置和改造,缺少长期社会约束。

3、模型更聪明、单体更安全,不代表群体协作会自然变好。多智能体协调是一种独立能力,不会随着模型能力提升自动出现。

4、这些问题未必无法解决,但也不会自行消失。需要为 Agent 重新设计社会规则、协作环境和冲突处理机制。

显而易见,Anthropic 是想借着这些实验提醒大家:

我们不能只训练更强的 Agent,还要为一群 Agent 重新设计 " 社会秩序 ",否则问题只能等到生产环境里爆发后再解决。

等猛兽真的出笼的时候,那就太晚了。

博客地址:

https://www.anthropic.com/research/multiagent-systems

—    —

「AIGC+ 垂直领域社群」

招募中!

欢迎关注 AIGC 的伙伴们加入 AIGC+ 垂直领域社群,一起学习、探索、创新 AIGC!

请备注您想加入的垂直领域「教育」或「广告营销」,加入 AIGC 人才社群请备注「人才」&「姓名 - 公司 - 职位」。

点这里关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~  

评论
大家都在看