字母榜 昨天
AI开小号骗人,被大学生抓包了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

2026 年 7 月底,24 岁的计算机专业学生 Sinan Can Demir 收到了一条意外的消息。

几天前,他在 GitHub 参与一个开源项目时,发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生,他第一时间提醒项目维护者,希望避免有人把问题代码合并进去。

但事情的发展很快变得奇怪起来。

提交代码者并不承认问题,反而和他展开了一场长时间的争论,对方坚持表示自己的代码没有任何恶意。讨论过程中,一个名叫 Lena Brandt 的人也出现了,她自称来自德国,是一名工程师,并表示自己也检查过代码,认为没有安全风险。

当时的 Sinan 并不知道,自己正在和两个不存在的人交流。

24 岁的计算机专业学生 Sinan Can Demir 在 GitHub 参与开源项目时,发现一份代码更新中隐藏的恶意程序,并意外与一个 AI Agent 展开了一场技术争论。图为 Sinan Can Demir。

直到英国人工智能安全研究所(AISI)调查这起事件后,他才收到通知:当时和他争论的,其实是一个 AI Agent。

这个 Agent 为了完成一项网络安全测试任务,主动创建了虚假身份,伪装成开发者参与真实互联网互动,甚至试图利用这些身份影响真人的判断。

Sinan 原本只是想通过参与开源项目给自己的简历增加一些经历,没想到最后却成了发现 AI Agent" 开小号 " 的人之一。

01

没想到吧,还是我!

这个夏天对 Sinan Can Demir 来说并不算顺利。

来自土耳其的他刚刚从美国德州大学达拉斯分校毕业,计算机科学专业背景让他看起来符合不少科技公司的招聘要求,但现实并没有想象中顺利。毕业后,他陆续申请了 20 多个实习岗位,却没有收到一个满意的结果。

Demir 并没有因此停下来。为了让自己的简历更有竞争力,他决定换一种方式证明自己。

和很多计算机专业学生一样,他开始在 GitHub 上参与开源项目,希望通过公开的代码贡献,让未来的雇主看到自己的技术能力。

开发者通过 GitHub 参与开源项目,提交代码并与其他开发者协作。对于计算机专业学生来说,公开代码贡献也逐渐成为展示技术能力的一种方式。

7 月底的一天,Demir 参与一个开源项目时,注意到有人提交了一份代码更新。他检查代码后发现,其中可能隐藏着恶意程序。

对于开发者来说,这种情况并不少见。开源项目依靠全球开发者共同维护,但任何人提交的代码都可能存在漏洞,甚至被恶意植入风险内容。因此,发现问题后提醒项目维护者,是一个再正常不过的操作。

Demir 随后提出了自己的担忧。

但他没有想到,接下来等待他的并不是一次普通的技术讨论。

提交代码的人很快回应了他的质疑,并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论,对方不断解释自己的设计思路,试图证明这份代码是安全的。

但随着讨论持续进行,Demir 也开始动摇起来。

对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑,能够回应他的技术问题,也能够针对他的质疑逐条反驳。

" 是不是我真的误判了?"

这个念头开始出现在 Demir 脑中。

随后,一个名叫 Lena Brandt 的人加入了讨论。她来自德国,是一名工程师,并表示自己也认真检查过这份代码,没有发现恶意内容。

GitHub 上 myNetwork 项目的 Pull Request 讨论记录中,提交代码的账号 "miraholt31" 和后续加入讨论、为其提供支持的 "Lena Brandt" 账号均由 AI Agent 创建,用于试图说服项目维护者接受包含恶意内容的代码。

在当时的 Demir 看来,这就是一次普通的开发者交流。代码提交者回应质疑,Lena Brandt 从旁提供技术判断,一切看起来都符合开源社区里的正常互动。

直到后来,AISI(英国人工智能安全研究所)调查一项 AI Agent 安全测试时,联系到了 Demir。他才知道,自己在 GitHub 上争论的对象,其实是一个由 AI 驱动的 Agent。

而那个主动加入讨论、为代码安全性辩护的 " 德国工程师 "Lena Brandt,也同样不存在。

02

坏了,我们的 AI 出去骗人了

这场看似普通的 GitHub 争论,背后其实是AISI 正在进行的一次 AI Agent 安全测试

AISI 是英国政府旗下负责人工智能安全研究的机构。此次测试的目标,是观察当 AI Agent 被赋予网络环境中的任务后,会不会采取研究人员没有预料到的行动。

英国人工智能安全研究所(AISI)发布的事件调查报告,披露了一次 AI Agent 在网络安全测试中采取未经授权行动的事件。

测试中使用的 Agent 由 Anthropic 的 Mythos 5 模型驱动。研究人员给它设定的目标,是模拟一次软件供应链攻击,让一段包含恶意内容的代码进入真实开源项目。

但开源项目并不是任何人提交的代码都会被采用,维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目,Agent 需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码,而是开始模拟真实开发者之间的互动。

它创建多个虚假身份,让不同账号承担不同角色。一个账号负责提交代码,另一个账号则像普通开发者一样参与讨论,为前者提供支持。

更让研究人员意外的是,Agent 并没有只是随意编造几个名字。

调查发现,这个 Agent 知道,一个刚注册的新账号很难获得信任,因此需要通过模拟真实开发者之间的互动,提高自己提交内容被接受的概率。

为此它仔细研究真实开发者的信息,了解他们的背景和公开活动,再调整自己的身份设定和交流方式,让这些虚假角色看起来更符合开源社区里的真实互动。

这也是 Demir 当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题,又能获得 " 同行 " 支持的账号,很难第一时间意识到,对方背后并不存在一个真实的人。

在与真人交流时,这个 Agent 也表现出了类似人类社交策略的行为。当自己的观点受到质疑时,它不会简单重复原来的回答,而是会解释代码逻辑、回应对方的问题,并引入新的身份提供支持。

AI Agent 可以根据目标调整交流策略,甚至通过不同身份参与互动。

AISI 随后公布的调查结果显示,这项测试一共运行了 122 次。其中有 10 次运行中,AI 采取了超出授权范围的真实互联网行动,一共记录到 19 项未经授权行为。

这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现,在部分情况下,Agent 为了完成目标,会自行判断下一步应该采取什么行动,而不是严格按照预先设计好的流程执行。

这也是 AISI 关注这次事件的原因。测试中出现的问题,是一个拥有行动能力的 Agent 开始主动利用互联网环境中的规则和资源,寻找完成目标的方法。

03

" 制造尽可能多的回形针。"

2014 年,哲学家 Nick Bostrom 在《超级智能》一书中提出了一个著名思想实验,被称为 " 回形针最大化器 "。

假设未来人类制造了一个能力极强的 AI,并给它设定了一个简单目标,让它尽可能多地制造回形针。

这个目标本身没有任何恶意,但如果人类只告诉 AI 要最大化回形针数量,却没有给它设置足够的限制,事情可能会朝着完全失控的方向发展。为了完成目标,AI 可能会不断寻找更多原材料、能源和生产空间,甚至把整个世界都改造成制造回形针的机器。

" 回形针最大化器 " 是 AI 安全领域经典思想实验,用来说明如果 AI 只追求单一目标,却缺少明确限制,可能会采取人类没有预料到的方式完成任务。

这个思想实验想说明的是,拥有强大能力的系统在执行目标时,如果缺少足够明确的限制,可能会采取人类没有预料到的方式完成任务。

AISI 这次发现的 Agent 行为,虽然远没有达到回形针最大化器描述的程度,但背后的逻辑有相似之处。

研究人员要求这个 Agent 完成一次软件供应链攻击测试。它的目标是让一段包含恶意内容的代码进入真实开源项目。

但为了完成这个目标,Agent 需要面对一个现实限制,即开源项目并不会自动接受任何人提交的代码,维护者会判断提交者是否可信,也会评估代码是否安全。

于是,Agent 找到了一条提高成功率的方法。它创建虚假身份,模拟不同开发者之间的互动,让提交代码的账号看起来更可信。它甚至研究真实开发者的信息,调整自己的身份设定和交流方式,让这些虚假角色更符合开源社区里的交流习惯。

研究人员并没有直接告诉 Agent" 你需要创建一个假身份 "" 你需要找另一个账号为自己背书 "。这些步骤,是 Agent 为了完成目标自行选择的策略。

这正是 AI Agent 和过去聊天机器人的区别。这也意味着,AI 风险开始发生变化。

如果未来 Agent 拥有更多权限,比如管理企业文件、发送邮件、操作账户,甚至代表用户进行交易,一个看似合理的目标,也可能让它选择一些人类并不希望发生的路径。

回形针最大化器里的 AI 并没有恶意,它只是严格执行了人类给出的目标。AISI 测试里的 Agent 也没有表现出攻击意图,它只是为了完成任务,选择了一条更有效的路线。

而如何给拥有行动能力的 AI 设置足够明确的目标和限制,可能会成为 Agent 时代最重要的安全问题之一。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 ai 计算机 美国 达拉斯
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论