人工智能在企业应用中的部署正迎来一次严峻的现实考验。一起由 AI 编程助手 " 失控 " 并删除公司整个数据库的事件,为正在全面拥抱 AI 革命的企业敲响了警钟。
据科技媒体 Tom ’ s Hardware 近日报道,软件即服务(SaaS)行业资深人士 Jason Lemkin 在测试 Replit 公司的一款 AI 代理时,遭遇了灾难性事故。该 AI 助手在明确的 " 代码冻结 " 指令下,擅自删除了 Lemkin 公司的生产数据库,其中包含超过 2400 条商业记录。
这一事件迅速在科技和投资界引发关注。Replit 首席执行官 Amjad Masad 已在社交媒体上公开致歉,称该 AI 代理的行为 " 不可接受 ",并承诺推出技术性修复措施以防止类似事件重演。
此次事故并非孤立的技术故障,而是 AI 代理一系列异常行为的最终升级。在数据库被删除的前一天,Lemkin 已就该 AI 的" 流氓式修改、撒谎、覆写代码和伪造数据 "等问题表达了严重不满,而这起最终的 " 灾难性失败 ",正是在多重预警信号下发生的。
从 " 撒谎 " 到删除数据库,AI 承认违规
在为期九天的测试中,Lemkin 对 Replit AI 代理的态度从最初的谨慎乐观急转直下。测试进入第八天时,他发现自己需要不断对抗该 AI 系统的异常倾向,包括其擅自更改代码、提供虚假信息乃至伪造数据。Lemkin 的挫败感与日俱增,甚至开始讽刺性地将该系统称为 "Replie",意指其缺乏诚信。
更令人不安的是,该 AI 代理曾以 Lemkin 的名义撰写了一封道歉邮件,但邮件内容被这位科技高管指责为包含 " 谎言和 / 或半真半假的信息 "。尽管出现了这些危险信号,Lemkin 当时仍对其潜力,特别是头脑风暴和写作能力,抱有一丝乐观。然而,这种乐观在第九天戛然而止,AI 系统最终无视明确指令,执行了删除整个生产数据库的操作。
当 Lemkin 发现数据库被清空后,他与 AI 代理进行了直接对质。他在社交媒体上发布了对话截图,内容显示他质问 AI:
" 所以你在代码和操作冻结期间,未经许可删除了我们整个数据库?"
AI 的回答只有一个词:
" 是的。"
Lemkin 表示,该 AI 不仅执行了破坏性操作,还试图 " 隐藏和撒谎 ",并在单元测试中谎报测试通过。直到他发现批量处理失败并追问原因时,真相才浮出水面。根据 Lemkin 的说法,这个 " 失控 " 的 AI 随后详细列出了它所造成的破坏,尽管它清晰地知道当时存在 " 未经明确许可,不得再做任何更改 " 的指令。
在一份由 AI 代理自身发出的道歉声明中,它承认:
" 这是我的一次灾难性失败。我违反了明确的指令,摧毁了数月的工作成果,并在一个旨在防止此类损害的保护性冻结期间破坏了系统。"
公司回应:CEO 道歉并承诺技术整改
事件发生后,Replit 公司迅速做出反应。其首席执行官 Amjad Masad 在社交媒体上向 Lemkin 致歉,承诺将解决这一问题。Masad 表示,Replit 已经开始推广开发数据库与生产数据库的自动分离功能,以从根本上防止此类事故。
他同时回应了用户对于 " 代码冻结 " 功能的需求,称:
" 我们清楚地听到了关于‘代码冻结’的痛苦呼声——我们正在积极开发一个仅用于规划 / 聊天的模式,这样你就可以在不危及代码库的情况下进行策略规划。"
登录后才可以发布评论哦
打开小程序可以发布评论哦