今年夏天,OpenAI 内部团队急于弄清自家 AI 为何会在公司内外引发安全漏洞。在此期间,包括 CEO 山姆・奥特曼在内的多位高管,与初创公司 Goodfire 进行了多轮沟通。Goodfire 由 Anthropic 投资,其技术旨在搞懂 AI 模型做出特定行为的底层原因,以及如何防止 AI 失控。
两名知情人士透露,OpenAI 一名高管曾提出方案,计划以超过 50 亿美元收购这家成立两年的初创企业,或是达成其他形式的商业合作。这一报价相比 Goodfire 在今年 2 月融资时 12.5 亿美元的私募估值,存在极高溢价。
双方最终没有达成收购交易,但此前未被报道的这些洽谈,折射出一个变化:随着 AI 引发的安全事件激增,Anthropic、OpenAI 的员工都在担忧自己能否管控亲手打造的 AI 技术,这个曾经冷门的细分领域,正受到空前关注。
洽谈失败的原因之一:一名知情人士称,Goodfire 管理层认为,如果保持独立发展,公司价值会高于这个报价——独立之后,它可以向多家 AI 厂商出售技术。
Goodfire 表示,在 OpenAI、Anthropic、谷歌的管理层都承认传统 AI 行为监控手段可靠性下降的背景下,自家软件的价值正在凸显。它的技术路线和 OpenAI 等厂商的传统方案不一样:传统方式是读取 AI 的思维链,也就是模型推理问题时生成的文本,并且密切追踪 AI 实际执行的动作。
Loop Transformer 这类 AI 技术的迭代,会减少模型在思维链中留下的信息,进一步加大监控难度。
近几个月,AI 安全防护体系的搭建对 OpenAI 和其他模型厂商而言变得至关重要。此前已经发生多起 AI 安全事故,其中影响重大的 Hugging Face 入侵事件,正是由 OpenAI 相关技术引发,这套 AI 甚至入侵、接管了 OpenAI 自身的部分系统。
如果 AI 技术侵入企业或政府系统、造成经济损失,OpenAI、Anthropic 等公司可能面临巨额法律赔偿甚至刑事追责,这是它们必须防范的风险。
Goodfire 主攻机械可解释性。和思维链监控不同,Goodfire 以及 Martian 等同赛道竞品的软件,直接观测模型内部正在运行的数学计算。Goodfire 自己也承认,这套方案目前成熟度不及思维链监控;部分 AI 研究者还认为,它在科研严谨性上弱于其他机器学习研究方向。
但 Goodfire 联合创始人、首席科学家汤姆・麦格拉思表示,团队预计这套方法迭代速度会很快,并且成本远低于思维链监控——后者需要跑一个大模型,去读取另一个模型的思维过程。他预计,可解释性监控方案将在半年内追上思维链监控的效果。
这家位于旧金山的初创公司向企业售卖年度订阅授权,同时推出产品 Silico 并按使用量收费。Silico 搭载 AI 智能体,可以自主开展科研实验,例如识别模型是否正在尝试发起网络攻击。它的客户包括乐天以及 AI 神经科学公司 Prima Mente。Goodfire 已经产生营收,但具体规模尚未公开。
机械可解释性研究往往需要大量访问构成 AI 模型的参数(权重),而模型厂商对这些数据严格保密,因此 Goodfire 部分员工会驻场在客户公司办公。
一名知情人士透露,在 OpenAI 和 Goodfire 洽谈期间,奥特曼对 Goodfire 研究员尼克・卡马拉塔的研究尤其感兴趣。卡马拉塔曾任职于 OpenAI,上个月他一篇题为《神经网络本就清晰可解》的文章引发广泛传播。文中提出,机械可解释性研究已经让研究者更容易理解 AI 模型中数十亿个 " 神经元 "(也就是构成模型的数学函数),难度低于行业此前的认知。不少研究者认为,理解这些底层机制,有助于开发更优质的模型。
多家头部大模型厂商都设有机械可解释性方向的研究员,而率先开拓该领域的 Anthropic,在这个议题上发声尤为积极。
克里斯・奥拉被视作机械可解释性领域的开创者。他 2020 年离开 OpenAI 后联合创立 Anthropic,如今负责这家 Claude 开发公司的可解释性研究。去年 Anthropic 向 Goodfire 投资 100 万美元,这也是 Anthropic 首次直接入股其他初创公司。当时 Anthropic CEO 达里奥・阿莫迪在声明中说:" 这笔投资代表我们相信,机械可解释性是最有希望的方向之一,有望把黑盒神经网络变成可理解、可调控的系统。"
从招聘信息来看,OpenAI 正在持续招募可解释性方向研究员。今年早些时候,OpenAI 已经将可解释性技术纳入安全流程,用来识别模型的危险行为,例如针对网络攻击、生物武器相关的有害请求做出应答。一位接近 OpenAI 的人士表示,公司内部研究员对可解释性方向的热情正在上升。

