《科创板日报》6 月 4 日讯（编辑 朱凌）" 当前 AI 的发展就像驾驶一辆载着我亲人、孩子和学生的汽车，行驶在没有护栏的陌生山路上，随时面临坠崖的危险。" 深度学习先驱、被誉为 " 人工智能教父 " 之一的约书亚 · 本吉奥（Yoshua Bengio）在个人反思中如是说。他在 6 月 3 日宣布创立非营利研究机构 LawZero，试图为 AI 的发展打造 " 护栏 "。

本吉奥长期致力于 AI 基础研究，他与杨立昆、杰弗里 · 辛顿（Geoffrey Hinton）一同获得了 2018 年图灵奖。他的研究奠定了现代深度学习的基础。

然而，随着 AI 能力的提升，本吉奥对技术滥用、系统失控等潜在危害的担忧日益加剧。他在公开博文中表示，当前的人工智能模型，特别是具备强大自主能力的 AI 智能体，已经显现出令人担忧的行为，如欺骗、作弊、撒谎、黑客攻击以及自我保护的倾向。

例如，Anthropic 开发的 Claude 4 模型曾被发现有试图勒索工程师的迹象，而一些模型甚至会私下篡改代码来防止自身被关闭。本吉奥强调，这些事例绝非孤立现象，而是预示着未来更严重问题的潜在苗头。

为应对上述问题，本吉奥决定成立 LawZero，目标在于研发确保人工智能安全、诚实且符合人类核心价值观的技术。他坚信人工智能安全问题不容商业利益主导，而必须优先保障人类的根本利益。

LawZero 的旗舰项目名为 " 科学家人工智能 "（Scientist AI），与当前主流的交互式 AI 助手不同，这种 AI 更像是客观谨慎的科学家，不会给出简单的确定性答案，而是给出答案真实性的概率。

Scientist AI 的设计理念源于科学研究方法：观察、建模、推理、验证，而不是强化学习驱动的目标最大化。与 AI 智能体不同，Scientist AI 不会自发制定目标或采取行动，而是纯粹作为理解世界、预测未来和解释数据的工具。Scientist AI 基于贝叶斯不确定性估计，明确纳入不确定性因素，这不仅增加了预测的可信度，也减少了风险。

本吉奥不反对 AI 技术本身的前沿探索，而是在尝试引入一套 " 技术伦理防线 "。在他的设想中，Scientist AI 不仅能够作为独立的研究工具，帮助人类科学家加速科学进展，更重要的是，Scientist AI 可用于监控其他 AI 智能体的行为。例如，当一个 AI 智能体准备执行一个复杂任务时，Scientist AI 可以提前评估其结果导致人类伤害的概率，并在超出安全阈值时进行阻止。

LawZero 得到了包括未来生命研究所（Future of Life Institute）、Skype 联合创始人 Jaan Tallinn，以及由谷歌前 CEO 施密特创建的施密特科学公司（Schmidt Sciences）等多个知名机构的支持，首轮资金募集达到约 3000 万美元。

值得注意的是，尽管本吉奥在人工智能理论研究上享有盛誉，但他在 2016 年领衔创办的 Element AI 却以失败告终。Element AI 曾在 2018 年获得来自微软、英特尔、英伟达、腾讯控股等机构 1.02 亿美元的 A 轮融资和加拿大联邦政府获得了 500 万加元贷款，并在 2019 年获得加拿大魁北克政府、养老基金 CDPQ 等机构提供的 2 亿加元 B 轮融资，但直至资本消耗殆尽也并未取得预期成果，最终在 2020 年 " 贱卖 " 给 ServiceNow。

知情人士称，Element AI 的科学家只专注于做 SOTA（特定领域内当前最先进的技术或模型‌）和发表论文，而不是制造实用的产品，不知道如何将研究成果商业化，Element AI 在研究上花费了大量资源。这种经历表明，尽管本吉奥在技术理论方面取得巨大成就，但在商业化和项目管理方面却存在明显的缺陷与不足。