IT 之家 6 月 4 日消息，金融时报（FT）昨日（6 月 3 日）发布博文，报道称 "AI 教父 " 约书亚・本希奥（Yoshua Bengio）成立 LawZero 非营利组织，致力于开发 " 诚实 " 的 AI 系统，用以识别 " 流氓 "AI 系统。

IT 之家简要介绍下本希奥，他是来自蒙特利尔大学的教授，因与 Geoffrey Hinton、Yann LeCun 共享 2018 年图灵奖（被视为计算机领域的诺贝尔奖），而被誉为 "AI 教父 "。

LawZero 的使命是开发一种 " 诚实 " 的 AI，专门监控那些无需人类干预即可执行任务的 AI 智能体，防止它们表现出欺骗或自我保护行为，例如试图阻止人类关闭系统。

本希奥正在研发的系统名为 Scientist AI，旨在成为 AI 智能体的 " 守卫 "。他将现有的 AI 智能体比作 " 演员 "，它们模仿人类、取悦用户，而 Scientist AI 则更像一位 " 心理学家 "，能够理解并预测不良行为。

该系统不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种 " 谦逊 " 态度。它还能预测 AI 智能体行为导致危害的概率，若概率超过阈值，系统将阻止相关行动。

LawZero 的初始支持者包括 AI 安全机构 Future of Life Institute、Skype 创始工程师 Jaan Tallinn 以及前谷歌 CEO Eric Schmidt 创立的 Schmidt Sciences。LawZero 初始资金约 3000 万美元，拥有十余名研究人员，本希奥担任主席。

本希奥表示，该项目第一步是验证该概念的方法论是否可行，随后说服企业或政府支持更大规模、更强大的版本。他计划从开源 AI 模型入手训练系统，并呼吁投入更多资源，确保 " 守卫 "AI 与前沿 AI 同步发展。他警告，若 AI 智能体能在无人类监督下完成更长任务序列，可能引发 " 严重 " 破坏。