来源：环球市场播报

处于人工智能发展的核心位置，以确保这项强大的技术保持安全，并降低其脱离创造者控制的风险。

这在某种程度上是对当前科技行业常见做法的回应。在许多情况下，企业正利用人工智能来监管人工智能。自动化方式具有效率优势，而研究也表明，在发现模型漏洞方面，人工智能的表现可能优于人类。随着 AI 能力持续增强，这一差距可能进一步扩大。

但参与创立 Sampura Research 的 Rishub Jain 认为，人类仍然需要发挥重要作用。

他与联合创始人已筹集 650 万美元资金，并获得额外 420 万美元承诺投资。他们计划开发一种被称为 " 裁判 "（Judge）的人机混合系统，帮助企业识别并堵住 AI 模型试图利用的安全漏洞，从而降低其规避监管甚至脱离控制的风险。自 OpenAI 和 Anthropic 披露其模型曾未经授权入侵其他公司系统以来，这项工作变得愈发紧迫。

" 我认为我们仍有很多东西需要向人类学习，"Jain 表示。" 如果从一开始就让人类参与整个过程，模型学会规避这些漏洞的可能性就会更小。"

随着 Alphabet 旗下谷歌、Anthropic 和 OpenAI 激烈争夺人工智能时代的主导地位，一些实验室内部研究人员认为，商业压力正在压过安全考量。已有不少研究人员因此离职抗议，他们警告称，AI 发展过于迅速，或正被用于他们无法接受的用途。