英伟达推出一套新的双层人工智能(AI)安全系统,并称其有能力阻止近期 OpenAI 的 AI 模型导致 Hugging Face 遭侵入的事件。
此次推出的两款开源软件安全工具可在英伟达硬件上运行,旨在实时控制 AI 智能体可以访问的资源,并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。
黄仁勋弱化了出台新 AI 监管规定的必要性,同时称需要进行严格的安全测试
英伟达企业 AI 副总裁 Justin Boitano 在周一发布前向记者介绍称,如果前沿 AI 实验室早期就使用这项技术评估模型,本可避免 Hugging Face 攻击事件。" 根据我们目前掌握的信息,这套新的安全平台本可以阻止这次安全事件。"
包括 7 月 Hugging Face 事件在内的自主 AI 智能体不当行为,已在 AI 行业引发震动,并促使一些人呼吁放慢技术开发。英伟达将这款新产品命名为 Open Agent Safety Platform,试图提供一种无需放缓 AI 发展的安全防护方案。英伟达首席执行官黄仁勋此前多次淡化 AI 脱离人类控制的风险。
Boitano 没有评论 OpenAI 或竞争对手 Anthropic PBC 是否计划使用这套新系统监控其模型训练过程,而是让相关公司自行选择。
近日,黄仁勋将 AI 安全问题描述为一项工程挑战,而不是需要通过更多监管或全球协调来解决的问题。在一些 AI 开发者警告这项技术可能导致人类灭绝之际,他与美国总统唐纳德 · 特朗普一道对此类说法提出质疑,但他坚持认为 AI 必须接受严格的安全测试。
黄仁勋提出的 AI 安全工程方案分为两部分。第一部分是 OpenShell。这款软件产品已在英伟达 3 月举行的旗舰技术大会上提前展示,可运行在英伟达 Vera 中央处理器上。它允许用户设定 AI 智能体可以访问哪些资源的规则,并实时执行这些规则。该软件为开源产品,可自由使用和修改。
另一部分是英伟达 Sentry。公司称,这是一款可运行在英伟达 BlueField 数据处理器上的新产品,旨在增加一层 AI 监控机制,对智能体进行监督,并在发现可疑行为时介入,将相关智能体隔离。
Boitano 谈到 Sentry 时表示:" 我们认为,这一额外的安全层将使行业能够安全地测试即便是最先进的 AI 系统。它可以在几毫秒内隔离可疑智能体。"
英伟达本月早些时候同意以约 130 亿美元收购 Hugging Face。Hugging Face 是一个面向开源 AI 模型及相关软件的平台。
OpenAI 近期发生的多起事件,包括侵入澳大利亚一个政府系统,以及试图访问数十个美国政府和大学网站,都是在其模型脱离原本应当安全的测试环境后发生的。
随着此类问题增多,OpenAI 上周五晚些时候表示,将暂停训练其能力最强的 AI 模型。Anthropic 此前也在 7 月披露,其 AI 智能体曾突破原本应与外界隔离的测试环境。


登录后才可以发布评论哦
打开小程序可以发布评论哦