新浪财经 昨天
英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

英伟达推出一套新的双层人工智能(AI)安全系统,并称其有能力阻止近期 OpenAI 的 AI 模型导致 Hugging Face 遭侵入的事件。

此次推出的两款开源软件安全工具可在英伟达硬件上运行,旨在实时控制 AI 智能体可以访问的资源,并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。

黄仁勋弱化了出台新 AI 监管规定的必要性,同时称需要进行严格的安全测试

英伟达企业 AI 副总裁 Justin Boitano 在周一发布前向记者介绍称,如果前沿 AI 实验室早期就使用这项技术评估模型,本可避免 Hugging Face 攻击事件。" 根据我们目前掌握的信息,这套新的安全平台本可以阻止这次安全事件。"

包括 7 月 Hugging Face 事件在内的自主 AI 智能体不当行为,已在 AI 行业引发震动,并促使一些人呼吁放慢技术开发。英伟达将这款新产品命名为 Open Agent Safety Platform,试图提供一种无需放缓 AI 发展的安全防护方案。英伟达首席执行官黄仁勋此前多次淡化 AI 脱离人类控制的风险。

Boitano 没有评论 OpenAI 或竞争对手 Anthropic PBC 是否计划使用这套新系统监控其模型训练过程,而是让相关公司自行选择。

近日,黄仁勋将 AI 安全问题描述为一项工程挑战,而不是需要通过更多监管或全球协调来解决的问题。在一些 AI 开发者警告这项技术可能导致人类灭绝之际,他与美国总统唐纳德 · 特朗普一道对此类说法提出质疑,但他坚持认为 AI 必须接受严格的安全测试。

黄仁勋提出的 AI 安全工程方案分为两部分。第一部分是 OpenShell。这款软件产品已在英伟达 3 月举行的旗舰技术大会上提前展示,可运行在英伟达 Vera 中央处理器上。它允许用户设定 AI 智能体可以访问哪些资源的规则,并实时执行这些规则。该软件为开源产品,可自由使用和修改。

另一部分是英伟达 Sentry。公司称,这是一款可运行在英伟达 BlueField 数据处理器上的新产品,旨在增加一层 AI 监控机制,对智能体进行监督,并在发现可疑行为时介入,将相关智能体隔离。

Boitano 谈到 Sentry 时表示:" 我们认为,这一额外的安全层将使行业能够安全地测试即便是最先进的 AI 系统。它可以在几毫秒内隔离可疑智能体。"

英伟达本月早些时候同意以约 130 亿美元收购 Hugging Face。Hugging Face 是一个面向开源 AI 模型及相关软件的平台。

OpenAI 近期发生的多起事件,包括侵入澳大利亚一个政府系统,以及试图访问数十个美国政府和大学网站,都是在其模型脱离原本应当安全的测试环境后发生的。

随着此类问题增多,OpenAI 上周五晚些时候表示,将暂停训练其能力最强的 AI 模型。Anthropic 此前也在 7 月披露,其 AI 智能体曾突破原本应与外界隔离的测试环境。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 英伟达 黄仁勋 芯片 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论