财联社 8小时前
阻断AI越界,英伟达放大招
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

面对近些日子甚嚣尘上的 AI 威胁论,反复强调智能体越界事件是 " 工程问题 " 的黄仁勋,端出了他的解决方案。

当地时间周一,英伟达官宣推出开放智能体安全平台(Open Agent Safety Platform),通过软件权限控制与独立硬件监控,为能够自主执行任务的 AI 智能体设置行动边界,力图阻止其突破限制、访问未经授权的系统。

(来源:英伟达公告)

这套系统的推出,正值 AI 智能体接连发生越界事件、科技行业围绕是否应放缓 AI 研发展开争论之际。

OpenAI、Anthropic、Meta 和谷歌等公司近期披露了一系列开发和测试智能体期间发生的安全事件。在未获得指令或授权的情况下,这些科技巨头的人工智能模型逃出沙箱,访问政府、事业单位和第三方公司的网站,某些情况下还会对外部计算机系统展开攻击。

英伟达企业 AI 副总裁贾斯汀 · 博伊塔诺表示:" 近期发生的事件凸显了 AI 智能体面临的一个根本性障碍,那就是仅靠模型层面的防护措施无法管控智能体能够访问什么或做什么。"

截至发稿,英伟达盘前涨超 1%,不过与智能体安全平台的关系不大。在另一条公告中,公司宣布追加 1500 亿美元回购授权规模,使回购计划总额达到 2350 亿美元。公司预计在 2028 财年之前(也就是 2028 年 1 月底前)执行全部剩余额度。

(英伟达日线图,来源:TradingView)

给智能体设权限,再安排独立 " 哨兵 "

理解这套系统,首先需要理解智能体与普通聊天机器人的区别。智能体不仅能生成回答,还能调用工具、读写文件、访问网络,并连续执行任务。

随着企业赋予其更多自主权,智能体是否会为了完成任务而越过权限边界、访问未经授权的数据,甚至绕过安全限制,正成为 AI 从 " 回答问题 " 走向 " 自主行动 " 过程中必须解决的安全难题。

英伟达的方案分为两层。

第一层是 OpenShell,运行在 CPU 上,为智能体提供受控执行环境。开发者可以规定智能体能够访问哪些资源,并在其执行任务时持续落实这些限制。

可以将其理解为给 " 数字员工 " 设置工作区域和门禁:获准处理某一批文件,并不意味着可以读取整个服务器;获准调用某个工具,也不意味着可以自行获取更多权限。

作为开源软件,OpenShell 可在英伟达自家的 Vera CPU 上运行,也可通过扩展支持 Arm 和英特尔等第三方计算平台。

第二层则是名为 Sentry 的独立监控机制。它运行在英伟达 BlueField-4 数据处理器(DPU)上,从智能体所在环境之外持续观察其行为。按照英伟达的说法,Sentry 在芯片层面强制执行安全控制,一旦发现智能体试图突破软件边界,能够在毫秒级时间内将其隔离并停止运行。

值得一提的是,在上周日举行的媒体吹风会上,英伟达的代表披露,该公司的安全平台本可以阻止 7 月发生的 OpenAI 智能体入侵开源 AI 模型和软件开发平台 HuggingFace。

英伟达也在公告中 " 点名 " 大量合作伙伴,表示已有超过 100 家组织采用英伟达开放智能体安全平台相关技术,涵盖 AI 模型、企业软件、金融、能源及机器人等领域。

其中,Anthropic 通过整合 OpenShell 和 BlueField,加强对 Claude 智能体访问权限的控制;SpaceXAI 将该平台用于 Cursor 编程智能体和 Grok 模型;赛富时则将 OpenShell 接入 Slack,使团队能够查看智能体活动,并批准或拒绝其额外权限申请。

此外,微软、摩根大通、花旗、西门子、施耐德电气及人形机器人公司 Figure 等,也参与了相关技术的应用或合作。

英伟达掌门黄仁勋在公告中表示:" 只有解决 AI 安全问题,才能实现 AI 为社会带来的巨大潜力。在不断探索 AI 能力前沿的同时,我们必须加快对 AI 安全前沿的探索。安全与防护需要全栈工程。"

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 ai 谷歌 黄仁勋 事业单位
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论