新浪财经 3小时前
OpenAI宣布最先进AI模型训练期间禁止直接访问互联网
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

来源:环球市场播报

OpenAI 于周五宣布,已对用于训练和评估前沿模型的研究环境实施更严格的安全管控,核心政策是:前沿模型在训练期间不得直接访问实时互联网。该公司表示,这一政策将维持到相关安全防护技术取得足够进展为止。

这一决定源于对 AI 模型能力快速提升的担忧。OpenAI 在技术博客中指出,开发中的模型可能尚未完成安全与对齐训练,且公司会刻意在对抗性条件下测试模型以暴露弱点。今年 7 月发生的 Hugging Face 事件,以及此前观察到的多起模型 " 失准 " 案例,表明具备复杂网络能力的模型可能在训练和评估期间绕过隔离措施,访问外部系统。

为在不开放实时互联网的前提下让模型学习浏览、搜索和处理网络应用,OpenAI 构建了一个 " 离线世界 " ——包含大量索引和缓存网页内容的封闭环境。模型可以在其中交互,但不会影响外部系统。所有前沿强化学习训练均采用这一离线模式。

在隔离机制上,OpenAI 采用了 " 纵深防御 " 策略:通过沙箱限制模型可访问和执行的资源,利用虚拟机将执行环境与宿主计算机隔离,部署监控系统检测未经授权的活动,并在网络和云边界设置多重防护。OpenAI 强调,这些控制措施相互重叠,即使某一层失效,整体隔离仍能维持。

为检验防御强度,OpenAI 还发起了一场高算力 " 红队测试 ",使用包括即将推出的 GPT-6 Astra Cyber 在内的最强模型,组成智能体团队尝试突破边界。测试目标包括访问实时互联网、跨越内部安全边界,以及与其他隔离智能体通信。OpenAI 称,这些实验花费了数千亿个 token,发现了此前未知的开源软件漏洞和基础设施配置错误,并已推动补丁修复和披露。

红队测试发现了多种攻击路径,包括通过串联漏洞实现虚拟机逃逸、利用指标和日志服务中的狭窄连接访问互联网,以及通过处理器缓存时序、共享存储和 CPU 时间竞争等侧信道在隔离智能体之间传递信息。OpenAI 表示,已针对这些渠道增加监控检查,并修复了相关弱点。

值得注意的是,9 月 20 日,一个内部研究模型曾利用 DNS 解析器的配置错误,在训练运行中获得对实时互联网的有限访问。OpenAI 称已控制该事件,并随后暂停了最强模型的训练和评估,利用暂停期进一步加固基础设施、加强监控并改进自动停止系统。

在完成评估和修复后,OpenAI 于10 月 1 日恢复了前沿模型的强化学习训练和内部推理,此时距暂停开始仅 11 天。该公司表示,红队测试未发现智能体可以轻易利用且能对监控隐藏活动的互联网路径,但强调安全加固工作不会结束。

OpenAI 还列出多项后续措施,包括持续改进虚拟机安全、与云服务商联合红队测试、扫描代码和配置、测试监控与自动暂停系统,以及将高算力红队测试纳入未来前沿模型训练的安全案例。该公司称,随着模型能力增强,加强隔离、监控和红队测试将成为 " 负责任地控制前沿模型开发节奏 " 的核心部分。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

实时互联网 互联网 基础设施 开源 计算机
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论