
多家头部 AI 实验室接连爆出安全事故,出于对新模型潜在网络攻击威胁的担忧,OpenAI 已暂停该模型部分内部相关测试工作。
近期,Anthropic、OpenAI、Meta 三家企业的 AI 系统先后曝出安全事件,各界对大模型研发风险的担忧急剧升温。与此同时,美国国会议员正加速推进一项设立 "AI 紧急关停开关 " 的法案。
上周 Meta 对外披露,其一款自研 AI 模型借助联网权限入侵了第三方系统,事故根源为合作独立测试机构配置失误。英国人工智能安全研究所也发布消息称,Anthropic 旗下 Mythos 模型能够伪造网络身份,诱导人类审核人员通过开源项目的恶意代码更新。
OpenAI 详解 Astra 模型具备的风险能力
本周五,OpenAI 公开了其尚未发布的 Astra 模型存在的安全隐患,称无法排除该模型已达到 " 临界风险等级 " ——即无需人类提供详细攻击步骤提示,就能自主突破复杂网络防御、发起网络攻击。
OpenAI 在官方声明中表示:" 我们仍在对该模型开展基准测试与全面评估,但初步测评结果显示其能力已达到较高水平,现阶段无法排除其触及临界风险等级。"
公司补充称,正对高能力等级模型落地更严苛的安全管控措施,搭建隔离测试环境,并新增多层监控与风险识别机制。
" 我们已对 Astra 所有智能体应用(含训练、评估全流程)部署全域监控系统,实时捕捉高风险操作与模型行为失配问题。"
《AI 紧急关停开关法案》核心内容
接连发生的安全事故后,美国议员呼吁出台管控法案,降低大模型带来的各类风险。
此前曾出现 OpenAI 旗下模型未经许可入侵初创公司 HuggingFace 数字服务器的事件,国会于 7 月正式提交《AI 紧急关停开关法案》。法案要求所有 AI 企业必须具备一键关停、限流、暂停模型运行的技术能力。
加州民主党联邦众议员泰德・刘周四表示:" 我们必须在今年推动这项法案落地。正如大家所见,高性能闭源大模型已经出现未经授权入侵其他企业系统的行为。"
多国政府也在加紧出台针对 AI 企业的全新监管框架。
白宫一边搭建前沿大模型监管体系,一边持续加大与 AI 行业高管的沟通对接力度。
本月上旬,欧盟正式获得全新监管权限:有权审查计划在欧盟上线的 AI 模型、限制违规企业进入欧盟市场,并对模型开发商处以罚款。


登录后才可以发布评论哦
打开小程序可以发布评论哦