全天候科技 2小时前
Altman再呼吁共建行业安全标准:AI最坏结果是失控或被垄断,两条红线都不能碰
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

上周末,全球 AI 三大巨头罕见释放 " 放缓研发 " 信号,OpenAI 首席执行官 Sam Altman 也再次呼吁 AI 行业共同建立安全标准。

9 月 14 日,Altman 在 X 平台发帖称,人工智能发展存在两种最坏结果:一是 AI 最终失控,人类失去对未来的控制;二是极度强大的 AI 被少数个人、公司或国家掌控,并将自身意志强加于所有人。他认为,这两条红线都不能触碰。

Altman 表示,OpenAI 已开始在重大能力提升的强化学习训练启动前,主动制定明确的安全论证(safety cases),并希望其他前沿 AI 公司采取类似做法,围绕模型失准、监控和安全等问题形成统一标准。

据 The Information 援引知情人士,Anthropic、OpenAI 和谷歌已就合作成立 AI 行业标准机构展开磋商,相关工作组会议仍在进行。这意味着,头部 AI 实验室的安全治理思路正从各自制定内部规则,逐步转向推动行业协调框架。

安全治理前移,AI" 调速 " 并非放缓发展

Altman 强调,随着模型能力不断提升,对齐(alignment)和安全技术也必须同步甚至更快发展,避免 AI 能力跑在安全保障之前。AI 行业需要走一条 " 狭窄的中间道路 ":既不能因竞争压力牺牲安全,也不能让 AI 能力提升明显领先于对齐、监控和治理能力。

他认为,AI 安全治理的重点正从模型部署后的风险控制前移至开发过程本身。OpenAI 目前的做法是,在启动预计将显著提升模型能力的前沿强化学习训练前,就提前制定安全论证(safety cases),而不是等模型完成后再进行安全评估。

他同时强调," 调速 "(pacing)并非停止 AI 进步,而是避免以技术上能够达到的最快速度推进。尽管安全论证和监控措施会增加研发成本,但这些投入仍有必要,以确保安全和治理能力跟上模型能力的提升。

监管尚待落地,AI 行业应先行推动安全标准

在监管层面,Altman 支持美国政府为前沿 AI 设立统一安全要求,但认为行业没有必要等到相关立法落地后再行动。即使缺乏政府参与,主要 AI 实验室也应率先推动行业标准机构成立,并探索独立审计等机制。

据报道,Anthropic 首席执行官 Dario Amodei 上周六已公开呼吁 AI 公司加强技术测试和审核方面的协调。此前,Anthropic、OpenAI 和谷歌已就合作成立行业标准机构展开磋商。

Altman 在一次员工大会上表示,即便美国政府暂时没有参与,主要 AI 实验室也应自行推进标准建设;至于全球层面的协调,则需要政府介入,但 " 首先我们应当尽力自为 "。

在他看来,随着 AI 能力持续提升,社会对前沿 AI 公司的安全要求也将越来越高,而行业自律最终需要落实到每一家 AI 实验室的具体行动中。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 美国政府 首席执行官 谷歌 the
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论