财联社-深度 昨天
OpenAI CEO详谈放慢AI发展脚步原因:未来或走向两大极端,均可能失控!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

财联社 9 月 15 日讯(编辑 黄君芝)过去一周,人工智能安全担忧加剧,起因是 Anthropic 一名研究员离职后,引发多家前沿实验室员工纷纷公开警告灾难性风险。上周末,人工智能(AI)行业三大 " 领头羊 " 更是一致呼吁放慢技术发展脚步。

在周一最新发布的帖子中,OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)详细阐述了人工智能行业希望放慢脚步的方式与原因,并再次警告称 " 我们可能会失去控制 "。

奥尔特曼周一于 X 平台上发帖指出," 人工智能的发展有两种可能走向极端,我们必须避免。"

首先,我们可能会失去对未来的控制权,拱手让给人工智能。这是不可接受的;我们坚定地站在人类一边,人工智能必须始终服务于人类。为了确保这一点,我们需要采取措施,确保人工智能的协调和安全技术始终领先于模型能力的提升。

其次,我们可能会陷入权力过度集中的世界。如果一个人或一家公司利用极其强大的人工智能将他们的世界观强加于所有人,其后果可能是极其反乌托邦的。

他在 X 平台上的发文,紧随 Anthropic 公司首席执行官达里奥 · 阿莫代伊(Dario Amodei)上周六发表的文章之后。阿莫代伊在文章中敦促人工智能公司放慢其最先进模型的升级速度,并得到了埃隆 · 马斯克和奥尔特曼的一致支持。

周一,AI 概念股齐跌,投资者正在消化相关言论。美国总统特朗普则一再强调,放缓步伐并无必要,且将危及美国在人工智能领域的领先地位。周一,特朗普再次发帖称," 那些说人工智能会毁灭世界,说数据中心对你的社区有害的人,正是不久前还说‘气候变化’会毁灭世界的人。"

" 就人工智能而言,在商业史上,何时有人见过哪个行业的领导者呼吁制定监管措施,而这些措施如果得到强力执行,将会使他们走向灭亡和破产?" 他补充道。

自上周一名 Anthropic 研究员离职以来,安全担忧持续升温。该研究员警告称,业界对此重视不足,这促使 Anthropic 实验室其他员工及竞争对手 OpenAI 的员工公开警示灾难性风险。而这一切都发生在 Anthropic 和 OpenAI 为预期中的历史性 IPO 做准备之际,尽管奥尔特曼已排除了 2026 年上市的可能性。

而许多关于人工智能安全的担忧,都围绕着模型发展出提升自身性能的能力,即递归自我改进(简称 RSI)。

阿莫代伊在其文章中表示:" 大约从今年夏天起,人工智能的发展速度急剧加快,主要驱动力来自于人工智能自身在构建下一代人工智能方面不断增强的能力。如果任其发展,它可能会超越我们理解和控制这些系统的能力,因此,即便要推进这一进程,也必须极其谨慎。"

阿莫代伊特别表示,他的公司将实施新的安全措施,例如引入第三方评估人员,奥特曼也表示," 承诺让独立评估机构获得类似员工的访问权限,是一个很好的想法,我们也会这么做。我们很快会分享更多信息。"

奥尔特曼在周一的帖子中进一步表示:" 制定一致的规则来管理前沿风险,以便我们能够最大化收益,这是一个好主意(我们对独立审计员等想法感到兴奋)。但当我们谈论‘节奏’时,我们并不是指‘停止’。进展一直很快,而且将继续保持下去。"

" 这种节奏的代价是值得的;无论美国施加多大的竞争压力,都不应成为鲁莽行事的理由,也不应让能力发展超越对齐与监控的约束。我们需要政府帮助的地方在于国际协调。但首先,我们应该自己尽力而为。" 他补充道。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

人工智能 特朗普 首席执行官 美国 ipo
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论