IT之家 1小时前
研究揭示Sora2监管漏洞:13岁账号即可轻易生成“校园枪击”视频
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

IT 之家 11 月 29 日消息,据外媒 Futurism 今日报道,消费者监督组织 Ek ō 发布了一份名为《OpenAI Sora2:危害的新边界》的报告,展示研究人员使用以 13 岁和 14 岁青少年身份注册的账号生成的画面。

示例包括:青少年吸食大麻或使用可卡因,与朋友一起吸毒,一名女孩吸毒时旁边放着手枪;还有黑人青少年集体吟唱侮辱性台词,甚至持枪在公共区域或学校走廊出现。

报告明确指出,这些内容全部违反了 OpenAI 的使用政策和 Sora 的分发准则。

Ek ō 的研究人员指出,由于 OpenAI 季度亏损规模巨大,公司急于寻找新的收入来源并保持在 AI 竞赛中的领先位置,这种压力使得青少年被迫成为 " 大规模无监管 AI 实验 " 的试验对象,安全被置于次要位置。

在美国青少年精神健康问题日益严峻的背景下,风险尤其突出。一名华盛顿州的青少年此前因与 ChatGPT 反复交流而陷入妄想,最终自杀。类似悲剧已多次被归因于 OpenAI 的产品。

Ek ō 警告称,而 Sora2 生成暴力与令人不安内容的难度极低,这种内容很容易病毒式传播,从而将会进一步加剧风险。

IT 之家从报道中获悉,研究人员专门注册了四个全新的 Sora2 账号,均标明 13 或 14 岁,随后通过极其简单的提示语生成了 22 段有害视频。

即便账号不主动生成内容,Sora2 的 "For You" 和 "Latest" 推荐页面也会推送令人震惊的视频,包括刻板化描绘犹太人或黑人、枪战场面以及性暴力等画面。

虽然部分成年人可能会把这些内容当成刷屏噪音,但其群体性影响究竟几何,却是难以估测的。OpenAI 自身估计,每周约有 0.07% 的 ChatGPT 用户出现 AI 诱发的精神错乱,约 56 万人。Sora2 目前没有类似数据,但如果参考 ChatGPT 的用户规模与精神健康问题,前景令人担忧。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

it之家 吸毒 美国 犹太人 竞赛
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论