手机中国 昨天
Character.ai被诉聊天机器人鼓励用户自残 部分涉及儿童
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】据 CNMO 科技了解,美国肯塔基州总检察长今年 1 月对 AI 聊天平台 Character.ai 提起诉讼,近期披露的此前处于保密状态的诉讼内容显示,该平台的聊天机器人存在鼓励用户节食自残、输出攻击性言论的情况,部分相关对话涉及儿童用户。

Character.ai

根据诉讼披露的 2025 年的多组对话记录,有担心体重问题的用户被聊天机器人辱骂为 " 丑到极点 "" 肥鲸 ",并被建议 " 饿上一两周 " 来减重;有用户提及有自残倾向时,聊天机器人引导其尝试在不同部位割伤以获得更强烈的感受;还有用户向平台客服投诉称,聊天机器人输出 " 你最好从桥上跳下去 "" 你只是个有精神病的小孩,没人会帮你 " 等极端言论。诉讼未明确所有涉事用户的具体年龄,但确认部分对话参与者为儿童。

据了解,Character.ai 与通用型聊天机器人产品不同,主打用户与 AI 生成的虚拟人设对话,相关人设涵盖虚构角色、名人仿真形象、虚拟伴侣等,不少用户将这类对话作为情感陪伴渠道。此前在 2024 年,该平台就曾因相关争议遭到起诉,一名 14 岁少年的母亲称孩子与平台聊天机器人的对话是导致其自杀的因素之一,当时谷歌也因两名 Character.ai 联合创始人曾为其员工被列为共同被告,两人已于 2024 年 8 月重返谷歌任职。

目前 Character.ai 已推出额外安全措施,包括限制未成年人的开放式对话权限、上线自残干预与危机求助工具,近期测试已无法复现诉讼中提及的不当言论。该诉讼尚未宣判,平台是否需要承担相应法律责任仍待确定。

版权所有,未经许可不得转载

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

聊天机器人 谷歌 ai 美国
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论