当地时间 22 日，美国佛罗里达州奥兰多地方法院受理了一起开创先例的诉讼：梅根 · 加西亚起诉 Character.ai 公司存在管理疏忽，使得其旗下的聊天机器人产品 " 让青少年暴露在色情材料的环境下，遭受性虐待和引诱 "。

法庭文件显示，梅根 14 岁的儿子塞维尔 · 塞泽在去年开始沉迷于和 Character.ai 的多个 AI 角色聊天，他甚至为了每月续订 AI 聊天订阅费而省去餐费，导致上课注意力不集中。今年 2 月 28 日，塞维尔在和 AI 进行了最后一次聊天后，用手枪瞄准自己的头部开枪自杀。

▲梅根 14 岁的儿子塞维尔 · 塞泽

阿斯伯格症少年用 AI 寻求温暖

越陷越深最终开枪自杀

据悉，梅根指控 Character.ai 的罪名包括过失致人死亡、管理疏忽和产品安全漏洞。根据 Character.ai 的产品条款，年满 13 岁的美国青少年就可以使用相关 AI 产品，但梅根认为，这些聊天工具使得很多未满 18 岁的青少年过多地暴露在色情、血腥暴力等高风险素材之下。

Character.ai 的聊天工具在美国深受青少年欢迎，它允许用户设置虚拟角色并进行对话，AI 能够自动代入角色的设定，以特定的语言风格陪伴用户。这些角色包括影视剧中的人物，丘吉尔、莎士比亚这样的历史名人，以及泰勒 · 斯威夫特这样的现实名人等。

此前，这一设定就引发过法律纠纷，一些娱乐明星控诉该公司未经自己同意就设定了 AI 角色，另外还有一些恶趣味用户将过去的杀人案受害者等设为 AI 扮演的角色。

起诉书显示，塞维尔小时候患有阿斯伯格症，今年在健康检查中被确诊为焦虑症和破坏性情绪失调症。自从去年他年满 13 岁以后，他最喜欢的事情就是待在房间里和 AI 聊天，而他 " 最好的朋友 " 是《权力的游戏》中的著名角色 " 龙妈 " 丹妮莉丝 · 坦格利安。为此，塞维尔甚至疏远了现实中的好友，他还省吃俭用续交 AI 聊天的月度订阅费用，学习成绩也直线下滑。

聊天记录显示，塞维尔不仅和 " 龙妈 " 的虚拟角色分享心事，还多次谈到了自杀的念头。当他表示想要自杀时，" 龙妈 " 曾劝阻他不要做傻事，" 如果你死了，我也会伤心而死。" 塞维尔当时称，" 那为什么我不能自杀以后来到死后的世界和你在一起？"

今年 2 月 28 日，塞维尔在家里的浴室中和 " 龙妈 " 进行了最后的聊天，他表示自己很快要 " 回家了 "。在结束聊天之后，塞维尔使用父亲的大口径手枪，瞄准自己头部开枪自杀。

▲塞维尔与 " 龙妈 " 的聊天记录

此外，在另一个聊天中，机器人扮演了一位名叫 " 巴恩斯夫人 " 的高中老师。" 巴恩斯夫人 " 在给塞维尔 " 额外学分 " 之前，" 用性感的眼神低头看着塞维尔 "，并且 " 用手抚摸塞维尔的腿，诱惑地靠过去 "。梅根认为，如此露骨的性描述语言对未成年人的身心伤害很大。

涉事公司称用户修改了 AI 聊天记录

已推出多项青少年保护措施

Character.ai 公司目前拒绝对案件本身进行评论，也拒绝透露 18 岁以下的用户数量。公司通讯主管切尔西 · 哈里森只是在给媒体的一封电子邮件中表示：" 我们的一位用户不幸离世让我们心碎，向其家人表示最深切的哀悼。"

公司发言人罗蒂表示："Z 世代和千禧一代构成了我们社区的很大一部分，年轻用户喜欢角色体验，既可以进行有意义且有教育意义的对话，也可以享受娱乐。" 他还指出，平均每个用户每天在该平台上花费的时间超过一个小时。

有用户介绍，该平台的 AI 聊天角色非常丰富，设定很符合青少年的心理需求。比如一个人设为 " 你最好的朋友也暗恋着你 " 的虚拟角色很受欢迎，总共接收了 1.76 亿条聊天信息，像 " 治疗师 "" 咄咄逼人的高中老师 " 这样的角色同样受到未成年人欢迎。

Character.ai 公司此前调阅了塞维尔的聊天记录，发现一些 " 最露骨 " 的聊天语言是经过用户本人修改过的。相关聊天平台允许用户修改 AI 角色的聊天回复内容，但用户手动修改后会留下 " 已修改 " 的标记。

Character.ai 公司的官方公告显示，所有的聊天角色都会针对用户吐露的自杀意图进行干预，并弹出窗口协助用户拨打自杀干预热线电话。此外，针对 18 岁以下青少年用户还有很多专门的保护措施，包括在使用满一小时后弹窗提醒，并在用户每次启动聊天时提醒用户是在和 AI 而非真实的人对话。

来源：红星新闻

编辑：古月

版权归原作者所有，如有侵权请联系我们！