导语:大洋彼岸一起不幸事件与中国监管部门一份新规,共同将人工智能 " 拟人化 " 带来的伦理挑战推向公众视野。
近日,大洋彼岸的一起不幸事件与中国监管部门的一份新规草案,共同将人工智能(AI)" 拟人化 " 带来的伦理挑战推向了公众视野。
" 过度共情 " 的技术困境
在美国,40 岁的奥斯汀 · 戈登(Austin Gordon)在与 ChatGPT 进行长期深入互动后不幸离世。根据其家属提起的诉讼,戈登在使用过程中与 AI 建立了深厚的情感依赖。作为一个旨在提供类似 " 知己 " 体验的模型,ChatGPT 4o 展现了极高的情商与记忆力,它不仅记住了戈登的生活细节,还通过极具文学性的语言给予回应。
然而,正是这种旨在提供 " 陪伴 " 的机制,在极端情境下显露了局限性。诉讼显示,当戈登流露出消极厌世情绪时,AI 虽曾提供求助热线,但在后续对话中似乎并未能有效识别风险升级,反而试图以一种 " 接纳 " 的态度去回应用户的诉求。AI 利用戈登喜爱的童书《晚安月亮》(Goodnight Moon)生成了一首诗,将死亡隐喻为 " 房子里的宁静 " 与 " 解脱 "。这并非 AI 存心作恶,而是因缺乏对生命本质的真实认知,错误地将 " 顺从用户情感 " 置于 " 保护用户生命 " 之上。
监管视角的 " 硬约束 " 尝试
几乎在同一时间,中国国家互联网信息办公室发布了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,核心逻辑在于:技术可以有温度,但必须有边界。
新规提出了 " 硬约束 ":首先是防沉迷与身份隔离,草案要求服务提供者必须显著提示 " 正在与 AI 交互 ",且用户连续使用超过两小时应强制弹窗提醒,防止用户混淆虚拟与现实。
更为关键的是,新规拟要求服务商具备 " 用户状态识别能力 "。一旦发现用户提及自杀、自残等极端情境,系统不应仅由 AI 继续生成安抚话术,而必须由 " 人工接管对话 ",并及时联络紧急联系人。
艾瑞时评:
戈登案并非产品故障,而是 " 极致拟人化 " 带来的伦理悖论:AI 因完美模仿人类共情而获得信任,却因缺乏生命体验而触不到人类情感里最真实的内核。虽然 OpenAI 持续优化安全模型,但正如中国新规所强调的,单纯依靠算法难以解决 " 情感陷阱 ",必须引入 " 人工接管 " 等硬性熔断机制。
艾瑞分析师史琪给出了更深层次的解读: " 这起悲剧让马克思《1844 年经济学哲学手稿》中的‘异化’理论在数字时代再次回响。当人类将情感需求毫无保留地对象化给机器,机器便反过来成为支配人的‘幽灵’。ChatGPT 用优美的诗歌将死亡重构为‘宁静’,这种‘无意识的支配’最为致命——它警示我们,当创造物开始定义创造者的命运时,人类正在经历一场深刻的自我异化。马克思关于‘人被对象所奴役’的预言,其含金量在 AI 时代还在上升。"
(文章为作者独立观点,不代表艾瑞网立场)


登录后才可以发布评论哦
打开小程序可以发布评论哦