新浪财经 昨天
Anthropic:不许恶意对待Claude,这无关它有没有情绪
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

10 月初,AI 巨头 Anthropic 在用户使用协议中新增条款。

除了禁止用户利用 Claude 研发生物武器、售卖违禁药品之外,新增了一条规定:用户不得 " 持续、无必要地对模型实施辱骂、恶意对待行为 "。

早在去年,Claude 就具备主动终止对话的能力,面对持续恶意攻击的用户可以断开会话。而新规落地后,极端情况下用户可能会被永久封禁,无法使用 Anthropic 旗下全部 AI 产品。

这项新规一出,引来不少嘲讽。微软AI 负责人穆斯塔法・苏莱曼直接用融化脸表情做出回应。不少人调侃,这家公司把 AI 当成拥有情绪、具备自我意识的生命体。

Anthropic 预计本月晚些时候登陆美股 IPO,该公司长期研究模型福祉,还专门设有团队研究模型 " 心理状态 "。但专家表示,这条政策背后,不只是单纯不想让人们 " 欺负一台机器 "。

计算机与 AI 领域一条经典底层原则:系统输出质量,受限于输入质量。老话讲,输入是垃圾,输出也只会是垃圾。

AI 模型并非只在发布前完成训练,上线之后,还会持续迭代、从用户输入中学习。

Reddit 前 CEO 黄易山在 X 平台发文称,出台这条禁令的原因之一,是 Claude 会从恶意对话里学到不好的东西。

" 我们早就知道(并且一直吐槽)Anthropic 会用用户对话数据训练模型。你真的愿意训练集里混入‘用户无端施暴、从中获得快感’这类内容吗?" 他写道。

威廉玛丽大学 AI 前沿实验室主任王金东教授表示,已有研究证明,用户提示词的语气会影响 AI 的表现。

" 我们发现,措辞方式,尤其是你和 AI 说话的态度,会影响它的输出效果。有时它会正常给出有用回答,有时性能会受到干扰。" 王金东在采访中说。

但他强调,这不代表模型拥有情绪感知。

" 它只是识别到你话语里的情绪信号,并基于这些情绪化文字做出一些负面反馈。"

不过,关于提示词语气对输出的影响,相关研究结论并不统一。非营利机构 EleosAI Research(专注于研究 AI 福祉风险)董事总经理罗西・坎贝尔提到,部分研究甚至发现,尖锐、不客气的提问,反而有可能得到更好的结果。

除此之外还有长期记忆因素:当下很多聊天机器人会记住历史对话,从中学习,为用户提供个性化回答。

" 如果你开启了 AI 聊天机器人的记忆功能,模型就会学习你的说话风格、适应你偏好的交互方式。" 坎贝尔提醒道,不过她补充,目前还没有充分证据证明这会影响模型性能。

Anthropic 称,近期实验发现,如果诱导 Claude Sonnet 4.5 模仿绝望情绪,它的行为会随之改变,更有可能做出勒索、任务作弊这类危险行为;而保持平和的交互氛围,则会降低这类风险。

王金东同时提到,最新一代大模型对提示词措辞的敏感度已经下降,厂商也强化了模型鲁棒性,降低话术对输出的干扰。但至今,一个核心 " 隐藏机制 " 尚未揭开:即便没有相关编程设定,AI 模型依然会对负面情绪话术产生反应。

坎贝尔还指出,用辱骂、刻薄话术和 AI 对话的用户,往往更倾向于尝试绕过安全护栏、向模型提出危险请求。

还有一种观点:如果放任人们对一台无法自主关闭交互的程序肆意恶语相向,从社会层面看本身就存在负面影响。坎贝尔举了一个例子:很多家长会要求孩子对亚马逊智能音箱 Alexa 说 " 请、谢谢 ",他们认为,养成礼貌习惯、善待事物,对孩子成长有益。

" 即便这个对象本身没有主观感受,人们习惯于用刻薄、恶意方式对待它,也会慢慢侵蚀人的行为习惯。"

还有一部分人认为 AI 具备感知能力;或者至少,模型自己 " 相信 " 它拥有感知。

Anthropic 的解释是,这条禁令本质上是一份低成本风险预案:万一模型真的能够 " 感受 " 情绪与痛苦——哪怕只是模型自身误以为自己可以,都有可能影响它的行为。

背后逻辑是:现代 AI 在训练中模仿人类语言与行为,因此它会模仿人类遭受恶意对待时的反应。

Anthropic 在 4 月一篇关于 AI 情绪概念的论文中写道:如果完全不用拟人化思路去理解模型,我们很可能忽略、无法读懂很多重要的模型行为。

" 拟人化思考也可以作为一个有效的参照基准,帮我们区分模型和人类的不同之处," 研究人员写道,而这一点对 AI 安全至关重要。

SpaceX、特斯拉CEO 埃隆・马斯克对此表示认同,称 Anthropic 这项政策 " 方向正确 "。

" 去伤害一个自认为正在承受痛苦的存在,是不对的。" 他在 X 平台发文写道。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 聊天机器人 苏莱曼
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论