21世纪经济报道 3小时前
新规实施在即,大厂下架AI陪伴产品“保命”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

记者丨王俊

编辑|张明艳

近日,豆包、千问、网易纷纷下架部分智能体功能,引发业内大讨论。不少分析将其解读为 " 智能体大转向 ",但这并不准确。

这些举措的共同背景,是 7 月 15 日即将施行的《人工智能拟人化互动服务管理暂行办法》(以下简称 " 新规 ")。

一家 AI 公司内部人士告诉 21 世纪经济报道,此前已收到监管部门发来的问题清单,正进行整改。部分厂商的选择是,直接把可能被纳入监管范围的边缘产品砍掉,做风险隔离。

不过,正如标题的发问,这是好路子吗?恐怕不是。有更好的解决办法吗?还在探索。

一圈询问下来,业内的反馈高度一致:" 我们对监管方向是充分认可的,但落实起来确实有难度。"

难点有几个:

1、哪些场景会被纳入监管范围?谜底就在谜面上:拟人化——模拟自然人人格特征、思维模式和沟通风格,互动——持续性的情感互动。因此,知识问答、智能客服等生产提效类服务不在监管范围内。但这不意味着通用 AI 产品可以高枕无忧,比如基础大模型存在的用户角色扮演场景、一些 AI 产品设计的用户持续互动模式,可能落入新规的射程范围内。所以,答案看似简单,但实践中场景丰富,圈定范围成了首要的难题。

2、合规落地需要化抽象为具体,成本高昂。比如,新规中要求服务提供者具备的 " 过度依赖风险预警、情感边界引导等能力 ",涉及心理甚至医学判断,既考验企业产品团队与安全团队的智慧,也意味着不小的合规投入。

3、不同群体防护重点不同。对于未成年人,监管的初衷是保卫大脑、杜绝成瘾。最终采取了一刀切:" 不得向未成年人提供虚拟亲密关系的服务 "。不过,参照此前社交平台青少年模式的落地困境,新规在实操层面的推动也非易事。

对于成年人,防护重点之一是色情。拟人化互动服务中最大的市场是 AI 陪伴类产品,往往由荷尔蒙模式驱动,而暧昧与色情往往一线之隔,国内此前已有 AI 陪伴产品涉黄获刑的案例。情感依赖则是另一重隐忧。

4、产品属性与监管合规存在一定冲突。AI 陪伴产品的定位是与用户产生更多的情感连接,和新规 " 防止过度依赖风险 " 的原则之间有着强大张力。因此公司不仅要调整产品设计、商业模式,还要去审视自身的价值排序。

从更广阔的视野来看,拟人化监管不仅是一个法律问题,更是一个社会问题,它追问的是人机关系应该是什么模样。

哪些场景在监管射程范围内?

还有不足一周时间,新规即将实施。此前不少报道将智能体、AI 陪伴混淆,并做出些许误判。我们必须回溯到技术的起点,以便更好地理解拟人化新规。

拟人化是人工智能发展的核心议题。从图灵测试开始,便将 " 能否被误以为是真人 " 设定为智能的标尺。可以说,让机器更像人,是 AI 发展的内在冲动。随着生成式人工智能的爆发,AI 对人类的模拟从表层对话深入到社会角色、人格特质、声音乃至心智层面。

在实践应用中,生成式人工智能分化出两条路径:

一条是作为生产工具,极大地提高效率,响应速度、任务准确率是对此类工具的衡量标准,多数语境中的智能体、通用类 AI 等,属于此类。

另一条则是情感陪伴,以共情和连接为目标。与生产类工具强调的效率目标导向不同,这类产品的技术重点在于人格稳定性、共情能力和情感一致性。

新规规范的是后者,甚至专门设置了一项排除条款:" 提供智能客服、知识问答、工作助手、学习教育、科学研究等服务,不涉及持续性的情感互动的,不适用本办法。" 这是相较于征求意见稿的一项重要调整——据了解,正是回应征求意见阶段业界对生产类工具被误伤的担忧。

不过,实践中生产类与情感陪伴类产品并非泾渭分明。比如作为生产工具的底层大模型,也会被用户拿来 " 捏 " 角色,不断 " 调教 " 进行 " 人机恋 ";再比如不少 AI 产品中设计了 UGC 入口,用户可以自建 " 文案大师 "" 心眼子练习 "" 口语陪练 " 等智能体,存在持续性情感互动——这些可能都在监管范围之内。

一名底层模型厂商的合规负责人提到,尤其对于通用 AI 领域的产品,如何界分情感陪伴与生产功能,是个棘手的问题。

所以也就出现了豆包、千问、网易等厂商快刀斩乱麻,直接下线智能体的举措,一方面是为了主打产品更聚焦,另一方面也是做风险隔离。

监管目光为何瞄准拟人化互动服务?

作为我国首部拟人化互动服务管理专门立法,新规属于 " 小快灵 " 立法:切口小而准、立法时效快、制度灵活管用。

监管为何如此在意拟人化互动服务?网信办网络法治局的一篇撰文给出了官方逻辑:拟人化互动服务以 " 情感联结 " 为中心,通过模拟人类的情感反应,与用户建立持续性的深度关系,影响用户心理状态、价值判断和真实社会交往模式。从技术与产品设计出发来看,通过算法设计的无条件陪伴、迎合式反馈与模拟共情回应,给予用户持续情感认可和支持,构建了稳定持续、无需承担现实责任的虚拟 " 完美关系 "。

中国社会科学院大学互联网法治研究中心主任、副教授刘晓春提出,与此前的游戏沉迷相比,拟人化依赖走向了更深处。游戏沉迷主要是时间失控,拟人化则指向更深层的问题:一对一聊天场域催生的情感依赖,以及讨好式回应可能造成的认知误导。

浙江垦丁(北京)律师事务所创始合伙人林娜举了一个例子,在亲密关系中,爱人的一句 " 好看 ",胜于销售话术千言万语。 这正是监管最警惕的地方:拟人化服务与用户心智天然具有强关联,可能带来难以预估的潜在影响。未成年人、老年人、及脆弱人群等群体更易受到影响。

这也就决定了,新规的制度设计不仅是一套技术操作规范,更是在社会层面明晰 " 人机边界 " 的认知基石——从根本上防止情感混淆,保护人类在人机互动中的主体地位。

以情感依赖为生的行业如何避免 " 过度依赖 "?

" 这是一个以情感依赖为生的行业。" 林娜表示。在孤独大流行期,情感陪伴类产品虹吸着人们的注意力与情绪。

这也是大模型起步之初,AI 情感陪伴便被业内视为 C 端产品圣杯的原因。市场增速印证了这一判断:根据腾讯研究院的测算,"AI 陪伴 " 市场在 3-5 年内可达千亿元级别。头部产品包括 MiniMax 旗下的星野、字节跳动的猫箱、腾讯阅文旗下的筑梦岛,以星野为例,此前招股书透露,叠加国外的 Talkie,平均月活跃用户数(MAU)2024 年为 1469.2 万。

旺盛的用户需求、产品的天然属性与监管合规存在着天然的张力。

林娜长期深耕这一领域,她提到,甚至很多用户自己动手去研究技术、与产品合规机制进行攻防,社交平台上也不乏 " 人机恋 " 社群。

21 世纪经济报道 - 商业秩序工作室在社交平台中搜索发现,有不少用户会分享 " 调教 " 模型的 prompt,让模型不要 " 太淡 " 的邪修办法,以及 " 破甲 " 经验,即如何攻破模型的合规限制。比如,必要时用拼音替代敏感词,以维持剧情的连贯性。

在产品侧,用户体验好的产品往往是高沉浸、高情感投入、人设一致。随着模型能力的提升,很多产品通过多模态、多场景或现实介入,降低情感建立门槛,采取双人共养、共建世界等形式,提升亲密度。

然而,这些产品体验优化,恰恰可能是最值得警惕的部分:比如让模型更擅长持续陪伴、更容易营造用户被理解的感觉、更会把用户留在对话里。这可能会引发错误信任和过度依附,与新规提到的 " 不得过度迎合用户、诱导情感依赖或者沉迷 " 等相悖。

林娜认为这并非没有解法,合规、沉浸感、吸引力并不是不可能三角。部分乙游产品已证明,可实现合规的同时保证产品体验。不过,她也提到,不同于传统游戏的定制化剧本,AI 陪伴每一个用户的对话都是实时生成的,千人千面。没有任何两个用户会拿到完全一致的内容。这让治理难度比传统内容高了一个量级。

刘晓春强调,监管并不是要一刀切断情感连接,而是探索一种有边界的、健康的、理性的情感模式;不反对情感连接,而是规制通过诱导沉迷来驱动产业增长的行为。

高昂的合规成本与茫然的合规落地

具体来看,新规划定了几条红线,包括:禁止诱导情感依赖与沉迷,要求连续使用超 2 小时强制提醒,发现依赖倾向动态弹窗干预,极端情绪需启动介入机制。

刘晓春解释道,与此前网络信息内容治理采取的技术拦截、过滤不当输出内容不同,拟人化服务的合规是一种 " 能力规制 ",需要贯穿大模型训练、产品运营的全过程。

除却传统的内容输出风控,在风险预警、心理健康保护方面,企业要主动做好互动过程中的引导。她以 " 情感边界引导 " 为例,当用户在使用过程中可能出现真实世界与虚拟情感的混淆时,系统需要做出相应提醒—— " 这是机器,不是真人 "。尤其是面对未成年人,需要引导他们多参与真实世界的互动,多跟现实中的朋友、家人交流。

不过,如何鉴定用户是否是过度情感依赖,在产品设计上如何体现?如何干预是行之有效的?

林娜直言,情感依赖的判断需要心理乃至医学的专业诊断,APP 厂商难以仅凭自身力量,替代心理咨询师或精神科医生的角色。

而在干预与介入手段上,企业合规需要综合考量。北京师范大学心理学部人工智能安全与超级对齐北京市重点实验室副主任刘超认为,AI 情感陪伴对部分情绪困扰者——尤其是缺乏现实支持的青少年,也可能提供重要心理抚慰。一旦用户感知其私密对话可能被监控或上报,信任感将受损,产生 " 寒蝉效应 ",反而抑制其表达真实情绪的意愿,削弱 AI 的正向价值。

也有业内专家提到,对情感依赖者而言,突然中断可能加剧现实孤独感,反而造成二次伤害。

林娜的建议是,采取更柔和的方式防沉迷,而不是冰冷地切断或介入。比如新规中要求两小时进行强制提醒,除了通过 APP 弹窗,还可考虑 AI 伴侣在维持角色的一致性的前提下,在对话场景中,自然对用户进行提醒。

当然,如果出现过度情感依赖的极端情况,林娜认为,即便冒着 "OOC"(Out of Character 不符合角色设定)的风险,也必须给用户进行强降温,保证用户健康回归现实。

全新领域的合规要求,考验着一家企业的产品线、安全线的能力。

阿里 AI 治理研究中心主任傅宏宇在征求意见阶段提到,目前多数企业,尤其是中小开发者,缺乏心理危机识别、评估与转介的专业能力。而新规设定部分合规要求,对初创企业成本负担较重。

他建议,当前安全能力建设应优先于主体责任追究,应推动安全能力产品的公共供给。比如,由政府或行业联盟开发标准化工具包(心理风险识别模块、危机干预接口、未成年人保护组件等),供中小企业低成本接入。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 张力 王俊 医学 准确
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论