今天的 AI 生成内容,在 " 准确度 " 和 " 活人感 " 两个维度上,往往是双重失格的。

01 一张 AI 生成的 " 完美 " 民宿照片
去年深秋,杭州姑娘林薇计划去大理过周末。她打开小红书,输入 " 大理民宿推荐 ",满屏的苍山洱海、白族院落、落地窗前的日出——每一张照片都美得像电影剧照。她最终选定了一家评分 4.9 的 " 小众设计师民宿 ",笔记里写道:" 推开窗就是洱海,清晨被海鸥叫醒,房东亲手做的鲜花饼甜到心里。"
她坐了三个小时的飞机,又转了一个小时的盘山公路。到了才发现,那家民宿藏在一条尘土飞扬的小巷深处,所谓的 " 落地窗 " 对着一堵斑驳的水泥墙,而笔记里那片蔚蓝的洱海,不过是房东在屋顶搭了一块蓝色背景布。林薇后来才知道,那篇让她心动的笔记,配图是 AI 生成的。
这不是孤例。2026 年 9 月 3 日,小红书通过官方账号 " 薯管家 " 发布了一份公告:今年 6 月至 8 月,平台清理处置 AI 制作发布的虚假笔记近 12 万条。其中,AI 伪造医美体验、AI 伪造民宿图文体验、AI 虚构家庭背景及教育经验并销售教辅材料,被列为三类典型违规内容。
12 万条。假设平均浏览量是 100,那背后就是 1200 万个可能被误导的用户,也是一座内容社区正在面临的系统性危机。
02 AI 种的 " 假草 " 为什么会泛滥?
小红书的核心价值是什么?是真实。一个用户分享自己用过的洗面奶,一个旅行者记录真实的徒步路线,一个新手妈妈写下育儿心得——这些基于真实体验的 UGC,构成了小红书最坚固的护城河。用户来这里,不是为了看广告,而是为了看 " 活人 " 的生活。
但 AI 正在改变这一切。
过去,造假是有成本的。你要去实地拍照片,要构思文案,要 P 图,要维护账号人设。一篇虚假探店笔记,背后至少需要一个真人、一部手机、几个小时的投入。而现在,有了 Midjourney、Stable Diffusion、GPT-4o 这些工具,一个人一天可以生成上百篇 " 亲历笔记 "。输入 " 大理洱海民宿清晨日出落地窗 ",AI 就能吐出一组以假乱真的照片,再让大模型写一段 " 真情实感 " 的体验文案,配上 " 姐妹们冲 " 的口吻,一条虚假笔记就诞生了。
更可怕的是,这些 AI 生成的内容正在形成产业链。公告中提到的三类典型违规,恰恰对应了三个最容易变现的赛道:
医美。一张 AI 生成的 " 术前术后对比图 ",配上 " 做了这个项目,男朋友说我像换了个人 " 的文案,就能诱导用户私信咨询,最终导流至无资质的地下诊所。6 月至 8 月,小红书医美领域日均下架各类违规笔记超 4000 条,封禁违规账号 4200 余个。
民宿文旅。AI 拼接的图片伪造实景,虚构 " 小众秘境 "" 本地人才知道 " 的标签,把用户骗到名不副实的商家那里。这些笔记往往还会附带团购链接,形成从内容到交易的完整闭环。
教育。AI 虚构 "985 学霸妈妈 "" 海淀家长 " 的人设,编造子女的学习经历和成绩,最终目的是卖教辅材料、卖课程、卖 " 内部资料 "。你看到的不是一个真实家长的焦虑,而是一个 AI 精心编排的销售漏斗。
当 " 种草 " 变成 " 种假 ",社区的内容生态就开始腐烂。更隐蔽的风险在于,用户往往不知道自己被骗了—— AI 生成的内容越来越逼真,普通网民根本不具备识别能力。
03 以子之矛攻子之盾:用 AI 治理 AI
面对这场危机,小红书的选择是:用 AI 来治理 AI。
公告中提到的治理措施,几乎每一条都离不开技术手段:强化未标识 AI 内容的识别能力,对同一图片或视频跨地域、跨账号重复使用的情形加强检测,从笔记、评论、账号等多环节清理历史 AI 虚假内容。
这听起来像是一个完美的闭环——既然 AI 能生成虚假内容,那 AI 也能识别虚假内容。但事情真的这么简单吗?
技术上,AI 检测 AI 生成内容,目前主要依赖几种路径:
第一,水印与元数据检测。一些 AI 生成工具会在图片或文本中嵌入隐形水印,平台可以通过检测这些水印来识别 AI 内容。但问题是,开源工具生成的内容往往没有水印,而且水印技术本身也在不断被破解。
第二,生成特征识别。AI 生成的图片在像素分布、噪点模式、纹理细节上,与人类拍摄的照片存在细微差异。AI 生成的文本也有其特定的统计特征——比如某些词汇的过度使用、句式的规律性等。平台可以训练专门的检测模型来识别这些特征,但道高一尺魔高一丈,随着生成模型的迭代,这些特征越来越不明显,今天的检测模型,可能明天就失效了。
第三,跨平台重复检测。小红书提到的 " 同一图片或视频跨地域、跨账号重复使用 ",就是一个很聪明的思路。如果同一张 " 洱海日出 " 的照片,同时出现在北京、上海、广州三个不同账号的笔记里,且都声称是 " 我上周刚拍的 ",那至少其中两个是假的。这种基于图谱分析的检测,不依赖内容本身的真伪,而是依赖逻辑的合理性。
第四,行为模式分析。AI 批量生成内容的账号,往往有共同的行为特征:注册时间集中、发布频率异常、互动模式机械化、粉丝增长曲线不符合自然传播规律,通过分析这些行为特征,平台可以在内容层面之前就识别出可疑账号。
这些方法各有优劣,但共同的问题是 :它们都是 " 事后诸葛亮 " 式的防御。AI 生成技术每进步一次,检测技术就要追赶一次。这是一场不对称的战争——攻击者只需要找到一个漏洞,防御者却需要堵住所有漏洞。
而且,AI 检测还有一个根本性的悖论:如果检测模型过于激进,就会误杀大量正常内容。一个摄影爱好者用 AI 辅助修图,算不算 AI 生成内容?一个创作者用 ChatGPT 润色文案,要不要被标记?如果平台把 "AI 辅助 " 和 "AI 伪造 " 混为一谈,可能会扼杀创作者的积极性,甚至引发 "AI 污名化 " 的反弹。
04 治理的是 "AI" 还是 "AI 味 "?
这就引出了一个更深层的命题:我们治理 AI 内容,到底是在治理什么?
是小红书公告里说的 " 真实与信任 "?还是一种更本质的东西——人类的存在?
让我们做一个思想实验。假设有一天,AI 生成的内容在事实准确性上完全超过了人类。AI 写的医美科普,比真人医生更严谨;AI 推荐的民宿,比真人博主更靠谱;AI 整理的教育经验,比真人家长更实用。到那时候,我们还有必要排斥 AI 内容吗?
答案可能是否定的。但问题恰恰在于,今天的 AI 生成内容,在 " 准确度 " 和 " 活人感 " 两个维度上,往往是双重失格的。
先看 " 准确度 "。AI 没有肉身,它不能真的去住一家民宿、做一次医美、养一个孩子。它所有的 " 体验 " 都是基于训练数据的概率推断。当 AI 写一篇 " 大理民宿体验 " 时,它不是在回忆,而是在 " 幻觉 " ——用统计上最可能的词汇组合,构造一个从未发生过的场景。这就是为什么 AI 内容特别擅长 " 看起来真实 ",却往往在细节上露出马脚:它可能会把洱海的位置写错,可能会让海鸥出现在错误的季节,可能会编造一个根本不存在的民宿名称。
再看 " 活人感 "。即便 AI 内容在事实上完全正确,它依然缺少一种不可替代的东西:人的视角、人的情感、人的在场。我们看一篇游记,不只是想知道 " 这家民宿好不好 ",我们还想感受作者在那个清晨推开窗时的心情,想知道她在旅途中遇到的意外和惊喜,想从她的故事里找到共鸣。这种 " 活人感 ",是 AI 无法模拟的。
所以,治理的标准应该是双重的:既要追求事实层面的真实准确,也要守护内容层面的人类属性。
小红书在公告中的表述,某种程度上体现了这种双重标准。一方面,平台 " 鼓励创作者使用 AI 辅助创作 " ——这是承认 AI 作为工具的价值;另一方面,平台要求 " 不虚构未曾到访的地点、未实际使用的产品或未亲身经历的事件 " ——这是在捍卫 " 亲历性 " 这一人类内容的核心特质。
但执行这个标准,远比制定它困难。
05 一个正在模糊的未来
让我们回到林薇的故事。如果小红书的 AI 检测系统足够强大,在她看到那篇虚假民宿笔记之前,系统就已经将其拦截。她可能会错过一家 " 看起来很美 " 的民宿,但她也不必经历三小时盘山公路的颠簸,更不会体会到抵达后只看见一面水泥墙的失落。
这是技术治理的理想图景。但现实是,平台每天要处理数亿条内容,AI 检测系统不可能做到 100% 的准确率。在 " 放过一条虚假内容 " 和 " 误杀一条真实内容 " 之间,平台必须做出权衡。而目前的行业惯例是,宁可错杀,不可放过——这也是为什么小红书能在三个月内清理 12 万条 AI 虚假笔记,但同时也有大量创作者抱怨自己的正常内容被误判。
从更长远的维度来看,这将是一场没有终点的战争。
当 AI 生成内容的能力越来越强,当 AI 检测 AI 的技术越来越成熟,两者之间的对抗会不断升级。最终,平台可能不得不依赖更复杂的系统——比如用多个 AI 模型互相验证,或者引入 " 人类审核员 +AI" 的混合模式。但这也意味着,内容平台的运营成本将大幅上升,而中小平台可能根本无力承担这样的技术投入。
一个可能的未来是:内容平台出现分层。头部平台有能力建设先进的 AI 治理系统,维持相对健康的内容生态;而中小平台则沦为 AI 虚假内容的重灾区,用户逐渐向头部平台集中。这会不会导致内容领域的 " 马太效应 " 进一步加剧?
另一个可能的未来是:用户对 AI 内容的接受度逐渐提高。就像今天我们已经习惯了广告、习惯了软植入一样,明天我们也许会习惯 " 这是 AI 写的,但只要信息有用就行 "。到那时候," 是否由人类贡献 " 可能不再是一个核心问题," 是否对我有用 " 才是。但这同时也意味着," 活人感 " 作为一种内容价值,将彻底被工具理性取代。


登录后才可以发布评论哦
打开小程序可以发布评论哦