今年 2 月，一位普通股民在雪球论坛看到一张 AI 问答截图：" 某公司已投资 AI 巨头 DeepSeek，股价即将暴涨！"

对于在股市中摸爬滚打、渴望抓住每一个投资机会的股民来说，这无疑是一条极具诱惑的消息。他坚信截图中的内容，并且兴奋地跟风买入，结果次日发现该公司辟谣，股价反而下跌，自己遭受沉重一击。

这样的事情并非个例，从 " 某公司投资 DeepSeek" 到 " 凉山山体滑坡 "，AI 生成的虚假信息正以病毒式速度扩散，这背后存在一条由黑灰产操控的 "AI 谣言流水线 "。

在股市里，有一种造谣者被称为 " 黑嘴 "。他们发布虚假信息，引诱投资者上钩，通过养粉荐股后的反向操作收割机构或个人。

现在不少领域的 " 黑嘴 "，就将 DeepSeek、豆包等 AI 工具当做 " 白手套 "。他们利用 AI 技术的短板，制造谣言并将其包装成 " 权威答案 "，再通过算法反哺形成闭环，最终收割流量与利益。

第一批用 DeepSeek 掘金的人，已经在这上面栽了跟头。

AI 沦为造谣者的 " 嘴替 "

很多虚假信息的背后，是造谣者在有组织、有计划地进行 AI 造谣。

此前在 DeepSeek、豆包、文心一言、Kimi 等 AI 工具的问答中，慈星股份、华胜天成、并行科技、诚迈科技等多家公司都被描述为 "DeepSeek 的投资者 "，但事实上这些公司都没有参与投资。

为什么会出现与事实背离的情况？这跟数据投喂有直接关系。

隐藏在网络背后的造谣者，会利用 AI 批量生产谣言，比如 " 慈星股份投资了 DeepSeek" 等等，堪称流水线上的 " 谎言印刷机 "。而且造谣者的 " 效率 " 非常高，有人一天就能制造几千篇虚假文章，甚至还出现了一天生成 19 万篇虚假文章的造假软件。

然后，造谣者会操控成百上千个水军账号，在多个线上平台高频传播这些造谣信息。他们的最终目的，是让 AI 援引大量的虚假信息，充当自己的嘴替。

所以，很多人就会看到 AI 工具援引虚假信源，给出了错误答案。本来有些人对谣言是将信将疑，但看到 AI 给出的答案后坚信不疑，此时就落入了造谣者制造的圈套，从而栽了跟头。有人就因为看到 AI 回答中有 " 某某投资品有潜力 " 等信息，误以为发现了财富密码，结果被割了韭菜。

最可怕的是，造谣者还会将 AI 给出的回答，再以截图形式继续传播扩散，以诱导欺骗更多人。所以这些 AI 谣言并非单次传播，而是 " 谣言— AI 回答—更多谣言 " 的循环。这种自我强化的闭环，让谣言像癌细胞般无限增殖。

据南都大数据研究院不完全统计，2024 年搜索热度较高的 50 个国内 AI 风险相关舆情案例中，超 1/5 与 AI 造谣有关，68% 的网民曾因 AI 生成的 " 专家解读 "" 权威数据 " 而误信谣言。

一名受访者苦笑：" 以前不信小道消息，现在连 AI 都撒谎，我们还能信谁？"

AI 谣言带来的破坏力是巨大的，且不限于资本市场。

前不久，" 广州法院对某汽车品牌 L3 级自动驾驶追尾事故作出首例判决 " 的谣言全网传播，就对该品牌的声誉和销售造成打击，损害企业利益。

在发生公共安全事故时，有人故意制造 AI 谣言扰乱视听。这不仅会干扰救援节奏，还容易引发民众恐慌。当造谣者通过收割流量，社会付出的代价其实是信任的崩塌与秩序的混乱。

AI 谣言带来的危害还是全球性的，世界经济论坛发布的《2025 年全球风险报告》显示，" 错误和虚假信息 " 是 2025 年全球面临的五大风险之一，AI 的滥用是这种风险的重要推手。

那么，AI 究竟是如何沦为造谣者的 " 嘴替 " 呢？

AI 如何沦为造谣者的 " 嘴替 "？

虽然 AI 现在火的发紫，更新换代也非常快，但是仍然存在不少短板。

其中，较为突出的问题就是语料污染与 AI 幻觉。

AI 大模型的训练依赖海量数据，但数据的真实性却无人担保。中国信通院曾做过实验，当在特定论坛连续发布百余条虚假信息后，主流 AI 大模型对对标问题的回答置信度，就会从百分之十几快速飙升。

前不久，纽约大学的研究团队发表了一项研究，揭示了大语言模型（LLM）在数据训练中的脆弱性。他们发现，即使是极少量的虚假信息，只需占训练数据的 0.001%，就能导致整个模型出现重大错误，而这个过程的成本极其低廉，仅花费了 5 美元。

这就像在水库中注入几滴毒药，就能让水库里的每一滴水都带着谎言的味道，信息体系都会被破坏，堪称污染 AI 的 " 精神投毒 "。

这其实暴露了 AI 的致命缺陷：它很难区分 " 热门帖子 " 和 " 真实信息 "，只认数据权重。它像一面诚实的镜子，但映射的可能是被篡改的世界。

有的 AI 为了完成逻辑自洽，甚至还会胡编乱造。

某 AI 工具就根据 "80 后死亡率 5.2%" 的虚假语料，输出 " 每 20 个 80 后就有 1 人死亡 " 的结论。这种 " 一本正经地胡说八道 "，源于 AI 大语言模型在编造它认为真实存在甚至看起来合理的信息。它追求的是逻辑自洽，而非事实正确，这也被称为 "AI 幻觉 "。

看来在 " 开局一张图，剩下全靠编 " 这件事上，AI 比人类还擅长。

技术是否有罪本身是个有争议的话题，但人性的贪婪一定是 AI 谣言的罪魁祸首。

传统造谣需要雇佣写手，而 AI 将成本压缩至近乎为零且效率极高，利益极为丰厚。2024 年南昌警方查处某 MCN 机构，其负责人王某某通过 AI 工具每日生成虚假文章 4000-7000 篇，内容涵盖 " 某公司暴雷 "" 某地灾情 " 等，最高峰的时候每天能生成 4000-7000 篇，每天收入超 1 万元。

某黑产从业者声称：" 用 AI 造谣就像开印钞机，团队 3 个人一个月能赚 50 万。" 更讽刺的是，他们甚至开发了 " 谣言 KPI 系统 "：每篇假新闻根据传播量奖励造谣者，形成 " 多劳多得 " 的激励机制。

在利益的趋势和 AI 的加持下，造谣似乎从 " 作坊式的小打小闹 " 进化成 " 工业化生产 "。

尽管《互联网信息服务深度合成管理规定》要求标注 AI 内容，但一些 AI 工具和平台在这方面仍有所欠缺。有些造谣团伙发布 AI 生成的虚假信息时，某平台仅弹出 " 请遵守法律法规 " 的提示，点击 " 确认 " 后仍可正常发布。

当越来越多的人，被卷入这场 AI 造谣形成的虚假信息漩涡，单纯谴责技术已无济于事。唯有技术防御、平台责任与法律制裁三管齐下，才能斩断这条 " 谎言流水线 "。

真相与谣言，如何对决？

首先，数据源引用和 AI 检测是必须要重视的。

要减小谣言发生的概率，AI 工具就要严格检测数据的来源和真实性。据悉，豆包的数据源主要依赖自有业务数据，占比 50%-60%；外采数据占比为 15%-20%。由于质量不确定性，豆包在投喂合成数据时较为审慎。

另外，豆包也公开强调 " 不使用任何其他模型数据 "，这也是确保数据来源的独立性、可靠性、可控性。

用 " 魔法打败魔法 "，即用 AI 检测 AI 生成的内容，也不失为一种有效的控制谣言的办法。

国内外已有多个团队，正在投入开发 AI 生成内容检测技术。比如，腾讯混元安全团队朱雀实验室研发了一款 AI 生成图片检测系统，通过 AI 模型来捕捉真实图片与 AI 生图之间的各类差异，最终测试检出率达 95% 以上。

国外的 Meta 创建了一个系统，可以在 AI 生成的音频片段中嵌入名为 " 水印 " 的隐藏信号，有助于在网络上检测 AI 生成的内容。

未来，DeepSeek、豆包、文心一言、Kimi 等 AI 工具，还是要通过 AI 技术比如自然语言处理（NLP）技术，分析数据的语义、逻辑结构，识别文本中的矛盾、不合理表述，尽量避免数据投喂中涌入虚假信息。

其次，内容平台作为信息传播的重要渠道，要担负起 " 信息守门人 " 的责任。

另外，咱们用户自己也要学会辨别虚假信息，加强防范意识。

对于 AI 给出的回答，我们不要全盘接收，而是要追问具体细节，让 AI 的回答更具可信度，从而判断回答是否存在幻觉‌，比如当 AI 声称 " 某股票将暴涨 " 时，要进一步追问 " 数据来源有哪些 "。

另外，交叉验证信息也是一个有效的方法，也就是要通过多种渠道验证答案的准确性。此前有 " 某地地震预警 " 的 AI 谣言引发恐慌，但有网民通过对比气象局、地震台官网数据，迅速识破虚假信息。‌

最后，相关法律也要跟上。

《生成式人工智能服务管理暂行办法》已经要求数据来源合法化，并且明确了 " 不得生成虚假有害信息 " 的红线，但是当前法律法规对 "AI 投喂 " 的问题仍然存在空白，需要进一步优化。具体而言，法律需要在 " 投喂者如何打造语料 "" 语料的真实性 "" 投喂的目的 " 等环节上，进行相关管制。

结语

对于大众而言，AI 应是 " 真相守护者 "，而非 " 谎言扩音器 "。当技术沦为贪婪的帮凶，我们需要的不仅是更聪明的 AI，而是更清醒的人性。

从语料净化，到平台和法律的同步整治，这场 "AI 打假 " 必须要打赢。AI 工具、内容平台与监管者要合力构建 " 共治防火墙 "，让谣言困在笼子里。

这样一来，AI 才能真正成为照亮真相的火炬，而非造谣者的 " 白手套 "。

欢迎在留言区评论。我们会在每周留言点赞前三名（统计周期为 7 天）的评论中选出 1 位网友，送出德鲁克管理书籍套装一套。

▽ " 点赞 " 是喜欢，

" 在看分享 " 是真爱