雷科技 8小时前
看完3·15不敢用大模型了?别慌,AI大厂早就备好三张底牌
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

又是一年 3.15,当天的央视 315 晚会上,AI 大模型被投毒的现象摆到了台面上。具体而言,就是 GEO(生成式引擎优化)技术被滥用,部分商业营销公司按照客户需求,编造大量虚假内容,发布到各类平台上,系统性地去影响 AI。

在央视记者的探访视频中,业内人士用「力擎 GEO 优化系统」虚构了一款名为「Apollo-9」的智能手环。围绕这款手环,该公司编造了大量营销文章发布到自媒体平台上,很快,部分大模型就误信了这些内容,甚至正儿八经地推荐起了这款「手环」。更夸张的是,该公司后续发布 10 余篇评测文章后,就出现了部分大模型优先推荐这款产品的情况。

(图源:央视)

总的来说,AI 投毒本质上就是用虚假信息来欺骗 AI,再让 AI 把错误信息展露在用户面前,达到误导用户的目的。AI 投毒,背后的动力说白了还是虚假营销。比如,一家企业要推广自家的商品,如果要走「捷径」,就可能会购买这类 GEO 服务。

现状已经摆在面前了,我们最关心的问题则是:如何破解?面对海量的编造出来的虚假信息,大模型们要如何过滤?面对 AI 生成的错误答案,普通人又要如何辨别?

其实 AI 投毒的问题,从大模型诞生的那一刻起就出现了。很多 AI 大厂,很早就意识到了这个问题,并且也开启了相应的反制措施。

小雷在查询了相关资料后,总结了 AI 大厂构建免疫系统的手段,具体包括给数据打「数字水印」、建立语料溯源机制、增强信息源交叉验证等。

首先,来看下数据「数字水印」。AI 投毒行为往往有个特点,就是先用 AI 生成批量内容,再用这些内容去投毒。灰产商家这么做很好理解,毕竟人工一篇一篇去写文章的话,人力成本太高了,而且效率太低。

而用 AI 生成,成本很低,顶多消耗一点付费的 Tokens。更何况,这些虚假内容,本质上不是给真人看的,而是拿去欺骗 AI 的,所以对内容质量没要求。

而给数据打「数字水印」,就是在 AI 生成内容这一环节提前打下的补丁。说得更具体点,就是在大模型生成文字、图片等内容时,刻意在底层算法上留下痕迹,比如 AI 在预测下一个 Token 的概率分布时,故意偏向一组特定词语组合。这样一来,读者阅读这段 AI 生成文字时,不会觉得有什么问题,但回流到 AI 这里时,它就能瞬间识别出它不是真人撰写的文字。

有了这项技术,大模型的爬虫在互联网上获取信息时,就能识别出哪些是「有毒」的,并且主动过滤。

关于数字水印,目前比较有代表性的是谷歌的 SynthID 技术。它不仅能给文字打水印,还能给图片、音频、视频打水印。文字方面,谷歌 AI 生成的文本在输出前会加入一组伪随机函数,调整特定词语的分布概率。

(图源:Google)

针对图片和视频,大模型则会把水印以像素点阵的方式打上去,人肉眼看不出来,但 AI 能识别出来。针对音频,AI 可以加入特定的声波频率,人耳听不见,完全是作为标识留下的。

然后,我们再来聊聊语料溯源机制。它的核心逻辑,就是给内容在源头上建立档案机制,写入不能篡改的加密元数据,比如内容是谁生成的、具体时间是什么时候、最早在什么设备上出现。

2021 年,Adobe、微软、ARM、BBC、英特尔等企业倡导成立了 C2PA 联盟(Coalition for Content Provenance and Authenticity,内容来源和真实性联盟),旨在抵制虚假信息,为可靠的互联网数字内容颁发「证件」。

(图源:C2PA)

通过它和类似的机制,AI 就能在吸收原始资料时主动筛选可靠性更高、更权威的内容,降低野生论坛等可靠性低的内容占比。

最后,再说增强信息交叉验证这部分。理论上,AI 在生成内容时,会先去搜索资料,为了保证真实性,会对资料进行事实核查。当然,这一步毫无疑问会增加算力和时间成本,如果 AI 偷懒就可能会导致容易被骗。

比如 315 晚会上那个虚假手环,如果大模型有完善的信息验证机制,就会发现,虽然相关文章多,但发布时间密集、内容重复度高等,可信度低。

总的来说,以上提到的手段,都可以在很大程度上遏制 AI 投毒的现象。当然,让这些手段落地,一方面需要 AI 厂商有较强的技术能力,另一方面需要增加投入成本,容易被厂商在商业层面上的考量所左右。

早先几年,大模型之间的竞争仍然是在拼参数,头部大模型的参数量早已从亿、十亿级卷到百亿、千亿甚至万亿级。互联网大厂之间的 AI 军备竞赛还在持续,不断将海量的资金投入到 AI 基础设施建设上。与此同时,AI Agent、具身智能等相关技术和应用在快速发展,引导大模型快速场景化落地,寻找到更多商业价值。

不过,大模型充当着大脑核心,决定了智能体、具身智能的上限。因此,未来的 AI 之争,大模型仍然是重点。而从 AI 投毒的现象来看,GEO 相关的行为已经形成了一条完整的灰色产业链,AI 已经变成了不法营销的重要入口。

AI 被盯上,也说明大模型在国内的普及水平已经相当高了。就小雷之前的观察来看,国产大模型产品在普通用户中已经很流行了。和刻板印象不同的是,如今即便是不熟悉科技互联网、文化程度偏低的普通人,也在大规模使用 AI。

原因很简单,国产大模型的上手门槛很低,用自然语言对话的模式比传统搜索引擎的关键字搜索更易用。而且,国产 AI 应用场景化迅速,不仅能给用户答疑解惑,还能与其他互联网服务打通,具备点奶茶、订电影票之类的实用功能。

AI GEO 投毒能形成产业链,本质上还是因为 AI 用户规模足够大,大到能附着大量的商业利益。在这个大背景下,大模型之间的竞争重点,有变化了。

大模型的参数量还在增加,但边际递减效应明显。在很多应用场景里,并不是模型越大越好,而是合适的更好。

同时,模型技术的进化重点之一,将会是如何对抗 AI 投毒。相比参数、跑分,未来大模型的核心竞争力将变成高质量纯净数据,干净的语料,将会是 AI 厂商的宝贵资产。

国内头部 AI 大厂,包括阿里、字节、DeepSeek 等,都在数据纯净度方面下了大功夫。阿里 2025 年就发布了「AI 安全护栏」,防范数据污染问题;字节 2024 年就全面加强了模型训练环节的权限隔离与零信任架构,防止代码和数据池污染;2024 年,DeepSeek 就宣布在训练阶段采用「正则表达式 +AI 脱敏工具」双重校验,强力过滤公开数据集中的污染信息和敏感数据。

(图源:阿里)

看到 AI 投毒的相关新闻中提到的 GEO 技术时,小雷瞬间就想到了搜索引擎时代的 SEO 广告。PC 互联网时代,搜索引擎是极为关键的入口,是互联网营销的重点。因此,很多品牌、商家为了增加自己在互联网上的曝光度,会主动进行 SEO 优化。

搜索引擎品牌也把 SEO 视作一门生意,搞出了竞价排名,当用户的搜索关键词触发相应的商业项目时,付费品牌排名会靠前。竞价排名这种商业模式引发了巨大的争议,以至于后来搜索品牌不得不特意给 SEO 广告打上「推广」标签,以和正常算法下的搜索结果相区分。

GEO 和 SEO 一字之差,技术原理和商业链条上高度相似。只能说,技术本身没有原罪,但很难完全避免被恶意利用。随着 AI 技术的持续发展和落地,与之伴随的商业利益也会滚雪球般越滚越大。

尽管 AI 大厂们会持续加强防范治理手段,以遏制 AI 投毒行为,但巨大的利益面前,灰产也会继续不断升级手段、寻找新的漏洞。

就像前文提到的文字水印技术,深谙 AI 技术的投毒者就会通过将文字翻译成外文再翻回中文的手段来破解。这场猫鼠游戏,将会是一场旷日持久的攻防大战,很难以某种手段一劳永逸地解决。

截至小雷这篇文章完成时,开头我们提到的「Apollo-9」虚假手环,已经在主流大模型产品上被识别出来。由此可以发现,AI 大厂针对 AI 投毒已经有一套防范和纠错机制。

(图源:雷科技)

当然,这起 AI 投毒案例,也是对作为普通人的我们的一次提醒:AI 很强大、很好用,但不是全知全能的,大模型会有幻觉,也可能犯错。

当我们要做重大决策,尤其是涉及到财务资金相关的决策时,要对 AI 给出的方案慎之又慎。这个过程里,我们不仅要看 AI 生成的结果,更要看它思考的过程,查证信息源头是否可靠。还有另一个更简单但有效的手段,那就是多用几家 AI,相互交叉验证,不要单独依赖某款大模型,货比三家永远是最好的选择。

最后,我们也呼吁相关部门,针对 AI 投毒完善相应的法律法规,对整条灰色产业链形成威慑。AI 投毒,加害者的实施成本很低,但危害很大,而且就像环境污染一样,治理成本很高。在一个 AI 高速进化的时代里,我们每一个人都期望 AI 向善而非作恶。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 央视 智能手环 阅读 谷歌
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论