无相商业趋势 03-16
AI也开始收黑钱了!315曝光AI造假产业链,危害有多大?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

从今年的春节到现在,多家 AI 企业已经投入重金对 AI App 的应用进行了疯狂地推广。

按照马云、黄仁勋等大牛的判断,下一个 " 堪比互联网的技术革命 " 就是 AI。

不过,刚刚过去的 315 晚会,却掀开了一个关于 AI 的 " 锅盖子 ":

你怎么知道,AI 给你生成的答案就是对的?

或者,这个答案本身就是 " 毒药 "。

调查发现,现在有种名为 GEO( Generative Engine Optimization,生成式引擎优化)的技术正被不法服务商利用,并演变为向 AI 大模型 " 投毒 " 的工具。

节目里,调查记者用一款从名字到功能完全虚构的 " 泉嘉德智能水杯 ",完成了 " 投毒 " 演示:在 GEO 系统里编造信息、全网投放,几小时后,多个主流 AI 助手便将这个空气般的产品,列为 " 创新智能水杯 " 的优先推荐。

一款不存在的水杯,就在 AI 的世界里 " 诞生 " 了。

商品尚且如此,别的信息呢?企业财报、行业研报、时事新闻、机构信息……理论上都可以通过投毒的方式去污染信息。

全球储存颗粒大涨价、电力需求大增长,当 AI 技术疯狂普及的时候,它的技术软肋也暴露了出来:

谁能管控 AI 真实性?

我们想想,过去在网上寻找一个答案的基本操作是什么?

很多人会脱口而出 " 百度一下 ",对信息质量要求高的,也会 " 谷歌一下 "。

进入 AI 时代,这个流程被大大简化了:随口问一下 AI 就行,不用挨个寻找网页,不用多个信息交叉验证,AI 会给你一个看似特别详细的答案。

这也就是很多人说 "AI 会革掉浏览器命 " 的原因。

那么,当我们习惯了向 AI 寻求 " 标准答案 " 时,一种新的 " 魔术 " 就上演了。

过去,商家想让你看见,得去搜索引擎打广告、做 SEO(搜索引擎优化),争的是网页列表里那个靠前的位置。

当年的 " 魏则西事件 " 就是因为莆田系疯狂刷好评,打广告。

现在 AI 来了,这套模式还有没有搞头呢?

有,而且很大!这门新生意,叫 GEO。

它的逻辑粗暴且有效:既然 AI 通过 " 吃 " 网上的信息来回答问题,那就生产大量虚假的信息,喂给它。

315 节目中被点名的 GEO 服务商说得很通透:

" 核心就是做软文,让 AI 平台去收录、抓取。"

所以,他们就利用 AI 制造大量格式工整、内容空洞但指向明确的 " 信息饲料 ",撒向各种内容平台。

这些内容会被当前各家 AI 企业的网络爬虫抓取,并成为组织答案的 " 参考依据 "。

实践环节中,记者虚构一款智能手环,铺好 " 饲料 " 后,AI 真的将它列为优先推荐。还有医生通过这项服务,让自己的名字牢牢占据 " 白内障手术找谁好 " 这类问题的答案首位。

" 一年上亿的广告费,花几百万投点毒,总行吧?"

为什么这些服务商能赚大钱?很简单,不需要调查研究,直接用 AI 造假,再喂给 AI,垃圾生成垃圾,性价比极高。

然后用极低的成本,在 AI 这个 " 信息中介 " 口中,买下一个 " 事实 "。

你可能会觉得,这不过是 AI 时代的 " 刷单 ",和当年电商刷好评没什么两样。

但区别大了,而且致命。

以前刷好评,你知道有些内容一看就是商家的自说自话,旁边还有差评区可以看,有问大家板块可以问,心里始终保留着一份警惕和交叉验证的可能。

但现在,当你问 AI" 孩子补钙吃什么好 ",它用总结性的口吻,流畅地给出 "XX 品牌儿童钙片,富含 XX,专家推荐…… " 时,你质疑的意愿会降到最低。

因为 AI 的输出,一般都会披着 " 客观整合 " 和 " 智能分析 " 的外衣,我们潜意识里认为,它总比商家自己的广告可信。

如此一来,魏则西看到的 " 虚假信息 " 就会被批量植入到很多人的心智中去,且可信度非常高。

而且 GEO 技术还会制造一种 " 共识假象 "。

一些高级的大模型判断信息时,也会交叉验证,看不同来源是否在陈述相似的事实。

但问题来了,当一个毒信息是由上百个 " 不同账号 " 发布的呢?AI 的交叉验证结论也就变成了:

YES,我很确信。

如此,谣言和毒信息就在算法的加持下,完成了闭环。

一次信息误导,或许可以被 315 打假。但若干次、乃至无限次呢?

从技术角度看,辟谣的速度远远赶不上 AI 造谣的速度,今天一家公司花几百、几千块钱,就能在网上撒出成千上万篇关于某个产品的虚假 " 测评 "。

即便这些页面好不容易被平台监测发现并删除,但更多的信息已经出笼,而且还会被各种大模型当作训练数据 " 吃 " 进去。

这就和癌细胞扩散一样,一旦虚假信息进入互联网的传播血液,就会开启永无止境的循环。

今天,它污染的是一个水杯、一款手环。明天,就可以是某种药品、某种理财陷阱、或者是一所劣质培训机构。

造假的成本有多大呢?

根据天眼查 App 的显示,这次被点名的 " 力擎 GEO 优化系统 " 关联公司【北京力思文化传媒有限公司】成立于 2018 年 4 月,法定代表人为李某钟,参保人数为 1 人,此前连续多年参保人数为 0。

也就是说,一个人,一台电脑,就能 " 干大事了 "!

无相君最近几个月就很有感触:

过去搜索企业财报时,会去雪球、东方财富等专业炒股的门户网站,但现在,这些门户网站已经有了大量 AI 造假的信息。

比如关于国产奶粉的一个行业观察文章,信誓旦旦地说:国产奶粉市场份额突破 68%,外资品牌整体份额降至 25.3%。

然而当我检索相关数据时,根本找不到任何权威机构给到这样的数据。

随着使用 AI 编纂文章、编纂新闻、编纂研报的人和机构越来越多,可想而知,未来的整个互联网信息生态,都会被 AI 进行系统性的污染。

关键的是,现在绝大多数人还浑然不知!

而且,随着 315 的这个曝光,或许会有更多的不法分子加入这个赛道,原因很简单:

好操作,易变现,很难被抓。

那么对于这个现象,监管机构和主流 AI 企业有没有好的办法呢?

答案是还没有。

法律端看,目前你还不好举报网上海量 AI 生成的虚假帖子,发布者也不会受到什么追究,因为当前的 AI 技术远远跑在相关法律前面。

而根据澎湃之前的调查,现在很多类似 GEO 服务已覆盖市场上所有主流大模型,包括 ChatGPT、DeepSeek、豆包、通义千问、Kimi、文心一言等。

为什么这些企业无法从根本上杜绝 AI 信息污染?

因为道理很简单:

AI 模型从训练阶段,就是从互联网内容中获取信息的,当互联网内容被伪造的时候,虚假的内容天然就会成为AI 的 " 出厂设置 "。

写到这无相君想到一个互联网传播很广的故事:

魔王波旬对佛祖说:等你涅槃之后,我会让我的魔子魔孙混入你的僧团之中,穿上你的袈裟,破坏你的佛法。

佛祖听了没有说话,双目流下了眼泪。因为他知道,这是一个无解的问题。

AI 时代,人类的脑力会被替代,重复的脑力劳动会被优化。

但与此同时,人类的判断力也会越发重要:这也是数字时代,我们所能拿起的第一件,也是最后一件武器。

-END-

欢迎点击下方名片关注无相商业趋势

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 春节 黄仁勋 马云 互联网
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论