前段时间,硅谷 AI 御三家 OpenAI 、 Anthropic 和谷歌十分罕见地,组成了 " 复仇者联盟 "。
根据彭 · 博社的报道,平时恨不得卷死对方的哥仨,现在正通过一个 " 前沿模型论坛 " 分享信息,目的很明确,就是要联手揪出那些对抗性蒸馏行为。

不明白这个所谓的 " 对抗性蒸馏行为 " 是啥,没关系,但世超想说,这一次,明显是冲着国内大模型来的。
如果把时间线往回拉到今年 2 月份,冲突其实就已经摆上了台面。
当时, Anthropic 甩出了一份调查报告,公开点名 DeepSeek、月之暗面和 MiniMax,说这三家公司弄了大概 2.4 万个欺诈账户,跟 Claude 交互超过 1600 万次,然后把套出来的精华数据全拿去训练自家的模型去了。
在这份报告里,每家公司进行蒸馏的规模有多大、行动目标是啥,都写得一清二楚。
就比如阵仗最大的 MiniMax ,一家就发起了超 1300 万次交互,而且跟得很紧, Anthropic 新模型刚发布,他们就重新调整了流量方向。

DeepSeek 蒸馏的规模相对小,只有超过 15 万次的交互,但专门盯着思维链下手。
当然,把这些交互行为定义为 " 对抗性蒸馏 ",纯属 Anthropic 的一面之词,因为没法儿证明人家用你的数据去训练模型了。
不过,因为蒸馏破防的还不只 Anthropic 一家。
差不多时间,OpenAI 也跑到美国国会那边告御状,指控 DeepSeek 通过模型蒸馏技术,违规复制了他们的产品功能。
所以世超觉着,这次三家联手可能是要动真格的了。
不过,在聊 " 反蒸馏 " 之前,我们可能得先弄清楚,这个让巨头们如坐针毡的 " 蒸馏 ",到底是个啥技术?
其实这玩意儿也没那么玄乎,大家都知道,模型训练费算力、费数据还费时间,而蒸馏的逻辑是,即使你手头的资源有限,只要找到一个名师带带你,同样能在短时间内,训练出一个跟老师有七八成像的学霸。

核心在于学习 " 软标签 ",也就是大模型输出的概率分布。
放在三年前,当时的 API 环境比现在宽松得多,名师不仅给你答案,还会吐出概率分布,方便搞科研。
但后面不知道咋回事儿,模型大厂们都纷纷把门焊死了,像 OpenAI 他们家的 API 就规定只能看到前 5 个概率最高的词。
所以蒸馏的思路就变成了黑盒蒸馏、思维链蒸馏,包括 Anthropic 、 OpenAI 口中的蒸馏攻击,很多说的都是思维、逻辑上的模仿。
这种蒸馏方式,就需要大量地调用 API。
具体操作上,你得写个脚本没日没夜地向老师提问,不光要拿到标准答案,还要看老师是怎么回答问题的,中间转了几个弯、避开了哪些坑,然后再把这些名师教案打包回家,反手喂给自家的模型。
用较低的成本,快速复刻顶级模型的能力,这就是蒸馏。

换句话说,硅谷 AI 三巨头是在指责,咱们国内的模型厂商偷师。
但仔细一想,这事儿又处处透着诡异。
因为不管是结盟,还是公开指控,目前看下来都是他们几家巨头在那自说自话。
整个事情看下来让人不得不怀疑,他们口中的 " 对抗性 " 蒸馏到底是不是一个伪命题,以及,合法蒸馏和对抗性蒸馏的界限又在哪里?
蒸馏这项技术在圈子里算不上什么行业机密,不过咱们大多数普通人接触到这个词,大概率还是因为去年初 DeepSeek 发布 R1 ,顺带吃瓜吃到的。
当时 R1 模型刚炸场不久,微软和 OpenAI 就针对 DeepSeek 展开了调查,说是怀疑它非法窃取了 OpenAI 的数据来训练模型。
话里话外都在点草,咱家孩子考试成绩突然逆天,是因为抄了他们的答案。
可能因为 R1 正式露面前,有用户在跟 DeepSeek V3 对话的时候,发现了一个很离谱的现象,如果你问它 " 你是什么模型 ",它有时会回答自己是 ChatGPT 。。。所以才引来了不少外界的猜疑。

但这事儿, DeepSeek 后面专门在论文的补充材料里作了解释,说是 DeepSeek-V3-Base 的预训练数据完全来自互联网,没有刻意使用合成数据。

打那之后,蒸馏在业内就一直颇受争议。
理论上,蒸馏是一项合法的技术, 一些模型公司也会自己蒸馏模型给企业客户去做定制。
但 " 对抗性蒸馏 ",也就是用户利用服务或输出开发竞争模型,在 OpenAI 、 Anthropic 等公司的用户使用条款里,是普遍被禁止的。
理由很简单,你开发一个顶级模型,大把大把地往里烧钱、烧卡,如果竞争对手只花了几十万美金调用 API ,就能偷学走七八分,这跟直接从你兜里抢钱没区别。
为了保证自己的领先地位和商业利润,巨头们心里不平衡,想把这道门焊死,也是人之常情。
除此之外,在 Anthropic 的那份调查报告里,也提到了反蒸馏的另外一层考量。

正常情况下,模型在发布之前都要进行红队测试来评估风险,目的就是为了建立一套安全护栏,防止模型教人制造生物武器、编写恶意代码又或者是搞点种族歧视的言论。
问题在于,蒸馏不会蒸这些。
这就导致了非法蒸馏出来的模型,很可能成为一个隐患。
所以世超觉着,这次三巨头跳出来联合抵制,虽然有商业竞争上的私心,但在技术风险上确实也说得通。
但话又说回来, Anthropic 的这份报告把蒸馏抬到了威胁国家安全的角度,在时间点上,又很值得揣摩。
就在报告发出来的前脚,Anthropic 正因为开不开后门的事情,跟五角大楼闹得很僵。
所以一个猜测,当时他们选择在 CEO 赶去五角大楼谈判的前一天,发出来这么一份强调国家安全的报告,有没有可能是想争取一点谈判空间?
当然了,后续大家伙儿也都知道,没谈拢。
讽刺的地方在于,这些举着反蒸馏、反抄袭大旗的巨头们,因为大肆在互联网上抓数据,也没少被官司找上门。
一向看热闹不嫌事大的马斯克,在 Anthropic 的调查报告发出来没多久,直接在 X 上嘲讽开大。说 Anthropic 才是那个大规模盗取数据、还为此赔了数十亿美金的惯犯。

包括零一万物 CEO 李开复也跳出来说,因为作品侵权,Anthropic 还欠他 3000 美金。
抓别人的作品来训练数据的时候,你管那叫 " 人类知识共享 ",现在轮到别人来学你了,你就管这叫 " 工业级攻击 " 了?
说白了,到底算不算偷,怎么才算偷?在大模型领域里还属于一片灰色地带。
别闹到最后,整成全员恶人了。


登录后才可以发布评论哦
打开小程序可以发布评论哦