差评 6小时前
为了防中国模型,硅谷三巨头连“复仇者联盟”都整出来了?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

前段时间,硅谷 AI 御三家 OpenAI 、 Anthropic 和谷歌十分罕见地,组成了 " 复仇者联盟 "。

根据彭 · 博社的报道,平时恨不得卷死对方的哥仨,现在正通过一个 " 前沿模型论坛 " 分享信息,目的很明确,就是要联手揪出那些对抗性蒸馏行为。

不明白这个所谓的 " 对抗性蒸馏行为 " 是啥,没关系,但世超想说,这一次,明显是冲着国内大模型来的。

如果把时间线往回拉到今年 2 月份,冲突其实就已经摆上了台面。

当时, Anthropic 甩出了一份调查报告,公开点名 DeepSeek、月之暗面和 MiniMax,说这三家公司弄了大概 2.4 万个欺诈账户,跟 Claude 交互超过 1600 万次,然后把套出来的精华数据全拿去训练自家的模型去了。

在这份报告里,每家公司进行蒸馏的规模有多大、行动目标是啥,都写得一清二楚。

就比如阵仗最大的 MiniMax ,一家就发起了超 1300 万次交互,而且跟得很紧, Anthropic 新模型刚发布,他们就重新调整了流量方向。

DeepSeek 蒸馏的规模相对小,只有超过 15 万次的交互,但专门盯着思维链下手。

当然,把这些交互行为定义为 " 对抗性蒸馏 ",纯属 Anthropic 的一面之词,因为没法儿证明人家用你的数据去训练模型了。

不过,因为蒸馏破防的还不只 Anthropic 一家。

差不多时间,OpenAI 也跑到美国国会那边告御状,指控 DeepSeek 通过模型蒸馏技术,违规复制了他们的产品功能。

所以世超觉着,这次三家联手可能是要动真格的了。

不过,在聊 " 反蒸馏 " 之前,我们可能得先弄清楚,这个让巨头们如坐针毡的 " 蒸馏 ",到底是个啥技术?

其实这玩意儿也没那么玄乎,大家都知道,模型训练费算力、费数据还费时间,而蒸馏的逻辑是,即使你手头的资源有限,只要找到一个名师带带你,同样能在短时间内,训练出一个跟老师有七八成像的学霸。

核心在于学习 " 软标签 ",也就是大模型输出的概率分布。

放在三年前,当时的 API 环境比现在宽松得多,名师不仅给你答案,还会吐出概率分布,方便搞科研。

但后面不知道咋回事儿,模型大厂们都纷纷把门焊死了,像 OpenAI 他们家的 API 就规定只能看到前 5 个概率最高的词。

所以蒸馏的思路就变成了黑盒蒸馏、思维链蒸馏,包括 Anthropic 、 OpenAI 口中的蒸馏攻击,很多说的都是思维、逻辑上的模仿。

这种蒸馏方式,就需要大量地调用 API。

具体操作上,你得写个脚本没日没夜地向老师提问,不光要拿到标准答案,还要看老师是怎么回答问题的,中间转了几个弯、避开了哪些坑,然后再把这些名师教案打包回家,反手喂给自家的模型。

用较低的成本,快速复刻顶级模型的能力,这就是蒸馏。

换句话说,硅谷 AI 三巨头是在指责,咱们国内的模型厂商偷师。

但仔细一想,这事儿又处处透着诡异。

因为不管是结盟,还是公开指控,目前看下来都是他们几家巨头在那自说自话。

整个事情看下来让人不得不怀疑,他们口中的 " 对抗性 " 蒸馏到底是不是一个伪命题,以及,合法蒸馏和对抗性蒸馏的界限又在哪里?

蒸馏这项技术在圈子里算不上什么行业机密,不过咱们大多数普通人接触到这个词,大概率还是因为去年初 DeepSeek 发布 R1 ,顺带吃瓜吃到的。

当时 R1 模型刚炸场不久,微软和 OpenAI 就针对 DeepSeek 展开了调查,说是怀疑它非法窃取了 OpenAI 的数据来训练模型。

话里话外都在点草,咱家孩子考试成绩突然逆天,是因为抄了他们的答案。

可能因为 R1 正式露面前,有用户在跟 DeepSeek V3 对话的时候,发现了一个很离谱的现象,如果你问它 " 你是什么模型 ",它有时会回答自己是 ChatGPT 。。。所以才引来了不少外界的猜疑。

但这事儿, DeepSeek 后面专门在论文的补充材料里作了解释,说是 DeepSeek-V3-Base 的预训练数据完全来自互联网,没有刻意使用合成数据。

打那之后,蒸馏在业内就一直颇受争议。

理论上,蒸馏是一项合法的技术, 一些模型公司也会自己蒸馏模型给企业客户去做定制。

但 " 对抗性蒸馏 ",也就是用户利用服务或输出开发竞争模型,在 OpenAI 、 Anthropic 等公司的用户使用条款里,是普遍被禁止的。

理由很简单,你开发一个顶级模型,大把大把地往里烧钱、烧卡,如果竞争对手只花了几十万美金调用 API ,就能偷学走七八分,这跟直接从你兜里抢钱没区别。

为了保证自己的领先地位和商业利润,巨头们心里不平衡,想把这道门焊死,也是人之常情。

除此之外,在 Anthropic 的那份调查报告里,也提到了反蒸馏的另外一层考量。

正常情况下,模型在发布之前都要进行红队测试来评估风险,目的就是为了建立一套安全护栏,防止模型教人制造生物武器、编写恶意代码又或者是搞点种族歧视的言论。

问题在于,蒸馏不会蒸这些。

这就导致了非法蒸馏出来的模型,很可能成为一个隐患。

所以世超觉着,这次三巨头跳出来联合抵制,虽然有商业竞争上的私心,但在技术风险上确实也说得通。

但话又说回来, Anthropic 的这份报告把蒸馏抬到了威胁国家安全的角度,在时间点上,又很值得揣摩。

就在报告发出来的前脚,Anthropic 正因为开不开后门的事情,跟五角大楼闹得很僵。

所以一个猜测,当时他们选择在 CEO 赶去五角大楼谈判的前一天,发出来这么一份强调国家安全的报告,有没有可能是想争取一点谈判空间?

当然了,后续大家伙儿也都知道,没谈拢。

讽刺的地方在于,这些举着反蒸馏、反抄袭大旗的巨头们,因为大肆在互联网上抓数据,也没少被官司找上门。

一向看热闹不嫌事大的马斯克,在 Anthropic 的调查报告发出来没多久,直接在 X 上嘲讽开大。说 Anthropic 才是那个大规模盗取数据、还为此赔了数十亿美金的惯犯。

包括零一万物 CEO 李开复也跳出来说,因为作品侵权,Anthropic 还欠他 3000 美金。

抓别人的作品来训练数据的时候,你管那叫 " 人类知识共享 ",现在轮到别人来学你了,你就管这叫 " 工业级攻击 " 了?

说白了,到底算不算偷,怎么才算偷?在大模型领域里还属于一片灰色地带。

别闹到最后,整成全员恶人了。

撰文:西西
编辑:江江 & 面线
美编:素描
图片、资料来源:
X、彭 · 博社
Anthropic,Detecting and preventing distillation attacks

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

复仇者联盟 名师 美国国会 谷歌
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论