
10 月 29 日下午,苏州。
新芯航途办了一场发布会,发了一颗车规芯片,X7 Ultra,大模型算力 700 TOPS,我在现场听完了全程。
700 TOPS 这个数字太熟了,今年每一场智驾发布会都要报一个,一个比一个大,可真正值得说的部分,不在这上头。
要看懂这颗芯片,得先回到 1965 年。
那一年,摩尔提出了一个观察,后来被叫作摩尔定律。大部分人记住的是其中一句话:芯片上的晶体管每两年翻一倍。
但回头看半导体这些年的发展,其实有三件事一直在往前走。
一件是快。每换一代,芯片算得更快;一件是省电,干同样的活,用的电更少;还有一件是装得多,同样大小的地方,能塞进去更多晶体管。
密度这一条后来成了主角,原因也不复杂,它最好量。
这个数能数出来,能画成曲线,印在每一页 PPT 上,至于快和省电嘛,衡量起来就复杂多了。
台积电副总经理陈平在台上把这段历史过了一遍。
从七十年代到 2004 年,那是半导体的第一个黄金时代;那三十年里,性能和能效提升得很快,每换一个工艺节点,性能往上跳一大截,功耗往下掉一大截。
2004 年前后,这条路开始遇到麻烦。
晶体管缩到一定程度,再往下缩,漏电、发热、成本一起上来,收益越来越薄,过去那套靠缩小晶体管就能持续提高性能、降低功耗的办法,越来越难奏效。
嗯,说走到头有点绝对,后面二十年,芯片并没有停,只是往前走的办法换了。
陈平说:今天评价一颗芯片,单个晶体管的成本只占一部分,更重的是它干一件活耗多少电,整个系统用下来总共花多少钱。
这就是总拥有成本。
他还讲了个数字,按这个标准算,过去二十年芯片的进步依然非常可观,甚至超过了当年摩尔定律预测的速度;所以,摩尔定律死了这句话,也就说对了一半。
陈平还补了一句,我觉得值得单独拎出来:一路做到 7 纳米以后,芯片才逐渐攒够了支撑今天大模型的算力。
图灵奖得主 Jack Dongarra 在后面的圆桌上,讲了一段他本行的事。
他研究大规模科学计算,那类机器里有上千万个计算核,跑起来一秒钟能完成百亿亿次运算。
三十年前,浮点运算贵得要命,谁能算得快谁就赢;今天情况变了,算力早就够用了,多出来的那些用不上,现在拖后腿的是数据在机器里搬来搬去。
这句话放在这场发布会上,分量比任何一个 TOPS 都重。
多年前,他做过一套基准测试,后来成了行业里的标准考卷,那张考卷是三十年前出的,主要考浮点性能。
可到了今天,光靠这张考卷,已经说不清楚一台机器到底好不好用了,数据怎么搬,同样得考。翻成大白话,以后看芯片,别只看跑分。
新芯航途自己也在往这个方向走。
李宗霖说,他们没有只跑实验室里的基准测试,直接拿真实的量产智驾模型来跑。
行业过去习惯跑个分,但在模型半年一换的今天,实验室里跑分高,装到车上未必跑得动。
芯片行业的比法,二十年前就变了,只是报数字的习惯留到了今天。
那按这两条,一颗车规芯片该长成什么样呢?2023 年,有几个人开始琢磨这件事,他们给出的答案,跟当时行业里的通行做法正好相反。
一颗芯片上排着很多计算单元,各有各的分工。一段算完交给下一段,数据就得在它们之间来回跑。
模型小的时候,这么跑没什么问题,模型一大,要传的数据多了,中间这一趟就容易堵。
过去的办法是把每个单元做强,X7 Ultra 的办法,是尽量减少中间环节。
第一件事,把算力聚起来。
原来数据要在很多单元之间倒手,现在把大部分计算能力并进一个大单元,让数据在内部直接交换,少往外跑。这个大单元,业内叫大核。
过去单元之间传数据,最快是每秒百 GB 这个档,并进大核之后,到了每秒 TB 这个档,速度差了一个数量级。
大核里还加了几层缓存。常用的数据放在离计算最近的地方,用的时候不用跑远路去取。
第二件事,让大核算得准。
算力聚起来了,新问题也跟着来了。有些计算,大核还真干不了。
早期的大核主要为图像识别那类模型设计,一次算一小块,算完再拼起来;后来模型架构变了,Transformer 逐渐成为主流,里面有些计算不合大核的脾气,只能交给旁边的通用单元。
这么一来,数据又得来回跑。
行业里的常见办法,是往大核里加一个通用模块,让更多计算能在里面完成;有效果,但有限。
因为这些活用的还是通用办法,没有针对模型里最耗时的几步专门设计。
一家饭店,菜单上几十道菜,可八成客人点的就那五样;与其把厨房做得样样都能做,不如给那五样单独开一条出餐线。
X7 Ultra 又往前走了一步,它把模型里反复出现、最占时间的几步计算挑出来,每一步单独做一块硬件,数据进来直接算,算完就存在旁边,不用再绕出去。
它们还有个要求,计算精度不能掉。
智能驾驶的判断是连续的,精度掉一点,规划出来的轨迹就可能偏一点,所以,这几块硬件都要支持高精度计算。
分开做还有个连带的好处。原来是这批单元干活,那批闲着等;现在加载模型权重的同时,计算单元也能开工,更多单元能同时转起来。

第三件事,让数据少绕路。
算得快了,还有一个地方在耗时间;常规做法是,算完一步,把中间结果写回芯片外面的内存。下一步开始,再读回来。一步一写一读,数据来回搬。
芯片里面的空间小,但快;外面的空间大,但慢。中间结果出去一趟,时间和电都耗在路上;行业里常见的优化,是把连续几步合成一步,让中间结果别出门。
X7 Ultra 把这个做法推到了整张网络。
他们的工具链会把模型里所有的分层、分支一起拆开重排,最后合成一个大步骤,中间结果尽量留在片内,走外部内存的只剩最开始的输入、最后的输出,还有模型参数。
按新芯航途自己的测试,大核计算利用率达到 98.7%。同样跑一个大模型,内存带宽消耗比行业旗舰低 80%;每一瓦电换来的性能,高出一倍;700 TOPS 就在这个基础上跑出来的。
同样标着 700 TOPS 的两颗芯片,如果数据供不上,实际能发挥出来的算力可能差很多;98.7% 这个数,至少说明在他们测试的模型和条件下,标称算力得到了很高的利用。
对了,还有一件事,跟快慢无关。
智能驾驶的摄像头,从曝光到识别出画面里有什么,需要时间,行业里习惯看平均值,比如平均 30 毫秒。
可平均值这东西有时候会骗人,同一套系统,好的时候 20 毫秒,差的时候 50 毫秒,平均下来还是三十多。真正影响安全的,恰恰可能是那 50 毫秒。
那一刻,车子看到的世界比实际晚了 50 毫秒,留给系统反应的时间也就更少。
所以,看一颗车规芯片,除了平均快不快,还得看最慢的那次有多慢。
行业里管它叫确定性,X7 Ultra 在摄像头这一环,把一部分计算挪到了离传感器更近的地方,用一颗本地的小处理器直接处理,省去数据来回跑的时间。
按照官方说法,传感器这一环的预处理,稳定性提升了一倍。
把这三件事放一起看,其实能看出一件事:X7 Ultra 只伺候一类模型,Transformer 这一类,它舍掉一部分通用性,换来了更高的计算利用率。
可腾出来的那块空间,不会空太久,Momenta 创始人曹旭东上台,讲的正是这块空间被用掉的速度。
他给的第一组数,R7 Ultra 参数规模扩到原来的 5 倍以上,安全性能提升 5 倍以上;这个倍数是相对上一代 R7 说的,别跟几年前的老模型混在一起。
参数越多,模型能学到的东西也越多;碰上没见过的场景,它可以根据学到的经验去判断,不必完全依赖事先写好的规则。
台上放了两段实测视频:
一段是在窄路上倒车让行,对面来车,后面是柱子,系统先挂 R 挡退出去,再找角度把对方让过去。
另一段是多把掉头,前后都是违停的车,它一点一点挪,最后挪出十厘米的空隙,才把车转过去。
曹旭东说,下一代还要往上翻,模型要长这么大,光有芯片还不够,数据也得跟上。
Momenta 跑在路上的车,累计 140 万台;一年前,这个数还是 30 万。第一个 10 万台,他们用了 24 个月;最近这 10 万台,不到一个月。
这些车加起来跑了 200 亿公里。
曹旭东给了个换算,相当于阿波罗登月往返 2.5 万次,也相当于 5 万个老司机一辈子的里程。
车跑得越多,模型见过的场景就越多,没见过的,再靠仿真补,靠强化学习反复练,目标是练到比老司机开得更好。
芯片好不容易腾出来的余量,很快又被越来越大的模型吃掉了。
成本也跟着来了,上汽的祖似杰在圆桌上算了一笔账:
造油车时,一辆车三万个零件,最便宜的车卖三万块,等于一个零件一块钱,现在车上要装的这颗芯片,也得放进这笔账里。
他还说,汽车行业是个很苦的行业,既要又要更要。成本要低,性能要好,安全得保证,体验还得好,听着苛刻,可消费者本来就是这么要求的。
祖似杰还讲了一句更直接的话,消费者肯定只为体验付钱,算力数值是技术标杆,可如果用户实际体验没做到,这个技术就没有意义。
价格这一头,压着芯片往下走。
工艺那一头,也快不了,陈平在台上给李宗霖留了一句话,2 纳米在台积电已经大规模量产,可车规最先进的还是 3 纳米。
差这一代,跟台积电做不做得出来没关系。车规芯片对可靠性的要求更高,需要更多量产数据,还得考虑冗余设计。
一颗芯片装到车上,可能要用十年。
陈平讲了个细节,消费类芯片出了问题,换一台机器就行;车规芯片出了问题,代价可能是一条命。
所以,每一代新工艺,都得经过足够长时间的验证,才敢真正上车;算力可以一年比一年高,工艺却没法跟着一年换一代。

曹旭东在台上提了个说法,叫智驾摩尔定律。
2022 年到 2026 年,智能驾驶的能力每两年提升 10 倍。2026 年往后,头部企业有望做到每年 10 倍。
2024 年,城市领航辅助驾驶从尝鲜配置逐渐走向主流选装,行业管那一年叫引爆点。
他判断 2028 年会是 L3 和 L4 的引爆点,2030 年进入规模化落地,这一次是在更高级别的自动驾驶上重演。
安全目标也给出了具体数字,到 2028 年底,头部公司有机会做到人类驾驶的 10 倍安全;2030 年,100 倍,当然,这些都是 Momenta 对未来的判断。
眼下,R7 Ultra 的参数规模和安全性能刚过上一代的 5 倍。要实现 2030 年的目标,还有好几年的路要走,芯片也得继续往前赶。
再往后看一代。X9 计划 2027 年推出。李宗霖给的数,算力 3000 TOPS,单芯片内存带宽 700GB 每秒。
算力是 X7 Ultra 的四倍多,一颗芯片从设计到量产,两年。一款车从开发到上市,三到五年。一辆车在路上,十年。
三个周期不一样长,芯片跑得最快,车跑得最慢。跑得快的那个,得等跑得慢的那个。
所以,这场竞赛最后比谁能在这三个周期里一直不掉队;嗯,算力只是入场券。



登录后才可以发布评论哦
打开小程序可以发布评论哦