
xAI 负责人埃隆 · 马斯克透露,公司预训练软件现已全面转为内部开发的 C 和 C++ 代码栈。他在社交平台 X 上表示,拥有 2.5 万亿参数的 Grok 4.8 模型预计将于本周完成预训练,正式进入强化学习阶段。
马斯克强调,该底层软件由 Starlink(星链)软件团队手工编写," 并非由 AI 生成 "。他指出,当前 AI 能力尚不足以胜任高性能软件开发,但未来有望实现。相比之下,目前的强化学习堆栈仍 " 由许多不同的第三方系统遗留代码组成 ",马斯克承诺将在 " 适当的时候 " 解决这一技术债务。
业界关注底层优化效率
这一技术路线调整引发了关于定制底层基础设施与高层级框架权衡的讨论。谷歌软件工程师 Patrick C Toulme 分析认为,xAI 采用 C++ 栈是其高效产出众多模型的关键原因之一,这显著提升了模型浮点运算利用率(MFU),即训练硬件的使用效率。
Toulme 推测,xAI 的实现方案可能包含 " 内联 PTX"(英伟达低级 GPU 汇编语言),并暗示该代码栈可能在更强 AI 模型的辅助下生成。他进一步指出:" 对于生产环境训练而言,对高层级框架的需求正在迅速消失,它们无法与代理编写的 C 代码栈竞争。"
马斯克证实了底层优化的方向,透露新代码栈使用了汇编语言,并直接调用英伟达流式多处理器中的硬件加速器,使软件能够更紧密地针对 GPU 硬件进行极致优化。
【星途科讯 图文丨周鑫雨 首发于 ZAKER 科技,转载请注明出处】


登录后才可以发布评论哦
打开小程序可以发布评论哦