驱动之家 06-30
业界首个!美团发布LongCat-2.0:总参数规模1.6万亿 全程由国产算力训练
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 6 月 30 日消息,今日,美团发布新一代万亿参数大模型 LongCat-2.0,并将对外开源。

据介绍,LongCat-2.0 是业界首个依靠国产算力完成训练、推理全流程的万亿参数大模型,总参数规模 1.6 万亿,从零开始预训练,原生支持 1M 超长上下文。

此前,该大模型的测试版本在 OpenRouter 上的总调用量已跻身全球前三。

其中在 Hermes 的月调用量位列全球第一,在 Claude Code 的月调用量位列全球第二,仅次于 Claude Opus 4.8。

LongCat 官方宣布,将于近期开源 Infra 框架、推理引擎、模型参数等核心技术,以回馈全球开发者社区。

据悉,LongCat-2.0 预训练数据规模超过 30T tokens,覆盖中文、英文、多语言和代码等多类数据。

面对万卡级训练中的硬件故障、通信异常、显存压力与数值波动,LongCat 团队从稳定性、正确性和效率三方面攻克国产算力训练难题。

在稳定性上,通过 HCCL 异常处理、弹性扩缩卡和自动故障恢复,将月均日故障率降低 70% 以上。

在正确性上,通过自研设计确定性算子、Bitwise 一致性验证和参数检测,保障训练结果的可靠,同时基于实践提升关键模块计算精度、优化 Reduce 逻辑。

在效率上,通过流水线调度、显存优化和算子级控核,训练 MFU 提升 1.5 倍。

最终,LongCat 实现稳态日吞吐超过 1T tokens/day,完成万亿参数 MoE 模型在国产算力上的稳定训练。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

美团 开源 核心技术 hermes
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论