环球网科技 9小时前
美团LongCat-2.0开源推理代码 大模型总参数达1.6万亿
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【环球网科技报道 记者 李文瑶】7 月 6 日,美团宣布将万亿参数大模型 LongCat-2.0 正式开源,并同步开放针对国产算力芯片深度优化的推理代码。该模型总参数达 1.6 万亿,平均激活约 48B,专为真实的 Agentic Coding 任务设计。

LongCat-2.0 在架构上引入了 LongCat 稀疏注意力机制(LSA)和 N-gram Embedding,前者通过流感知索引、跨层索引等策略提升百万级长上下文的训练与推理效率,后者以 135B 参数投入新模块,在 MoE 稀疏度接近 97% 的背景下进一步强化代码理解与生成能力。后训练阶段,模型采用多教师在线蒸馏,将专家分为 Agent、推理和交互三类,兼顾自主执行、自适应推理与安全对齐。

值得关注的是,官方透露,LongCat-2.0 是业界首个在五万卡国产算力集群上完成推理的万亿参数模型。团队从模型架构、芯片适配到部署策略进行深度协同优化:通过 Super Kernel 减少算子启动开销、Weight Prefetch 隐藏 I/O 延迟,并采用 PD 分离部署与 KV-cache 切分,有效缓解显存与带宽瓶颈,实现百万上下文在国产芯片上的稳定推理。

美团此次开源同步提供 BF16、FP8 及 INT8 等多精度版本,覆盖不同算力平台部署需求。官方表示,希望以开源为纽带,盘活存量国产算力,让更多国产卡包括老卡都能流畅部署万亿大模型推理服务,释放国产算力生态的长期价值。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 美团 芯片 环球网科技
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论