湖北长江商报 4小时前
美团LongCat-2.0正式开源 华为昇腾等多家国产芯片厂商同步适配
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

7 月 6 日,美团宣布正式开源 LongCat-2.0 的模型权重、推理引擎与核心技术文档。同日,华为昇腾、摩尔线程、沐曦股份等国产芯片厂商,集体宣布完成对该模型的推理适配工作。

▲ 7 月 6 日,美团宣布开源 LongCat-2.0(资料图)

据悉,LongCat-2.0 采用 MoE(混合专家)架构,总参数规模 1.6 万亿,每个 Token 平均激活约 480 亿参数,原生支持 1M 超长上下文;训练峰值规模超过五万张国产算力卡,预训练数据规模超过 30 万亿 Tokens。这是业界首个完全依靠国产算力完成训练和推理全流程的万亿参数大模型。

美团 LongCat 团队对国产算力的探索始于 2023 年。三年来,团队从千卡规模起步,逐步攻克算子适配、通信优化、分布式稳定性等基础难题,最终在五万卡集群上完成万亿参数模型的全流程训练与推理。

▲华为昇腾、摩尔线程、沐曦股份等国产芯片厂商集体完成对 LongCat-2.0 适配工作(资料图)

LongCat-2.0 开源后,华为昇腾团队宣布迅速在昇腾 910 系列上完成适配。新模型总参数量达 1.6 万亿,如何在单卡显存仅 64GB 的昇腾 A2 上部署且兼顾高性能推理与百万级长序列成为一个难题。CANN 推理团队采用业界成熟的 PD 分离架构,并针对这一难题分别做了部署优化。

此外,摩尔线程、沐曦股份等国产芯片厂商,也在同日宣布完成对 LongCat-2.0 的推理适配。行业分析人士认为,LongCat-2.0 的开源,为国产算力厂商提供了全新的万亿参数级真实测试场景,将有效激活存量国产芯片," 国芯 + 国模 " 的协同研发,正从单点突破向规模化推进。

据悉,LongCat-2.0 已在 GitHub 和 Hugging Face 同步开源,提供 BF16 原始权重、FP8 量化和 INT8 量化三个版本,采用 MIT 协议,允许免费商用。

Tech Blog:https://longcat.ai/blog/longcat-2.0/

HuggingFace:https://huggingface.co/meituan-longcat/LongCat-2.0

Github:https://github.com/meituan-longcat/LongCat-2.0

ModelScope:https://www.modelscope.cn/collections/meituan-longcat/LongCat-20

GPU:https://github.com/sgl-project/sglang/pull/30042

NPU:https://github.com/meituan-longcat/SGLang-FluentLLM/tree/npu

https://longcat.chat/platform/product

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 芯片 华为 美团 摩尔
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论