三易生活 09-02
美团新款大模型发布并开源,擅长智能体任务
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

日前美团方面正式发布、并开源大模型 LongCat-Flash-Chat,并同步提供了分别基于 SGLang 和 vLLM 的两种高效部署方案。据了解,今年早些时候美团方面曾表示,其 AI 战略建立在 AIatwork、AIinproducts 以及 BuildingLLM 三个层面。此次开源的相关模型,也是美团首度披露其 AI 战略在 BuildingLLM 层面的进展。

据悉,LongCat-Flash 采用创新性混合专家模型(Mixture-of-Experts,MoE)架构,总参数为 560B,激活参数 18.6B-31.3B(平均 27B),号称可实现计算效率与性能的双重优化。具体而言,该模型在架构层面引入 " 零计算专家(Zero-Computation Experts)" 机制,每个 token 依据上下文需求仅激活 18.6B-31.3B 参数,实现算力按需分配和高效利用。并且为控制总算力消耗,训练过程采用 PID 控制器实时微调专家偏置,将单 token 的平均激活量稳定在约 27B。

此外 LongCat-Flash 在层间铺设跨层通道,使得 MoE 的通信和计算能在很大程度上并行,极大提高了训练和推理效率。配合定制化的底层优化,LongCat-Flash 在 30 天内完成高效训练,并在 H800 上实现单用户 100+ tokens/s 的推理速度。LongCat-Flash 还对常用大模型组件和训练方式进行了改进,使用了超参迁移和模型层叠加的方式进行训练,并结合多项策略保证训练稳定性,使得训练全程高效且顺利。

针对智能体能力,LongCat-Flash 自建了 Agentic 评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了优异的智能体能力。

性能方面,根据美团公布的相关信息显示,LongCat-Flash 在通用领域知识、智能体工具使用、编程、指令遵循等多个领域表现出卓越的性能优势。

以智能体工具使用为例,即便与参数规模更大的模型相比,该模型在 τ 2-Bench(智能体工具使用基准)中的表现仍超越其他模型;在高复杂度场景下,该模型在 VitaBench(复杂场景智能体基准)中以 24.30 的得分位列第一,彰显出在复杂场景的处理能力。

【本文图片来自网络】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

美团 开源 指导 编程
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论