IT 之家 2 月 15 日消息，京东昨天在 Hugging Face 平台开源了 JoyAI-LLM-Flash 大模型，拥有 3B 激活参数以及 48B 总参数，在 20 万亿文本 Token 上进行预训练，擅长前沿知识理解、推理能力、编程、智能体等方面。

据介绍，这款模型拥有全新优化框架 FiberPO，能够将纤维丛理论（fiber bundle theory）引入强化学习，并在训练中使用 Muon 优化器，通过微调 SFT、DPO 以及强化学习（RL）进一步训练。

同时，这款模型结合了 Muon 优化器以及稠密 MTP（Multi-Token Prediction），解决了传统模型规模扩展时不稳定的问题，相比非 MTP 版本吞吐量提升 1.3x-1.7x。

IT 之家附该模型详细参数如下：

项目	参数
架构	混合专家模型 ( MoE )
总参数量	48B
激活参数量	3B
层数（含 Dense）40
Dense 层数量	1
注意力隐藏维度	2048
MoE 隐藏维度	768
多头注意力数量	32
专家个数	256
每 Token 专家数	8
共享专家数	1
词表大小	129K
上下文长度	128K
注意力机制	MLA
激活函数	SwiGLU