DiffuSpace 开源 Clover-35B-A3B:MoE 扩散模型提速至 680 tokens/s
2026.10.28 13:33
钛媒体 App 10 月 28 日,扩散智能 DiffuSpace 发布并开源扩散语言模型 Clover-35B-A3B-Preview。模型采用 MoE 架构,总参数 350 亿、单 token 激活约 30 亿,支持 128K 上下文与块扩散生成;在智能体编程、工具调用等任务上,评测表现超过 Mercury 2.5 及同尺寸 Qwen3.6-35B-A3B。技术侧重构门控 Delta 网络,以递归状态压缩历史上下文,结合双向注意力与可学习块大小校准适配块级并行去噪。权重代码已上架 Hugging Face、GitHub,支持 SGLang、llama.cpp,内部测试整体生成速度达 680 tokens/s,较同规模自回归方案最高快 5 — 10 倍。(广角观察)
本文内容仅供参考,不构成投资建议,请谨慎对待。


登录后才可以发布评论哦
打开小程序可以发布评论哦