手机中国 14小时前
Qwen3.8-Flash模型上线千问AI平台 采用全新架构
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】8 月 27 日,千问 AI 平台上线 Qwen3.8-Flash 模型,在编程、Agent 等真实任务中达到极致性价比,最新价格为:输入每百万 Tokens 0.8 元,输出每百万 Tokens 2.7 元,缓存命中每百万 Tokens 0.1 元。

据 CNMO 科技了解,Qwen3.8-Flash 是一个多模态混合专家(MoE)模型,采用了下一代(Next)模型架构,千亿总参数仅激活 60 亿(6B),创下模型效率的全球新基准。

该模型采用了与此前所有千问大模型完全不同的全新架构:

在注意力方面,引入独特的 QSA(Qwen Sparse Attention)机制,形成与 GDN 高效融合的混合注意力架构,可显著降低计算开销,在高缓存命中的 1M Tokens 长上下文实际场景中可提速 8 倍以上,又准又快;

在模型内部分层通信方面,引入自研的 Gated Residual 方法,将传统 Transformer 的 1 条信息主通道拆分并拓展为 4 条,让模型可根据需求动态决定读写信息,信息传递更高效,训练也更稳定;

在模型参数扩展方面,引入 51B 的 N-gram Embedding 参数,为模型 Transformer 参数提供更高效的查表寻址,在每次 token 计算时无需参与,以极少的资源消耗 " 外挂 " 了一个大规模的 " 记忆指南手册 ",模型参数扩展效率更高;

在模型调参方面,模型结构和后期优化协同进行,收敛效率和训练吞吐大幅提升。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 编程
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论