雷锋网 昨天
阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

11 月 20 日消息,最新的 Qwen2.5-Turbo 已在阿里云百炼上线,该模型支持 100 万超长上下文,相当于 100 万个英文单词或 150 万个汉字,在多个长文本评测集上的性能表现超越 GPT-4。即日起,所有用户可在阿里云百炼调用 Qwen2.5-Turbo   API,百万 tokens 仅需 0.3 元。

全新的 Qwen2.5-Turbo 在 1M 长度的超长文本检索(Passkey Retrieval)任务中的准确率可达到 100%,在长文本评测集 RULER 上获得 93.1 分,超越 GPT-4;在 LV-Eval、LongBench-Chat 等更加接近真实场景的长文本任务中,Qwen2.5-Turbo 在多数维度超越了 GPT-4o-mini;此外,在 MMU、LiveBench 等短文本基准上 Qwen2.5-Turbo 的表现也非常优秀,在大部分任务上的表现显著超越之前上下文长度为 1M tokens 的开源模型。

Qwen2.5-Turbo 在长文本、短文本任务评测集上均表现优秀  

在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约 12.5 倍,将处理 1M tokens 上下文时的首字返回时间从 4.9 分钟降低到 68 秒,实现了 4.3 倍的速度提升。

 

Qwen2.5-Turbo 推理速度可提升 4.3 倍

Qwen2.5-Turbo 可应用于长篇小说深入理解、仓库级别代码助手、多篇论文阅读等场景,可一次性处理 10 本长篇小说,150 小时的演讲稿,3 万行代码。针对该模型,阿里云百炼免费为用户赠送 1000 万 tokens 额度。

该团队表示,长文本任务处理依然存在诸多挑战,未来将进一步探索长序列人类偏好对齐,优化推理效率以减少运算时间,并继续研发更大、更强的长文本模型。

据介绍,阿里云百炼已上线 Qwen、Llama、Flux 等超 200 款国内外主流开源和闭源大模型,用户可选择直接调用、训练微调或打造 RAG 应用。目前,一汽、金山、哈啰集团、国家天文台等超 30 万企业和机构在使用阿里云百炼。

雷峰网

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

阿里云 开源 阅读 一汽
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论