智东西 04-17
参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

智东西(公众号:zhidxcom)编辑 | ZeR0

智东西 4 月 17 日消息,今日,上海多模态大模型独角兽 MiniMax 正式推出 abab 6.5 系列模型,包含 abab 6.5 和 abab 6.5s 两个模型。

MiniMax 成立于 2023 年 1 月,是当前国内估值最高的大模型公司之一。今年 3 月,MiniMax 完成阿里参投的新一轮融资,投后估值超过 25 亿美元。此前米哈游、腾讯均有投资 MiniMax。

在 MoE 尚未成为行业共识时,MiniMax 已经押注 MoE 路线,今年 1 月发布其首款基于 MoE 架构的 abab 6,并在过去 3 个月潜心研发出性能更强的万亿参数 MoE 模型 abab 6.5,在核心能力测试中接近 GPT-4、Claude 3 Opus、Gemini 1.5 Pro 等顶尖大语言模型。

标注星号的是 MiniMax 调用 API 测试得到的结果,其余分数来自对应的技术报告。

abab 6.5 和 abab 6.5s 采用相同的训练技术、数据,支持 200k tokens 上下文长度。abab 6.5s 更高效,1 秒能处理近 3 万字的文本。

MiniMax 在 200k tokens 内进行了业界常用的 " 大海捞针 " 测试。在 891 次测试中,abab 6.5 均能正确回答。

MiniMax 团队称找到了越来越多加速实现 Scaling Laws 的途径,包括改进模型架构、重构数据 pipeline、训练算法及并行训练策略优化等。今天发布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 过程的阶段性成果。

abab 6.5 系列模型会滚动更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台上。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

智慧云

智慧云

ZAKER旗下新媒体协同创作平台

相关标签

腾讯 上海 独角兽 阿里
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论