每日经济新闻 05-09
MiniMax发长文回应“模型无法说出马嘉祺”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

每经 AI 快讯,5 月 9 日,MiniMax 官微发长文回应 M2 系列模型无法说出马嘉祺一事,提供了对 " 嘉祺识别 " 问题的完整排查过程和技术思考。MiniMax 表示,其从分词器版本对齐、embedding 统计分布、语义近邻检索、预训练与后训练模型的 few-shot 对比实验、后训练数据频次统计以及对全词表 lm_head 变化幅度的排序扫描等多个维度进行了排查。最终定位到的原因是:" 嘉祺 " 在分词器中被合并为一个独立 token,但该 token 在后训练数据中出现频次极低,导致模型在后训练中逐渐遗忘了对该 token 的生成能力。

每日经济新闻

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

马嘉祺 ai
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论