IT之家 09-06
OpenAI研究人员宣称已破解模型“幻觉”:重新设计评估指标即可
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

IT 之家 9 月 6 日消息,据《商业内幕》今日报道,OpenAI 研究人员宣称已经破解大语言模型性能最大的障碍之一 —— 幻觉问题

IT 之家注:所谓幻觉,是指大语言模型把不准确的信息当作事实输出,几乎所有主流模型都深受其困扰。

OpenAI 在周四发布的一篇论文中指出,幻觉的根源在于训练方式更偏向奖励 " 猜测 ",而不是承认不确定性。换句话说,模型被训练成 " 装作知道 ",而不是坦率地说 " 我不确定 "。

不过,不同模型的表现差别明显。OpenAI 在上个月的博文中提到,Claude 在面对不确定时往往更谨慎,常常避免给出错误回答。但 OpenAI 也提醒,Claude 拒答率偏高,可能削弱了使用价值。

研究人员在论文中写道:" 幻觉之所以难以消除,是因为现有的评估标准奖励猜测。模型被优化成‘考试型选手’,在不确定时猜一猜反而能提高分数。"

结果是,大语言模型几乎一直处于 " 考试模式 ",把世界看成非黑即白的是非题。但现实远比考试复杂,不确定性往往多于确定性,绝对的准确并不常见。

研究人员指出:" 人类会在现实生活的挫折中学会表达不确定性的价值,而大语言模型的评估主要依赖考试,这些考试却惩罚了不确定的回答。"

其认为,解决方法在于重新设计评估标准。" 问题的根源是评估指标没有对齐,必须调整主要的评分方式,避免在模型不确定时因拒答而被扣分。"

OpenAI 在介绍论文的博文中进一步解释说:" 目前广泛使用的基于准确率的评估需要更新,打分方式应当抑制‘乱猜’行为。如果排行榜继续奖励侥幸的回答,模型就会不断被训练成靠猜测过关。"

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

考试 准确 it之家
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论