Claude 3的竞技场排名终于来了：

短短 3 天内，20000 张投票，将榜单的流量推向空前。

最终，Claude 3 最强的 " 大杯 " 模型Opus得分 1233，成为第一个能和 GPT-4-Turbo 一较高下的选手。

" 中杯 "Sonnet也还不错，和 GPT-4 的两个旧版本不相上下。

不过总的来说，还是 GPT-4 系列占据上风。

Claude 3 的表现和宣传有些许出入。如网友总结：

GPT-4 还是大模型之王！

但，免费的 " 中杯 "Claude 3（Sonnet）更物超所值。

大模型竞技场出炉，" 新王 " 排第三

Claude 3 发布时官方的宣传是全面超过了 GPT-4，但没提是哪个版本的 GPT-4。

竞技场榜单（LMSYS Chatbot Arena Leaderboard）的最新更新，帮咱摸清了。

来看详细情况。

排在第一名的是 OpenAI 去年 11 月推出的 GPT-4 Turbo，也就是：

GPT-4-1106-preview。

它功能更强价格也更便宜，具有 128k 上下文，训练数据从此前的 2021 年 9 月更新到 2023 年 4 月。

与它并列第一的是 GPT-4 Turbo 最新的版本，今年一月发布的：

GPT-4-0125-preview。

它的训练数据更广，扩展到了 2023 年 12 月。

两者均取得了 1251 的分数。

接着才是 Claude 3（训练数据截止到 2023 年 8 月）。

它的最强版本 Opus 得分 1233，比 GPT-4 Turbo 低了 18 分。

这个差距相比起来不算太大，毕竟再往下看：

它比 GPT-4 的两个版本（0314、0613）分别高了 48 分、72 分。

至于中等性能的Claude 3 Sonnet，则排名第 6，位于 GPT-4 这两个版本之间：

不过只比 0314 版低 5 分，大有潜力一举超越。

所以总的来说，官方宣传的也算没大毛病，全面超越老版 GPT-4，但离 GPT-4 Turbo 还有点距离，尽管不算太大。

——从此榜单的评比机制等情况来看，它的结果还是相当有业内认可度的。

它由 " 小羊驼 "（Vicuna）的作者团队发起。

但裁判官不是 " 小羊驼 "，更不是 GPT-4，而是基于人类偏好。

详细来说，也就我们随机向两个匿名模型提出任意问题，然后评价它们各自的回答，把票投给更好的那一个。

如果一轮投不出，咱可以选择继续提问。如果聊天中模型不小心透露了自己的身份，投票则作废。

特别的，计分规则采用 Elo 机制来保证公平（玩王者荣耀的朋友都熟）。

举个例子：如果某个模型输了，但它的分数不一定低，因为它本身实力就弱，这是预料之中。

截止目前，这个榜单可以说是非常火爆，已经有全球 73 个模型参与挑战，共收到了网友们 37 万张 + 投票。

通义千问挤进前 10

除了 Claude 3，我们再看看其他表现亮眼的选手。

首先要提的就是基于 Gemini Pro 的 Bard，排名第四，仅次于 GPT-4Turbo 和 Claude 3。

可以说是有点让人惊喜。

网友戏谑：

谷歌这是生生在在排行榜上开了个 " 洞 " 啊。

并连忙艾特 JeffDean 和 DeepMind 负责人：喂，加把劲儿啊（旺柴）

然后要说的就是阿里通义千问（1.5 版本，上个月发布）。

它在本次排名中挤进了前十、并列第九，是国内选手中表现最好的。

被它甩在身后的，除了其他国产选手，还有 Claude 2、Gemini Pro 和 GPT-3.5 等等。

完整榜单：

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

参考链接：

https://twitter.com/lmsysorg/status/1765774296000172289