2026 年 2 月 3 日，MLE-Bench 的 GitHub 讨论区炸了。

激烈程度对这个以较量 AI Agent 机器学习水平的垂直领域来说，简直是破天荒的头一次。

话题源自一家名叫 Disarray 的创业公司提交了一个 77.78 分的成绩。

这个数字本身没什么——但如果看到，此前全球多个顶尖团队在长达数月的拉锯中，成绩始终在 60 分上下苦苦挣扎，就会知道这并不简单。

高手过招，往往精确到每一个百分点。

而 Disarray 凭空跳开的近 20 分，让一场关于 benchmark 本质的论战，就此拉开。

机器学习界的 " 铁人三项 "

MLE-Bench，全称 Machine Learning Engineering Benchmark，由 OpenAI 推出。它不是为了测试模型会不会聊天、会不会写诗，而是测试 AI Agent 能不能像一个真正的机器学习工程师那样，独立完成一整套数据竞赛任务。

整个体系可以理解为机器学习界的 " 铁人三项 " ——

考题是 70 多道真实的 Kaggle（全球数据科学家和机器学习爱好者的顶级竞技平台）竞赛题，每一道题都来自过去十年里全球数据科学家真刀真枪比拼过的赛场：从房价预测到图像识别，从 GPS 定位到狗品种分类。Agent 需要自己理解问题、清洗数据、特征工程、调模型、集成——全套流程，没人帮忙。

更狠的是，每道题要跑 3 次，取平均。一次完整的榜单提交，光算力成本就高达数万美元，时间要耗上好几周。

所以这个榜单从来不是热闹的游乐场——它门槛高、成本高、参与者少，但每一个上榜的分数，都沉甸甸的。

自 2025 年 9 月以来，这个此前提交不多的榜单突然热闹起来，陆续有近 10 家选手冲了进来。大家你追我赶，分数从 40 多分艰难地爬到了 60 出头。每一分的提升，背后都是 Agent 架构的实质性突破。

然后，Disarray 来了。

一场有漏洞的考试

MLE-Bench 与真实 Kaggle 竞赛略有不同。

真实的 Kaggle 竞赛中，选手提交模型后，主办方会用一套 " 私有测试集 " 来打分。这套数据选手永远看不到，只能通过公开榜的分数来间接猜测自己的表现。这叫 " 闭卷 "，目的是防止有人针对答案做优化。

但 MLE-Bench 拿不到真正的私有测试集。于是 OpenAI 做了一个妥协：把原本完全公开的数据集拆成两份，一份继续叫 " 公开测试集 "，另一份假装成 " 私有测试集 "。

可是问题来了：这两份数据，都曾经在网上出现过。

这就好比老师把一本练习册拆成两半，说一半是 " 作业 "，另一半是 " 考试题 " ——但学生早就把整本练习册做过一遍了。只要 Agent 足够 " 会搜索 "，理论上就能提前找到所有 " 考试题 " 的答案。

Disarray 的 Agent，恰好踩在了这个漏洞上。

他们在 dog-breed-identification 这道题上跑出了接近 0.00x 的极低分数（这个指标越低越好），原因是 Agent 自己发现了 Kaggle 比赛和 Stanford Dogs 数据集之间的关系，直接用了外部数据。

在另一道 GPS 任务上，他们甚至跑出了 0.0 分——误差为零，这在物理上几乎不可能，除非 Agent 提前知道了 " 标准答案 "。

但争议的核心还不止于此。

一个比特的信号，够不够 " 作弊 "？

比 " 提前找到数据 " 更微妙的，是 Agent 在答题过程中能不能收到来自 " 考试题 " 的反馈。

Disarray 团队承认，他们的 Agent 在运行中会收到一个极其简单的信号——二选一：" 你目前的表现够得上一块铜牌吗？是或否。"

这个信号只有一个比特的信息量，听起来很小。

但关键不在于信号大小，而在于它来自哪里。它就来自那份被当作 " 私有测试集 " 的数据。

换句话说，Agent 每跑完一个阶段，系统就会告诉它：你现在用这套 " 考试题 " 自测，已经达到铜牌水平了——或者还没有。

这就好比一个学生在做期末考试卷的时候，老师每隔十分钟就过来看一眼，说：" 你现在离及格还差一点 "" 你现在已经及格了 "。虽然没告诉他具体哪道题错了，但这个信息本身就足以让他决定：是继续死磕这道题，还是赶紧换下一道。

一位长期关注 AI 评估范式的社区资深贡献者，AtrixTang 把这个比喻说得更狠：这就像用期末考试题当随堂测验的题目，学生一边做一边收到反馈，然后拿着同样的题目参加期末考试。

他说，Kaggle 的类比不成立——因为真实竞赛中，公开榜和私有榜用的是完全不同的数据。

图注：如果 agent 在 " 提前终止 / 重试信号 " 和 " 最终评估 " 中都使用相同的私有测试集，那么严格来讲，这就构成了测试集泄露。

而 MLE-Bench 用同一套数据既给反馈又做最终评分，这就是典型的 " 测试集泄漏 "。

AtrixTang 主张拆成两个榜：一个严格不给任何反馈（Standard Track），一个允许反馈（Oracle Track），让观众自己判断哪个更有意义。

论战的七种立场

PR #118（Disarray 的提交结果的页面，编号为 #118）的评论区成了一面棱镜，折射出整个社区对 " 什么才是公平测量 " 的理解裂痕。

Disarray 提交者 "moustafa-a" 坚持，Disarray 是按现有规则跑的，没有改任何考试流程。他还强调，那个 " 是 / 否 " 信号只是一个资源管理工具——告诉 Agent 要不要继续花钱跑下去，不是什么定向优化。

"dorx" 作为 Disarray 团队核心发言人，承认了两件事：GPS 任务的 0.0 分确实利用了 benchmark 已知的一个漏洞；狗品种识别用了外部数据。但她把这解释为 " 跨任务学习能力 "，不是作弊。

图注：按照标准惯例，在开发过程中，代理程序在任何时候都不能访问私有测试数据。代理程序唯一能收到关于测试数据的反馈是在它们请求提前终止（为了有效利用资源）时，此时它们会得知自己是否达到了铜牌门槛。

alexwang939393 是最早提出系统性疑问的人。他不纠缠细节，直接把问题抛给 benchmark 的初衷：这些高分，测的到底是不是 " 机器学习工程能力 "？

图注：作为参考，没有使用外部数据的最先进模型通常能达到约 0.2-0.3 的分数。第三组（0.00755）与第一组 / 第二组（约 0.04）之间的巨大差距也值得注意。

thesofakillers 身份特殊——他是 MLE-Bench 此前的作者。他的态度很微妙：当前考试确实有漏洞，利用这些漏洞 " 可以接受，但不理想 "。他建议在榜单上加个脚注说明情况。

AtrixTang 态度最坚决：只要用了秘密数据的反馈，不管信号多微弱，就不该和没用过的人放在同一个榜单上。

机器学习领域研究者 "RishiHazra" 和社区开发者 "ariesadel" 则更强硬：这种提交根本不该上榜。信任是 benchmark 的核心，一旦有人用测试集反馈优化，整个排名就失去了意义。

joe-needham 作为 OpenAI 现任研究员、MLE-Bench 的维护者，态度最务实。他承认目前榜单靠 " 信任 " 维持，因为仓库无法验证每个提交的细节。最终，他还是把这个有争议的结果合并进了主榜——但为后来的调整埋下了伏笔。

用 " 笨办法 " 的团队

在这场喧嚣中，有一支团队的选择显得格外安静，甚至有点 " 不合时宜 "。

百度伐谋团队在 2025 年 10 月 10 日第一次提交结果，得分 43.56，已经是当时的 SOTA。此后榜单逐渐热闹，近 10 家选手陆续入场。

2025 年 12 月 27 日，他们做了一个不太好理解的决定——当时最先进的 gemini-pro-3.0 模型已经可用，但他们没有换，而是继续用上一代的 gemini-pro-2.5。

原因很简单：他们想搞清楚 Agent 自身的能力到底提升了多少。从 1.0 版本到 2.0 版本，Agent 架构做了一次大升级。如果同时换模型，成绩的提升就说不清楚是模型的功劳还是 Agent 的功劳了。

这就好比你想测试一个新训练方法对运动员成绩的影响——如果同时给运动员换一双更高级的跑鞋，你就说不清楚成绩提升到底是训练方法的功劳，还是跑鞋的功劳。

59.56 分，新 SOTA。

这个数字证明了 Agent 层优化的有效性。但代价是他们的分数看起来 " 不够高 " ——因为别人可能既优化了 Agent，又用了更好的模型，还用了额外数据。

打一次榜成本太高了，高到任何 " 取巧 " 都有巨大的诱惑。

但百度伐谋的选择是：宁可慢，也要把每一分提升的来源搞清楚。这种 " 笨办法 " 在工业界叫 " 可解释性 " ——你不仅要知道自己跑得快，还要知道为什么跑得快。

一次对照实验

Disarray 的 77.78 分出来之后，百度伐谋团队没有急于质疑，也没有跟风模仿。他们做了一件很 " 工业界 " 的事：设计对照实验。

他们决定换成最新模型 gemini-pro-3.0 再试一次，但其他条件保持不变——不用私有测试集的反馈信号，不用外部网络数据，不利用任何已知漏洞。Agent 只能老老实实地根据给定的训练数据去学习和优化。

为什么这么 " 轴 "？这可能与百度伐谋的定位有关。

作为百度智能云推出的全球首个可商用的自我演化超级智能体，百度伐谋瞄准的是帮助真实世界优化算法，尤其是那些关系国计民生的场景里找到最优解。

而在真实世界里，你不可能提前拿到 " 未来数据 "：做一个销量预测模型，你不可能把未来七天的真实销量告诉 Agent，让它根据这个反馈去调整。做一个推荐系统，你不可能提前知道用户明天会点什么。

在真实世界里，没有 " 铜牌阈值 " 信号，没有 " 再试一次 " 的机会，没有 " 偷偷上网找答案 " 的可能。

2026 年 2 月 23 日，他们提交了 64.44 分。这个分数与 Disarray 的 77.78 依旧有差距。

但这是一个在 " 不偷看答案、不收反馈信号、不上网搜数据 " 的规则下跑出来的分数——它的含金量，参照系完全不同。

一个 AI 榜单的自我修养

2026 年 3 月 23 日，MLE-Bench 仓库新增了一个专门的赛道，名字很直白：" 添加数据泄漏说明 "。有数据泄漏嫌疑的选手被移到了第二个榜单，旁边加了脚注说明。

图注：与主排行榜不可直接比较的额外提交（小孩儿那桌？）

维护者的选择是 " 先收录，但加警示 " ——不是直接把 Disarray 的成绩删掉，而是通过信息披露让观众自己判断。这是一种务实的妥协，但客观上完成了一次矫正。

百度伐谋 2.0 版本作为无数据泄漏嫌疑的选手，重回主榜榜首。

图注：MLE-bench 主榜，百度伐谋位列第一

这个结果耐人寻味。

它可能也不意味着 Disarray 的技术不优秀——比如，他们对考试规则的理解非常深刻，甚至找到了出题人自己都没发现的漏洞。

但 " 能做到什么 " 和 " 应该测量什么 " 是两个不同的问题。

当百度伐谋团队选择不用最新模型、不用秘密数据反馈、不用外部数据的时候，他们其实在做一个更根本的承诺：benchmark 的价值，在于模拟真实世界的约束。而在这个约束下持续提升 Agent 的能力，才是硬核技术的真正含义。

这不是关于道德优越感。

这是关于：在一个榜单泛滥、信任稀缺的时代，什么样的测量才值得被记住。

答案或许很简单：那个愿意对测量本身保持敬畏的榜单，那个不是为了刷分而是为了解决问题的团队。

他们赢得的，不只是排名。