刚刚,最后一道 FrontierMath Tier 4 难题,被 GPT-6 Astra 攻破了。
至此,这套曾经被视作大模型数学噩梦的研究级测试,所有题目都已经至少被 AI 成功解出过一次。
Epoch AI 也正式给它下了结论,FrontierMath Tier 4,饱和了。

虽然从上面的图里看,Astra 还没有直接干到 100%,OpenAI 自己公布的成绩也是 97.6%。
但按照 Epoch 的算法," 全部解出 " 指的是把不同模型、不同时间的尝试累积起来以后,Tier 4 里的每一道题都已经有过成功解答。
而 Astra 干掉的,正是此前唯一还没有被 AI 攻破的那一道。
(简单理解就是 Astra 可能在某次测试中出错了,但它对的那道题是此前没被解出来的)

有一说一,这个发展速度还是相当离谱的。
如果你关注模型评测的话,就知道 2025 年 7 月 11 日,Tier 4 刚刚推出时,榜上最高成绩只有大约 5%。
现在刚过了一年零 2 个月,这个曾经的 " 高墙 " 已经变成了 " 台阶 ",最后一道难以被 AI 通过捷径绕道解决的问题也被跨越。
出题人自马凯特大学数学副教授Jay Pantone也表示,以往 AI 都会找数值捷径,而这一次,AI 的解法和自己相当接近。

不过,就在最近 GPT-6 Astra 集中向数学界猛攻,三天两头解决千禧年难题之际,Pantone 表示自己已经很难惊讶了!
可以说,数学俨然已经成了 Astra 最近刷存在感最猛的地方之一。
FrontierMath 最早于 2024 年 11 月 7 日发布,而它诞生的目的,本身就是为了避免数学 Benchmark 过快被 AI 刷穿。
当时像 GSM8K、MATH 这样的传统数学 Benchmark 已经越来越难拉开头部模型之间的差距,于是 Epoch AI 联合 60 多位数学家,重新设计了一批此前从未公开过的原创题。
其中,就包括陶哲轩、Timothy Gowers、Richard Borcherds 等菲尔兹奖得主。
陶哲轩当时看完其中一些研究级题目后直言,这些题 " 极其困难 ",甚至判断最难的 Tier 3,可能还能让 AI 再卡上几年。

结果第一轮测下来,果然不出所料,领先模型的正确率还不到 2%。
具体的,在最开始,FrontierMath 的核心题库共有 300 道题,按照难度分成 Tier 1、Tier 2 和 Tier 3 三个层级。

Tier 1 大致接近高难度本科题和数学奥赛,不过允许使用更高级的工具;Tier 2 已经来到高年级研究生难度;Tier 3 则更接近博士生早期会遇到的探索性研究问题。
但随着推理模型出现,这前三层也开始越来越不够用了,于是 2025 年,Epoch 又往上加了一层,Tier 4。
Tier 4 大多由数学教授和博士后设计,每个人会围绕自己的研究方向,进行数周左右的短期研究,最后再把成果压缩成一道可以被自动验证的问题。

最初,Tier 4 一共收录了50 道题。它们覆盖的范围包括分析、数论、组合数学、拓扑、代数几何……
在发布之初,所有模型历次测试加起来,也只有 3 道题曾经被解出,而且这些解答还依赖了一些正确、但没有被充分论证的假设。
鉴于此,在官网的公开样题页面上,Epoch 还一度写道:其中一些题,可能几十年都不会被 AI 解决。

(这句话现在开始被反复鞭尸)
不过随着模型越来越强,另一个问题也暴露了出来:题库本身也开始经不起 AI" 拷打 " 了。
OpenAI 在测试过程中发现,FrontierMath 里的错误比预期更多。
随后 Epoch 启动独立审计,先用 GPT-5.5 和 Claude Opus 4.7 筛查疑点,再交给数学家逐题复核。最终在 2026 年 6 月推出 v2 版本,其中 Tier 4 修正了 12 道题、移除了 7 道题,留下 43 题。
修订之后,模型的成绩依然一路往上冲。
GPT-5.6 Sol 做到 83.0%,Claude Fable 5 达到 90.2%,到了 GPT-6 Astra,成绩已经来到 97.6%。

更关键的是,Astra 还补上了此前唯一一道从未被 AI 解出的题。

至此,Tier 4 里的每一道题,都已经至少被 AI 成功攻破过一次。这套专门为最强模型加出来的研究级防线,最终也被刷穿了。
不过,这并不意味着 " 数学已经被 AI 解决了 "。恰恰相反,FrontierMath 自己已经开始往下一阶段走。
现在整个项目除了 Tiers 1-4,还增加了真正的Open Problems,以及把 Erd ő s 开放问题形式化进 Lean 的FrontierMath Erd ő s。

前者直接拿尚未被数学界解决的研究问题考模型;后者则要求 AI 写出能够通过形式化验证的完整证明。
这一次,Astra 在 FrontierMath Erd ő s 的 68 道问题里,只解决了 2 道。
故事仍在继续~
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
点亮星标
科技前沿进展每日见


登录后才可以发布评论哦
打开小程序可以发布评论哦