2026 年 10 月 14 日，独立基准测试机构 First Proof 发布第三批测试结果，证实前沿人工智能系统已能解决约 90% 未经发表、经专家评级的研究级数学问题；相比之下，表现最佳的公开权重模型未能解出任何题目。这两类模型之间存在约十个月的有效能力差距，显著高于 Epoch AI 在 2026 年 5 月通用 AI 基准测试中观测到的四个月滞后。

对于倾向于使用开源模型以保护未发表定理免受商业 AI 服务器访问的数学家而言，这一发现构成了直接的两难选择：当前阶段，强大的工具与私密的工具互斥。自 2026 年 9 月两名研究人员就 OpenAI 训练数据是否包含其作品产生争议以来，这种担忧愈发具体。

首个针对未发表难题的 AI 基准测试

First Proof 旨在填补 AI 数学能力评估的结构性空白。现有基准多采用已见于教科书或在线论坛的竞赛题，难以区分模型是在推理还是单纯回忆。First Proof 则邀请活跃数学家贡献研究中未发表的引理，涵盖几何、拓扑、统计等领域，彻底排除模式匹配可能。

该基准从数学正确性、阐述质量及文献引用质量三个维度评分，区别于仅关注答案对错的常规测试。项目由 First Proof 基金会非营利编辑团队运营，成员包括斯坦福大学 Mohammed Abouzaid、加州大学伯克利分校 Nikhil Srivastava 等学者。资助方包括 DARPA、Google.org 以及来自 Anthropic 和 OpenAI 的无限制捐款。

" 作者 - 评论家 " 架构的实际运作

第三批表现最佳的系统 ProofCouncil 由苏黎世联邦理工学院团队领导。其核心在于 "Harness" 编排框架，而非单一模型查询。该系统采用 " 作者 - 评论家 " 循环架构：" 作者 " 智能体基于 GPT-6 Astra Pro 编写 LaTeX 格式证明，并调用网络搜索及代码执行工具；" 评论家 " 智能体独立评估并反馈。每三轮后，状态化评论家会被替换为无历史包袱的 " 新鲜评论家 "，只有两者均接受时，证明才会提交。这种双重盲审机制有效捕获了单一模型易遗漏的错误。

当陷入僵局时，系统会调用由 Gemini 3.1 Pro、Claude Fable 5.1 及额外 GPT-6 实例组成的模型委员会，并利用 SageMath 等工具验证计算。第二批数据显示，原始模型查询成本仅 36 美元，而 Harness 架构成本高达 1,888 美元。巨额支出差异并非源于更强的推理能力，而是用于独立验证的数十次额外调用。正是这种架构将引用准确率从 40% 提升至 70%。

开源模型的全面溃败

由 Zhengyang Zhang 团队构建、运行于 Moonshot AI 开源模型 Kimi K3 上的 Humanize 系统，在提交的十个案例中全部失败。专家评审认为其表现大致相当于 2025 年 12 月推出的 GPT 5.2 Pro，落后前沿模型约十个月。尽管自托管成本约 2,000 美元，高于裸机 GPT-6 Astra，但产出为零。哈佛数学家 Lauren Williams 直言：" 它真的彻底失败了。" 这表明在研究数学这一高要求领域，开源模型的劣势远超通用基准所显示的水平。

隐私困境与算力壁垒

许多数学家选择开源模型是出于隐私考虑，不愿将未发表工作提交至商业 API。然而，2026 年 8 月至 9 月，有数学家报告 OpenAI 得出了与其未发表 Navier-Stokes 工作相似的结果。尽管 OpenAI 否认直接访问特定会话，但承认去标识化数据可能贡献于模型改进。First Proof 的结果量化了这一隐私偏好的代价：近一年的能力差距。

此外，算力获取正成为结构性壁垒。ProofCouncil 虽以 1,888 美元解决了九道题，但该成本对于大多数大学数学系而言，难以在探索性研究中持续承担。布法罗大学数学家 Adam Sikora 指出，这需要技术编程专业知识及对多个高端模型的付费访问，意味着 AI 在数学领域的民主化进程并不均匀。

阐述与引用的遗留差距

即便 ProofCouncil 给出了九个正确答案，其阐述质量仍存缺陷。约三分之一提交的阐述评分低于可接受水平，AI 倾向于过度解释基础步骤而淡化关键洞察。尽管 Harness 架构将引用合格率提升至 70%，但同时产出正确、清晰且引用规范的证明，仍是当前系统无法一致实现的目标。

未来展望

First Proof 宣布将于 2027 年 1 月上半月进行第四批测试，计划分别校准前沿与开源模型，以深入分析开源系统的失败模式。同日，菲尔兹奖得主 Terence Tao 呼吁分享人机协作经验。这一并列折射出领域现状：一方面 AI 已能解决基准测试中的所有问题，另一方面，算力鸿沟与隐私顾虑使数学家与 AI 的高效协作变得复杂。

【星途科讯 图文丨伊贝 首发于 ZAKER 科技，转载请注明出处】