随着基础模型的快速发展和 AI Agent 进入规模化应用，被广泛用于评估 AI 能力的基准测试（Benchmark）却面临一个日益尖锐的问题：想要真实反映 AI 系统的客观能力正变得越来越困难，这其中最直接的表现——基础模型 " 刷爆 " 了市面上的基准测试题库，纷纷在各大测试榜单上斩获高分甚至满分。

因此，构建一个更加科学、长效和反映 AI 客观能力的评测体系，正在成为指引 AI 技术突破与产品迭代的重要需求。

5 月 26 日，红杉中国宣布推出全新的 AI 基准测试 xbench，并发布论文《xbench: Tracking Agents Productivity, Scaling with Profession-Aligned Real-World Evaluations》。这是首个由投资机构发起，联合国内外十余家顶尖高校和研究机构的数十位博士研究生，采用双轨评估体系和长青评估机制的 AI 基准测试。xbench 将在评估和推动 AI 系统能力提升上限与技术边界的同时，重点量化 AI 系统在真实场景的效用价值，并长期捕捉 Agent 产品的关键突破。

xbench 基准测试的特点包括：

xbench 采用双轨评估体系，构建多维度测评数据集，旨在同时追踪模型的理论能力上限与 Agent 的实际落地价值。该体系创新性地将评测任务分为两条互补的主线：（1）评估 AI 系统的能力上限与技术边界；（2）量化 AI 系统在真实场景的效用价值（Utility Value）。其中，后者需要动态对齐现实世界的应用需求，基于实际工作流程和具体社会角色，为各垂直领域构建具有明确业务价值的测评标准。

xbench 采用长青评估 （Evergreen Evalution）机制，通过持续维护并动态更新测试内容 ，以确保时效性和相关性。xbench 将定期测评市场主流 Agent 产品，跟踪模型能力演进，捕捉 Agent 产品迭代过程中的关键突破，进而预测下一个 Agent 应用的技术 - 市场契合点（TMF，Tech-Market Fit ) 。作为独立第三方，xbench 致力于为每类产品设计公允的评估环境，提供客观且可复现的评价结果。

首期发布包含两个核心评估集：科学问题解答测评集（xbench-ScienceQA）与中文互联网深度搜索测评集（xbench-DeepSearch），并对该领域主要产品进行了综合排名。同期提出了垂直领域智能体的评测方法论，并构建了面向招聘（Recruitment）和营销（Marketing）领域的垂类 Agent 评测框架。

在过去两年多的时间里，xbench 一直是红杉中国在内部使用的跟踪和评估基础模型能力的工具，今天红杉将其公开并贡献给整个 AI 社区。无论是基础模型和 Agent 的开发者， 还是相关领域的专家和企业，或者是对 AI 评测具有浓厚兴趣的研究者，xbench 都欢迎加入，成为使用并完善 xbench 的一份子，一起打造评估 AI 能力的新范式。

xbench 最早是红杉中国在 2022 年 ChatGPT 推出后，对 AGI 进程和主流模型进行的内部月评与汇报。在建设和不断升级 " 私有题库 " 的过程中，红杉中国发现主流模型 " 刷爆 " 题目的速度越来越快，基准测试的有效时间在急剧缩短。正是由于这一显著变化，红杉中国对现有评估方式产生了质疑——

" 当大家纷纷考满分的时候，到底是学生变聪明了，还是卷子出了问题？"

因此，红杉中国开始思考并准备解决两个核心问题：

1）模型能力和 AI 实际效用之间的关系？基准测试的题目越出越难，意义是什么？是否落入了惯性思维？AI 落地的实际经济价值真的会和 AI 做难题呈正相关吗？

2 ) 不同时间维度上的能力比较：在 xbench 每一次更换题库之后，我们就失去了对 AI 能力的前后可比性追踪。因为在新的题库下，模型版本也在迭代，无法比较不同时间维度上单个模型的能力如何变化。在判断创业项目的时候，创业者的 " 成长斜率 " 是一个重要依据，但在评估 AI 能力上，题库的不断更新却反而让判断失效。

为了解决这两个问题，xbench 给出了新的解题思路：

1 ) 打破惯性思维，为现实世界的实用性开发新颖的任务设置和评估方式。

当 AI 进入 " 下半场 "，不仅需要越来越难的 AI Search 能力的测试基准（AI Capabilities Evals），也需要一套对齐现实世界专家的实用性任务体系（Utility Tasks）。前者考察的是能力边界，呈现形式是 score，而后者考察的实用性任务和环境多样性，商业 KPIs（Conversion Rate, Closing Rate）和直接的经济产出。

因此，xbench 引入了 Profession Aligned 的基准概念，接下来的评估会使用 " 双轨制 "，分为 AGI Tracking 和 Profession Aligned，AI 将面临更多复杂环境下效用的考察，从业务中收集的动态题集，而不单是更难的智力题。

2）建立长青评估体系。静态评估集一旦面世，会出现题目泄露导致过拟合然后迅速失效的问题，我们将维护一个动态更新的题目扩充评估集来缓解这一现象。

针对 AI Capacity Evals：学术界提出了很多出色的方法论，但是受限于资源与时间不充分，无法维护成动态扩充的持续评估。xbench 希望能延续一系列公开评估集的方法，并提供第三方、黑白盒、Live 的评测。

针对 Profession Aligned Evals：xbench 希望建立从真实业务中 Live 收集机制，邀请各行业的职业专家共同构建和维护行业的动态评估集。

同时，在动态更新的基础上，xbench 设计可横向对比的能力指标，用于在时间上观察到排名之外发展速度与关键突破的信号，帮助判断某个模型是否达到市场可落地阈值，以及在什么时间点上，Agent 可以接管已有的业务流程，提供规模化服务。

在 xbench 推出当天，官网 xbench.org 上线了首期针对主流基础模型和 Agent 的测评结果。

红杉中国表示：xbench 欢迎社区共建。对于基础模型与 Agent 开发者，可以使用最新版本的 xbench 评测集来第一时间验证其产品效果，得到内部黑盒评估集得分；对于垂类 Agent 开发者、相关领域的专业和企业，欢迎与 xbench 共建与发布特定行业垂类标准的 Profession Aligned xbench；对于从事 AI 评测研究，具有明确研究想法的研究者，希望获取专业标注并长期维护评估更新，xbench 可以帮助 AI 评估研究想法落地并产生长期影响力。