一道试题对人来说有多难，能否从大模型的解题过程中找到线索？

来自弗吉尼亚理工大学、马里兰大学、MBZUAI与匹兹堡大学的研究团队提出Epi2Diff：将大模型生成的推理轨迹拆分为 " 认知片段 "，结合题目内容预测人类作答难度。

在 SAT 数学、SAT 阅读与写作、Cambridge 和 USMLE 四个真实测评数据集上，Epi2Diff 在单次主实验的各项指标中均排名第一。其中，SAT 数学难度分类准确率达到73.0%，比最强基线高3.2个百分点。

相关论文已被机器学习期刊 Transactions on Machine Learning Research（TMLR）接收。

研究背景：题目语义之外，还有解题过程

判断新题难度是组卷和题库建设的基础工作。传统教育测量依赖考生作答数据标定，可靠但预试成本较高；仅分析题干语义，又难以判断解题过程究竟在哪里费力。

Epi2Diff 将观察窗口延伸到解题过程：模型推演了多长时间、更多是在分析还是执行、是否反复切换策略？这些可统计的行为为难度预测提供了新的过程信号。

△Epi2Diff 方法概览。图中 LLM 为流程示意；实验轨迹由 QwQ-32B 和 Qwen3-32B 生成。

需要强调，研究要预测的是人类题目难度。模型轨迹是可规模化获取的代理证据，最终仍由已有的人类难度标签进行监督，并非直接测量人类认知。

方法设计：把推理轨迹变成结构化特征八类认知片段：模型在做什么？

一段推理往往包含理解题意、制定策略、执行计算和检查答案等不同活动。研究借鉴 Schoenfeld 的解题片段理论和 ThinkARM 扩展，将轨迹逐句归为八类：阅读、分析、计划、执行、探索、验证、监控和作答。

这些 " 片段 " 是句子功能标签，而非固定的八步解题流程。基于 RoBERTa 的分类器在 ThinkARM 的 7067 句人工标注数学推理测试集上达到79.9% 准确率、0.761 宏平均 F1；目标领域补充标注评估的准确率为 62.9% — 74.2%，表明跨领域自动分类仍有误差。

83 维过程特征：模型如何解题？

Epi2Diff 进一步从轨迹中提取83 维特征：3 项长度统计、8 类片段的词元数、8 类片段的词元占比，以及64 种相邻片段转移次数，分别刻画 " 投入多少 "" 投入在哪里 " 和 " 过程如何展开 "。

例如，两条轨迹长度相近、分析与执行占比相似，但一条先集中分析再连续执行，另一条在分析与执行间频繁切换。转移特征保留了这类顺序差异。

△三道 SAT 数学题的轨迹统计。Total、Think、Answer 按词数统计；Impl. 等列是片段占比，如 0.253 表示 25.3%。

实验通过 QwQ-32B 和 Qwen3-32B，在直接作答及标为 " 弱、中、强 " 的提示条件下生成轨迹，再对特征取平均。这些提示用于诱导不同解题路径，不代表已验证的学生能力等级。

最后，将过程特征与 Sentence-BERT 得到的题目语义向量拼接，通过监督模型预测难度。四个数据集经验证集选择后，最终均使用 XGBoost 作为预测器。

实验结果：四类真实测评任务分类与回归表现

评估包含 1075 道 SAT 数学题、1338 道 SAT 阅读与写作题、793 道 Cambridge 英语阅读题和 667 道 USMLE 医学题。两项 SAT 任务预测 " 简单、中等、困难 " 三类；另两项预测连续难度值。基线覆盖 BERT 等小模型微调、LLM 零 / 少样本提示，以及全参数和 LoRA 微调。

△四个数据集的单次主实验结果。ACC、宏平均 F1 和 R ² 越高越好；RMSE 越低越好。

SAT 数学准确率由最强基线的69.8%提高至73.0%，宏平均 F1 由 0.705 提高至 0.728。SAT 阅读与写作的提升较小：准确率由 62.3% 升至 63.1%，宏平均 F1 由 0.622 升至 0.626。

回归任务中，Cambridge 的 RMSE 从 8.200 降至 7.612，USMLE 从 0.298 降至 0.291；相应 R ² 分别从 0.299 升至 0.396、从 0.076 升至 0.121。

重复实验与结果边界

补充的五次运行中，两项 SAT 任务的平均准确率和宏平均 F1 仍以 Epi2Diff 最高。但阅读与写作任务的领先幅度小于运行间波动，优势应谨慎解读。重复实验固定了轨迹与片段特征，仅改变下游预测器的随机种子。

消融分析：不是推理越长，题目就越难

SAT 数学消融结果表明，性能提升不只来自轨迹长度。仅用题目语义时，宏平均 F1 为 0.607；加入长度特征后为 0.671；使用完整表示达到 0.728。即使保留其他特征，去掉片段转移信息后也会降至 0.676。

△SAT 数学消融实验。正文引用最右侧 Both ( Role ) 列；Sem. 为语义特征，FFea. 为完整过程特征，Tran. 为转移特征。

进一步的顺序打乱实验保留轨迹长度和片段频率，仅改变中间推理句子及标签的排列。原始顺序效果更好，支持局部转换顺序具有预测信息。

在 SAT 数学中，较难题目还伴随更多中间推演、更高的执行投入，以及更明显的 " 分析→执行 "" 执行→执行 "" 执行→分析 " 转移信号。不过，这些模式在其他领域复现有限，属于过程关联，不能视为人类认知的直接观测或因果证明。

应用价值：为题库建设提供可解释线索

Epi2Diff 尝试把 " 题目如何被解答 " 转化为可比较的特征，为新题的难度预评估和人工审题提供辅助线索。实际使用仍需带标签的数据训练、目标人群验证及专家复核。其价值不是取代教育测量，而是为题目难度判断增加一组来自推理过程的证据。

论文标题：Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction

作者：Chenguang Wang*、Ming Li*、Xinyue Zeng、Zhuochun Li、Hong Jiao、Tianyi Zhou、Dawei Zhou（* 共同第一作者）

论文链接：https://arxiv.org/abs/2606.28186

项目代码：https://github.com/c-steve-wang/Epi2Diff

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。

  我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见