星途科讯 5小时前
Ai2开源AstaBrief 8B:科研报告生成提速3.5倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

语言模型虽已辅助文献搜索与证据综合,但科研工作对模型提出了更严苛的要求:答案必须严格基于证据,不得扩大结论范围,且需具备可验证性。在科学家使用科研代理平台 Asta 的过程中,这一需求尤为明显——用户往往提供大量上下文与约束条件,并将生成的报告视为可编辑的研究成果,而非一次性答案。

为帮助科学家更高效地生成带引用的报告,并支持本地化部署,我们测试了专为科学报告生成训练的小型开源模型,旨在降低服务成本与生成时间的同时,保持与专有模型相当的质量。为此,我们构建了 AstaBrief 8B,该模型能将研究问题与检索到的文献片段转化为带引用的完整报告。

目前,AstaBrief 已在 Asta 平台的 " 生成报告 " 功能中以快速模式(Fast mode)上线,与由 Claude 驱动的思考模式(Thinking mode)并存。我们同时开源了模型权重及训练数据,供社区研究、复现及二次开发。

效率跃升:速度提升约 3.5 倍

开发 AstaBrief 涉及数万条真实研究查询的处理、专注于引用的数据过滤,以及报告生成管道的重构。新管道能够一次性生成完整报告,而非分章节撰写。结果显示,快速模式平均每份报告耗时 51.1 秒,而思考模式为 178.5 秒,生成时间减少近一个数量级,速度提升约 3.5 倍。

开放权重允许机构在自有基础设施上运行 AstaBrief,这对处理敏感或未发表的研究工作至关重要。此外,我们还发布了示例工作流,研究人员可据此调整,从本地 PDF 文件中创建报告。

本文所述的训练与评估工作主要于 2025 年完成,对比的专有模型反映了当时的前沿水平。我们未针对当前最新模型重新运行完整评估,以下结果主要验证具体的训练与系统设计选择。

模型训练:从 Qwen3-8B 出发

我们的目标是构建具备答案质量、相关性、结构化及引用归因能力的开放权重模型。以 Qwen3-8B 为基础,我们将精力集中在后训练数据、评估及报告生成支架上。尽管基于强化学习(RL)的方法在长文生成中表现优异,但考虑到其不稳定性与高昂成本,我们最终选择了更易调试和迭代的监督微调(SFT)与直接偏好优化(DPO)方案。

为提升速度,AstaBrief 跳过昂贵的片段摘要和聚类阶段,直接根据用户查询和检索片段一次性生成最终报告。实验表明,这一简化并未牺牲性能。

数据构建:真实查询与严格过滤

SFT 数据收集:训练数据源自 Asta 用户的真实查询,经过去噪、隐私过滤及非科学请求剔除后,保留了 9 万个以研究为导向的查询。利用包括 Claude 3.5/3.7 Sonnet、o3、o4-mini 和 GPT-4.1 在内的专有系统,生成了 4.7 万个高质量训练样本。

DPO 配对创建:我们从独立查询子集中构建偏好数据,由不同模型生成竞争报告,并通过 GPT-4.1 和 DeepSeek-R1 两个评审模型选出优胜者。仅保留双评审一致的配对,最终获得约 6000 个高质量 DPO 样本。

强化引用归因:针对科学报告中常见的 " 过度概括 " 问题(如将特定样本发现推广至整体),我们引入了多项统计过滤器。研究发现,过滤掉 " 引用密度低 " 的合成报告带来了最大性能提升。这表明,后训练数据的质量及其对证据归因行为的展示,比单纯增加科学文本预训练量更为关键。

验证与早期反馈

在 SQABench-CS2 等基准测试中,AstaBrief 在答案精度和引用质量上与 Claude 驱动管道及 DR Tulu 具有竞争力。在一项小型人类研究中,研究人员在引用准确性指标上更倾向于 AstaBrief。

在 Asta 平台的早期使用中,374 名尝试快速模式的用户中,29.1% 持续使用两天以上,平均生成 3.67 个报告线程。23% 的用户完全转向快速模式,另有 18% 的用户根据任务在两种模式间切换。快速模式的正面反馈比例(84.2%)与思考模式(85.2%)相当。

未来展望

AstaBrief 是科学语言模型长期探索的一部分。未来,我们将探索更细粒度的偏好学习、RAG+RL 方法及多轮交互能力,并致力于开发能更好保留证据范围与强度的评估体系,避免模型将描述性结果转化为不当建议。

研究人员现已可在 Asta 中体验快速模式,或从 Hugging Face 下载 AstaBrief 模型权重。

【星途科讯 图文丨略略 首发于 ZAKER 科技,转载请注明出处】

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 科研 文献 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论