新浪科技讯 10 月 28 日晚间消息,近日,Keep 团队在 arXiv 平台公开运动健康大模型评测基准 MoveBench 的预印本论文,同时开源首批 80 道中文题目及评测工具,并启动 "MoveBench 运动健康专家团 " 公开招募。

随着大模型逐步进入健身指导、运动数据分析等垂直场景,用户常向 AI 询问 " 该怎么练 ",并要求其生成训练计划。MoveBench 面向大模型在运动健康领域的应用,重点评估模型生成的训练建议是否专业、安全、适合具体用户且具备可执行性,旨在为行业提供统一、可量化的评测标准。
MoveBench 覆盖训练课程生成、运动数据解读和专业知识问答三类场景,完整评测集包含 809 道题目和 5012 条评分细则,题型涵盖单选、多选及开放题,涉及 13 类学科。题目来源于大量用户在训练初期及训练过程中遇到的真实问题。题库构建参考真实用户的 BMI、年龄、伤病比例等统计分布,数据题使用脱敏后的真实运动日志。
在答案及评分标准的制定方面,MoveBench 结合 AI 模型与 Keep 在运动健康领域十余年的经验,由专业教练及高校相关领域专家教授参与审核。针对不同用户特征、训练目标和具体场景,评测基准设置差异化评分细则(Rubric),而非用同一套要求评判所有训练建议。开发过程中,共有 23 位内外部领域专家参与。评测同时引入安全红线机制,对存在运动风险的建议进行负向评分。
本次 Keep 团队首批公开的 80 道中文题目,包括 50 道开放题和 30 道选择题。开发者可通过 GitHub 获取题目及评测工具,提交答案和模型配置;维护者运行云端评分程序、审核逐题评分证据后,更新公开榜单。首批公开题目的评测结果将与论文完整题库的成绩分开报告,以区分不同评测范围,并为模型开发者提供可复现的测试入口。
同时,Keep 启动 "MoveBench 运动健康专家团 " 招募,面向健身教练、体能教练、运动队教练、康复治疗师、运动营养师,以及运动科学、体育教育等相关领域研究者,邀请其参与题目设计、审核、标准制定和标注校对,相关工作采用远程协作方式。
Keep 表示,希望通过公开论文、题目与评测工具,与开发者及运动健康领域专家共同完善相关评测体系,推动运动健康大模型在专业性、安全性和个性化方面持续改进。


登录后才可以发布评论哦
打开小程序可以发布评论哦