在代码层面，大语言模型已经能够写出正确而优雅的程序。但在机器学习工程场景中，它离真正 " 打赢比赛 " 仍有不小差距。

因为像 AutoML 任务与 Kaggle 竞赛，不仅要求生成可运行的代码，更要求在数据处理、算法设计层面持续迭代与高性能调优。过去，这一过程往往依赖专家经验与反复试错，使模型难以高效突破瓶颈。

然而，现有基于大模型的机器学习智能体仍受限于两大问题：

缺乏细粒度的领域先验，导致在庞大搜索空间中探索效率低下；

传统的线性或树状搜索结构让不同分支彼此孤立，经验难以共享与复用，从而限制了智能体的自进化能力。

简单来说，就是它们会写代码，却还不会 " 聪明地优化 " 代码。

在此背景下，上海人工智能实验室联合华东师范大学提出了AutoMLGen，一个融合通用大模型推理与领域知识的智能编程框架。

其核心为自研的蒙特卡洛图搜索（MCGS），通过 " 分支—节点动态融合 " 打破传统 MCTS 的孤立局限，让不同搜索分支可共享高价值节点；并结合领域知识库与算子级优化，将搜索重点快速聚焦到有效空间，实现轨迹复用、跨分支聚合与过程学习。

AutoMLGen 在仅使用 DeepSeek-R1 模型的情况下，以 36.4% 的平均奖牌率和 18.7% 的金牌率登顶 MLE-Bench 榜单，用标准时长一半（12 小时）的计算预算实现 " 更准、更快、更省 "，体现了 AI 智能体从 " 代码生成 " 到 " 算法优化 " 能力的转变。

AutoMLGen 框架：融合知识与图搜索的智能优化引擎

AutoMLGen是一个面向机器学习工程任务的智能优化框架，让大语言模型在代码生成之外，具备了持续优化与经验复用的能力。

不同于传统依赖 " 暴力搜索 " 的 AutoML 系统，AutoMLGen 以知识为导向、以结构化探索为核心，使智能体能在复杂任务中不断学习、逐步成长。

框架由领域知识库、蒙特卡洛图搜索与细粒度算子库三大模块组成：知识库提供经验启发，图搜索承担动态探索，算子库确保执行稳定，三者协同构建出一个从经验指引→智能探索→方案精修的自进化闭环，真正让 AI 实现从 " 生成 " 走向 " 优化 " 的进化飞跃。

领域知识库：让智能体从 " 零经验 " 快速觉醒

优秀的机器学习工程师总能凭借经验在模型选型、特征处理和策略设计上做出关键判断。

AutoMLGen 将这些经验系统化，构建了覆盖模型层、数据层与策略层的知识库：模型层汇总不同任务下的高效架构与使用要点，数据层聚焦预处理与特征工程技巧，策略层则凝练自 Kaggle 实战的优化思路，如 TTA、伪标签与模型集成等。

在任务启动阶段，AutoMLGen 会自主判断是否启用领域知识，在保持智能体决策独立性的同时有效缓解冷启动。

进入探索阶段后，它能按需启发式地调用知识片段，在动态试探与自我修正中实现经验迁移与能力觉醒，真正让智能体从 " 新手 " 进化为懂策略、会优化的 " 专家型 AI"。

MCGS 图搜索：在迭代中成长，在融合中优化

传统的搜索算法（如 MCTS）虽能在单一路径中平衡探索与利用，但由于分支独立、信息孤立，在复杂任务中效率受限。

AutoMLGen创新性地提出了蒙特卡洛图搜索，在搜索过程中引入图结构，让不同分支的节点和轨迹能够动态融合与共享，实现真正意义上的 " 经验互通 "。

MCGS 通过四种核心机制推动智能体的持续进化：

1、主扩展：沿当前路径生成新方案，稳步推进探索；

2、分支内演化：回顾自身历史，总结得失，实现自我反思与修正；

3、跨分支参考：学习其他分支的优解，吸收外部经验与灵感；

4、多分支聚合：融合不同方案的优势，重组出更具创新性的解法。

通过从 " 线性树 " 到 " 图式网络 " 的跃迁，MCGS 让智能体具备了跨分支学习与多解融合的能力，在有限预算下实现更快收敛与更优性能，真正让搜索过程具备了学习、反思与进化的智能特征。

细粒度算子库：连接节点的进化工具

在 AutoMLGen 中，细粒度算子库承担连接不同方案的角色，定义了解法之间的演化方式——从草稿生成到改进，从错误修复到性能微调，再到不同方案的融合。它为 MCGS 提供了一套通用的演化逻辑，让智能体能够在图结构中自由流动，在不断跳转与修正中持续探索新解。

这种机制让优化过程更连贯、更高效，也让 AutoMLGen 从 " 代码生成器 " 成长为能主动反思与改进的 "AI 工程师 "。

实验结果与分析整体性能

AutoMLGen 在 MLE-Bench 上刷新了自动机器学习智能体的纪录。仅用  12 小时预算（标准时长的一半），便实现36.4% 平均奖牌率与  18.7% 金牌率，在同类系统中表现最优，展现出在有限算力下的强大竞争力。

在更轻量的 MLE-Bench-Lite 测试中，AutoMLGen 依然领先，以显著优势超越现有方法，体现出一致的性能与出色的泛化能力。

在高难度任务中，AutoMLGen 在多数竞赛中取得领先，进一步证明其在复杂场景下的稳定与进化能力。

模块消融分析

消融实验显示，各模块在性能提升中均发挥关键作用。知识库的引入为搜索提供了方向；分支内演化机制让智能体学会反思与修正；跨分支参考与多分支聚合进一步增强了方案融合与知识共享，使整体搜索更高效、更稳健。

现象分析

AutoMLGen 在不同基础模型上均展现优异适配性。更强的基模型带来更高上限，不同模型在文本、图像与表格任务中各展所长。

随时间推移，性能曲线快速收敛并持续上升，始终高于基线，展现出系统的动态优化与稳健成长能力。

案例展示

典型案例展示了 AutoMLGen 从问题理解到方案实现的全过程，突出了其在推理、代码生成与性能优化中的自主进化能力。

前景与展望

AutoMLGen 的出现，不仅体现了性能层面的提升，也标志着智能体在复杂工程与算法设计任务中的一种能力演进。它证明了 AI 在高复杂度任务中具备自主探索与持续提升的潜力。

通过融合领域知识与图结构搜索，AutoMLGen 让智能体具备自我反思、跨分支学习与方案融合的能力，在有限资源下实现高效而稳健的优化，推动从 " 生成代码 " 向 " 理解并优化算法 " 的跃迁。

更重要的是，这一理念正向更广泛的智能系统范式扩展——从算法发现到科研自动化，从工程设计到多智能体协作。基于图结构的搜索逻辑与知识复用机制，为未来智能体的发展提供了通用的演化框架。

随着记忆与协作机制的不断引入，AutoMLGen 有望成长为能主动理解、改进并创新方案的 "AI 工程伙伴 "，为人工智能向更高层次的智能化与自我改进奠定基础。

论文链接：https://arxiv.org/abs/2510.08511

项目仓库：https://github.com/Alpha-Innovator/InternAgent

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见