IT 之家 11 月 17 日消息，近日，字节 Seed 团队推出 Lumine —— 一个在《原神》世界中训练的通用 AI 智能体。官方介绍称，它能够实时感知、思考并行动，自主完成复杂 3D 开放世界中长达数小时的任务。

蒙德地区：Lumine 成功完成了时长五小时、共三幕的主线剧情。尽管推理训练只基于第一幕内容，它仍能自主推进并完整通关整个章节。

璃月地区：在完全未经训练的璃月区域，Lumine 展现了出色的泛化能力，成功抵达并完成璃月港主线任务，甚至拜访了深山中的仙人居所。

其他游戏：Lumine 展现出卓越的跨游戏泛化能力。无需任何额外微调或修改，它成功在《崩坏：星穹铁道》中通关黑塔空间站第一章全部主线任务（约 7 小时），并在《鸣潮》中完成约 100 分钟的主线剧情。

IT 之家从官方介绍获悉，Lumine 采用类人交互范式，将感知、思考与行动端到端统一整合，基于视觉 - 语言模型驱动。它以 5Hz 处理原始图像，并以 30Hz 生成精确的键鼠操作，仅在必要时进行思考。Lumine 充分利用收集到的真实游戏数据，按步骤循序渐进地学习技能：

先用 1731 小时的人类游戏数据预训练，学会根据游戏画面输出键鼠操作；

再用 200 小时的指令跟随数据，将语言和操作对应；

最后用 15 小时的推理数据，让模型具备灵活思考能力。

最终得到的模型不仅能够完成持续数小时的任务，还能遵循多样化的指令，在 3D 开放世界探索和 2D 图形界面操作中执行涵盖收集、战斗、解谜以及与 NPC 交互等广泛类型的任务。而《原神》丰富多样的游戏玩法正好为这些能力在不同类型的活动中展现提供了理想的舞台。

得益于大规模的预训练，Lumine 掌握了关键的战斗技能，能够动态追踪敌人、精准地用弓箭击中远处目标，流畅地切换角色进行连招攻击，并高效地寻找并开启战斗后解锁的宝箱。

除了日常战斗，Lumine 还展现出对 Boss 机制较强的理解和应对能力，能够躲避 Boss 的攻击并且使用对应的策略击败 Boss。

Lumine 能够应对游戏中的各种挑战与解谜，这通常需要对游戏机制有深入的理解、出色的空间感知能力，以及精确的底层操作控制。

Lumine 展现出可靠的指令执行能力，能够在多人环境中稳定地与指定的 NPC 进行互动，为完成长期任务奠定了坚实的基础。

大世界探索之外，Lumine 同时还可以像人一样通过鼠标相对移动的方式进行可靠的 GUI 操作，实现了 2D 界面和 3D 世界的统一，这对于通用智能体来说至关重要。

同时 Lumine 展现出来了强大的上下文学习能力，在指令中提供任务的先验信息或者更细的分解步骤的话，Lumine 可以完成一系列之前不能完成的复杂任务。