爱范儿 1小时前
刚刚,谷歌 Genie 4 发布,120 秒的世界却让我看见 AI 的未来
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

这个世界只能维持 120 秒,然后一切开始崩塌。然而在这两分钟里,你可以随时改变天气、召唤巨龙,甚至让一座城市为你拔地而起。

刚刚,Google DeepMind 正式发布新一代世界模型 Genie 4,AI 生成的虚拟世界,又向现实迈进了一大步。

相比上一代,Genie 4 不仅让画面更加逼真,还能实时生成声音、模拟物理规律,甚至让用户直接走进 AI 创造的世界,随时改变天气、添加人物,与虚拟角色对话。

更重要的是,谷歌还将 Gemini 引入世界模拟,让大语言模型负责规划行动,Genie 4 负责实时生成环境。过去只能观看的 AI 视频,正在变成一个可以自由探索、持续互动的虚拟世界。

AI 视频的下一站,是可以走进去的世界

早在 2024 年,Google DeepMind 就推出了 Genie 1,尝试从视频中学习动作与环境变化之间的关系。随后,Genie 2 将能力扩展到可探索的三维环境,2025 年发布的 Genie 3 则实现了实时生成、实时交互。

如今,Genie 4 在真实感、物理模拟和交互能力上再次升级,单次模拟时长也从约一分钟延长至两分钟。

根据谷歌公布的演示,用户只需输入一段文字,就能生成可以探索的虚拟世界,通过键盘控制角色移动、调整镜头,甚至在运行过程中继续输入提示词,改变整个场景。

例如,在一个漂浮于湖面的小平台上,一名身穿棕色西装的男子正在演奏萨克斯。周围是薄雾笼罩的湖水、森林和随风摇曳的植物。

用户可以自由移动镜头,观察演奏者的动作和湖面变化,甚至临时改变天气、添加人物或物体。Gemini 会结合当前环境理解指令,帮助 Genie 4 维持场景的连贯性。

提前体验 Genie 4 的沃顿商学院教授伊桑 · 莫利克,只用一句「一座由机器人和马匹居住的新哥特式粗野主义城市」,便在一分钟内生成了一座虚拟城市,随后又实时加入了巨龙和一只友善的水獭 NPC。

另一边,a16z 投资人贾斯汀 · 摩尔也展示了一段被他戏称为「GTA Waymo」的演示,在完全由 AI 实时生成的城市环境中自由探索,整个过程都可以直接交互。

摩尔还展示了一个仅靠环境与角色提示词创建的虚拟世界,用户能够在运行过程中继续下达指令、改变场景,并听到与世界同步生成的原生音频。

从这些实际体验也能看出,Genie 4 的特别之处在于,整个过程不需要预先制作三维地图,也没有固定的场景演出,AI 会根据用户的操作持续生成接下来发生的事情。

在物理模拟方面,谷歌还展示了西瓜受到冲击、枫树种子从空中飘落,以及拥挤的乡村火车站等案例,呈现碰撞、空气动力学、重力作用和复杂人群行为。

尤其是人物动作,Genie 4 能让虚拟角色更加自然地移动,并根据环境变化作出反应,用户也可以实时引导角色的行为。

过去,AI 生成视频通常是一次性交付,用户只能观看最终结果。如今,Genie 4 试图让每一次移动、每一个操作,都成为影响虚拟世界发展的新变量。

AI 生成的世界,终于有声音了

Genie 4 的另一项重要升级,是首次支持原生音频生成。

此前,Genie 系列主要围绕画面和动作交互展开。如今,Genie 4 可以在生成世界的同时,实时生成环境声音、音乐和人物对话。

例如,海边会有海浪声,树林里会有风声,骑着巨龙穿越山谷时,还能听见翅膀拍打空气、狂风呼啸以及远处的火山活动。

更值得关注的是,Genie 4 开始让虚拟人物拥有实时对话能力。

传统游戏中的 NPC 通常依赖预先设计的对白和行为逻辑,而 Genie 4 可以根据用户输入和场景中发生的事情,动态生成角色的语言与反应。

这意味着,未来玩家有机会走进一个 AI 创造的世界,与里面的人物自由交流,甚至通过自己的行动改变故事发展。

不过,Genie 4 目前仍存在音频准确性和长期一致性方面的问题,距离真正支撑大型开放世界游戏,还有不小的技术距离。

Gemini 也来当导演,AI 开始理解世界如何运转

如果说画面和声音让 Genie 4 更加接近现实,那么 Gemini 的加入,则让世界模型开始具备复杂的推理和规划能力。

根据 Google DeepMind 的介绍,Genie 4 融合了 Gemini 家族的多项能力。

其中,Gemini Omni 为模拟提供现实世界的外观与行为基础,而 Gemini 3.8 Flash 则充当实时引导智能体,持续观察生成画面,将任务分解为多个步骤,并判断每一步是否成功。

Genie 4 负责生成虚拟世界,Gemini 则负责规划接下来应该发生什么。

例如,用户要求机器人完成一项复杂任务,Gemini 可以将任务分解成多个动作,观察机器人在模拟环境中的表现,并根据执行结果调整下一步计划。

即使用户临时改变要求,或者周围环境发生变化,Gemini 也可以实时修改行动方案。

谷歌还展示了一项结合 Gemini 4 Argon 与 Genie 4 的研究实验。

在演示中,Gemini 4 Argon 将任务分解为连续步骤,Genie 4 则实时模拟 Apptronik 旗下 Apollo 人形机器人下跳棋的过程。

相比单纯生成一段机器人下棋的视频,这种组合更强调对任务执行过程的持续模拟和调整。

对于机器人训练来说,这项能力很有价值。

现实中的机器人训练需要大量设备、场地和实验,一些危险或成本高昂的场景也很难反复测试。如果世界模型能够准确模拟物理环境,机器人就有机会在虚拟世界中提前练习,再将学到的能力迁移到现实。

Google DeepMind 研究主管 Tejas Kulkarni 也表示,未来的重要方向是混合世界模型,将语言模型的结构化推理能力与世界模型的感官模拟能力结合起来。

Gemini 可以负责规划和组织复杂事件,Genie 则将这些规划转化为实时变化的画面、声音和物理环境。

AI 开始尝试在自己创造的世界中,预测并验证行动可能带来的结果。

世界模型的野心,远远不止游戏

目前,Google DeepMind 已邀请电影、游戏、新闻、教育和工程等行业的测试者,探索 Genie 4 的实际应用。

其中,一个颇具想象力的方向是电影制作。

过去,导演想验证复杂镜头,通常需要提前制作分镜、搭建三维场景,或者安排演员预演。

借助 Genie 4,创作者可以通过文字生成一个可探索的虚拟场景,直接进入其中调整镜头、灯光、人物动作和对白,快速尝试不同的拍摄方案。

对于游戏开发者,Genie 4 也可能成为快速原型工具。开发者可以通过提示词创造游戏环境,直接测试美术风格、材质表现和基础互动玩法,再决定是否投入资源正式开发。

新闻与教育领域同样存在应用空间。

谷歌提到,一些摄影记者正在尝试将二维历史照片转化为可探索的动态场景,或者通过模拟展示洪水、野火等事件的发展过程。不过,AI 根据历史照片推断出的画面,并不能直接视为对历史事实的准确重建。

在企业端,世界模型也可能用于工业仿真、机器人研发和复杂环境测试,减少部分真实试验所需的时间与成本。

随着应用前景逐渐清晰,世界模型也成为 AI 巨头争夺的新方向。

除了谷歌,Runway 已推出支持实时音频和交互的 GWM Worlds 2,而李飞飞创立的 World Labs 则选择了另一条空间智能路线,更强调三维环境的重建、编辑和长期一致性。

今年 9 月,AMD 宣布以约 82 亿美元收购 World Labs,也足以说明世界模型的价值,已经从内容生成延伸到了机器人和 AI 算力基础设施。

只有 120 秒的世界,却通向 AI 的未来

尽管 Genie 4 展示了令人印象深刻的能力,但距离真正完整的数字世界,仍然有很长一段路。

目前,模型能够维持的交互模拟时长约为两分钟。随着模拟时间延长,物体细节可能发生变化,场景也可能出现前后不一致的问题。

如果用户连续修改提示词,或者在较大环境中不断探索,模型也可能逐渐失去对早期场景信息的准确把握。此外,复杂物理交互、空间准确性、音频生成,以及画面中文字的可读性,都还有待改进。

目前,Genie 4 已向部分受邀测试者开放研究预览,未来将通过 Project Genie 向 Google AI Ultra 订阅用户开放,并逐步提供给 Gemini API 和 Google AI Studio 的早期合作伙伴。

回看过去几年的生成式 AI,从文字到图片,从图片到视频,再到如今可以实时探索、拥有声音和人物行为的虚拟环境,AI 生成内容的边界正在不断扩大。

而 Genie 4 真正值得关注的地方,是世界模型开始与大语言模型的推理能力深度结合。

过去,AI 可以告诉你一个人推开门后可能看到什么,也能生成一段推门的视频。未来,它还需要理解门为什么会打开,门后的人会如何反应,以及接下来的一连串行动会产生什么结果。

对于走向现实世界的 AI Agent 和机器人来说,能够预测行动后果,并在虚拟环境中反复尝试,可能比生成一段漂亮的视频更加重要。

当大语言模型正在让 AI 学会思考,世界模型则试图让 AI 理解行动的后果。

或许,未来 AI 理解现实世界的重要方式之一,就是先在自己创造的无数个世界中,反复学习现实究竟如何运转。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 谷歌 物理 摩尔 沃顿
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论