科创板日报 2024-12-05
接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

《科创板日报》12 月 5 日讯(编辑 宋子乔) 前有 "AI 教母 " 李飞飞,后有谷歌 DeepMind,大模型的热度还在,大世界模型又成为焦点。

李飞飞旗下企业 World Labs 展示一图生成 3D 世界后,当地时间 12 月 4 日,谷歌 DeepMind 发布了大型基础世界模型 Genie 2,可通过单张图片或文字描述生成 3D 场景。

相关论文

时间仅相隔一天,两个 AI 工具的功能非常相似,核心在于:

1、一张图生成可交互 3D 场景:据谷歌介绍,用户只需提供一张图片(由 Imagen 3 生成)和文字描述,Genie 2 就能生成一个可交互的 3D 场景,并以 720p 的清晰度呈现。通过鼠标和键盘控制,用户可以在其中自由探索长达 1 分钟,大多数能稳定运行 10 到 20 秒。

2、空间记忆能力:Genie 2 生成的内容能让当用户在虚拟环境中移动时,即使某些区域暂时不在视野范围内,系统也能保持这些区域的一致性。World Labs 同样可以做到这一点,即使你把视线移开然后又回来,已生成的 3D 场景也不会改变。

3、扩图能力:Genie 2 能在过程中实时创造出符合逻辑的新场景内容,并且可以在长达一分钟的时间内保持整个世界的一致性。这指该 AI 工具的可预测 3D 场景能力,World Labs 也能让 AI 工具仅凭部分图片就能 " 扩图 ",想象出整个 3D 场景。

下面是谷歌给出的 demo 范例:

2D 图生 3D 场景(可多个视角)

可交互(包括与生成的 NPC 交互)

空间记忆能力

不过,似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道,普林斯顿 AI 创新中心创始人、主任,终身教授王梦迪表示:"李飞飞的 World Labs 和谷歌的 Genie2 看上去都是从一张图片生成可以交互的三维场景,但有本质区别。Genie2 还是 video diffusion(视频扩散),每一帧的生成都是 pixel prediction(像素预测),并通过额外的用户输入的 guidance(引导)来影响下一帧的概率分布。而飞飞的 World Labs 是更进一步挖掘世界的物理本质:从图片出发,估计图片中不同景物的深度和相对关系,生成了更加物理世界的 3D 环境建模,不仅仅是可互动视频 "。

另外,一个细微区别是,World Labs 将应用领域侧重于影视制作,而谷歌侧重于游戏制作。Genie 2 发布后,DeepMind CEO Demis Hassabis 直接邀请马斯克一起制作 AI 游戏,马斯克回复:Cool。马斯克此前声称,xAI 将开办一家 AI 游戏工作室。

重视游戏场景并不意外,DeepMind 也承认了这点:" 从我们早期与 Atari 游戏的合作,到 AlphaGo 和 AlphaStar 等突破性成果,再到我们与游戏开发者合作研究通用智能体,游戏一直是我们研究的重心。"

作为 Youtube 的母公司,谷歌还拥有 Youtube 里上亿小时的游戏视频数据。

值得注意的是,Genie 2 为代表的大世界模型能快速创建无限多样的、可操控的 3D 环境,这些 3D 环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。

谷歌研究人员 Jack Parker-Holder 给出了两个实例,其中,一张图上有一个红门和一个蓝门,向模型输入不同的语言指令,可以生成不同的 3D 场景,走向红门或蓝门。

在更复杂的三门场景中,Genie 2 依然很好地理解了指令并生成了研究人员想要的 3D 动图。

上述研究人员表示,相信 Genie 2 可以解锁具身智能体的下一波能力。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

谷歌 ai 李飞飞 物理
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论