智东西
编译 | 程茜
编辑 | 李水青
智东西 9 月 17 日消息,今天,斯坦福大学教授、"AI 教母 " 李飞飞的创业公司 World Labs 公布空间智能模型的最新研究成果,并发布用户可以查看和创建 3D 世界的测试预览版 Marble 平台。
李飞飞连发两条帖子盛赞新模型,她对 3D 世界生成的进展感到兴奋,并且对模型已经可以生成极其庞大的 3D 世界大吃一惊。
给定图像或文本提示,其模型会生成持久、可导航、可控的 3D 世界,且不会在用户探索过程中发生变形、内容不一致以及时间限制。World Labs 的博客提到,与之前的结果相比,现在生成的世界更大、风格更多样化、并且具有更简洁的 3D 几何体。
World Labs 空间智能模型生成效果演示
用网友在评论区询问 World Labs 新模型和谷歌 Genie 项目的区别,李飞飞回复称,World Labs 的模型生成的 3D 世界将永久存续,用户可随心所欲地在这个世界中自主导航无需支付任何费用。
目前,用户想要体验 Marble 可以加入等待名单获取使用资格。
加入候补名单链接:
https://www.worldlabs.ai/waitlist
3D 内容生成的爱好者和开发者可以将生成的世界导出为高斯 splats,并在下游项目中使用它们。基于 World Labs 的开源渲染库 Spark,用户能将高斯 splats 无缝集成到 Three.js 中,以构建基于 Web 的 3D 体验,并在台式机、笔记本电脑、移动设备和 VR 头显上高效渲染。
World Labs 官方 X 账号的评论区,不少网友已经开启夸夸模式,有人称这项技术将非常适合视频游戏和虚拟现实,还有人说这让他想起了第一次运行谷歌地球的场景。
一、零成本自由切换视角漫游,更具几何复杂度
对于视觉创作者而言,在一个连贯的 3D 世界中进行漫游与交互的能力,是众多工作流程与应用场景的核心需求。World Labs 空间智能模型生成的 3D 世界支持用户在浏览器内自由切换视角进行漫游,且完全零成本。
相较于深度图或点云所提供的有限 3D 体验,其生成的 3D 世界具备更丰富的几何复杂度,能生成更完整的 3D 场景,用户不仅能看到输入视图中可见的内容,还可以查看其背后及视野之外的部分。
与此同时,其博客还提到,他们当前的模型旨在创建 3D 环境,而不是专注于人或者动物的孤立或中心对象。
在生成式 AI 的相关应用中,用户可以在创作过程中自由迭代调整作品的观感风格。World Labs 的模型可将多种风格迥异的输入内容转化为 3D 形式,包括色彩鲜明的平面卡通、细节丰富的写实图像等。
如下面的卡通、科幻等诸多场景。
基于模型的风格连贯性和几何一致性,用户能够探索、浏览更大尺度的 3D 世界,并衍生出更多应用场景。
例如下面的超大地下洞穴场景,跟随镜头移动也没有发生画面不一致等。
还有下面色彩风格多样,手绘风格痕迹也保留了下来:
下面是大理石风格类似于树洞的房子:
二、早期体验者评价:工作时间从数月缩短到几分钟,像电影制作人在 3D 场景计划拍摄
World Labs 的博客中,还摘取了不少早期用户的体验感受:
有体验者认为 World Labs 提供的方案能让他像电影制作人一样在连贯且一致的 3D 场景中计划拍摄:
还有创作者称这一方案使他之前需要数周甚至数月的工作可以在几分钟内完成;VR 电影制作人非常期待挖掘这一方案的未来应用潜力:
结语:构建大型 3D 世界应用潜力激增
World Labs 模型的一致性和风格依从性,使得用户构建大型 3D 世界成为可能,能保证不同场景之间不会割裂。不过其博客也提到,当下仍然是 3D 模型发展的早期。
目前已经有不少早期体验者利用 Marble 的 3D 世界构建功能来增强他们的创造力和生产力。未来这一工具的普及,或能使动漫创作者、游戏开发者等创意人士都能从中受益。
登录后才可以发布评论哦
打开小程序可以发布评论哦