智东西（公众号：zhidxcom）作者 | ZeR0编辑 | 漠影

智东西 3 月 24 日报道，在本周举行的英伟达 GTC 大会期间，英伟达（NVIDIA）首席科学家兼研究高级副总裁 Bill Dally、英伟达 AI 研究副总裁 Sanja Fidler 与智东西等全球媒体进行交流，分享了 NVIDIA Research 的进展，并现场演示英伟达最新文生 3D 模型 LATTE3D。

LATTE3D 模型就像一台虚拟 3D 打印机。只需在文本框输入文字描述，在单张消费级 GPU 上运行，不到 1 秒时间，该模型就能按要求生成对应的物体和动物的几个不同的 3D 形状，供创建者选择，再在几分钟内优化成更高的质量。而 3D 形状可以随意放大、旋转，360 度无死角。

" 一年前，AI 模型需要 1 小时才能生成这种质量的 3D 视觉效果，而目前的技术水平大约是 10 到 12 秒。"Sanja Fidler 说。

现场演示了让 LATTE3D 生成小蛋糕、猪猪气球、踩滑板且戴着高帽子的针织鸭、踩着滑雪板并戴着聚会帽的小兔子。全程都很丝滑迅速，接近实时生成。生成的 3D 素材能直接导入图形软件应用程序或平台中，比如 Omniverse 平台。

对于开发视频游戏、广告活动、设计项目或虚拟机器人训练场地等应用来说，这都是个看起来很有吸引力的 3D 素材创建工具。

Bill Dally 说，NVIDIA Research 为未来的成功播下种子，既有登月项目，又有很多研究小组，研究方向包括 GPU 存储系统、编程系统、网络、架构、超大规模集成电路（VLSI）、图形、感知与学习等。这些研究塑造了英伟达的与众不同。

据 Bill Dally 分享，NVIDIA Research 团队有三个原则：1、希望以最少的努力获得最大的回报；2、提高影响力，而不是出版物记录；3、希望与产品保持紧密的联系。

NVIDIA Research 由全球数百名科学家和工程师组成，专注于 AI、计算机图形学、计算机视觉、自动驾驶汽车和机器人等主题。很多源自研究院的技术，如 OptiX、CuDNN、光线追踪算法和硬件、Volta SM、Flip-Flops、NVSwitch、DLSS 等，都成功转化成商业用途。

其研究团队分布在世界各地。面向 3D 生成式 AI 模型的新模型 LATTE3D 便是由英伟达位于加拿大多伦多的 AI 实验室团队研发的。该团队还研发过 GANverse3D、GET3D、Magic3D、ASE、GameGAN、VideoLDM 等模型。

LATTE3D 使用英伟达 A100 GPU 进行训练，模型先生成神经 3D 形状，然后用图像扩散模型作为老师来对渲染图像进行反馈。除了 3D 形状外，该模型还接受了使用 ChatGPT 生成的各种文本提示词的训练，以提高模型处理用户描述特定 3D 对象的各种短语的能力。比如，它能理解以各种犬类为特征的提示应该都生成类似狗的形状。

当研究人员在特定的动物和日常用品数据集上训练 LATTE3D 时，开发人员可使用相同的模型架构在其他数据类型上训练 AI。

例如，如果在 3D 植物数据集上进行训练，LATTE3D 可帮助景观设计师在与客户进行头脑风暴时快速填充树木，开花灌木和多肉植物的花园渲染。如果对家用物品进行训练，该模型可以生成物品来填充家庭场景的 3D 模拟，开发人员可以用它来训练个人助理机器人，然后再在现实世界中进行测试和部署。