中国北京,2024 年 3 月 20 日— GTC — NVIDIA 宣布领先 AI 应用开发者正在用 NVIDIA 数字人技术为商业应用和动态游戏角色创建栩栩如生的化身。其他展示内容包括:Chatwith RTX 全面更新,AIWorkbench 现已就绪,NIM(NVIDIAMicroservices)发布。行业专家、开发者和研究员组成的梦之队齐聚 GTC2024,共同推动 AI 和加速计算的未来发展。
在此前的 GDC2024 大会上,NVIDIA 发布 RTX 技术全新集成:《黑神话:悟空》 ( Black Myth: Wukong ) 和《永劫无间》 ( NARAKA:BLADEPOINT ) 将支持全景光线追踪和 NVIDIA DLSS 3.5;现已有超过 500 款游戏和应用支持 NVIDIARTX 技术;更新 NVIDIARTX SDK,以帮助开发者简化创建游戏世界的流程。
NVIDIA RTXAI 平台包括工具和软件开发工具包,可帮助 Windows 开发人员创建领先的生成式 AI 功能,并令 AIPC 提供最佳性能支持。
什么是 AIPC
2018 年,随着 RTX 技术和首款专为 AI 打造的消费级 GPU ( GeForce RTX ) 的推出,NVIDIA 加速了向 AI 计算的转变。
AI PC 定义:AI PC 是搭载专用 AI 加速硬件的计算机。在 RTX GPU 上,这些专用的 AI 加速器被称为 Tensor Core。在运行要求极为严苛的工作和娱乐应用时,Tensor Core 能够显著加速 AI 性能,并为 PC 用户引入了以前在云端才能运行的新功能。
如何衡量 AI PC 的性能:衡量 AI 性能的一种方法是以 teraops 为单位。teraops 即 " 万亿次运算 / 秒 " ( TOPS ) 。与发动机的马力等级类似,TOPS 可作为单一指标让用户了解 PC 的 AI 性能。
在 PC 上本地运行 AI 应用的好处:运行在 GeForce RTX PC 系统上,因此其速度很快,同时用户的数据保存在本地。用户可以在本地 PC 上处理敏感数据,因此无需与第三方共享数据或连接互联网。
为什么 RTX 是 AIPC 的核心
无与伦比的 AI 能力:这一代 GeForceRTX GPU 可提供的算力,涵盖了从 200AI TOPS 到 1300AI TOPS,包括笔记本电脑和台式电脑的多样选择。与之相比,目前没有独立 GPU 的 AI PC 的算力仅为 10 至 45 TOPS。
用户群和生态:2018 年,随着 RTX 技术和首款专为 AI 打造的消费级 GPU ( GeForceRTX ) 的推出,NVIDIA 加速了向 AI 计算的转变。从那时起,基于 RTXPC 的 AI 蓬勃发展,目前已成为拥有超过 1 亿用户和 500 款 AI 应用的生态。
先进的 AI 应用:无论是居家还是办公,在使用提升工作效率和娱乐体验的软件时,都能充分利用 RTX AI 的力量。得益于 GeForceRTX GPU 提供的 AI 特性 -- 游戏玩家可以在更高分辨率下,以更高帧率畅玩钟爱的游戏;创作者则可专注于创意本身,而无需在等待系统加载或重复乏味工作上浪费时间;开发者亦可以使用生成式 AI 进行原型设计和自动化调试,从而简化工作流。
世界级的数字人技术
NVIDIA ACE 微服务让 AI 角色栩栩如生。
NVIDIAACE 微服务可帮助开发者利用由 NVIDIAAudio2Face 提供支持的面部动画以及由 NVIDIA ™ Riva 自动语音识别 ( ASR ) 和文本转语音 ( TTS ) 提供支持的语音交流,让虚拟数字人物栩栩如生。ACE 微服务非常灵活,允许模型根据本地 GPU 的性能在云端和 PC 上运行,以确保用户获得最佳体验。采用 ACE 的中国开发者和平台包括米哈游、网易游戏、完美世界游戏、掌趣科技和腾讯。
NVIDIA RTX — RTX 全局光照 ( RTXGI ) 和 DLSS 3.5 等渲染技术的集合,可在游戏和应用中实现实时路径追踪。
NVIDIA ACE 为游戏带来栩栩如生的 NPC
Covert Protocol 是 Inworld AI 公司与 NVIDIA 合作开发的一项全新技术 Demo,它突破了游戏中角色互动的界限。Inworld AI 擎集成 NVIDIA Riva 和 NVIDIA Audio2Face,前者可实现精确的语音转换文字,后者可提供逼真的面部表情。
Inworld AI 引擎采用多模态方法来展示非玩家角色 ( NPC ) ,将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。
InworldAI CovertProtocol 技术 Demo
育碧 NEO NPCs 利用 Inworld 和 NVIDIA ACE 技术探索数字人在游戏中可能性
NEO NPCs 由育碧巴黎工作室的多学科团队开发,是育碧创作者与生成式 AI 技术领先合作伙伴 NVIDIA 和 Inworld AI 密切合作的成果。Inworld 的角色引擎和 LLM 技术使育碧的叙事团队能为每个 NPC 建立完整的背景、知识库和对话风格,而 NVIDIA ACE 技术套件中的 NVIDIA Audio2Face 则用于实现实时面部动画。
育碧通过三个独立技术 Demo 展示了 NEO NPC 的功能。每个场景都侧重于 NPC 行为、环境和上下文意识的不同方面;一系列实时反应和动画;以及连续对话、协作和战略决策。这些实验发现突破了游戏设计和沉浸感的界限。
育碧的叙事团队利用 Inworld AI 技术打造出两个 NEO NPCs:Bloom 和 Iron,他们拥有自己的背景故事、知识库和不同的对话风格,在技术 Demo 宇宙中建立独特的角色。
Inworld 技术还为 NEO NPC 提供有关周围环境的内在知识,并通过 Inworld 的 LLM 提供交互式响应。Audio2Face 为两个 NPC 的面部提供实时面部表情和口型同步。
育碧 NEO NPCs 技术 Demo
DLSS 3.5 树立全新游戏标准,通过 AI 增强光线追踪功能
DLSS:自 2019 年起,已有超过 500 款游戏和应用利用光线追踪、DLSS 和 AI 技术彻底改变人们的游戏和创作方式。
在 GDC 上,NVIDIA 宣布两款新游戏将支持 DLSS 3.5 光线重建 ( Ray Reconstruction ) 和全景光线追踪技术,实现画质和性能的大幅提升,为 GeForce 玩家带来极致体验。备受期待的《黑神话:悟空》 ( Black Myth: Wukong ) 将于 8 月 20 日发布。《永劫无间》 ( NARAKA: BLADEPOINT ) 即将在 PVP 和 PVE 模式下的三个地图中添加全景光线追踪,之后也将在更多地图中陆续支持全景光线追踪。
《黑神话:悟空》 ( Black Myth: Wukong ) 备受期待,在 GDC 发布后获得大量报道。#《黑神话:悟空》 ( Black Myth: Wukong ) DLSS 3.5 预告片 # 在 哔哩哔哩上的搜索量排名第一。在 GDC 发布后的 90 分钟内,所有平台的浏览量超过 30 万。
Chat with RTX,听得更多,看得更多,聊得更多
Chat with RTX ( 或简称 ChatRTX ) , 使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速,将本地生成式 AI 功能引入到支持 RTX 的 Windows 系统中。用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型 ( 如 Mistral 或 Llama 2 ) ,快速查询与上下文相关的答案。
除文本外,Chat with RTX 还将很快增加对语音、图像和新模型的支持。除了谷歌的 Gemma,Chat with RTX 也将在未来的更新中支持 ChatGLM 。
中国领先剪辑软件剪映率先采用 RTX AI 平台加速产品功能
NVIDIA 正在和国内深受用户喜爱的剪辑软件剪映专业版共同探索推进生成式 AI 在 PC 端的落地。目前,NVIDIA 已通过 TensorRT 推动剪映 AI 艺术字功能上线,并正在通过 RTX AI 平台加速生成式 AI 在剪映产品功能中的应用。
剪映产品经理表示:" 长期以来剪映和 NVIDIA 一直都是非常紧密的合作伙伴,在 RTX GPU 的加速下剪映专业版可以实现更高的性能表现。我们期待 RTX AI PC 强大的性能表现以及加速优化对 AI 模型的处理能力能帮助剪映的用户更高效、智能地进行创作。"
面向开发者的 RTX AI 工具 : 推动创新的 AI 解决方案
NIM 微服务 -- 预构建的 AI " 容器 " 采用行业标准 API,包括必要的软件组件,优化整体体验,有助于将部署时间从数周缩短到数分钟。
NVIDIA AI Workbench-- 现已全面上市,可帮助开发者利用 PC 级性能和显存占用空间快速创建、测试和定制预训练生成式 AI 模型和 LLM。
TensorRT 加速 -- 帮助开发者充分利用 RTX GPU 中的 Tensor Core 的加速库软件。TensorRT 加速现可通过 TensorRT-LLM for Windows 用于基于文本的应用。开发者还可访问 OpenAI Chat API 的 TensorRT-LLM 封装程序。
以上介绍的 RTXAI 工具,在 GTC 和 GDC 上发布的诸多新闻以及展示的技术 Demo,正在帮助开发者推动创新的 AI 解决方案,更让 RTXPC 用户感受到生成式 AI 的未来可期。
登录后才可以发布评论哦
打开小程序可以发布评论哦