英伟达 FY2025Q3 业绩电话会议 $ 英伟达 ( NVDA ) $
CJ 缪斯
关于大型语言模型的扩展是否已经停滞的争论。显然,我们讨论得还很早,但我很想听听您在这方面的想法。您如何帮助您的客户解决这些问题?然后显然,这是这里的部分背景,因为我们正在讨论尚未从 Blackwell 中受益的集群。那么这是否会推动对 Blackwell 的更大需求?
黄仁勋
基础模型的预训练扩展是完整的,并且还在继续。如你所知,这是一个经验定律,而不是基本的物理定律,但有证据表明它继续扩展。然而,我们了解到,现在我们发现了另外两种扩展方式还不够。一种是训练后扩展。当然,第一代训练后扩展是强化学习人工反馈,但现在我们有了强化学习人工智能反馈和各种形式的合成数据生成的数据,这些都有助于训练后扩展。
其中最大的事件之一和最令人兴奋的发展之一是 Strawberry、ChatGPT o1、OpenAI 的 o1,它可以进行推理时间扩展,也就是所谓的测试时间扩展。它思考的时间越长,它给出的答案就越好、质量就越高,它考虑了诸如思路链和多路径规划之类的方法以及反射所需的各种技术等等,直观地说,这有点像我们在回答问题之前在脑子里思考。
因此,我们现在有三种扩展方式,而且我们正在看到这三种扩展方式。因此,对我们基础设施的需求非常大。您现在可以看到,上一代基础模型的尾端大约有 100,000 个 Hoppers。下一代模型的起始数量为 100,000 个 Blackwell。因此,这可以让您了解行业在训练前扩展、训练后扩展以及现在非常重要的推理时间扩展方面的发展方向。因此,由于所有这些原因,需求确实很大。但请记住,与此同时,我们看到推理真正开始为我们的公司扩展。我们是当今世界上最大的推理平台,因为我们的安装基数非常大,并且在 Amperes 和 Hoppers 上训练的所有内容都令人难以置信地在 Amperes 和 Hoppers 上进行推理。
随着我们转向 Blackwells 来训练基础模型,它背后带来了大量用于推理的非凡基础设施安装基础。因此,我们看到推理需求在增加。我们看到推理时间扩展在增加。我们看到 AI 原生公司的数量在不断增长。当然,我们开始看到企业采用代理 AI 确实是最新潮流。因此,我们看到来自许多不同地方的大量需求。
张俊也
您在今年早些时候实施了大规模变革。周末有一些关于一些发热问题的报道。在此之后,投资者询问您是否有能力执行您今年在 GTC 上提出的路线图,Ultra 将于明年推出,2026 年将移交给 [ Ruben ] ( 音译 ) 。您能谈谈这个吗?一些投资者对此表示质疑。因此,如果您能谈谈您按时执行的能力,那将非常有帮助。
然后是 关于供应限制,是大量组件导致了这种情况吗?还是只是 [ HBM ] ( ph ) 的问题?是供应限制吗?供应限制正在好转吗?还是正在恶化?任何有关这方面的详细信息都将非常有帮助。
Blackwell 的生产正在全力以赴。事实上,正如 Colette 之前提到的,我们本季度交付的 Blackwell 将比我们之前估计的更多。因此,供应链团队正在与我们的供应合作伙伴合作,以增加 Blackwell,我们将继续努力在明年增加 Blackwell。需求超过我们的供应,这是意料之中的,因为我们正处于这场生成 AI 革命的开端,众所周知。我们正处于新一代基础模型的开端,这些模型能够进行推理,能够进行长期思考,当然,真正令人兴奋的领域之一是物理 AI,AI 现在可以理解物理世界的结构。
因此,Blackwell 的需求非常强劲。我们的执行工作进展顺利。显然,我们在全球范围内开展了大量工程工作。您现在看到戴尔和 CoreWeave 正在建立的系统,我想您也看到了 Oracle 的系统。您有来自微软的系统,他们即将预览他们的 Grace Blackwell 系统。您有来自谷歌的系统。因此,所有这些 CSP 都在竞相成为第一。正如您所知,我们与他们一起进行的工程相当复杂。原因是,尽管我们构建了全栈和完整的基础设施,但我们分解了所有这些 AI 超级计算机,并将其集成到全球架构中的所有自定义数据中心中。这种集成过程是我们几代以来一直在做的事情。我们非常擅长它,但目前仍有很多工程工作要做。但正如您从所有正在建立的系统中看到的那样,Blackwell 处于良好状态。正如我们之前提到的,本季度的供应量和计划发货量超过了我们之前的估计。
至于供应链,我们制造了七种不同的芯片,七种定制芯片,用于交付 Blackwell 系统。Blackwell 系统采用风冷或液冷,NVLink 8 或 NVLink 72 或 NVLink 8、NVLink 36、NVLink 72 我们有 x86 或 Grace,所有这些系统集成到全球数据中心简直就是奇迹。因此,组件供应链需要扩大规模,你必须回头看看我们上个季度 Blackwell 的出货量,当时是零。
就本季度 Blackwell 系统总出货量(以十亿计)而言,增长速度令人难以置信。因此,几乎世界上的每一家公司都参与了我们的供应链。我们拥有出色的合作伙伴,当然包括台积电和连接器公司安费诺,还有 Vertiv、SK Hynix、Micron Spill、Amkor 和 KYEC,还有富士康及其建造的众多工厂,以及广达和 Wiwynn,还有戴尔、惠普、超微、联想,广达的公司数量真的非常惊人。我肯定错过了参与 Blackwell 产能提升的合作伙伴,对此我非常感激。总之,我认为目前我们在 Blackwell 产能提升方面处于良好状态。
最后,您问到我们执行路线图的问题。我们制定了年度路线图,并希望继续执行年度路线图。通过这样做,我们当然可以提高平台的性能,但同样重要的是要意识到,当我们能够提高性能并一次在 X 因素上做到这一点时,我们正在降低培训成本,我们正在降低推理成本,我们正在降低 AI 成本,从而使其更容易获得。
但另一个非常重要的因素是,当数据中心的规模固定时,数据中心的规模总是固定的。当然,过去可能是几十兆瓦,现在大多数数据中心的功率为 100 兆瓦到几百兆瓦,我们计划建设千兆瓦数据中心,数据中心的规模并不重要,因为功率是有限的。当你在功率有限的数据中心时,最好的——每瓦性能最高,直接转化为我们合作伙伴的最高收入。因此,一方面,我们的年度路线图降低了成本,但另一方面,由于我们的每瓦性能与任何其他产品相比都非常出色,我们为客户创造了最大的收入。因此,年度节奏对我们来说非常重要,我们有意继续这样做。据我所知,一切都在按计划进行。
蒂莫西 · 阿库里
我想知道您是否可以谈谈 Blackwell 今年的增长轨迹。我知道,Jensen,您刚才谈到 Blackwell 的表现比我认为您在 1 月份所说的数十亿美元要好。听起来您要做更多。但我认为最近几个月,您也说过 Blackwell 在 4 月份季度超越了 Hopper。所以我想我有两个问题。首先,Blackwell 将在 4 月份超越 Hopper 仍然是正确的想法吗?
然后,科莱特,您谈到 Blackwell 在增长的同时将毛利率降至 70% 出头。所以我想,如果 4 月是分界点,那么这是毛利率面临的最大压力吗?所以到 4 月,您的毛利率就会降至 70% 出头。我只是想知道您是否可以为我们解释一下。谢谢。
科莱特 · 克雷斯
我们讨论了我们的毛利率,因为我们在一开始就扩大了 Blackwell 的产能,而且我们向市场推出了许多不同的配置和不同的芯片,我们将专注于确保我们的客户在接受这些配置时拥有最佳体验。我们的毛利率将开始增长,但我们确实相信在产能扩大的第一阶段,毛利率将在 70% 出头。所以你说得对,当你看到接下来的几个季度时,我们的毛利率将开始增加,我们希望在产能扩大的过程中很快达到 70% 左右。
Hopper 的需求将持续到明年,肯定是明年的前几个季度。与此同时,我们下个季度的 Blackwell 出货量将比今年更多。下个季度的 Blackwell 出货量也将比第一季度更多。这样我们就可以从一个角度看待这个问题。我们实际上正处于计算领域两个非常重要的根本转变的开端。第一个转变是从在 CPU 上运行的编码转向在 GPU 上运行的机器学习,创建神经网络。
目前,从编码到机器学习的根本转变已经非常普遍。没有一家公司不进行机器学习。因此,机器学习也是生成式人工智能的实现方式。因此,一方面,首先发生的事情是,全球价值一万亿美元的计算系统和数据中心正在为机器学习而现代化。另一方面,我想,其次,在这些系统之上,我们将创造一种称为人工智能的新型能力。
当我们说生成式人工智能时,我们实际上是说这些数据中心实际上是人工智能工厂。它们在生成一些东西。就像我们发电一样,我们现在也要生成人工智能。如果客户数量很大,就像电力消费者数量很大一样,这些发电机将全天候运行。今天,许多人工智能服务都在全天候运行,就像人工智能工厂一样。因此,我们将看到这种新型系统上线,我称之为人工智能工厂,因为它与人工智能工厂非常接近。它与过去的数据中心不同。因此,这两个基本趋势才刚刚开始。因此,我们预计这种增长——这种现代化和新产业的创造将持续数年。
维韦克 · 阿里亚
是否认为 NVIDIA 可以在 2025 年下半年恢复到 75% 左右的毛利率是一个合理的假设?我只是想澄清一下。然后,Jensen,我的主要问题是,从历史上看,当我们看到硬件部署周期时,它们不可避免地会在此过程中进行一些消化。您认为我们什么时候会进入这个阶段,或者现在讨论这个还为时过早,因为您才刚刚开始 Blackwell 的发展?那么您认为需要多少个季度的出货量才能满足第一波需求?您能继续将其发展到 2026 年吗?我们应该如何准备迎接历史上看到的长期硬件部署过程中的消化期?
让我来澄清一下你关于毛利率的问题。我们能在明年下半年达到 75% 左右吗?是的,我认为这是合理的假设或目标,但我们只需要看看这种增长组合如何发展。但绝对是可能的。
我认为除非我们用数据中心实现一万亿美元的现代化,否则这些资金将无法消化。如果你看看世界上的数据中心,你会发现绝大多数都是为我们手工编写应用程序并在 CPU 上运行它们的时代而建的。现在这样做已经不明智了。如果你有——如果每家公司的资本支出,如果他们准备好明天建立一个数据中心,他们就应该为机器学习和生成式人工智能的未来而建。
因为他们有很多旧数据中心。那么接下来的几年会发生什么呢?我们假设在未来四年内,随着我们向 IT 领域发展,全球数据中心可以实现现代化。正如你所知,IT 每年继续以大约 20% 或 30% 的速度增长。假设到 2030 年,全球计算数据中心的价值将达到几万亿美元。我们必须发展到这个规模。我们必须将数据中心从编码领域现代化到机器学习领域。这是第一点。
第二部分是生成式人工智能,我们现在正在创造一种世界从未知道过的新型能力,一个世界从未有过的新市场领域。如果你看看 OpenAI,你会发现它并没有取代任何东西。它是一个全新的事物。在很多方面,它就像 iPhone 问世时一样,是全新的。它并没有真正取代任何东西。所以我们将会看到越来越多这样的公司。他们将通过自己的服务创造和生成智能。其中一些将是数字艺术家智能,比如 Runway。
有些是基础智能,比如 OpenAI。有些是法律智能,比如 Harvey。还有数字营销智能,比如 [ Reuters ] ( ph ) ,等等。这些公司的数量,这些所谓的 AI 原生公司只有几百家,几乎每一次平台转变,你还记得有互联网公司,有云优先公司。他们曾经是移动优先公司,现在则是 AI 原生公司。这些公司之所以被创建,是因为人们看到了平台转变,看到了做一些全新事情的全新机会。
因此,我的感觉是,我们将继续建设现代化 IT、现代化计算,这是第一点。然后,第二点,创建这些人工智能工厂,这些工厂将成为生产人工智能的新行业。
史黛西 · 拉斯冈
当你说毛利率低于 70% 时,73.5% 算低于 70% 吗?还是你还有其他想法?对于我的问题,你正在指导总收入,所以我的意思是,下一季度数据中心总收入必须增加数十亿美元,但听起来 Blackwell 现在应该会增长更多。但你也说 Hopper 仍然很强劲。那么 Hopper 下个季度会环比下降吗?如果是,原因是什么?是因为供应限制吗?中国一直很强劲,中国在第四季度的表现有所下降。所以你能给我们提供一些关于 Blackwell 增长情况以及 Blackwell 与 Hopper 在第四季度的表现的信息吗?
关于我们的毛利率和低点的定义。低点当然是低于中间值,假设我们的毛利率可能是 71%,可能在 72% 左右,72.5%,我们将处于这个范围内。我们也可能高于这个数字。我们只是要看看它是如何实现的。我们确实希望确保我们能够继续提高并延续这种改善,提高我们的收益率,改善产品,直到今年剩下的时间。所以到那时,我们的毛利率将达到 75% 左右。
第二个问题是关于我们的 Hopper 以及我们的 Hopper 正在做什么。我们的 H200 不仅在订单方面有大幅增长,而且订单量增长速度也很快。这是一款出色的产品,也是我们见过的增长和增长最快的产品。我们将在本季度(肯定是第四季度)继续销售 Hopper,这包括我们所有不同配置的全面销售,我们的配置包括我们可能在中国销售的产品。但请记住,人们同时也在寻求扩大他们的 Blackwell。因此,我们在第四季度会同时进行这两种销售。但是,Hopper 有可能在第三季度和第四季度之间增长吗?有可能,但我们只能拭目以待。
约瑟夫 · 摩尔
我想知道您是否可以谈谈您在推理市场中看到的情况。您谈到了 Strawberry 以及长期扩展推理项目的一些影响。但您还谈到了这样一种可能性,即随着这些 Hopper 集群的老化,您可以使用一些 Hopper 潜在芯片进行推理。所以我想,您是否预计推理会在未来 12 个月内超越训练,您对此有什么看法?
我们的希望和梦想是,有一天,世界会进行大量的推理。那时,人工智能才真正成功。那时,每家公司都在公司内部为营销部门、预测部门、供应链部门、法律部门和工程部门进行推理,当然还有编码部门。所以我们希望每家公司都能全天候进行推理。而且会有一大批人工智能原生初创公司,成千上万的人工智能原生初创公司正在生成代币和人工智能,从使用 Outlook 到 PowerPoint,或者当你坐在那里使用 Excel 时,你的计算机体验的各个方面都在不断生成代币。
每次你阅读 PDF 或打开 PDF 时,它都会生成一大堆标记。我最喜欢的应用程序之一是 NotebookLM,这是 Google 推出的一款应用程序。我非常喜欢它,因为它很有趣。我把每个 PDF、每个档案文件都放进去,听和浏览。所以我认为——目标是训练这些模型,让人们使用它。现在有一个全新的人工智能时代,一种全新的人工智能类型,称为物理人工智能,那些大型语言模型理解人类语言以及我们的思维过程。物理人工智能理解物理世界,它理解结构的含义,理解什么是合理的,什么是不合理的,什么可能发生,什么不会发生,它不仅理解,还能预测和推出一个短暂的未来。这种能力对工业人工智能和机器人技术非常有价值。
这激发了许多 AI 原生公司、机器人公司和物理 AI 公司的发展,你们可能听说过。这也是我们创建 Omniverse 的原因。Omniverse 是为了让我们能够创建这些 AI,并在 Omniverse 中学习,从合成数据生成和强化学习物理反馈中学习,而不是人类反馈,现在是物理反馈。为了拥有这些能力,Omniverse 被创建出来,以便我们能够启用物理 AI。目标是生成 token。目标是进行推理,我们开始看到这种增长正在发生。所以我对此非常兴奋。
现在让我再说一件事。推理非常难。推理之所以非常难,是因为一方面你需要高准确度。你需要高吞吐量,以便尽可能降低成本,但你也需要低延迟。高吞吐量和低延迟的计算机极难构建。这些应用程序具有较长的上下文长度,因为它们想要理解,它们希望能够在理解被要求做什么的上下文的情况下进行推理。因此,上下文长度越来越长。
另一方面,模型越来越大,它们都是多模态的。推理创新的维度数量令人难以置信。这种创新速度正是 NVIDIA 架构如此出色的原因,因为我们的生态系统非常棒。每个人都知道,如果他们在 NVIDIA 架构之上的 CUDA 上进行创新,他们可以更快地创新,并且他们知道一切都应该正常进行。如果发生什么事情,很可能是他们的代码,而不是我们的代码。因此,这种同时在各个方向上进行创新的能力,拥有庞大的安装基础,因此您创建的任何东西都可以登陆 NVIDIA 计算机,并广泛部署在世界各地的每个数据中心,一直到机器人系统的边缘,这种能力确实非常惊人。
亚伦 · 雷克斯
我想问您一下,因为我们关注的是 Blackwell 周期,并考虑数据中心业务。当我查看上个季度的结果时,Colette,您提到,网络业务显然比上一季度下降了约 15%,但您当时的评论是,您看到了非常强劲的需求。您还提到,您已赢得多个大型集群的云 CSP 设计。所以,我很好奇,您是否可以解释一下网络业务的情况,您可能在哪里看到了一些限制,您对 Spectrum-X 进展到您之前谈到的数十亿美元的速度的信心。
我们先从网络开始。同比增长非常惊人,自收购 Mellanox 以来,我们的重点一直是将我们在数据中心所做的工作整合在一起。网络是其中非常关键的一部分。我们销售网络的能力与我们在数据中心使用的许多系统的能力不断增长,而且表现相当不错。所以本季度只是略有下降,我们的增长将很快恢复。他们正在为 Blackwell 和越来越多的系统做准备,这些系统不仅将使用我们现有的网络,还将使用我们将为其提供的许多大型系统中将要采用的网络。
阿蒂夫 · 马利克
我有两个简短的问题要问科莱特。科莱特,在上次财报电话会议上,您提到主权需求达到数十亿美元。您能提供最新信息吗?然后您能解释一下游戏行业供应受限的情况吗?这是因为您将供应转向数据中心吗?
首先从自主 AI 开始,这是增长中非常重要的一部分,随着生成 AI 的出现和世界各国模型的建立,这一部分才真正浮出水面。我们看到了很多这样的公司,我们在今天的电话会议上也谈到了很多,以及他们正在做的工作。因此,我们的自主 AI 和我们未来的管道仍然绝对完整,因为他们正在努力用自己的语言、自己的文化构建这些基础模型,并在这些国家的企业中开展工作。
我认为,您将继续看到这种增长机会,您可能会看到我们正在存储的区域云和 / 或专注于 AI 工厂的云,这些工厂为许多主权 AI 部分提供服务。这些领域不仅在欧洲增长,而且在亚太地区也看到了这种增长。让我回答您关于游戏的第二个问题。因此,从供应方面来看,我们目前正忙于确保能够提高所有不同产品的产量。在这种情况下,我们的游戏供应,考虑到我们看到的销售情况,正在迅速增长。现在我们面临的挑战是我们能以多快的速度将这些供应准备好在本季度进入市场。
不用担心,我认为在新的一年里,我们会与更多供应商重回正轨。只是本季度的供应会比较紧张。
本 · 赖茨
我想问一下 Colette 和 Jensen 关于连续增长的问题。本季度连续增长非常强劲,您预计增长约为 7%。您对 Blackwell 的评论是否意味着随着您获得更多供应,我们会从那里重新加速?仅在上半年,似乎会有一些追赶。所以我想知道您在这方面能给出多大指导性的建议。
然后,詹森,总的来说,随着美国政府的更迭和中国局势的转变,您是否了解或讨论过关税问题,或者任何与中国业务有关的事情?您是否了解可能发生或可能不会发生的事情?现在可能还为时过早,但我想知道您是否对此有什么想法。
我们每次指导一个季度。
我们目前正在为本季度做准备,并生产 Blackwell 需要的货物。我们与全球所有供应商密切合作,共同完成这项工作。一旦进入下个季度,我们将帮助您了解我们将在下个季度及之后看到的产量增长情况。
无论新政府做出什么决定,我们当然都会支持。这是我们的最高使命。然后,我们会尽最大努力。就像我们一直做的那样。因此,我们必须同时完全遵守任何法规,并尽最大努力支持我们的客户,参与市场竞争。我们将同时做这三件事。
皮埃尔 · 费拉古
你有预训练,实际的语言模型,还有强化学习,它们在训练和推理中变得越来越重要。然后还有推理本身。我想知道,你是否对整个人工智能生态系统有一个高层次的典型认识,比如你的一个客户或现有的一个大型模型。今天,每个存储桶中有多少计算量?有多少用于预训练,有多少用于强化,有多少用于推理?你是否知道它是如何划分的,哪里的增长是最重要的?
它主要在基础模型的预训练中进行,因为正如你所知,在后训练中,新技术才刚刚出现,无论你在预训练和后训练中能做什么,你都会尽量让每个人的推理成本尽可能低。然而,你能优先做的事情是有限的。所以你总是需要进行现场思考和情境思考和反思。所以我认为,基于我们的现状,这三者都在扩展,这实际上是非常明智的。
在基础模型领域,现在我们拥有多模态基础模型,而这些基础模型将要训练的视频数量达到惊人的 PB 级。因此,我的预期是,在可预见的未来,我们将扩展预训练、后训练以及推理时间扩展,这就是为什么我认为我们将需要越来越多的计算,我们将不得不尽最大努力不断提高性能,每次提高 X 倍,这样我们才能继续降低成本,继续增加收入,推动 AI 革命。
我们业务的巨大增长是由两大基本趋势推动的,这两大趋势推动了 NVIDIA 计算在全球范围内的普及。首先,计算堆栈正在经历一次重塑,即从编码到机器学习的平台转变。从在 CPU 上执行代码到在 GPU 上处理神经网络。价值数万亿美元的传统数据中心基础设施安装基数正在为软件 2.0 进行重建,该软件 2.0 应用机器学习来生产 AI。
其次,人工智能时代已经全面到来。生成式人工智能不仅仅是一种新的软件功能,而是一个拥有制造数字智能的人工智能工厂的新行业,这是一场可以创造数万亿美元人工智能产业的新工业革命。人们对 Hopper 的需求和对现已全面投产的 Blackwell 的期待令人难以置信,原因有几个。现在的基础模型制造商比一年前更多。预训练和后训练的计算规模继续呈指数级增长。
AI 原生初创企业的数量比以往任何时候都多,成功的推理服务数量也在不断增加。随着 ChatGPT o1、OpenAI o1 的推出,一种名为测试时间缩放的新缩放定律应运而生。所有这些都消耗了大量的计算。AI 正在改变每个行业、公司和国家。企业正在采用代理 AI 来彻底改变工作流程。随着时间的推移,AI 同事将协助员工更快更好地完成工作。由于物理 AI 的突破,对工业机器人的投资正在激增。
随着研究人员利用 PB 级视频和 Omniverse 合成数据训练世界基础模型,新的训练基础设施需求也随之增加。机器人时代即将到来。世界各国都认识到了我们看到的人工智能基本趋势,并意识到了发展国家人工智能基础设施的重要性。人工智能时代已经到来,它规模庞大,内容丰富多样。NVIDIA 的专业知识、规模和提供全栈和全基础设施的能力使我们能够为未来数万亿美元的人工智能和机器人机会提供服务。从每个超大规模云、企业私有云到主权区域人工智能云、从本地到工业边缘和机器人。
( 这份记录可能不是 100%的准确率,并且可能包含拼写错误和其他不准确的。提供此记录,没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见 )
登录后才可以发布评论哦
打开小程序可以发布评论哦