快科技 12 月 9 日消息,在最近一期的 Joe Rogan 播客中,NVIDIA CEO 黄仁勋回忆了关于深度学习起源和公司命运的关键转折点:深度学习的突破,始于 2012 年,依赖于两张并非为 AI 设计的 GTX 580 显卡 SLI 双卡互联配置。
黄仁勋透露,当今 AI 的核心深度学习,其基础网络的首次运行使用的硬件,正是基于 Fermi 架构、拥有 512 个 CUDA 核心的高端游戏显卡 GTX 580。
虽然该显卡最初是为顶级游戏而生,但其强大的并行计算能力,却无意中成为了深度学习快速训练的基石。
2012 年,来自多伦多大学的研究人员 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton,利用一对 3GB 的 GTX 580 显卡,训练出了著名的 AlexNet 模型。
这个拥有约 6000 万参数的深度学习网络,在当年的 ImageNet 图像识别竞赛中,以超越当时手动设计算法 70% 的惊人优势脱颖而出。
黄仁勋指出,AlexNet 的开发者通过优化算法,使其能够在两张 GTX 580 上并行运行,仅在必要时才交换数据,极大地缩短了训练时间,这也使得 GTX 580 成为世界上第一款运行深度学习 / 机器学习 AI 网络的显卡。
有意思的是,这一里程碑达成时,NVIDIA 在 AI 领域的投资微乎其微,大部分研发仍集中在 3D 图形和游戏上。
正是 AlexNet 在 GTX 580 上的成功应用,让 NVIDIA 意识到深度学习的巨大潜力,黄仁勋表示,公司随即在 2012 年将资金、开发和研究工作转向深度学习技术。
这一转型最终催生了 2016 年的初代 NVIDIA DGX 超级计算机、具有首代 Tensor 核心的 Volta 架构,以及后续的 DLSS 技术。



登录后才可以发布评论哦
打开小程序可以发布评论哦