大多数人对 Uber 在人工智能领域的认知可能都来自于自动驾驶,但实际上 Uber 在人工智能底层技术上也有卓越的贡献,其开源的分布式深度学习框架 Horovod 是世界上最优秀的人工智能训练加速框架之一,数以万计的人工智能开发者和组织从中受益。8 月 28 日,在北京举行的 2019 人工智能计算大会(AICC2019)上,Uber 深度学习平台经理宁旭将在大会主论坛上分享如何更好的使用 Horovod 加速 AI 模型训练。
Horovod流行的背后是AI算力需求的急剧增加
Horovod 实质上是 Uber 开发并开源的一套先进的分布式系统,它并不依赖于某个框架,而是采用目前业界广泛认可的基于环形 All-reduce 通信的同步 SGD 算法,通过计算与通信异步、梯度合并、梯度压缩等设备间通信优化手段,完成 allreduce、allgather 等集体操作通信工作。这一特性使得 Horovod 可以非常方便地与主流深度学习框架 TensorFlow、PyTorch、 MXNet 等进行匹配,在大规模 GPU 集群上的训练性能远高于原生框架的训练性能,提供非常高效的分布式训练性能加速。Horovod 的另一大优点在于其提供的接口极为简单,用户只需修改几行代码,就可实现显著的训练性能提升。
Horovod 之所以受到越来越多 AI 开发者与研究机构的青睐,其背后的原因在于越来越多的机器学习模型对数据和计算能力需求急剧增加。在大部分情况下,AI 模型可以在单个或多 GPU 平台的服务器上运行,但随着数据集的增大和训练时间的增长,有时训练需要一周甚至更长时间。因此,AI 开发者们不得不寻求分布式训练方法来缩短模型训练的时间。
Uber分享Horovod的 " 独家秘笈 "
Uber 目前已经将深度学习应用到了很多公司业务中,从自动驾驶搜索路线到防御欺诈等。Uber 深度学习平台经理宁旭认为,训练现代复杂的深度学习模型需要大量的计算。将计算扩展到多个 GPU 面临两大挑战:低成本、高效的 GPU 间通信库,以及用户代码可能会出现较大的更改。而 Horovod 成功地解决了这两大难题。
在 AICC2019 上,宁旭将带来《利用 Horovod 进行分布式深度学习》的主题演讲,不仅将现场分享如何通过 Horovod 在 TensorFlow、Keras、PyTorch 和 MXNet 中实现更快、更轻松的分布式训练,讲解 Horovod 的操作方法,同时也将披露 Uber 最近在橡树岭国家实验室进行的一项案例研究,讲述 Horovod 在世界上最快的超级计算机上实现百亿亿级计算。
宁旭曾带领 Uber 大数据和基础设施领域的团队负责一些开源项目,在机器学习、深度学习、大数据和大规模计算、网络、存储问题方面有丰富的经验。在加入 Uber 之前,宁旭曾在 Facebook、Akamai 和 Microsoft 以及几家初创公司工作。
AICC2019精彩纷呈
本届 AICC 2019 可谓精彩纷呈,核心板块为主论坛与自动驾驶、产业 AI 创新、AI 计算与基准测试、AI+ 视觉计算、AI+ 创投五大主题论坛,其中主论坛嘉宾云集了来自中国工程院、英国皇家工程院、百度、中国新一代人工智能发展战略研究院、浪潮、Facebook 等机构的 AI 产学研顶尖专家学者,共聚一堂解读 AI 产业趋势,分享前沿 AI 计算技术。大会同期举行的 AI 千人训练营将邀请百度、平安科技、浪潮的资深 AI 工程师讲解最新 AI 计算技术与应用,帮助学员从零入门 AI。
与此同时,AICC2019 大会期间还将重磅发布《2019-2020 中国 AI 计算力发展报告》,公布中国 AI 计算力城市榜单与热力分布等重要研究成果,为 AI 投资、创业与就业提供科学指导。
AICC 大会由中国工程院信息与电子工程学部主办,浪潮集团承办,旨在围绕人工智能的产业需求研讨 AI 计算,促进 AI 技术创新、合作发展与人才培养。目前,AICC 大会已成为 AI 计算领域最具分量的前沿技术交流平台,每年都会吸引数千名 AI 产业与技术领袖、顶级 AI 专家和 AI 开发者等参与。
登录后才可以发布评论哦
打开小程序可以发布评论哦