来源:新浪科技
新浪科技讯 9 月 22 日下午消息,在华为 AIDC 基础设施峰会上,商汤大装置智算中心总经理林海指出,随着 AI 进入 Token 规模化生产时代,AIDC 的效率评价正在进一步转向 AI 业务价值产出,由传统的 PUE 衡量,转向 TPW(Token Per Watt)——关注 " 投入的能源和成本最终产生多少 Token"。
林海指出,传统智算中心通常以 PUE 和算力规模作为重要指标,但 PUE 主要衡量供电、制冷等基础设施能效," 多少 P" 则更多反映算力设施的峰值性能,两者都难以直接反映智算中心最终产生的业务价值。在当前趋势下,商汤大装置将效率评价进一步延伸至 TPW(Token Per Watt),尝试将底层能源投入与上层 Token 产出建立联系。
围绕这一思路,商汤大装置将效率优化贯穿 Token 生产的多个环节,这几乎涉及到了人工智能完整的五层蛋糕里的所有产业,包括最底层的能源供给方电网 / 电厂,也包含 IDC 运营商、算力云运营商和大模型服务商。各层链路各有其关键指标,比如:在能源供给侧,关注电力来源、能源形式和单位电量成本;在基础设施侧,优化供电制冷架构;在服务器和芯片侧,围绕算子、显存、互联带宽及并行效率进行性能调优;在模型侧,提升推理吞吐和 GPU 利用率;在应用侧,则通过 TPM 规模化、推理优化、弹性调度和闲时算力等方式提升 Token 产出能力。
这也意味着,AIDC 效率优化不再是对某一个指标或单一环节的优化,而是从能源进入开始,一直延伸到最终 Token 产出。
林海指出,单一环节的效率提升,并不必然带来整个链路效率的提升。围绕 TPW 这一全链路效率思路,商汤大装置进一步将能源、算力与 Token 产出数据打通,构建算电协同体系。
据悉,通过这一全链路协同机制,商汤大装置算电协同实践实现了单位电力成本 Token 产出提升 80%,IT 有效容量产出提升 60%,平均电费单价较同地区 IDC 降低约 10% 等显著成效。这也体现出,算电协同的价值不局限于降低某一项基础设施成本,而是通过多层数据协同,将不同环节的优化结果最终体现到 Token 业务产出上。



登录后才可以发布评论哦
打开小程序可以发布评论哦