钛媒体快报 前天
优刻得发布新一代GPU虚拟化技术,小模型推理资源利用率最高提10倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

钛媒体 App 12 月 1 日消息,优刻得发布新一代 GPU 虚拟化技术,可将单张 GPU 精细切分为多个虚拟算力单元,最小粒度达 10%,支持单卡并行多项 AI 任务。该技术通过轻量级用户态截获,实现显存与算力的强隔离与可控分配,虚拟化损耗仅 1% – 3%,兼容 PyTorch 等主流框架,并支持 NVIDIA、昇腾、寒武纪、沐曦等异构芯片,可构建跨节点共享的算力池。在 7B/13B 小模型推理和高校科研环境中,资源利用率最高提升 10 倍。(广角观察)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

寒武纪 钛媒体 ai gpu 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论