钛媒体 App 12 月 1 日消息,优刻得发布新一代 GPU 虚拟化技术,可将单张 GPU 精细切分为多个虚拟算力单元,最小粒度达 10%,支持单卡并行多项 AI 任务。该技术通过轻量级用户态截获,实现显存与算力的强隔离与可控分配,虚拟化损耗仅 1% – 3%,兼容 PyTorch 等主流框架,并支持 NVIDIA、昇腾、寒武纪、沐曦等异构芯片,可构建跨节点共享的算力池。在 7B/13B 小模型推理和高校科研环境中,资源利用率最高提升 10 倍。(广角观察)

钛媒体 App 12 月 1 日消息,优刻得发布新一代 GPU 虚拟化技术,可将单张 GPU 精细切分为多个虚拟算力单元,最小粒度达 10%,支持单卡并行多项 AI 任务。该技术通过轻量级用户态截获,实现显存与算力的强隔离与可控分配,虚拟化损耗仅 1% – 3%,兼容 PyTorch 等主流框架,并支持 NVIDIA、昇腾、寒武纪、沐曦等异构芯片,可构建跨节点共享的算力池。在 7B/13B 小模型推理和高校科研环境中,资源利用率最高提升 10 倍。(广角观察)
登录后才可以发布评论哦
打开小程序可以发布评论哦