快科技 3 月 14 日消息,据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎 " 赤兔 Chitu"。这一突破性技术为国产 AI 芯片的广泛应用和生态建设带来了新的机遇。
" 赤兔 Chitu" 首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,解决了 FP8 精度模型对英伟达 Hopper 架构(如 H100/H200)的硬件依赖。
在 A800 集群的测试中,赤兔引擎在 GPU 使用量减少 50% 的情况下,推理速度提升了 3.15 倍,显著降低了企业的硬件成本,同时提高了性能输出。
赤兔引擎的智能优化技术能够快速适配不同芯片架构,使国产厂商无需重复开发软件,专注于硬件升级。目前,清程极智已与沐曦、燧原等厂商合作,推出 " 开箱即用 " 的推理一体机,广泛应用于金融、医疗等行业。
清程极智 CEO 汤雄超表示,当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源 " 赤兔 " 引擎是推动国内 AI 生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。
登录后才可以发布评论哦
打开小程序可以发布评论哦