来源:新浪科技
新浪科技讯 6 月 5 日上午消息,在中科创星硬科技媒体行——清程极智专场活动中,清程极智团队在分享中透露,面对 Token 服务市场服务商林立、指标混乱、选型成本高的行业乱象,清程极智推出的 AI Ping 一站式大模型服务评测与 API 智能路由平台——已接入 30 余家主流服务商、600 余个大模型服务,可依托智能路由算法,以统一 API 接口为用户自动匹配最优服务商,实现成本降低超 37%、吞吐提升超 90%、延迟降低超 20%。
此外,针对大模型部署成本高、国产算力适配不足等痛点,清程极智推出的赤兔推理引擎已在券商、能源央企等场景落地应用,某能源央企实现 3500+ 员工全国产化算力稳定使用,算力效率提升近 40%。
2024 年初至 2026 年 3 月,中国 Token 日均调用量激增约 1400 倍,规模突破 140 万亿。但在 Token 需求爆发的同时,国产算力与国产模型推理环节长期依赖海外引擎,难以充分释放国产硬件性能。
据悉,清程极智赤兔推理引擎针对昇腾、海光、沐曦、摩尔线程等国产芯片的硬件特性深度优化,有效解决了国产算力 " 能用不好用 " 的难题,基于该引擎部署 DeepSeek ‑ V3 满血版模型时,仅需 1 台 8 卡 910B 服务器即可替代传统 4 台 8 卡机,硬件成本从 600 万元降至 150 万元。(文猛)


登录后才可以发布评论哦
打开小程序可以发布评论哦