DeepSeek 正在开源其用于大规模运行人工智能模型的软件,这可能让企业以更低成本、更便捷地运行其技术。
这款名为 DeepInfer 的软件由 DeepSeek 用于提高模型运行速度和计算资源使用效率。
" 我们正在分享生产环境技术栈,帮助社区降低计算成本、减少能源消耗,让 AI 更加经济实惠," 这家总部位于杭州的 AI 公司 10 月 20 日在 X 上表示。
DeepInfer 目前支持 DeepSeek 的 V4.1-Flash 模型,该公司表示,未来还将支持后续系统。
此次发布让外界得以了解 DeepSeek 如何降低先进 AI 模型实际运行阶段,也就是 " 推理 " 的成本,并展示了一些 AI 公司通常严格保密的生产环境技术。
对于运行 DeepSeek 模型的云服务和托管服务商而言,DeepInfer 也使其能够自行采用这些降低成本的方法。
即使是同一个模型,运行成本也可能因所使用的模型服务软件不同而存在显著差异。更高效的软件可以降低每次请求所需的计算成本,并可能减少能源消耗。
DeepInfer 整合了多种技术,包括 " 分布式推理 ",即把 AI 工作负载分散到不同硬件上,从而让模型在更短时间内产生更多输出,并提高芯片的使用效率。其中许多基础技术已得到广泛应用,但 DeepSeek 针对自身模型进行了优化。
降低 AI 模型的推理成本可以提高 AI 托管服务商的利润率,并可能最终带来更低的客户价格。对企业而言,DeepInfer 也可能降低其在自有基础设施上运行 DeepSeek 模型的成本。目前尚无针对 DeepInfer 效率提升幅度的独立基准测试。
虽然 DeepInfer 主要适用于 DeepSeek 自己的模型,但其他开发者也可以研究这套开源软件,并借鉴其中的技术,用于自己的推理系统。编辑 / 陈佳靖


登录后才可以发布评论哦
打开小程序可以发布评论哦