商业周刊 4小时前
DeepSeek推出开源工具 或有助降低AI运行成本
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

DeepSeek 正在开源其用于大规模运行人工智能模型的软件,这可能让企业以更低成本、更便捷地运行其技术。

这款名为 DeepInfer 的软件由 DeepSeek 用于提高模型运行速度和计算资源使用效率。

" 我们正在分享生产环境技术栈,帮助社区降低计算成本、减少能源消耗,让 AI 更加经济实惠," 这家总部位于杭州的 AI 公司 10 月 20 日在 X 上表示。

DeepInfer 目前支持 DeepSeek 的 V4.1-Flash 模型,该公司表示,未来还将支持后续系统。

此次发布让外界得以了解 DeepSeek 如何降低先进 AI 模型实际运行阶段,也就是 " 推理 " 的成本,并展示了一些 AI 公司通常严格保密的生产环境技术。

对于运行 DeepSeek 模型的云服务和托管服务商而言,DeepInfer 也使其能够自行采用这些降低成本的方法。

即使是同一个模型,运行成本也可能因所使用的模型服务软件不同而存在显著差异。更高效的软件可以降低每次请求所需的计算成本,并可能减少能源消耗。

DeepInfer 整合了多种技术,包括 " 分布式推理 ",即把 AI 工作负载分散到不同硬件上,从而让模型在更短时间内产生更多输出,并提高芯片的使用效率。其中许多基础技术已得到广泛应用,但 DeepSeek 针对自身模型进行了优化。

降低 AI 模型的推理成本可以提高 AI 托管服务商的利润率,并可能最终带来更低的客户价格。对企业而言,DeepInfer 也可能降低其在自有基础设施上运行 DeepSeek 模型的成本。目前尚无针对 DeepInfer 效率提升幅度的独立基准测试。

虽然 DeepInfer 主要适用于 DeepSeek 自己的模型,但其他开发者也可以研究这套开源软件,并借鉴其中的技术,用于自己的推理系统。编辑 / 陈佳靖

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 开源 托管 云服务 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论