驱动之家 02-14
安谋科技下代“周易”NPU成功部署DeepSeek-R1:速度高达40 tokens/s
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 2 月 14 日消息,安谋科技宣布,搭载新一代 " 周易 "NPU 处理器的硬件平台,已经成功在端侧部署并运行 DeepSeek-R1 系列模型,而且性能卓越、成本优异。

新款 " 周易 "NPU 采用专为 AI 大模型特性优化的架构设计,Beta 测试版本已在 2024 年底向早期用户开放评估测试,预计今年上半年正式发布亮相。

DeepSeek-R1 1.5B、7B 蒸馏版本推出后,安谋科技新一代 " 周易 "NPU 在很短的时间内,就在 Emulation 平台上完成了部署与优化,并在 FPGA 平台上成功实现了端到端应用的演示。

测试显示,在标准单批次输入、上下文长度为 1024 的测试环境中,新款 " 周易 "NPU 在首字计算阶段的算力利用率突破 40%,解码阶段的有效带宽利用率超过 80%。

带宽利用率呈现高线性特性,能够灵活适配 16GB/s 至 256GB/s 的系统带宽需求。

7B 版本、1024 上下文长度的场景下,保障模型应用精度的同时,新款 " 周易 "NPU 的最高处理速度可达每秒 40 tokens,并支持动态长度的模型推理输入。

这也展现了安谋科技软件栈对大模型的成熟支持、深度优化,包括动态推理优化和硬件算力潜力的挖掘,从而显著提升推理速度和吞吐量。

目前,软件栈已支持 Llama、Qwen、DeepSeek、ChatGLM、MiniCPM 等多种主流大模型,并提供与 Hugging Face 模型库的对接工具链,方便直接部署主流模型。

硬件层面,新一代 " 周易 "NPU 采用 7nm 工艺制造,单 Cluster 算力最高可达 80 TOPS ( 每秒 80 万亿次计算 ) ,能够轻松应对超过 16K 上下文长度的大模型部署需求,同时对外带宽提高至 256GB/s,解决大模型计算的带宽瓶颈问题。

它还全面支持 FP16 数据精度计算,完整支持 INT4 软硬量化加速,还支持多核算力扩展,满足端侧模型的低首字延迟需求。

它还具备强大的多任务并行处理能力,通过细粒度的任务调度和优先级资源分配,实现多任务灵活切换,确保传统语音、视觉业务、大模型应用的高效协同。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

周易 ai 安谋科技 fpga 吞吐量
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论