快科技 2 月 14 日消息,安谋科技宣布,搭载新一代 " 周易 "NPU 处理器的硬件平台,已经成功在端侧部署并运行 DeepSeek-R1 系列模型,而且性能卓越、成本优异。
新款 " 周易 "NPU 采用专为 AI 大模型特性优化的架构设计,Beta 测试版本已在 2024 年底向早期用户开放评估测试,预计今年上半年正式发布亮相。
DeepSeek-R1 1.5B、7B 蒸馏版本推出后,安谋科技新一代 " 周易 "NPU 在很短的时间内,就在 Emulation 平台上完成了部署与优化,并在 FPGA 平台上成功实现了端到端应用的演示。
测试显示,在标准单批次输入、上下文长度为 1024 的测试环境中,新款 " 周易 "NPU 在首字计算阶段的算力利用率突破 40%,解码阶段的有效带宽利用率超过 80%。
带宽利用率呈现高线性特性,能够灵活适配 16GB/s 至 256GB/s 的系统带宽需求。
7B 版本、1024 上下文长度的场景下,保障模型应用精度的同时,新款 " 周易 "NPU 的最高处理速度可达每秒 40 tokens,并支持动态长度的模型推理输入。
这也展现了安谋科技软件栈对大模型的成熟支持、深度优化,包括动态推理优化和硬件算力潜力的挖掘,从而显著提升推理速度和吞吐量。
目前,软件栈已支持 Llama、Qwen、DeepSeek、ChatGLM、MiniCPM 等多种主流大模型,并提供与 Hugging Face 模型库的对接工具链,方便直接部署主流模型。
硬件层面,新一代 " 周易 "NPU 采用 7nm 工艺制造,单 Cluster 算力最高可达 80 TOPS ( 每秒 80 万亿次计算 ) ,能够轻松应对超过 16K 上下文长度的大模型部署需求,同时对外带宽提高至 256GB/s,解决大模型计算的带宽瓶颈问题。
它还全面支持 FP16 数据精度计算,完整支持 INT4 软硬量化加速,还支持多核算力扩展,满足端侧模型的低首字延迟需求。
它还具备强大的多任务并行处理能力,通过细粒度的任务调度和优先级资源分配,实现多任务灵活切换,确保传统语音、视觉业务、大模型应用的高效协同。
登录后才可以发布评论哦
打开小程序可以发布评论哦