芯榜 13小时前
寒序科技发布uHBM与uLPU推理计算架构
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

寒序科技,重新发明 HBM

2026 年 8 月 31 日,寒序科技推出自研uHBM 高带宽内存架构uLPU 专用推理架构,革新大模型推理技术路径。摒弃传统 GPU+HBM" 一味提速搬数 " 的方案,采用权重驻留、就近计算核心思路,针对性解决大模型 Decode 阶段权重反复搬运、带宽瓶颈突出、开销过高的行业痛点。

传统推理方案在 Token 生成阶段需频繁搬运权重,容易造成算力空转、数据供给不足。寒序 uHBM 将模型权重常驻片内 MRAM 阵列,在晶圆内部完成矩阵运算,系统仅传输轻量化激活向量,实现 " 权重不动、向量流转 "。其首代架构片内读取带宽达24TB/s,把高带宽能力从接口延伸至芯片内部,大幅降低搬运延迟与功耗。

依托 uHBM 底座,寒序构建端云一体的 uLPU 推理体系,包含端侧 uLPU-edge、云端 uLPU-cloud 两条产品线,通过分工协同优化推理效率。该架构针对 4B 多模态模型,设定超 2000Tokens/s的 Decode 推理目标,推理性能相较传统方案提升显著。

目前寒序已完成从芯片、模组、托盘到机柜的全栈产品布局,首代工程产品已进入流片前收敛阶段,未来将落地云端算力集群与端侧物理 AI 设备,打造新一代高效低耗的 AI 推理基础设施。

▲图:uHBM 接口与封装形态示意。UCIe、LPDDR5X、GDDR7 等对应不同工程场景

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

芯片 晶圆 轻量化
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论