驱动之家 05-11
NVIDIA、AMD还在堆料!一家小公司用28nm+DDR4单卡跑7000亿大模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 5 月 11 日消息,当英伟达、AMD 还在不断堆高制程、堆砌 HBM 显存推出高端 AI 加速卡时,一家小公司却用老旧技术走出了不同路线。

中国台湾企业 Skymizer 推出 HTX301 PCIe AI 加速器,采用 28nm 芯片搭配 LPDDR4/LPDDR5 内存,单卡即可运行 7000 亿参数大语言模型。

HTX301 单张 PCIe 卡集成 6 颗自研芯片协同工作,总内存容量最高可达 384GB,整卡功耗仅为 240W,全程未使用行业主流的 HBM 或 GDDR 显存方案。

该加速器基于 Skymizer HyperThought 平台打造,搭载专为大语言模型工作负载设计的下一代 LPU IP 核,核心优化方向为大模型推理效率。

通过对权重和 KV 缓存采用专属高效压缩技术,HTX301 的推理性能比开源框架 llama.cpp 提升 9% 至 17.8%,官方标称带宽可达 100GB/s。

功耗对比方面,英伟达 RTX PRO 6000 Blackwell 执行同类任务功耗约为 600W,AMD Instinct MI350P 功耗同样远高于该产品,均达到 HTX301 的两倍以上。

HTX301 采用标准 PCIe 卡外形尺寸,可直接安装在普通风冷服务器中,无需对数据中心的电力和冷却系统进行任何改造。

该方案同时解决了云端部署的两大核心痛点,既避免了数据上传带来的隐私泄露风险,也实现了基础设施成本的可预测性。

目前 HTX301 所宣称的全部性能数据均来自 Skymizer 官方,尚未经第三方独立测试验证。

不过,Skymizer 将于今年台北国际电脑展上首次提供实机演示,并开放给独立第三方机构对其性能参数进行全面验证。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 芯片 基础设施 开源 台北
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论