快科技 7 月 23 日消息，初创企业 Acrab 正式发布其首款边缘 AI 终端 SoC G Ξ LIX 1，该芯片基于 5nm 制程工艺，支持 100B 参数规模大模型本地运行。

硬件层面，G Ξ LIX 1 采用异构计算架构，集成 20 核 Arm CPU、3TFLOPS GPU、独立 NPU 及音视频处理引擎，AI 总算力达 650TOPS。作为横向参照，高通骁龙 X Elite 平台的 NPU 算力约为 45TOPS，英特尔酷睿 Ultra 系列的 NPU 在 40TOPS 上下。

缓存与内存子系统围绕大模型推理的高吞吐需求设计，芯片配备 8MB L1 缓存，共享 L2 缓存带宽 768GB/s，外挂 256-bit 位宽 LPDDR5X 内存，传输速率 8533MT/s。大模型推理过程中权重读取和 KV Cache 存取对内存带宽高度敏感，这套配置为 100B 模型的端侧部署提供了基础保障。

此次 Acrab 重点展示的是预填充阶段性能。预填充是大语言模型接收用户输入后、开始逐 Token 生成输出前的全量编码过程，其速率直接决定长文本输入场景下的首 ToKen 延迟。Acrab 通过矢量硬件单元加速 Transformer 注意力机制计算，并对预填充路径做了针对性优化。

在官方公布的预填充性能测试中，在配备 40k KV 缓存和 10k Token 输入的 Gemma 26B A4B 配置下，这款芯片跑出了 1416.8 Token/s 的成绩，达到苹果 M4 Pro Mac Mini 的 7.5 倍。

软件生态方面，Acrab 同步推出完整软件栈及智能体参考设计，覆盖底层驱动到上层应用框架的开发链路。第一方终端设备 Agent Box 也一同亮相，作为 G Ξ LIX 1 的参考实现供开发者评估和原型验证。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：青山