快科技 11 月 20 日消息，微软投资的硅谷初创公司 d-Matrix 近日宣布，其首款人工智能芯片 Corsair 开始出货。

d-Matrix 表示 Corsair 在单台服务器中为 Llama3 8B 提供每秒处理 60000 个 tokens 的性能，每个 tokens 的延迟为 1 毫秒。

该公司声称，与 GPU 和其他替代方案相比，Corsair 提供了性能、能源效率和成本节省。

对于 AI 推理运算，数据传输是最大的瓶颈，它需要大量内存，也需要非常快的内存，但两者却很难兼顾。

目前的解决方案主要有三种，第一种是通过采样和流水线减少处理的数据量来加速深度学习，但也限制了准确性和精确性。

第二种是在传统的处理器附近设置专用 AI 引擎的处理器，苹果、英伟达、Intel 和 AMD 都采用这种方式，但这要集成 SRAM 和外部 DRAM，仍然是高能耗和低效率。

第三种是将计算移动到内存附近，也就是 d-Matrix 采用的方法，这种叫数字存算一体（DIMC）的技术架构降低了延迟，减少了消耗。

因此非常适合 AI 推理，因为推理会涉及一个相对静态（但大型）的权重数据集，这个数据集被反复访问，DIMC 消除了大部分能量转移费用和数据移动的延迟。

得益于 DIMC，Corsair 可提供 150TB/s 的超高内存带宽，交互速度提高了 10 倍，能效提高了 3 倍。

其他方面，Corsair 芯片采用行业标准的 PCIe Gen5 全高全长卡外形，通过 DMX Bridge 卡连接成对的卡。

每张 Corsair 卡都由多个 DIMC 计算核心驱动，具有 2400 TFLOP 的 8 位峰值计算能力、2GB 的集成性能内存和高达 256GB 的片外容量内存。