据消息透露，人工智能芯片初创公司 SambaNova Systems 因融资困难，正考虑出售公司。SambaNova 成立于 2017 年，总部位于美国加州，曾致力于为训练和推理打造基于统一架构的 AI 芯片。该公司在 2023 年发布了一款专为大语言模型微调和推理设计的芯片。其上一轮融资是 2021 年的 D 轮融资，融资总额超过 11 亿美元，估值超过 50 亿美元。

SambaNova 在 AI 芯片领域具有独特地位，由三位芯片和 AI/ML 领域的传奇人物共同创立：CEO Rodrigo Liang 曾是 Sun Microsystems 芯片部门的资深负责人，Kunle Olukotun 是多核处理器奠基人，Christopher Ré 则是活跃在各大 ML/AI/LLM 社区的意见领袖及连续成功创业者。公司内部承接了大量 Sun Microsystems 芯片部门的员工，拥有丰富的芯片开发经验和供应链管理能力。过去两年中，团队围绕大模型技术路线和产品线培养了数十名 LLM 模型工程师，并在 Serving 环节的服务部署上建立了先发优势。

然而，今年四月下旬，SambaNova 大幅偏离了最初目标。与许多其他 AI 芯片初创公司一样，SambaNova 最初希望为训练和推理提供统一架构，但从今年开始，他们放弃了训练的雄心，裁掉了 15% 的员工，将全部精力转向 AI 推理。这一转变并非个例，Groq 和 Cerebras 等公司也曾做出类似调整。

SambaNova 曾高度重视在其硬件上训练模型，发布了相关文章，并在官方文档中讨论训练问题。许多分析师和外部观察家认为，SambaNova 凭借单芯片满足推理和训练市场需求，相较于 Groq 等竞争对手拥有独特优势。公司还投入大量时间和精力实现高效的训练，针对训练设计和优化了硬件和软件功能。

如今，SambaNova 突然放弃大部分训练相关工作，转而专注于推理。主要原因包括：推理是一个更容易解决的问题，可能拥有比训练更大的市场，以及英伟达在 AI 训练芯片领域的绝对主导地位。许多分析师认为，人工智能推理市场规模可能是训练市场的十倍。推理过程中，梯度无需存储，激活函数使用后即可丢弃，大大减少了内存占用，降低了芯片所需内存层次结构的复杂性。此外，推理所需的芯片间联网相对简单，适合许多初创公司的 AI 芯片网络功能。

SambaNova 的转变反映了 AI 芯片领域的一个普遍趋势，即从训练转向推理。这一趋势的背后，既有市场规模的考量，也有技术实现的难度差异。英伟达在 AI 训练芯片领域的强大地位，使得初创公司更倾向于选择相对容易且市场潜力更大的推理领域。未来，随着 AI 应用的普及和大型模型的发展，推理市场有望继续扩大，成为 AI 芯片领域的重要增长点。

实际上，2017 年，Groq 还在吹嘘他们的训练性能，但到了 2022 年，他们完全专注于推理基准。Cerebras CS-1 最初主要用于训练工作负载，但 CS-2 和后来的版本将重点转向了推理。SambaNova 似乎是第一代 AI 芯片初创公司中最后一个仍然认真专注于训练的公司，但这种情况终于发生了变化。那么，为什么所有这些初创公司都从训练转向了推理呢？幸运的是，作为 SambaNova 的前员工有一些内部人士的见解。

SambaNova 非常重视在其硬件上训练模型。他们发布了关于如何在硬件上进行训练的文章，吹嘘其训练性能，并在官方文档中讨论了训练问题。包括我在内的许多分析师和外部观察家都认为，SambaNova 凭借单芯片同时满足推理和训练市场的需求，相较于 Groq 等竞争对手拥有独特的优势，而 Groq 是最早转向推理领域的初创公司之一。

SambaNova 还投入了大量时间和精力来实现高效的训练。我在 2019 年至 2021 年期间在公司工作，花费了大量时间为 NAdam 优化器实现内核，NAdam 优化器是一种基于动量的优化器，常用于训练大型神经网络。我们针对训练设计和优化了硬件和软件功能，公司内部和外部的信息都表明，对训练的支持是我们价值主张的关键组成部分。

现在，SambaNova 突然放弃了大部分工作，转而专注于推理。原作者认为他们这样做主要有三个原因：推理是一个更容易解决的问题；推理可能比训练拥有更大的市场；以及英伟达在 AI 训练芯片领域的绝对主导地位。