智东西

作者 | 陈骏达

编辑 | 心缘

智东西 8 月 21 日报道，今天，字节跳动 Seed 团队开源了 Seed-OSS 系列模型，这些模型专为长上下文、推理、Agent 和通用场景设计，将上下文窗口扩展至 512k，是业界常见上下文窗口（128k）的 4 倍，GPT-5 上下文窗口的 2 倍，相当于 1600 页文本。

Seed-OSS 系列模型是推理模型，专门针对推理任务进行了优化，还允许用户灵活地控制思维预算。

字节 Seed 团队共开源了 Seed-OSS 的三个版本，分别为：

（1）基础模型 Seed-OSS-36B-Base

（2）无合成数据基础模型 Seed-OSS-36B-Base-woSyn

（3）指令微调模型 Seed-OSS-36B-Instruct

指令微调后的 Seed-OSS-36B-Instruct 在通用知识、Agent、编程、长上下文等领域的基准测试中，取得同量级开源模型中的 7 项 SOTA（性能最佳）表现，整体能力超过了 Qwen3-32B、Gemma3-27B、gpt-oss-20B 等模型，与

Qwen3-30B-A3B-Thinking-2507 在大部分领域旗鼓相当。

基准测试结果，加粗项为开源 SOTA（图源：Hugging Face）

Seed-OSS 系列模型采用了宽松的 Apache2.0 开源协议，并会在后续发布模型的详细技术报告。

开源地址：

https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Base

https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct

值得一提的是，字节 Seed 团队本次的发布方式较为 " 研究友好 "。鉴于在预训练中包含合成指令数据可能会影响后训练研究，无合成数据基础模型的发布，为研究社区提供了更多样化的选择。这一系列模型还支持 4 位和 8 位格式的量化，以减少内存需求。

Seed-OSS 系列模型使用了 12 万亿个 token 的预训练数据，采用当前主流的因果语言模型架构，也就是 " 预测下一个 token" 类型的模型。同时，Seed-OSS 系列均为稠密模型，没有采用 MoE 等架构。

这一系列模型结合了几项关键技术，包括 RoPE（旋转位置编码）、GQA 注意力机制（Grouped Query Attention）、RMSNorm 归一化（Root Mean Square Normalization）、SwiGLU 激活函数等。这是现代大模型常见的高效组件组合，可提升训练稳定性和推理性能。

Seed-OSS 的上下文窗口达 512k，相当于能一次性处理数十万字的内容。这一上下文窗口并非后续扩展而来，而是通过原生训练打造的。

思考预算功能可帮助开发者控制模型推理成本，优化使用体验等。字节 Seed 团队分享了 Seed-OSS 在不同思考预算下性能的变化情况。

对于更简单的任务（如 IFEval），模型的思维链较短，随着思维预算的增加，分数波动并不明显。对于更具挑战性的任务（如 AIME 和 LiveCodeBench），模型的思维链更长，随着思维预算的增加，分数也会提高。

字节 Seed 团队称，如果没有设置思维预算（默认模式），Seed-OSS 将不会拥有任何思考长度限制。

如果指定了思维预算，建议优先考虑 512 的整数倍值，因为模型已经在这些区间上进行了大量的训练。

当思维预算为 0 时，模型会直接输出内容，建议将任何低于 512 的预算设置为 0。

Seed-OSS 系列模型，获得了不少开发者的认可。Hugging Face 的华人工程师 Tiezhen Wang 评价道，这一系列模型 " 很适合做消融研究 "。这种研究能以较低的成本，探索不同组件对大模型性能的影响。

有网友称，这种尺寸的基础模型在开源界也是比较罕见的，Qwen3 就没有公布 14B 以上的基础模型。另一位网友补充道，长上下文能力对真实应用而言有很大的价值。

结语：从可选项到标配，国产开源模型再添新选项

近期，字节 Seed 团队已经密集开源了多款模型，除此次的 Seed-OSS 系列之外，他们还开源了多语言翻译模型 Seed-X、智能体模型 Tar 系列、图像编辑模型 Vincie 等。

如今，开源已经逐渐从可选项变为近似 " 标配 " 的存在，连 OpenAI 等原本坚持闭源策略的厂商，也在逐步开源模型。字节本次将更为核心的语言模型贡献给社区，给开源社区的后续研究提供了更多基础模型的选择。