钛媒体 App 8 月 21 日消息，字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。Seed-OSS-36B 的架构结合了多种常见的设计选择，包括因果语言建模、分组查询注意力（Grouped Query Attention）、SwiGLU 激活函数、RMSNorm 和 RoPE 位置编码。每个模型包含 360 亿参数，分布在 64 层网络中，并支持 15.5 万词表。这一新模型最大上下文长度可达 512k tokens，能够在不损失性能的情况下处理超长文档和推理链。（广角观察）