星途科讯 53分钟前
前OpenAI CTO初创公司推开源小模型,性能匹敌旗舰版
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

在发布首款开源 AI 语言模型 Inkling 仅两周后,由前 OpenAI 首席技术官 Mira Murati 领导的初创公司 Thinking Machines 今日推出 Inkling-Small。这款新模型在大幅缩减体积的同时,并未显著牺牲性能,甚至在多项基准测试中超越了其庞大的前身。

规模缩减四分之三,性能几乎持平

Inkling-Small 是一款拥有 2760 亿参数的多模态推理模型,采用宽松的 Apache 2.0 许可证。相比之下,原版 Inkling 的参数规模高达 9750 亿。尽管体量悬殊,Inkling-Small 在第三方 Artificial Analysis Intelligence Index 上的得分仅为 40 分,与 Inkling 的 41 分相差无几。

在特定领域,Inkling-Small 表现更为出色。Thinking Machines 数据显示,该模型在 SWE-bench Verified 上的得分为 80.2%,高于 Inkling 的 77.6%;在 Terminal Bench 2.1 上得分为 64.7%,亦优于大模型的 63.8%。此外,它在 SciCode、Humanity ’ s Last Exam 等测试中也略胜一筹。不过,Inkling 在事实知识和部分智能体任务上仍具优势,Inkling-Small 在 τ³-Banking 和 AA Omniscience 测试中得分较低,反映出其在事实覆盖面方面的局限。

这种权衡意味着,Inkling-Small 更适合代码助手、检索增强生成(RAG)及多模态工作流,而在执行高风险事实任务时,企业仍需依赖检索验证或人工审核。

稀疏架构降低计算门槛,但非消费级产品

Inkling-Small 采用稀疏混合专家(MoE)架构。虽然总参数量达 2760 亿,但每个 token 仅激活 120 亿参数(Inkling 为 410 亿)。系统通过将每个 token 路由至 256 个专用专家中的 6 个及 2 个共享专家,实现了庞大学习容量与高效推理的平衡。

尽管名为 "Small",该模型并非面向个人消费者。标准 BF16 检查点至少需要 600GB 聚合 GPU 内存,支持配置为 4 块 NVIDIA B300 或 8 块 NVIDIA H200 GPU。经量化后的 NVFP4 版本可将需求降至约 180GB,允许在单块 B300 或两块 H200 上运行。这意味着普通笔记本电脑及大多数开发者工作站无法本地部署,其主要目标受众仍是拥有中等规模 GPU 集群的企业。

Apache 2.0 许可与极具竞争力的定价

Inkling-Small 采用 Apache 2.0 许可证,允许企业在遵守归属要求的前提下,自由使用、修改、微调及商业化该模型。相较于许多包含收入门槛或使用限制的自定义 " 开放 " 许可证,这一选择为企业法务和采购团队提供了更高的灵活性与确定性。

发布之际,Thinking Machines 推出限时五折优惠。标准 64K 上下文版本的 API 价格为:每百万预填充 token 0.58 美元,每百万采样 token 1.44 美元,每百万训练 token 1.73 美元。缓存预填充请求价格为每百万 token 0.116 美元。公司同时提供完整权重下载,并通过 Tinker API 支持微调,兼容 SGLang、vLLM 等主流部署工具。

从 " 一次性研究 " 到 " 可重复工程 "

Inkling-Small 的发布标志着 Thinking Machines 工程流程的成熟。研究员 Horace He 表示,相比首款模型发布时的 " 全村之力 ",此次发布更为常规化,得益于可复用的预训练、后训练及评估流水线。新模型受益于改进的数据混合、机器学习配方调整,以及使用 Inkling 作为教师模型的在线蒸馏技术。

对于希望在超大型旗舰模型与易管理开源系统之间寻求平衡的企业而言,Inkling-Small 提供了一个折衷方案:近乎相同的智能水平、更优的代码与推理能力、更低的托管成本以及清晰的商业许可路径。这也释放出明确信号:Thinking Machines 正致力于建立开放权重多模态模型的常态化生产与迭代节奏。

【星途科讯 图文丨 Patrick 首发于 ZAKER 科技,转载请注明出处】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 gpu
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论