一个 9B 参数的小模型,在数学测试里拿到了 94.50%,把 DeepSeek-V4-Pro 的 92.60% 压在了下面。短视频平台上流传的说法是:这模型免费,量化文件只有 5.78 GB。数字确实能在模型主页上找到,但 " 赢了 " 这个结论,得先补上几层上下文。

先把模型本身说清楚。它的全名是 DeepSeek-V4-Pro-Qwen3.5-9B,发布者是 Jackrong。它不是从零训练的新模型,而是在 Qwen3.5-9B 基础上做微调,训练用的约 25 万条数学与 STEM 方向的答案,由 DeepSeek-V4-Pro 生成。许可证为 Apache-2.0。9B 的体量意味着它有机会跑在消费级显卡上,GGUF 的 Q4_K_M 量化文件为 5.78 GB。
两个数字,两套测试条件
在模型主页的 GSM8K 表格里,它拿到 94.50%,DeepSeek-V4-Pro 为 92.60%,DeepSeek-V3 为 89.30%。94.50 这个数字是 4 轮运行的平均值,跑在 vLLM 上、使用 NVFP4 精度。
另一组测试是 MMLU-Pro 中数学、物理、化学三个类别,每类 500 题,合计 1500 题。这个模型得分 90.53%,平均每题消耗 2858 个推理 token;作为基座的 Qwen3.5-9B 为 89.60%,平均每题消耗 4425 个 token。这组 token 数据测自 MTP-Q8_0 文件,而 GSM8K 那组测自 vLLM 上的 NVFP4,两者条件并不相同。
第二组数字其实比第一组更有意思:它说明这个模型想得更短,分数却更高。
小模型为什么能赢大模型
GSM8K 是学校级别的数学题集,新一代模型在这上面普遍得分很高。同一张表里还写着,MiMo-V2.5-Pro 做到 99.60%,Llama-3.1-405B 做到 96.80%。当一批模型在这个题集上都逼近 100%,1.9 个百分点的差距就不能翻译成 " 小模型全面强过大模型 "。
更合理的解释是:这个模型被大量数学与 STEM 数据训练过,而这些数据的形态和这套测试题很接近。把大模型的知识蒸馏到小模型,再用数学题去测,是一条见效快、也容易量化的路径。但它不能证明这个模型在写代码、分析文档或日常对话上同样更强。
测量本身要打的折扣
表格里的数字由模型开发者汇总,其中注明对比方的数值来自 openai/gsm8k 数据集。目前还没有看到独立第三方在相同条件下把这个模型和 DeepSeek V4 Pro 跑一遍对比。
GSM8K 是公开多年的题集,存在训练数据泄漏的风险。如果模型在训练时见过相似题目,得分就会高于它面对全新题目时的真实水平。这是长期沿用同一套基准测试的通病,不是这一个开发者的过失。
一件必须直说的事:没有泰语
模型主页列出的支持语言是英语、中文、韩语、日语、西班牙语和俄语,泰语不在其中。拿它回答泰语问题或读泰语文件,等于在开发者声称擅长的范围之外使用。这不是说它一定做不到,而是没有证据支撑。需要泰语专用模型的人,应该选明确声明用泰语训练过的模型,或者先拿自己的任务实测。
社区版 heretic 是怎么回事
短视频里提到的社区版本叫 heretic,被改造成更少拒绝请求。这个版本确实存在,模型卡报告拒答率从 " 每次都拒 " 降到 100 次测试中仅 3 次。模型卡还报告 KL 散度为 0.0422,用来衡量输出与原模型的偏离程度。0.0422 算低,说明整体输出仍接近原模型,但拒答行为已经明显改变。
实际使用中,拒答减少意味着模型更容易回应可能有害的请求。如果要用在面向客户的产品里,必须自建一层过滤,不能只靠模型本身。
硬件门槛与适用场景
Q4_K_M 文件 5.78 GB,权重占去约 5.78 GB,8 GB 显存的显卡有机会跑起来。但还要留出 KV cache 的空间,它随上下文长度增长。喂进多页题目这类长上下文,显存占用会上升,可能就不够了。稳妥做法是先从短上下文起步,再测自己的显卡能承受多少。
适合的例子:一个学生想在没联网的笔记本上练微积分题,这个体量的模型可以本地运行,题目不用发到外面。但如果是一位要批改几百份作业的老师,就得先拿真实作业测准确率,并且保留人工复核。
下载前可以按这几步走:
确认模型支持的语言和你的任务是否匹配
用 20 道已知正确答案的题目实测
记录每题消耗的 token 和耗时
若使用 heretic 版本,额外加一层安全过滤
对泰语用户来说,第一条最关键,因为模型卡的语言列表里没有泰语。
结论
94.50 和 92.60 这两个数字,按模型卡的报告是真的。但 "9B 赢了 DeepSeek V4 Pro" 只是单一赛道上的一次比较,而这条赛道恰好是这个模型被大量数学与 STEM 数据训练过的地方。想要一个能本地跑的数学小模型,它是个有意思的选项;想要一个通用泰语助手,目前没有证据说明它合适。

