我是一个粉刷匠2 7小时前
24GB显卡跑不动9B模型,问题不在显存
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

手里有张 24GB 的 RTX 3090,想本地跑 Cloudflare 新开源的视觉模型 clairic-flash,大概率会卡在第一步。官方运行时在这张卡上直接不工作,哪怕用 BF16 权重也一样。更麻烦的是,你在 llama.cpp 社区能找到的 GGUF 量化版,悄悄丢掉了让这个模型值得一用的那部分。

Hugging Face 把 clairic-flash 标成 image-text-to-text 模型,看起来最自然的操作是塞进聊天界面。别这么干。它是一个 9B 的抽取引擎:你给它一份文档加一套带类型的 schema,它还你字段值、置信度和 null 概率。这套行为大部分住在clairic_runtime/目录的 Python 代码里,外加一个独立的类型头,这两样东西任何 GGUF 都不包含。

官方到底放出了什么

2026 年 11 月 18 日,Cloudflare 发布了两款开放权重模型,出自它现在称为 "Workers AI 超级智能团队 " 的小组。模型卡和 config.json 里的事实值得逐条看:

模型卡自称 9B,Hugging Face 的参数量组件把它四舍五入成 10B(大的那个是 28B)。

262K 上下文这个数字可以先放一边。骨干网络支持,但官方加载器 load_release_model ( ) 默认 max_length=65_273,systemone ( ) 拒绝按调用修改。输入还限制在四张图片或 PDF 页、单个嵌入文件 4 MiB、合计 8 MiB,远程 URL 直接拒收。

模型卡里没有任何 benchmark 章节,也没有和 Qwen2.5-VL、Gemma 3 或 SmolVLM 的对比表。

博客里倒是有评测,但用的是 Cloudflare 自己的数据集,对比对象是 Liquid AI 的 D1.2(前面套了 Apple Vision OCR)和 ScaleDown 的 Extract。Cloudflare 自己的说法是:" 把这些评测当作方向性参考,因为它们是自报的。" 有一行干脆标着 "Internal eval ( mchen ) "。这份坦诚值得肯定,但这些数字对 Cloudflare 之外的人证明不了太多——合成收据上 576/576 全对,多半只说明训练数据里有合成收据。

延迟是更有意思的宣称:在自托管服务器上,文本字段 p50/p95 为 155/328 毫秒,图片字段 305/605 毫秒。注意这是完整 HTTP 响应、包含请求里所有字段,跑在他们的硬件上,而硬件型号没披露。

GGUF 量化版缺了什么

Clairic 是一个 Qwen 骨干加三样东西:一套请求管线(clairic_runtime/),把每个字段改写成独立 prompt、按字段 schema 构建 xgrammar 约束、给 null 打分、重试、拼装列表和表格;一个类型头(clair_head.safetensors),一次前向传播就从隐藏状态回答日期、时长、compute、estimate 和 forecast 字段;还有返回源文本字符跨度的 grounding 代码。

mlx-community 的移植版说得很直白:mlx_lm.load / mlx_vlm.load" 不会复现 Clairic"。Xylolabs 的 GGUF 仓库也不遮掩:类型头和运行时 " 不在这些文件里 "。

这不代表 GGUF 没用。你得到的是一个见过大量抽取训练的 Qwen3.5-9B,配合 llama.cpp 的 JSON-schema 语法能近似出行为。但置信度、p_null、跨度和 forecast 头全没了——而这些恰恰是当初选它而不是普通 Qwen 的理由。

官方路线为什么在 3090 和 4090 上翻车

大多数家用配置会断在这里。据 stuchapin 的 AutoRound 仓库,随附运行时把每个连续 BF16 GEMM 都送进 DeepGEMM,而后者在计算能力低于 9.0 时抛出 Unsupported architecture。仓库原话是:原版运行时 " 在 RTX 30 系卡上失败,即使使用 BF16 权重 "。该仓库只测了 3090,但分界线就是分界线:RTX 4090 是计算能力 8.9,同样在线下。内核选择假设的是 Hopper 级数据中心 GPU。

那个仓库把 clairic_runtime/math.py 打了补丁,在 9.0 以下改用运行时自带的 Triton matmul 回退,并把 MLP 和全注意力层量化到 int4。他们在单张 3090 上的报告数字显示:BF16 需要 24GB 卡,int4 版本能塞进 16GB。AutoRound 内核首次使用时编译,他们第一次跑了约 11 分钟,之后每次请求 20 到 135 秒,随后缓存到磁盘。绝对耗时因为回退内核比 Cloudflare 的慢,所以看 BF16 和 int4 的比例,别盯秒数。

准确率上的失分才是该行动的:两种精度都把 " 小计 + 税 + 运费 " 的求和和一个 "net 30" 到期日算错了,置信度≤ 0.18。用模型抽输入,算术放到你自己的代码里做。

Apple Silicon 和 llama.cpp 的替代路径

mlx-community/clairic-flash-4bit 保留了 Cloudflare 的管线,换掉了引擎。它标称静置 6GB、计时请求最高 11GB,所以 16GB 是实际下限,还附带带 /v1/systemone 端点的 server.py。对比 H100 上的官方运行时,4bit 版本匹配了 247/262 个字段,典型错误是数字读错,比如把 2231.25 读成 2231.5。在排除最长文档的 77 请求子集上,4bit 匹配 231/246,他们的 8bit 版本(10.8GB)匹配 246/246。前 20 层 6bit、其余 4bit 的混合配方(7.3GB)拿到 241/246。抽发票号就用 8bit 或 6/4 混合,多占的 RAM 比发票 ID 里错一位便宜。

llama.cpp 这边,Xylolabs 提供量化文件加视觉投影器(mmproj-clairic-flash-BF16.gguf),Q4_K_M 为 5.69GB,相对 f32 参考的 KL 均值为 0.0468。mradermacher 有 Q2_K 到 Q8_0 加 f16 的静态量化,列表里没有 mmproj 文件,只能当纯文本用。模型卡和博客里都没找到官方 Ollama 条目。

自托管还是直接用 Workers AI

权重是 Apache-2.0,你可以自由微调、分发、在上面卖产品,这部分是漂亮的发布。其余打包方式明显是 Workers AI 的基础设施留了道门:Hopper 优先的内核、requirements 里钉死的 CUDA 13 wheel、本地 API 接受 @cf/cloudflare/clairic-flash 作为模型 ID、benchmark 只对比其他小众抽取产品。每百万输入 token 0.10 美元、输出 token 免费,对大多数人来说 Workers AI 更划算——除非数据不能出你的网络。

数据出不了楼的话,16GB 的 int4 路径是真实可行的,也比对着通用 VLM 许愿要 JSON 强。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

python 托管 界面 开源
相关文章
打开 ZAKER 参与讨论