导语：腾讯混元发布并开源一款端到端 OCR 大模型，基于混元原生多模态架构，主打 " 输入图像、直接输出结果 " 的纯端到端设计，省去版面分析等预处理模块，从根本上缓解传统流水线方法的误差累积问题。

摘要：

腾讯混元发布并开源一款端到端 OCR 大模型，基于混元原生多模态架构，主打 " 输入图像、直接输出结果 " 的纯端到端设计，省去版面分析等预处理模块，从根本上缓解传统流水线方法的误差累积问题。模型由原生分辨率视觉编码器、自适应视觉适配器与轻量混元语言模型三部分组成，可在单一模型内完成文字检测识别、复杂文档解析、开放域信息抽取、字幕提取与图像翻译等任务，支持 100 多种语言。

正文：

VLM 端到端 OCR 专家模型全栈式开源，仅 1 B 参数覆盖 8 种以上 text-centric 任务，推理最高提速 6.37 倍，OmniDocBench v1.6 以 94.74 高分稳居端到端第一。

用大模型处理一份合同、一张发票、一篇 PDF 论文时，人们会本能地期待它 " 又快又准 " ——既能把密密麻麻的表格、公式、多栏版面一字不差地还原成结构化文本，又能在一两秒内出结果。但现实往往是——越是长、越是结构化复杂的文档，自回归大模型解码越慢；越是想跑得快，就越要牺牲精度或换上更好的显卡。

在 HyOCR-1.0 已经验证 "轻量端到端 OCR 专家模型" 这条路走得通之后，HyOCR-1.5 把目标又推进了一步：如何让它同时变得更快、更强、更全面？

HyOCR-1.5 是端到端 OCR 大模型领域首个将训练、推理、模型权重完整开源的 OCR 专家大模型：从数据构造方法、训练配方到推理加速框架均对外公开，任何人都可以在此基础上复现、微调与二次开发。

更重要的是，它足够轻量——不仅能部署在服务器上，还能通过 llama.cpp 跑在 CPU、消费级显卡乃至普通笔记本上，让强大的 OCR 能力真正走进个人电脑；同时足够全能——不仅支持传统的文字检测识别与文档解析任务，还一次性囊括了信息抽取、拍照翻译、图表解析、古文字识别、视频字幕提取、多页文档问答等多种能力。

图 1：HyOCR-1.5 网络结构图

HyOCR-1.5 真正想做的，是为广大 B 端与 C 端用户提供一套最优的 OCR 解决方案——用尽可能低的部署与使用成本，精准满足各类定制化的 OCR 需求。

下面就结合这份最新发布的技术报告，看看这个只有 1 B 参数的小模型，是如何在「速度」与「能力」两条战线上同时取得突破的。

项目主页：https://github.com/Tencent-Hunyuan/HunyuanOCR

论文地址：https://arxiv.org/pdf/2607.04884

模型权重：https://huggingface.co/tencent/HunyuanOCR

一、Faster：把长文档解码的「慢」，交给 DFlash 来解

端到端 OCR 有一个绕不开的痛点：长自回归解码。文档越密、表格越大、公式越长，模型就要一个 token 接一个 token 地往外「吐」，解码延迟随之线性膨胀，成为真实部署中最大的瓶颈之一。

为此，HyOCR-1.5 引入了基于 DFlash 的投机解码（speculative decoding）框架：一个仅约 90.7M 参数的轻量级 block-diffusion 草稿模型，一次并行前向就能「猜」出一整块候选 token，再交给目标模型一次性验证、接受最长的正确前缀。整个过程严格保持目标模型的输出分布——也就是说，快，但结果不变。

在我们的评测中，DFlash 让 HyOCR-1.5 在 Transformers 下取得 6.37 × 加速、在 vLLM 下取得 2.14 × 加速，成为所有 OCR VLMs 中推理最快的一个。

整体速度：一次并行验证，多推进好几个 token

采用权威文档解析基准 OmniDocBench 测试，在单请求推理配置下，DFlash 的效果立竿见影：

vLLM：平均延迟从 3.032s 降到 1.408s，吞吐从 466.9 提升到 1002.3 token/s，页速从 0.330 提到 0.706 page/s，整体 2.14 ×；

Transformers：由于 Autoregressive ( AR )   基线更接近逐 token 朴素解码，收益更大，整体加速高达 6.37 ×。

表 1：AR 解码 vs. DFlash 解码（OmniDocBench，batch size = 1）

越长越结构化，速度越快

投机解码的天然特性是：输出越长，加速越明显。在 vLLM 下，加速比从 0 – 256 token 的 1.31 × 一路提升到 2048+ token 的 2.30 ×；Transformers 下更是从 4.56 × 提升到 6.67 ×。按内容类型看，表格页加速最大（vLLM 2.39 ×、Transformers 7.81 ×），其次是公式页、纯文本页——因为 HTML 表格这类高度规整的结构，未来 token 更容易被「猜中」，有效接受长度也更长。

端到端速度对比：比两阶段级联方案更快

更值得一提的是横向对比。我们在 OmniDocBench 测试集、同等算力下，把适配了 DFlash 的 HyOCR-1.5 与主流 OCR VLM 放在一起比拼——它是所有参评方案中端到端推理最快的一个，达到每页 1.408s、0.706 page/s，甚至比 GLM-OCR、PaddleOCR-VL-1.6 这类两阶段级联方案还要快，同时保持着「无需版面切分、无需分区级联」的统一端到端形态。

表 2：与代表性 OCR 系统的端到端速度对比（OmniDocBench）

从服务器到笔记本：还能装进你的电脑

除了面向服务器的 vLLM 部署，HyOCR-1.5 还支持通过 llama.cpp 进行 PC 端推理，可以跑在 CPU、消费级显卡乃至普通笔记本上——让轻量 OCR 真正做到「随处可部署」。

二、Better：巧用 Agent 参与模型自进化，把「短板」变成「能力」

如果说 DFlash 解决的是「快」，那么 HyOCR-1.5 的「强」，靠的是一套全新的数据构造哲学—— Agentic Data Flow（智能体驱动的数据流）。

传统数据管线，几乎全靠人工写脚本、人工搜集素材、人工标注数据。而 Agentic Data Flow 的思路是：把模型的具体短板（比如低资源语种覆盖不足、古文字感知薄弱、缺乏多图理解），直接翻译成可执行的数据需求，再交给 Agent 去闭环完成。 算法工程师只需用自然语言提出目标能力，Agent 就会自主拆解任务、搜集素材、调用工具验证、开发数据管线，并与工程师持续迭代，最终沉淀成一套可复用的数据生产流程。

图 2：智能体驱动的数据构造系统，面向低资源语种 OCR、古文字识别、多图问答三类能力扩展任务。

Agent 在做三件关键的事

素材搜索与整理：自主调用网络搜索等工具，为低资源 OCR 搜集多语种语料、TTF 字体与渲染背景；为古文字搜集七体相关字体与古籍风格背景；为多图问答整理多页 PDF 并抽取页级文本与结构。

工具辅助的清洗与质检：调用 HyOCR-1.0 等服务对背景图做多模型交叉验证，过滤含干扰文字或质量不稳的素材；测试字体渲染兼容性；批量跑推理挖掘漏识、结构错乱、表格解析失败等难例。

面向短板的数据管线开发与迭代：自主创建数据项目、编写渲染 / 问答生成脚本，从单模板原型逐步演化为支持多版式、多增强、多任务格式的数据生产系统。

三个能力扩展的真实落地

这套系统在 HyOCR-1.5 中被实例化到三个代表性方向：

低资源 OCR：借鉴 SynthText / SynthDoG 思路构建多语种合成管线，最终维护了覆盖 331 种语言的解析数据；

古文字 OCR：面向汉字「七体之变」，按历史文档的书写方向、版式、视觉风格合成解析数据，补齐罕见历史字形；

多图问答：基于多页 PDF 生成跨页检索、多页比对、证据聚合类问答，并过滤掉单页即可作答的样本，确保「真的需要多图理解」。

三、训练配方升级：4K 分辨率 + 128K 上下文 + RL Recipe

在训练侧，HyOCR-1.5 沿用 HyOCR 的分阶段训练范式，但把目标从「构建通用 OCR 能力」转向「扩展能力边界、提升任务上限」，形成预训练 → SFT → RL 的完整链路。

预训练（重规划 Stage 3）：注入 Agentic Data Flow 产出的新能力数据、多图数据与历史 OCR 数据；同时把最大图像分辨率提升到 4K、上下文窗口扩展到 128K，让模型稳健适配高分辨率文档、长上下文与多页多图输入。

SFT：从 1.0 的后训练数据出发彻底清洗，去除标注错误、格式不一致、图文不匹配等问题，并统一各任务的 prompt 接口，为 RL 打好干净、结构化的地基。

RL（精心设计的强化 Recipe）：采用 IcePop（GRPO 风格）优化，设计三类互补奖励——面向文档解析的事实性奖励、面向通用问答的一致性评判奖励、以及抑制超长 / 重复输出的退化抑制奖励，共同把模型推向「更忠实、更强、更全面」。

图 3：HyOCR-1.5 RL 框架概览。通过三个互补的奖励组件进行优化，旨在使通用 OCR 模型展现出更忠实、更强大且更全面的行为表现。

四、1B 的身板，打出越级的成绩

我们没有依赖单一 benchmark，而是构建了一棵能力导向的评测树，既检验从 1.0 继承的核心能力是否被进一步强化，也考察新拓展的边界能力是否真正被纳入模型。

① 文档解析：OmniDocBench v1.6 端到端第一梯队

在 OmniDocBench v1.6 上，HyOCR-1.5 取得 94.74 的 Overall 分数，在端到端 OCR 专家模型中达到 SOTA，尤其在表格（TEDS 93.67 / TEDS-S 94.71）与阅读顺序上表现突出——而这一切，是在保持轻量端到端架构的前提下实现的。

表 3：OmniDocBench v1.6 文档解析对比（节选）

② 古文字 OCR：Chronicles-OCR 上 1B 内 SOTA

在覆盖汉字「七体之变」的 Chronicles-OCR 上，HyOCR-1.5 在古早字体（甲骨 / 金文 / 篆书）平均分 0.54、成熟字体（隶 / 楷 / 行 / 草）平均分 0.79，大幅领先包括 GPT-5、Gemini 3.1 Pro、Kimi K2.5 在内的众多大模型，验证了古文字数据构造与训练策略的有效性。

③ 图表解析：1B 打出 8B 级水准

在细粒度图表解析基准 ChartArena 上，HyOCR-1.5 以 1B 的体量，取得 EN 48.9 / ZH 64.1 的平均分，达到甚至超越 8B 级模型的水平。

④ 多语种、多图、复杂表格：全面开花

MORE（149 语种低资源解析）：Overall 91.90，OCR 专家模型中 SOTA；

TableVerse-5K（复杂表格）：TEDS 78.23 / TEDS-S 84.84，专家 OCR 模型中最佳；

DUDE（文档级多图问答）：54.64，逼近通用多模态模型 Qwen3.5-0.8B 的 56.41；

文本图像翻译（MMTIT / DoTA）：多语种、多场景翻译能力进一步优化。

⑤ 幻觉抑制：更「忠于所见」

我们还特别提出了 CHAOS-Bench，专门评估模型是否「所见即所得」——在图像中把选定词改成无意义的扰动词，检验模型是否会忠实保留这些视觉上真实存在的字。HyOCR-1.5 以 14.15 的页均召回率取得最佳，说明它比现有模型更少被语言先验带偏；但绝对值仍偏低，也坦诚地指出了「忠实生成」这一方向仍待攻坚。

⑥ 不遗忘：核心能力稳中有升

在文本检测识别、信息抽取、视频字幕、OCRBench 等继承能力上，HyOCR-1.5 相较 HyOCR-1.0 均稳定保持甚至提升。特别地，它新增了负样本处理能力：面对无文字图像，在 1000 张无文字内部测试集上的正确处理率达到 99.8%（1.0 版本为 78.1%），有效避免「凭空幻觉出检测框」。

五、为什么这件事重要？

HyOCR-1.5 想证明的，不是「把模型堆大就能更强」，而是一条更务实的路径：

对部署者：一个 1B 以内 的端到端模型，既能在服务器上以最快速度批量处理，也能装进个人电脑本地运行——「又快、又强、又轻」不再是三选二。

对研究者：DFlash 证明了投机解码在长结构化 OCR 生成上的巨大价值；Agentic Data Flow 则提供了一种「以模型短板驱动数据生产」的可复用范式，进一步指向了未来由 Agent 主导的数据闭环与模型自进化路径。

对应用侧：从密集文档、复杂表格图表，到多语种、古文字、多图问答与幻觉抑制，能力边界被系统性地向长尾场景推进。

一个真正实用的 OCR 模型，不该只是「更大的文档解析器」，而应是一个又快、又准、又能覆盖多元任务的统一端到端专家。

我们开源了全套模型权重与训练、推理代码，为社区提供可复现、可微调、可扩展的基础设施，推动 OCR 感知、文档理解与多任务建模的下一步。

The end

让 OCR 大模型「跑得更快、看得更准、功能更全」，从来不是单点优化，而是速度、能力与部署三者的协同。HyOCR-1.5 用 1B 的小身板，把这三条线同时向前推了一步——我们希望它能成为轻量端到端 OCR 走向真实世界的一块坚实基石。

论文：https://arxiv.org/pdf/2607.04884

欢迎学界、产业界共同推动轻量 OCR 与文档智能的下一步。

（文章为作者独立观点，不代表艾瑞网立场）