智东西

作者 | 李水青

编辑 | 心缘

智东西 10 月 31 日报道，昨日晚间，小米发布并开源轻量级全能文档理解模型 Xiaomi-OCR-0，仅0.8B（8 亿）参数，将文档解析、关键信息抽取与视觉问答三类能力融于一体，并在多项权威基准中取得领先成绩。

很多人遇到过这样的小麻烦：取餐码被消息淹没、海报时间地点还要手动敲进日历、账单金额和商户信息仍需逐项摘录 …… 这指向了一类新需求：手机能否不只 " 看见 " 屏幕内容，还能 " 看懂 " 信息，并在需要时顺手完成下一步？

Xiaomi-OCR-0 正是为此而生。它体量小巧，兼顾文字、版面、位置与语义理解，能解决复杂表格、论文、票据的结构化解析难题。小米手机上" 超级小爱 " 的一键识屏幕背后，对应的正是 OCR 能力从 " 文字识别 " 向 " 文档理解 " 演进。

在检验综合文档解析能力的权威基准 OmniDocBench v1.6 中，该模型得分 96.83，成为1B 以下模型第一；其在五项文档 VQA 平均分 83.2，优于 HunyuanOCR、TokenVL、TextHawk、Qwen3.5-2B、MiniCPM-V-4.5 等模型，逼近参数规模更大的Qwen3.5-4B。

小米将完整公开 0.8B 模型权重与推理代码，同时提供浏览器交互式 Demo、MCP 服务以及 Agent Skill 工具包。

Hugging Face 模型权重：

https://huggingface.co/xiaomi-research/Xiaomi-OCR-0

GitHub 项目代码：

https://github.com/xiaomi-research/Xiaomi-OCR-0

Agent 一键体验口令：Read and execute

https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md

一、0.8B" 三合一 "：看懂版面、抽出关键信息、会答题

真实文档形态复杂：学术论文有密集跨行公式，财务研报有嵌套表格，卡证票据隐含字段键值关系；打印、拍摄、屏幕翻拍还会带来弯曲形变、透视倾斜、光照阴影和摩尔纹干扰。实用文档智能系统不仅要 " 认得出字 "，还要 " 拆得开结构、提得出字段、答得上问题 "。

Xiaomi-OCR-0 在 0.8B 轻量级架构中统一建模三类能力：

1、文档解析：识别并还原正文、复杂表格和数学公式，按自然阅读顺序生成结构化结果，原生支持 Markdown、LaTeX 等格式输出，便于编辑、知识库构建与检索增强。

2、关键信息抽取（KIE）：面向发票、收据、卡证和业务表单等半结构化文档，按指定字段定位并抽取目标信息，输出 JSON 等标准结构化数据，对接自动化处理工作流。

3、OCR 视觉问答（VQA）：支持围绕文档与图表进行跨区域检索、数值计算和语义推理问答，实现针对视觉文本的交互式理解。

通过融合结构解析与语义理解，Xiaomi-OCR-0 以轻量参数覆盖从底层感知到高层认知的链路。

二、真实解析基准登顶，0.8B 模型匹敌 Qwen3.5-4B

仅 8 亿参数的轻量级模型，究竟能否扛住复杂文档解析与高层语义理解的双重考验？

在真实物理采集条件下，文档常有噪点、弯曲、透视、摩尔纹和反光。Real5-OmniDocBench 基于 OmniDocBench v1.5 的 1355 页多样化文档，通过扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式构建 6775 张测试图像。Xiaomi-OCR-0 在该基准取得 95.24 分，在对比模型中排名第一。在聚焦打印形变、阴影、反光和复杂透视的 Wild-OmniDocBench 上，模型取得 87.94 分。

综合文档解析权威基准 OmniDocBench v1.6 覆盖学术论文、财务报告、报纸、教材等版式，并强化复杂嵌套表格与密集数学公式考察。Xiaomi-OCR-0 取得 96.83 分，以约三分之二参数量（0.8B vs. 1.2B）位列总榜第二，距榜首差 0.04 分，在 1B 以下模型中排名第一。

数学公式识别基准 UniMER-Test 得分 97.84，表格结构识别基准 PubTabNet 得分 92.27。在涵盖隶书、草书、行书与楷书的古籍与书法评测集 Chronicles-OCR（Mature Scripts）中，模型得分 73，与闭源大模型 Seed 2.0 Pro 的 72 分处于同一水准。

文档理解方面，Xiaomi-OCR-0 在 DocVQA、InfoVQA、ChartQA、OCRBench 和 TextVQA 五项主流 OCR 视觉问答基准上取得 83.2 平均分。该成绩超过 HunyuanOCR-1.5（1B，76.5 分）、TokenVL-2B（2B，78.1 分）、TextHawk2（7B，78.5 分）等专用 OCR 模型，也超过通用多模态模型 Qwen3.5-2B（80.9 分）与 MiniCPM-V-4.5（8B，82.6 分），并以仅 20% 参数规模逼近 Qwen3.5-4B（84.9 分）。

三、1.7 亿样本打底、三阶段渐进：0.8B 模型 " 先解析后理解 "

Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建，训练累计使用约 1.7 亿条高质量 OCR 与文档理解样本。团队构建闭环演进的数据引擎，从三方面保障训练数据信息密度。

一是异构专家共识机制：针对正文、表格、公式等不同区域，联合多个异构 OCR 专家模型交叉校验，并进行三元组共识投票（基于 1-NED、TEDS、CDM 等专项指标），滤除单模型偏见，筛选高置信度标注。

二是渲染引导校验：针对复杂表格和高难度数学公式，引入 " 预测—重渲染—视觉比对 " 闭环，将候选解析代码重新渲染为图像，与原始文档区域进行像素和结构级比对，定位行列错位、符号缺失等结构缺陷并修正。

三是多因素困难样本挖掘与定向合成：结合版面复杂度、字体形态和物理退化因素，持续挖掘能力短板，定向合成覆盖多语种、古籍手写、屏幕摩尔纹及扭曲光照的样本，补齐长尾分布。

训练采用三阶段渐进式策略：Q-Mask 文本锚定在特征对齐初期强化视觉局部区域与文字 Token 的细粒度空间锚定；OCR 持续预训练通过百亿级 Token 规模多任务混合训练，赋予全页文档解析、细粒度区域识别与视觉问答综合基座能力；混合任务强化学习在困难样本上引入基于结构编辑距离、表格匹配度和问答准确率的可验证奖励信号，突破复杂版式还原与多步推理性能上限。

团队还观察到课程学习规律：模型早期未建立稳固解析基础时，过早混入高层理解任务会轻微分散底层识别注意力；具备扎实解析根基后，引入 OCR 视觉理解监督信号不仅提升问答与抽取能力，还会反哺纯文档解析基准，在 OmniDocBench v1.6 上带来最高 +0.64 分额外增益。

四、场景落地：取餐码上岛、账单自动记、航班直接问

凭借 0.8B 轻量体量与解析理解能力，Xiaomi-OCR-0 相关技术正融入小米手机与 " 超级小爱 " 的高频场景，推动终端体验从 " 被动截屏查找 " 走向 " 主动理解服务 "。

即时生活服务场景中，面对被消息淹没的外卖取餐码、驿站快递取件码、退货码、景区寄存柜号或餐厅排队号，用户无需在 App 间反复切换；短按 AI 键、三指上滑或对超级小爱说 " 记一下 "，系统可识别屏幕核心字段与状态，将时效性信息提炼 " 上岛 "，需要时一触即达。

财务管理与卡证办理场景中，浏览微信、支付宝消费账单详情时，按 AI 键可自动抽取交易金额、商户名称、支付时间与消费类别，一键智能记账；面对纸质发票、身份证、银行卡等材料，可通过拍照或识屏完成结构化字段提取。

日程规划与出行场景中，看到群聊会议通知或活动海报时间地点，系统可理解上下文并生成日程卡片，一键添加日历；收到航班号（如 " 我的航班号是国航 CA824"）后直接提问 " 这个航班还有多久到 "，系统可结合屏幕上下文提取航班信息并联动查询实时起降动态。

结语：0.8B 开源抢生态：文档智能进入 " 效率战 "

小米以 0.8B 参数把文档解析、信息抽取与视觉问答压进同一模型，并在真实拍摄、复杂表格等基准上越级对标更大模型，推动文档智能的竞争焦点从 " 堆参数 " 转向 " 参数效率 + 真实场景鲁棒性 "。

更关键的是权重、推理代码与 Agent 工具链同步开源。对产业而言，这有望降低端侧和智能体集成文档理解能力的门槛，也让 OCR 从单点工具走向可被调用的基础能力，生态卡位意义大于单次评测排名。