当网站内容正被重新设计以适配 AI 模型的消费习惯时，一股新的力量正试图将这一趋势延伸至数字文档领域。

在 Linux 基金会的领导下，LF AI & Data Foundation 近日成立了一个全新工作组，旨在指导 DocLang 的开发。这是一种专为 AI 友好的文档格式，意在帮助企业更高效地将文件数据 " 喂 " 给 AI 系统。

打破 PDF 的解析困境

由 IBM、英伟达（NVIDIA）、红帽（Red Hat）、ABBYY、HumanSignal 和 Forgis 联合创立的 DocLang 工作组指出，现有的 PDF、Markdown、HTML 和 LaTeX 等格式并不适合 AI 文档解析。

" 文档是为人类构建的，而非为机器设计。"ABBYY AI 战略副总裁 Maxime Vermeir 表示。现有格式多为渲染而生，当 AI 模型将其转换为标记（tokens）时，往往会丢失语义信息、结构关系或几何上下文。Markdown 表达能力不足，HTML 过于冗长，而 LaTeX 则存在过多歧义。

这一问题在企业级应用中尤为突出。ABBYY AI 价值与赋能负责人 Jon Knisley 指出，每次 PDF 进入 AI 管道，其结构、含义和布局都会受损，导致模型准确性受限于文档质量而非模型本身。团队不得不为每种新文档类型构建自定义解析器，这不仅造成了脆弱的一次性工程，还带来了高昂的维护成本。

原生支持 AI 的标准化方案

2024 年底，IBM 推出了开源工具包 Docling，用于促进 AI 文档解析，这与微软的 MarkItDown 或 Marker 项目类似。DocLang 在此基础上进一步扩展，制定了在不同系统间交换结构化输出的标准。

DocLang 的核心在于其针对大型语言模型（LLM）分词器的优化。该规范依赖于与 LLM 分词器对齐的限制性 XML 词汇表，通过标记将 DocLang 元素与 LLM 标记进行 1 对 1 映射。这种无损转换确保了 AI 在处理过程中不会丢失有价值信息，同时原生支持表格、公式、图表等多模态内容。

除了技术层面的优化，DocLang 还强调了治理优势。在传统文档流转中，溯源数据和元数据常被剥离，而 DocLang 将这些信息保留在文档结构中，为企业 AI 应用提供了更确定的基础。

成本可降低 30 倍以上

效率与成本是企业采纳新技术的关键驱动力。根据 AI Cost Check 的数据，让 AI 模型对 PDF 进行 OCR 扫描作为基线，大约需要 1,200 个输入标记和 150 个输出标记。对于大规模应用而言，这是一笔不可忽视的开支。

ABBYY 创建的交互式基准测试展示了 DocLang 的潜力。以 IBM 2025 年年度报告为例，其 PDF 版本会产生 8,421 个输入标记和 512 个输出标记，延迟为 4.2 秒；而 DocLang 版本仅需 5,310 个输入标记和 498 个输出标记，延迟降至 2.7 秒。更重要的是，DocLang 版本在质量上表现更佳，避免了 PDF 版本中出现的子部分遗漏和表格合并错误。

" 模糊的结构迫使模型进行猜测，这不仅增加了幻觉风险，还消耗了大量标记来解读布局。"Knisley 解释道。初步基准测试显示，根据评估模型的不同，使用 DocLang 可将成本降低 4 倍到 30 倍以上。

尽管前景乐观，但工作组保持谨慎。" 目前还为时过早，我们不会夸大采用率。"Knisley 表示，该标准是开放且免费构建的，工作组正积极邀请更多技术提供商和企业加入，早期的市场反响令人鼓舞。

【星途科讯 图文丨慕容雪】