这项由蚂蚁集团（Ant Group）研究团队主导的研究，以技术报告形式于 2026 年 7 月 6 日发布，编号为 arXiv:2607.05247，感兴趣的读者可通过该编号在 arXiv 平台检索完整论文。

** 视觉系统的 " 阿喀琉斯之踵 "**

人眼看世界，不只是认出 " 这是一只猫 " 那么简单。当你把一杯咖啡放在桌子上，你的大脑会精确判断杯子的边缘在哪里、桌面在哪里、两者之间的距离是多少。这种能力让你可以准确地拿起杯子，而不是扑了个空。对于机器人和自动驾驶汽车来说，这种 " 密集空间感知 " 能力同样至关重要——它需要从普通的相机画面里，恢复出精确的三维结构信息。

然而，当下最先进的视觉 AI 模型，普遍存在一个严重的短板。这些模型经过海量图片训练，擅长回答 " 图里有什么 "，却在 " 这些东西在哪里、彼此距离多远、边界在哪里 " 这类问题上表现平平。根本原因在于，大多数模型的训练目标是 " 语义不变性 " ——也就是说，不管从什么角度、什么光线拍同一只猫，模型都应该认出它是猫。为了做到这一点，模型会主动忽略空间细节，因为这些细节会随角度和光线变化而变化。但恰恰是这些被忽略掉的细节，构成了空间理解的核心。

蚂蚁集团的研究团队注意到这个矛盾，并提出了一个全新的思路：** 如果训练过程中，让模型把 " 找边界 " 当成核心任务，而不是副产品，会怎样？**

这个看似简单的问题，催生了一套叫做 "LingBot-Vision" 的视觉预训练系统，以及由此驱动的深度补全系统 "LingBot-Depth 2.0"。在多项测试中，这个参数量约 10 亿的模型，在空间感知任务上超越了参数量高达 70 亿的同类竞争者。

一、为什么 " 边界 " 是视觉理解的核心密码

回想一下上学时学过的物理课：当一束光从一种介质进入另一种介质时，会在交界面发生折射。图像里的边界，本质上也是类似的 " 交界面 " ——在这里，物体的外形停止了，另一个表面开始了，深度发生了跳变，运动的方向改变了。

研究团队的核心论点是，** 边界不应该只是 AI 感知的输出结果，而应该成为 AI 学习的原始信号 **。以往的做法是先训练一个通用视觉模型，然后专门加一个 " 边界检测 " 的头部模块来检测边缘——边界是任务的终点。而蚂蚁集团的团队反其道而行之，把边界的发现和学习放在了训练的最核心位置。

为了实现这一点，他们借鉴了一种在 " 线段检测 " 和 " 线框解析 " 领域已经使用多年的密集场表示方法—— " 吸引力场 "（attraction field）。这种表示方法的核心思想，可以用一个直观的类比来理解。

假设你在一张大地图上画了一条河流。传统的做法是只把河流的轮廓线标出来，其他地方是空白。但 " 吸引力场 " 的做法是，让地图上 ** 每一个点 ** 都存储一段信息：我到最近这条河的距离是多少、河的走向是什么、河的两个端点从我这里看分别在哪个方向。这样，哪怕地图的大部分被遮住了，你从任意一个可见的点，都能还原出整条河的大致形状。这就是 " 过参数化 "（over-parameterized）——用冗余但稳健的方式编码稀疏信息。

正是这种冗余性，给了整个系统一个惊人的性质：** 即使吸引力场里的具体数值还不准确，通过让很多点 " 投票 " 汇总，依然能解码出合理的线段 **。这意味着，在模型训练的最初阶段，哪怕参数还是随机初始化的，系统就已经能从自身的预测中提取出粗糙的边界信号——这为整套 " 自举 "（bootstrapping）机制打下了基础。

二、遮住最关键的部分，强迫模型真正理解场景

理解了边界表示的原理，就可以进入这项研究最核心的方法设计了—— ** 掩码边界建模 **（Masked Boundary Modeling）。

在正式介绍这个方法之前，需要先了解一下它所基于的训练范式，也就是近年来在视觉 AI 领域非常流行的 " 自蒸馏 "（self-distillation）框架。简单来说，这个框架维护两个结构完全相同的网络：一个叫 " 学生 "，一个叫 " 老师 "。老师是学生经过时间平滑的版本（技术上叫 EMA，指数移动平均），所以通常比学生更稳定、预测质量更高。学生的任务是，从一张被随机遮住部分区域的图片中，预测被遮住部分的特征表示——老师看到完整的图片，告诉学生 " 正确答案 " 是什么。通过这种自我对比，模型逐渐学会理解图片的内容。

这套框架有一个长期被忽视的问题：** 遮住哪些部分？** 以往的做法是随机选择。随机遮掩的问题在于，绝大多数被遮住的区域，都是物体的内部——纹理均匀、颜色单一——学生可以从周围的邻居那里轻易推断出它们长什么样。这就好比一道填空题，题目是 " 太阳从东边 ____"，答案几乎不需要思考就能填上。学生根本没有受到真正的挑战。

与此同时，最难、信息量最丰富的区域——也就是边界处，两种不同纹理、不同深度的区域交汇的地方——反而经常侥幸逃过遮掩，没有被要求去预测。

蚂蚁集团团队的解决方案是：** 强制把边界区域塞进遮掩集合里 **。老师网络在预测完整图片的边界场之后，会把所有 " 包含边界的像素块 " 识别出来，强制加入学生需要预测的遮掩集合。学生必须从周围的上下文中还原出这些边界区域——既要给出语义层面的预测，又要给出几何层面的预测（边界到底长什么样、走向如何、端点在哪里）。

这种 " 强制遮掩 " 的设计，把边界位置变成了整个训练过程中最难也最有价值的预测目标。一旦学生在这种高难度题目下反复训练，它所学到的特征表示就天然地对几何边界高度敏感——这正是空间感知任务所需要的。

不过，这里有一个鸡生蛋、蛋生鸡的问题：如果模型还没训练好，它怎么知道边界在哪里，从而决定遮住哪些地方？研究团队用两个技巧解决了这个问题。

第一个技巧是借助 " 角点检测器 "（corner-point detector）。这是一个极小的、固定权重的视觉模型，专门用来找图片里的角点和拐点。即使边界场里的数值完全是随机的，只要有角点作为锚，投票机制就能把这些随机数值汇聚成以角点为端点的线段——也就是粗糙的边界。这是论文里一个重要的发现（Finding 1）：边界来自角点的锚定，不需要等到模型学好才出现。随着训练推进，边界场的预测越来越准，提取出的边界也越来越精细，形成一个良性循环。

第二个技巧是 " 范畴化重新参数化 "（categorical reparameterization），这是让整个系统稳定工作的关键数学设计。

三、把连续的几何数值变成 " 投票选择题 "，解决训练崩溃问题

直接让神经网络预测连续数值形式的边界场（比如 " 距离最近线段 3.7 像素，方向角 47.2 度 "）存在严重的训练稳定性问题。在老师 - 学生循环里，如果老师给出的目标是连续数值，这些数值很容易在训练过程中漂移和崩溃，导致模型学到无意义的表示。

蚂蚁集团的团队提出了一个巧妙的解决方案：把每个连续数值 " 离散化 " 成若干个区间（bin），把原本的连续回归问题，变成一个分类问题——不再预测 " 距离是 3.7 像素 "，而是预测 " 距离落在第 3 个区间还是第 4 个区间 "，就像在做单选题而不是填空题。

这个转变有两个重要好处。第一，分类问题可以直接使用和语义自蒸馏相同的 " 中心化 " 和 " 锐化 " 技术——这是防止自蒸馏系统崩溃的标准机制，现在几何分支可以和语义分支共享同一套稳定机制。第二，分类问题天然对应一个统计检验：如果某个区域真的没有边界，那么方向角的预测分布应该是均匀的（每个区间概率相等），就像随机猜答案；如果某个区域真的有边界，方向角的预测应该高度集中在某个特定区间。这正是 " 反事实 "（a-contrario）理论的核心思想——通过比较预测分布与均匀分布的差距，判断一个线段候选是否真实存在。这样一来，** 边界验证成了表示学习的天然组成部分 **，不需要额外的人工标注或后处理步骤。

在实际操作中，老师网络的工作流程是这样的：先对当前图片预测一个密集的边界场，然后结合角点检测器的输出，通过投票机制生成候选线段集合，接着对每个候选线段做反事实统计检验（用公式计算 " 如果方向是随机的，出现当前这么一致的投票的概率有多低 "），只保留那些统计上显著的线段，最后把这些验证过的线段重新渲染回密集场，作为干净的监督信号传给学生。通过这道验证关卡，杂乱的噪声和幻觉不会进入训练信号，系统保持了自举过程的清洁性。

四、在小规模实验上先验证，然后才放大

在把整套方法扩展到大规模训练之前，研究团队先在 ImageNet-1K 数据集上用 ViT-L/16 架构做了严格的对照实验，以验证每个设计决策的效果。他们用的基准线是 DINO+iBOT ——一个标准的语义自蒸馏框架，在完全相同的训练配置下对比。

基准线在 ImageNet 图片分类的 k 近邻（k-NN）准确率是 81.6%，在 NYU-Depth v2 深度估计数据集上的线性探针 δ ? 指标（一种衡量深度预测精度的标准）是 81.4%，均方根误差（RMSE）是 0.474。

研究团队按照以下顺序逐步加入各个组件，每步观察指标变化。

仅加入范畴化边界目标（纯几何监督），不改变其他任何东西，k-NN 分类准确率几乎不变（81.8%），但深度估计的 δ ? 跃升到 84.4%，RMSE 下降到 0.446。这证明几何监督确实能够大幅提升空间感知能力，同时几乎不损害语义识别能力。

进一步加入 " 双重监督 " ——在边界区域同时保留语义自蒸馏目标和几何目标，k-NN 上升到 82.0%，δ ? 进一步提升到 84.7%，RMSE 降至 0.443。这说明语义目标和几何目标不是竞争关系，而是互补的。

再加入旋转位置编码（RoPE）骨干网络，最终的 k-NN 达到 82.4%，δ ? 达到 84.9%，RMSE 降至 0.440。

作为对比，有一个关键的控制实验：如果只做强制边界遮掩，但仍然用语义目标（而非几何目标）来监督这些被遮住的边界区域，结果是 k-NN 81.4%，δ ? 81.2%，RMSE 0.481 ——比基准线还要略差。这直接证明了 " 遮哪里 " 和 " 预测什么 " 必须配合使用，缺一不可。强制遮掩边界，是告诉模型 " 在这些困难地方必须做功 "；几何目标，是给这些困难地方提供正确的学习方向。两者结合，才能产生真正的增益。

五、把验证过的方法放大到十亿参数，打造 LingBot-Vision

有了小规模实验的充分验证，研究团队开始构建 LingBot-Vision ——一个基于 ViT-g/16 架构、参数量约 11 亿的大型视觉基础模型。

训练数据方面，团队遵循了与 DINOv2 类似的数据整理流程，但实现在自己的数据源上。原始候选池是约 20 亿张网络图片，最终通过基于相似度检索的筛选，保留了约 1.607 亿张经过质量控制的图片。这批数据的规模与 DINOv2 使用的 1.42 亿张数据集相当，但比 DINOv3 使用的 16.89 亿张数据集小了一个数量级。为了覆盖多样的下游任务，检索时用到了多个领域的种子数据集，包括 ImageNet、谷歌地标数据集、Mapillary 城市街景数据集，以及 ADE20K 语义分割、NYU-Depth v2 深度估计等。

训练本身分三个阶段：30 万步的自蒸馏预训练、10 万步的 Gram 锚定（用于修复长期训练后密集特征图可能出现的退化现象）、以及 10 万步的 512 像素高分辨率适应。总训练量不到 DINOv3 的三分之一。

工程效率方面，团队做了大量优化。边界预测头只在边界区域（而非所有像素）展开计算，因此计算量与边界区域的数量成正比，而非与图片总尺寸成正比。软标签构建和分类交叉熵损失被融合进自定义 CUDA 核心，消除了中间张量。老师网络的在线目标生成流水线（场解码、角点匹配、反事实验证、线段重渲染）全部实现为批量 GPU 操作，没有任何 CPU 往返通信，最终开销仅占总训练时长的极小一部分。

在完成大模型（ViT-g）的预训练之后，研究团队进一步通过蒸馏，得到了更小的学生模型：参数量约 3 亿的 ViT-L、约 8600 万的 ViT-B、以及约 2100 万的 ViT-S。蒸馏时用冻结的大模型替代 EMA 老师，在相同流水线下训练，使学生也能继承大模型的几何感知能力。

六、实验结果：一个 10 亿参数的模型，在深度估计上击败 70 亿参数的竞争者

研究团队在多个标准测试集上对 LingBot-Vision 进行了系统评估，所有评估都采用 " 冻结特征探针 " 协议——骨干网络的权重完全固定，只训练一个线性层作为解码头，以确保性能差异真正来自特征质量，而非解码头设计。

在深度估计上，测试数据集包括室内场景的 NYU-Depth v2 和室外驾驶场景的 KITTI。在 NYU-Depth v2 上，LingBot-Vision（ViT-g/16，约 10 亿参数）的 RMSE 达到了 0.296，是所有对比模型中最好的——比参数量高达 70 亿的 DINOv3（RMSE 0.309）和 20 亿参数的 V-JEPA 2.1（RMSE 0.307）都要更低。与同等规模的竞争者相比，优势更大：比 AM-RADIOv2.5 低 13%，比 DINOv3 ViT-H+ 低 16%，比 DINOv2 低 20%，比同规模视频预训练模型 V-JEPA 2.1 ViT-g 低 15%。在 KITTI 数据集上，LingBot-Vision 以 RMSE 2.552 排在所有 20 亿参数以下模型的第一位，仅次于 70 亿参数的 DINOv3（2.346）和 20 亿参数的 V-JEPA 2.1（2.461）。

在语义分割上，测试数据集包括 ADE20K、Cityscapes 和 VOC12。LingBot-Vision 的表现接近同样是从 70 亿参数教师蒸馏出来的 DINOv3 ViT-H+，在 ADE20K 上 51.74 mIoU 对 53.5 mIoU，在 Cityscapes 上持平（79.6 vs 79.5），在 VOC12 上（87.5 vs 85.8）甚至超过后者。与等规模的 DINOv2 相比，在三个数据集上都有约 4 mIoU 的一致性提升。值得注意的是，LingBot-Vision 是从零随机初始化开始训练的，没有借助更大的教师模型；而 DINOv3 ViT-H+ 是从 70 亿参数教师蒸馏的，AM-RADIOv2.5 则聚合了多个专门化教师的信号。

在视频物体分割上，研究团队测试了 DAVIS-2017 和 YouTube-VOS ——这两个测试需要把第一帧里标注的物体轮廓，通过特征相似度 " 传播 " 到后续帧，完全不需要在视频数据上做任何微调。LingBot-Vision 在 DAVIS 上得到 70.0 分，在 YouTube-VOS 上得到 73.5 分，与 DINOv3 ViT-H+（71.1 和 74.0）和 70 亿参数 DINOv3（71.1 和 74.1）非常接近，是所有其余模型里最好的。与同规模的 DINOv2 相比，分别高出 6.1 和 7.9 分；甚至比在视频上预训练的 V-JEPA 2.1 ViT-g 还要高出 1.9 和 1.2 分，尽管后者专门用视频数据训练。

在 ImageNet 图片分类上，LingBot-Vision（ViT-g）的线性探针准确率为 86.32%，k-NN 准确率为 83.39%，与 DINOv2 的旗舰模型（87.00% 和 83.68%）基本持平，但低于 DINOv3（87.87% 和 85.68%）和 SigLIP 2（87.33% 和 84.75%）。这个差距符合预期：边界导向的预训练把模型容量更多地投入了局部几何结构，而不是全局语义不变性。

蒸馏家族方面，ViT-L 学生在 NYU-Depth v2 上取得 0.310 的 RMSE，比同规模 DINOv2（0.411）低 25%，与 70 亿参数 DINOv3 的 0.309 几乎持平，但 ViT-L 只有约 3 亿参数，约是 70 亿参数模型的二十三分之一。ViT-B 学生在同规模竞争者中取得最好的分类准确率（85.05%）和最好的深度表现（0.339 NYUv2，2.793 KITTI）。ViT-S 学生在分类准确率上依然领先（82.22%）。

通过主成分分析（PCA）可视化，也能直观看到特征质量的差异：LingBot-Vision 的特征把物体呈现为边界清晰的连贯区域，而 DINOv2 的特征有明显的逐块 " 斑点 " 噪声，SigLIP 2 在非显著区域退化成块状噪声，V-JEPA 2.1 的前景和背景纹理有明显的混叠。

七、把空间感知能力应用到深度补全，驱动 LingBot-Depth 2.0

LingBot-Vision 最直接的应用场景之一，是驱动深度补全（depth completion）任务——从深度相机拍摄的不完整深度图（里面有大量空洞，比如玻璃表面、镜子表面会让深度相机返回无效值），结合 RGB 图像，恢复出完整准确的深度图。这对机器人抓取、空间导航等实际应用极为重要。

研究团队之前已经有了第一代产品 LingBot-Depth，其核心框架叫 " 掩码深度建模 "（Masked Depth Modeling, MDM）。这个框架把深度补全重新理解为一种掩码自编码问题：把 RGB 图像和原始深度图分别用两个独立的嵌入层处理成特征序列，拼接在一起，然后让深度相机本身产生的 " 无效区域 " 充当自然的掩码——这些区域正好是最难的地方（玻璃、镜子、无纹理表面），需要模型从视觉上下文中推断。编码器初始化自 DINOv2，解码器是一个层次化的卷积堆叠模块，用 L1 损失在有效真实深度的像素上训练。

LingBot-Depth 1.0 的训练数据来自两个渠道：合成数据通过 Blender 渲染室内场景，加上模拟的散斑投影双目视觉，再通过半全局匹配算法产生带有真实相机噪声特征的深度图（约 100 万样本）；真实世界数据来自研究团队自建的多相机采集装置，涵盖多种室内、商业和室外场景，用 FoundationStereo 从红外双目对中蒸馏出伪真实深度（约 200 万样本）。两者加上公开数据集合计约 1000 万样本，公开释放了其中 300 万样本。

LingBot-Depth 2.0 只做了两处改动：把编码器初始化从 DINOv2 换成 LingBot-Vision（分别提供 ViT-L/16 和 ViT-g/16 两个版本），并把训练数据从公开的 300 万样本扩展到新整理的 1.5 亿样本。MDM 框架本身的任何超参数和模块设计都没有改变。

研究团队做了一组严格的对照实验，专门验证编码器初始化的价值：在完全相同的 MDM 流水线和相同的数据集上，分别用 DINOv2 ViT-L/14、DINOv3 ViT-L/16 和 LingBot-Vision ViT-L/16 作为初始化，在 14 个基准测试集上对比。结果显示，LingBot-Vision 的初始化在 ViT-L 规模下几乎横扫所有测试集，优势在最难的大面积遮挡场景（DIODE-Indoor）上最为显著（RMSE 0.094 对 DINOv2 的 0.152，DINOv3 的 0.114）。扩展到 ViT-g 规模后，LingBot-Vision（0.083）继续领先 DINOv2（0.118）。

数据量扩展的效果同样经过了系统测试，分别用 300 万、2000 万和 1.5 亿样本训练，对比 LingBot-Vision 和 DINOv2 两种初始化在各阶段的表现。两种初始化的精度都随数据量单调提升，但提升速度不同：在 D102（严格阈值准确率）指标上，两者在 300 万数据时几乎持平（0.692 对 0.689），到 2000 万时差距扩大（0.777 对 0.752），到 1.5 亿时差距进一步扩大（0.795 对 0.755），而 DINOv2 在 2000 万到 1.5 亿之间的提升已经趋于饱和（0.752 到 0.755）。** 更好的预训练，遇到更多数据，优势被放大而不是抹平 ** ——这说明空间感知能力的优势确实来自编码器的内在特质，不会随数据规模增加而消失。

在最终的评测中，LingBot-Depth 2.0（ViT-L）在 8 个大面积遮挡和稀疏深度点测试集中的 7 个上取得最好的 RMSE，在 8 个真实传感器测试集中的 6 个上取得最好的成绩。在最困难的透明物体场景（ClearGrasp 数据集，专门测试 D415 和 D435 相机拍摄玻璃物体的情况）上，LingBot-Depth 2.0 的 RMSE 分别达到 0.010 和 0.012，比竞争对手 CDMs（0.017 和 0.013）更好，远超 OMNI-DC（0.042 和 0.027）和 Any2Full（0.030 和 0.024）。在研究团队自建的 LingBot 评测集（覆盖办公室、医院、酒店、餐厅、停车场等 35 个不同室内场景，包含大量镜面和玻璃表面）上，LingBot-Depth 2.0 在 D415、D435 和 D455 三种相机上的 RMSE 分别为 0.242、0.363 和 0.394，而前代 LingBot-Depth 1.0 分别为 0.295、0.345 和 0.434。

扩展到 ViT-g 骨干网络后，在大面积遮挡和稀疏深度点测试集上继续改善（DIODE-Indoor RMSE 0.060，NYU 两种测试制度下分别为 0.114 和 0.113），在 LingBot 传感器套件上也有进步（三种相机分别为 0.228、0.345 和 0.375）。

说到底，这项研究做了一件听起来简单、但执行起来相当精巧的事：把 " 找边界 " 这件事，从 AI 视觉系统的输出任务，变成了输入任务——让模型在最原始的学习阶段就开始和边界打交道，而不是等到专门的任务调优时才接触它。

这件事的意义，可以用一个类比来理解。好比教人素描，一种方式是先教光影，后教轮廓；另一种方式从第一天起就让学生把轮廓当成核心练习对象。长期下来，后一种教法培养出来的学生，对形状和结构的直觉往往更扎实。LingBot-Vision 的训练，选择了后一种路径。

最终的结果是：用约 10 亿参数、在约 1.6 亿图片上、花费不到 DINOv3 三分之一的训练量，得到了在密集空间感知任务上超越 70 亿参数模型的特征表示。而把这个表示用于深度补全，仅仅替换编码器初始化，不改变任何下游框架，就把 LingBot-Depth 从 1.0 推进到了 2.0，并且随着训练数据的增加，这个优势还在持续扩大。

蚂蚁集团的研究团队已经把 LingBot-Vision 的预训练权重开放给了学术和工程社区（可通过 Hugging Face 上的 robbyant/lingbot-vision 检索相关资源，GitHub 地址为 robbyant/lingbot-vision，完整论文可通过 arXiv:2607.05247 查阅）。对于需要让机器真正 " 读懂 " 空间结构的场景——机器人抓取、3D 场景重建、自动驾驶的环境感知——这套系统提供了一条可以直接复用的路径。至于边界驱动的预训练思路，能否进一步扩展到视频序列的时序感知、或者点云这类三维数据，留给后续研究者继续探索。

**Q&A**

Q1：LingBot-Vision 的边界感知能力，具体是怎么在训练过程中从零学出来的？

A：LingBot-Vision 借助了一种 " 密集吸引力场 " 表示：图片里每个像素都存储着它到最近边界的距离和方向。即使场的数值在训练初期几乎是随机的，通过汇聚大量像素的 " 投票 "，也能粗略解码出线段位置。再配合一个轻量级角点检测器提供端点锚定，以及反事实统计检验过滤掉虚假候选，系统从第一步起就有了可用的边界信号，并随着训练不断精化，完全不需要人工边界标注或外部边缘检测器。

Q2：为什么参数量只有 10 亿的 LingBot-Vision 能在深度估计上超过 70 亿参数的 DINOv3？

A：两者的训练目标不同。DINOv3 的核心目标是语义不变性，Gram 锚定是为了维护密集特征而额外添加的补丁机制，边界感知属于间接产物。LingBot-Vision 从预训练最开始就强制模型在边界处做最难的重建任务，并用几何目标直接监督这些区域。深度估计的误差主要集中在物体边界和深度跳变处，而这恰恰是 LingBot-Vision 特征最精确的地方，所以用一个线性层做探针时就已经能体现出来，不需要用更大的解码头来弥补。

Q3：LingBot-Depth 2.0 在处理玻璃和镜子时表现好，具体好在哪里？

A：主动深度传感器（比如 RealSense 系列）对玻璃和镜面几乎完全失效，因为光线会穿透或镜面反射，导致深度值缺失。LingBot-Depth 2.0 需要从 RGB 图像中理解这些区域的几何形状，然后 " 补全 " 缺失的深度。由于 LingBot-Vision 的特征对物体边界高度敏感，能清晰区分玻璃边缘、背景和前景，补全出的深度在空间上是连贯的平面，而不是散点或扭曲的曲面。在 ClearGrasp 透明物体测试集上，LingBot-Depth 2.0 的 RMSE 分别为 0.010 和 0.012，优于其他主流方法。