美东时间 19 日周三，Meta 发布第三代 " 分割一切 " 模型 Segment Anything Models（SAM）—— SAM 3，实现了重大突破，首次支持用户通过自然语言描述和图像示例来识别、分割和追踪视频中的任何物体。Meta 同时发布了用于 3D 重建的开源模型 SAM 3D，并计划将这些技术整合到 Instagram 视频创作应用 Edits 和 Meta AI 应用中。

SAM 3 最核心的创新在于引入了简称 PCS 的 " 可提示概念分割 "（Promptable Concept Segmentation）能力。用户只需输入 " 条纹红色雨伞 " 这类自然语言提示词，模型就能自动识别并分割图像或视频中所有符合条件的实例，突破了传统模型依赖固定标签集的限制。

在处理速度方面，SAM 3 模型在一块英伟达 H200 GPU 上处理含 100 多个物体的单张图像仅耗时 30 毫秒，在约五个并发目标物体的视频场景中，可维持接近实时的性能。

Meta 发布的 SA-Co 基准测试显示，SAM 3 的性能相比现有系统提升了一倍。在 LVIS 数据集的零样本分割任务中，SAM 3 的准确率达到 47.0，显著超越此前的 38.5。在用户偏好测试中，SAM 3 的输出效果以约三比一的比例优于最强基准模型 OWLv2。

Meta 介绍，上述技术突破将率先应用于 Facebook Marketplace 的新功能 " 房间预览 "（View in Room），帮助用户在购买家居装饰品前将产品在个人空间中的摆放效果可视化。Meta 还推出了 Segment Anything Playground 平台，让普通用户无需技术背景即可体验这些前沿 AI 模型的能力。

突破固定标签限制，支持开放词汇分割

传统图像分割模型面临的最大挑战是难以将自然语言与图像中的具体视觉元素关联。现有模型通常只能分割 " 人 " 等预定义概念，却难以理解 " 条纹红色雨伞 " 这类更细致的描述。

SAM 3 通过引入可提示概念分割能力解决了这一局限。该模型接受短语形式的文本提示和图像示例提示，完全摆脱了固定标签集的束缚。为评估大词汇量检测和分割性能，Meta 创建了 SA-Co 基准数据集，包含 21.4 万个独特概念、12.4 万张图像和 1700 个视频，概念覆盖范围达到现有基准的 50 倍以上。

该模型同时支持多种提示方式，既包括简单名词短语和图像示例等概念提示，也支持 SAM 1 和 SAM 2 引入的点、框、掩码等视觉提示。这大大提升了分割的灵活性和可用性，特别是对于罕见或难以用文字描述的概念。

SAM 3 还可作为多模态大语言模型的感知工具，处理更复杂的提示，例如 " 坐着但没有拿礼物盒的人 "。当与多模态大语言模型配合使用时，SAM 3 在 ReasonSeg 和 OmniLabel 等需要推理的复杂文本分割基准测试中表现优于此前研究，且无需在任何指代表达分割或推理分割数据上进行训练。

创新数据引擎，人机协作提速 5 倍

获取带有分割掩码和文本标签的高质量标注图像是一项重大挑战，特别是在视频中详尽标注每个物体类别的出现位置既耗时又复杂。构建覆盖大量多样化词汇和多个视觉领域的全面数据集需要大量时间和资源。

Meta 通过创建可扩展的数据引擎解决这一问题，该引擎将 SAM 3、人类标注者和 AI 模型结合在一起，显著加快了标注速度。对于负提示（图像或视频中不存在的概念），标注速度比纯人工快约 5 倍，对于正提示即使在具有挑战性的细粒度领域也快 36%。这个人机混合系统使团队能够创建包含超过 400 万个独特概念的大规模多样化训练集。

由包括 SAM 3 和基于 Llama 的图像描述系统在内的 AI 模型组成的流水线会自动挖掘图像和视频，生成描述，将描述解析为文本标签，并创建初始分割掩码。人类和 AI 标注者随后验证和修正这些提议，形成快速扩展数据集覆盖范围的反馈循环，同时持续提升数据质量。

AI 标注者基于经过专门训练的 Llama 3.2v 模型，在标注任务上达到或超过人类准确度，例如验证掩码质量或检查图像中某概念的所有实例是否已被详尽标记。通过将部分人类标注任务委托给 AI 标注者，吞吐量相比纯人工标注流水线提高了一倍以上。

SAM 3D 开创物理世界 3D 重建新标准

SAM 3D 包含两个新的业界领先模型：用于物体和场景重建的 SAM 3D Objects，以及用于人体姿势和形状估计的 SAM 3D Body。这两个模型在物理世界场景的 3D 重建方面树立了新标准。

SAM 3D Objects 代表了一种处理视觉定位 3D 重建和物体姿态估计的新方法，能够从单张自然图像重建详细的 3D 形状、纹理和物体布局。该模型的创新来自于突破了长期存在的物理世界 3D 数据障碍。通过构建强大的数据标注引擎，结合为 3D 设计的新多阶段训练方案，SAM 3D Objects 标注了近 100 万张不同的图像，生成了约 314 万个模型参与的网格。

在头对头的人类偏好测试中，SAM 3D Objects 相对其他领先模型的胜率至少达到 5 比 1。该模型通过扩散捷径和其他工程优化，可在几秒钟内返回质量相当的完整纹理重建，这使得 3D 近实时应用成为可能，例如作为机器人的 3D 感知模块。

SAM 3D Body 专注于从单张图像进行准确的 3D 人体姿势和形状估计，即使在涉及异常姿势、遮挡或多人场景的复杂情况下也能胜任。该模型支持交互式输入，如分割掩码和 2D 关键点，使用户能够引导和控制模型的预测。

SAM 3D Body 利用大规模高质量数据实现了准确稳健的 3D 人体姿势和形状估计。研究团队从包含数十亿张图像的大型数据集开始，使用来自大规模多样化照片集合的图像、各种多摄像头捕捉系统的高质量视频以及专业构建的合成数据。然后使用可扩展的自动化数据引擎挖掘高价值图像，选择具有异常姿势和罕见捕捉条件的图像。团队组建了约 800 万张图像的高质量训练数据集，训练模型对遮挡、罕见姿势和多样化服装具有鲁棒性。SAM 3D Body 在多个 3D 基准测试中的准确性和鲁棒性实现了阶跃式提升，表现超越了以往模型。

应用拓展至野生动物保护和海洋研究

SAM 3 已开始应用于科学研究领域。Meta 与 Conservation X Labs 和 Osa Conservation 合作，结合现场野生动物监测与 SAM 3 构建了一个开放的研究级原始视频数据集。公开的 SA-FARI 数据集包含超过 1 万个相机陷阱视频，涵盖 100 多个物种，每一帧中的每只动物都标注了边界框和分割掩码。

FathomNet 是由蒙特雷湾水族馆研究所（MBARI）领导的独特研究合作项目，致力于推进海洋探索的 AI 工具。专为水下图像定制的分割掩码和新的实例分割基准现已通过 FathomNet 数据库向海洋研究界开放。SA-FARI 和 FathomNet 可供更广泛的 AI 社区使用，以开发创新的方法来发现、监测和保护陆地和海洋野生动物。

Meta 还与 Roboflow 合作，使用户能够标注数据、微调并部署 SAM 3 以满足特定需求。作为代码发布的一部分，Meta 分享了微调方法，供社区利用这些方法使 SAM 3 适应其用例。

尽管取得了显著进展，SAM 3 在某些场景下仍存在局限。该模型难以以零样本方式泛化到细粒度的领域外概念，特别是需要专业领域知识的特定术语，如医学或科学图像中的 " 血小板 "。应用于视频时，SAM 3 以类似 SAM 2 的方式追踪每个物体，这意味着推理成本随被追踪物体数量线性增长。每个物体单独处理，仅利用共享的每帧嵌入，没有物体间的通信。