2020 年，GPT-3 靠 " 看几个示例就会新任务 " 震动了 NLP 界；六年后的今天，同样的故事正在具身智能领域上演。

没错，就是 In-Context Learning。

8 月中旬，Skild AI 发布机器人基础模型 S1。只需要给机器人看一遍任务演示视频，它可以在不微调、不做额外 post-training 的情况下，尝试完成此前没有训练过的新任务。任务时长可达 10 分钟，包含几十个操作步骤。

Skild 在（训练数据）见过的任务和未见过的任务上，对比了 ICL 视频 Prompt 和传统的语言 Prompt VLA。

测试结果表明，当训练数据只有 1000 小时时，语言 Prompt 效果更好，而随着数据规模增加，ICL 开始反超。对于未见任务，加入视频 context 后，模型表现相比只用语言指令提升约 7 倍。

S1 发布的一周之前，Generalist AI 发布 GEN-1.5，同样把 One-Shot Learning 作为核心能力。机器人只看一个示范，就能在数秒内学习新任务，无需梯度更新或微调，并支持人类示范到机器人执行、组合泛化和 Sim-to-Real 迁移。

这两项进展都是在尝试让机器人学会利用更长的多模态 Context。

In-Context Learning（ICL）这条路径，已经在 LLM 领域被验证、并成为至关重要的一环。

2020 年，OpenAI 在 GPT-3 的论文 Language Models are Few ‑ Shot Learners 中提出 ICL，定义它是一种能力——不给模型做任何参数更新（没有微调、反向传播训练），仅在输入 prompt 中提供若干任务示例（demonstrations/examples），模型在单次前向推理过程中就能够识别并执行该新任务。

过去三年，上下文从 4K 扩展到 1M，让模型能一口气处理一整本书、一个代码库，背后的主要引擎就是 ICL。

与 LLM 不同，具身模型面对的是视觉观测、语言指令与动作序列交织的复合上下文，且真实任务是非马尔可夫的—— " 接下来做什么 " 取决于 " 几分钟前做过什么 "。

简单来说，具身模型面对的上下文是每秒几十帧视觉观测，外加本体状态与动作序列，信息量高出几个数量级。

直到今年 7 月 16 日，才有李飞飞、Jim Fan、Yuke Zhu 等合著的机器人长上下文策略模型与训练方案 RoboTTT，第一次系统地把 " 上下文 scaling" 这条路线搬到机器人视觉运动策略上。

8 月，Generalist 和 Skild 发布成果。

虽然两家公司仅以成果发布形式展示模型效果，技术细节没有完整公开，但在具身领域，关于 ICL 讨论度随即骤升。

这条路能否在具身领域真正跑通，取决于一系列远未解决的技术问题。

也正因为如此，我们产生了更具体的好奇：

如果具身智能真的要沿着 Long Context 和 ICL 继续往前走，机器人究竟要怎样理解如此复杂的上下文？

示范、语言、历史动作甚至人的纠正，又该怎样进入模型？

于是，我们找到了可可矩阵（COCO Matrix），一家致力于把 In-Context Learning 做成具身智能的底层范式的国内创业公司。

这家公司成立于 2026 年 4 月。

不过创始人兼 CEO 高宇翔告诉我，今年 1 月深入讨论创业相关事宜时，他和自己的 co-founder 就一致认为是时候着手押注 ICL 了。

高宇翔今年 30 岁，西安交大少年班出身，约翰斯 · 霍普金斯大学（JHU）博士辍学，在读期间做人机交互研究。

高宇翔说，GPT-3 展现出上下文学习能力时，还在 JHU 读博的他就已经在琢磨，这种 " 不给参数更新、只看示例就会新任务 " 的能力能不能搬到机器人身上？

此后五年，他辍学、回国创业、加入工业界、再次创业。

这期间，高宇翔在傅利叶带队打通了全尺寸人形机器人从遥操作、数据采集到模型部署的完整链路，并在 2025 年 5 至 8 月用一百多万成本，在全尺寸双足人形上训练出具备一定泛化能力的世界模型。

https://about.yuxiang.io/

今年 4 月，可可矩阵正式成立，开始把当年在学校里就开始接触的问题变成了创业方向。

与 Generalist、Skild 不一样，可可矩阵的思路是把后训练的 ICL 前置到预训练阶段。

于是，围绕具身 ICL 的技术进展、落地难题与行业争议等，我与高宇翔在上海进行了一场深度对谈。

（以下是对话实录，在不影响本意的前提下略有删改）

为什么具身智能需要换一条 Scaling 路线？

量子位：过去很长一段时间，具身智能都沿着大模型的路线 Scale 数据。大家为什么相信，堆更多数据就能把机器人能力 Scale 起来？

高宇翔：最开始整个行业的心态其实都比较乐观。

早期像 ACT、Diffusion Policy 这些方案跑通之后，基本解决了 behavior cloning、模仿学习的很多核心问题。

当时大家很自然地延续大语言模型的成功逻辑，只要持续扩充数据，数据量积累到一定阈值，模型就能涌现出通用能力，最终实现全方位的任务适配。

放在当时的行业环境里这个思路本身没有问题，所以整个行业都开始全力规模化扩充数据。

量子位：后来问题出在哪里？

高宇翔：针对单一任务，现在采集两百条左右的数据，就可以把任务拟合得很好，一个新任务从演示到模型适配，大概十八个小时就能完成。

但继续增加数据之后，模型一直没有出现大家期待的通用泛化能力。

同时，具身数据本身也很难 Scale。遥操作数据的质量并不统一，物品和场景多样性有限，单纯依靠这类数据，很难提供足够丰富的感知覆盖。

量子位：除了这个，还有哪些其它的问题呢？

高宇翔：早期很多 VLA 沿用了 LLM、VLM 的预训练体系，但面向物理世界时，原有视觉表征很难同时覆盖机器人需要的不同层级信息，因此不少方案需要不断拼接不同的视觉模块。

这套路线在很多场景下依然有效，但过去一年多大家逐渐发现，继续沿着原有 VLA 范式叠数据、叠模块，后续能力提升会越来越困难。

具身智能 Scaling 路线的新尝试

量子位：如果数据覆盖走不通，行业现在开始 Scale 什么？

高宇翔：能明显感觉到大家开始关注机器人的学习能力和适应能力。

过去更关注模型在训练阶段见过多少数据、学会多少任务。现在大家开始问另一个问题，机器人到了一个从来没有见过的新环境、新任务里，能不能利用当前的 Context 快速学会。

今年已经出现了一些很明显的信号。

像 RoboTTT 这类工作，在尝试解决更长历史信息的编码、压缩和利用，让机器人能够持续参考更长时间的视觉和动作 Context。

Generalist AI、Skild AI 最近展示的 One-Shot 能力更进一步。给机器人看一次任务示范，它就可以基于这段 Context 快速适配新任务，不需要为每个任务重新做完整的微调或训练。

所以现在具身智能的 Scaling 维度正在发生扩展。

除了继续 Scale 模型、数据和任务覆盖之外，机器人在部署之后还能不能继续学习，能不能从示范、历史经验和交互过程中快速获得新能力，也开始成为一个新的 Scaling 方向。

LLM 验证过的 Scaling 逻辑，怎么到了具身领域这么难？

量子位：同样是 ICL，具身领域的难度好像比语言模型领域的难度高很多……到底复杂在哪些地方？

高宇翔：机器人面对的是物理世界，它的输入和任务结构比纯语言复杂得多。

这种复杂性主要集中在两大维度，一是模型本身的输入输出与技术架构问题，二是数据体系的先天短板问题。

可以进一步拆成三个核心技术难点。

首先是视觉理解。

机器人在不同任务、不同动作阶段，需要的信息层级并不一样。它既要理解 " 这是什么 " 这样的高层语义，也要获得位置、深度、轮廓等和动作直接相关的精细空间信息。

这也是早期很多 VLA 需要同时拼接 DINO、CLIP 这类不同视觉模型的原因。单一视觉编码器很难完整覆盖机器人需要的信息。

第二是多模态。

语言对机器人来说远远不够。视觉可能承担大部分信息，但触觉、听觉、本体感知同样会影响动作。

问题在于这些模态的数据量差异非常大，目前视觉和语言还能依靠海量数据做预训练对齐，触觉、声音和本体状态的数据规模远远没有达到这个程度。

第三个问题就是 Long Context 和 Memory。

机器人执行的是连续任务，它需要知道之前发生过什么，还要判断过去哪些信息和现在有关。这个过程涉及历史信息的压缩、筛选、提取和长期保留。

实际上，这些支撑机器人长时记忆的基础技术，也就是最近半年左右才开始出现比较明显的进展。

从固定窗口到流式记忆

量子位：上个月底 Skild ‑ AI 的 S1 模型支持最长 10 分钟级别的长任务示范。对比 Generalist GEN ‑ 1.5 的 one ‑ shot ICL 示范视频仅 3 ‑ 12 秒，放在 30s 窗口内完成现学现用。

虽然 Skild 给出的是示范 demo，但这个时长还是太夸张了。

高宇翔：我觉得不能单纯看时长，更重要的是信息密度。

如果一段 10 分钟的视频里都是重复动作，没有新的任务信息，那它对模型来说并不是高质量 Context。

我们现在测试效果比较好的，是人类第一视角或者第三视角的一整段完整任务演示。

人做一遍新任务，机器人看完后，在当前场景里按照这个任务再完成一次，这种 One-Shot Adaptation 的信息密度就很高，因为里面包含了完整的新任务逻辑、动作和场景信息。

相反，如果 10 分钟只是很多重复动作，或者是几个简单小任务拼起来，它的学习价值反而有限。

量子位：所以 Long Context 的重点，也不是把固定窗口从一分钟硬拉到十分钟？

高宇翔：对。

真实机器人任务里，很多有效 Context 可能也就是两三分钟。单纯让机器人每次都重新看完整的十分钟历史，没有太大必要。

更重要的是新的 Context 不断进入以后，模型能够持续筛选和压缩历史信息。有些最后保留下来的有效信息可能来自十分钟前，也可能来自一小时前。

我们理解的 Long Context，更接近一种流式机制。

最终希望做到机器人可以持续工作、持续利用过去经验，而不会因为固定 Context Window 耗尽，一到下午就把早上学到的东西全部忘掉。

量子位：但模型本身的显存和 Context 容量毕竟有限，这种长期 Memory 具体怎么解决？

高宇翔：目前主要从两个方向做，这些方案也还在内部测试。

一个是先提升模型自己的理解能力。

模型如果真的理解当前任务，就会更清楚历史里哪些信息重要、哪些信息可以丢掉。所以 Memory 并不只是压缩问题，也和模型理解能力有关。

另一个是对长时序产生的大量 KV Cache 做压缩，既要保证实时性，也要控制显存消耗。

这方面大语言模型和视频生成已经有不少可以借鉴的技术路线，比如 Linear Attention、Sparse Attention，还有基于 Routing 的关键信息筛选。

我觉得 Long Context 最后解决的并不是 " 能塞进去多少东西 "，而是有限的模型容量下，能不能一直保留和调用真正有用的历史经验。

目前 ICL 还缺什么样的数据？

量子位：既然 ICL 能降低对海量数据的依赖，为什么数据仍然是一个问题？

高宇翔：ICL 降低的主要是对 " 海量任务全覆盖数据 " 的依赖，但基础数据的数量和多样性依然很重要。

在 UMI 这类本体中心数据逐渐普及之前，行业很难获得以机器人自身动作、本体视角为核心的高质量数据。随着这类数据越来越多，模型才开始具备比较扎实的基础操作能力。

ICL 并不意味着不再需要数据。

它更像是让机器人不必为每一个新任务都重新采集大量专项数据，但前提仍然是模型已经建立起足够好的基础能力。

量子位：那现在最缺的是哪一类数据？

高宇翔：现在比较明显的缺口，是人机教学、实时纠偏和协同作业这类数据。

如果希望机器人能够接受人的实时指导，做错之后被及时纠正，甚至和人一起完成任务，模型就需要见过大量类似的交互过程。

但目前行业对这类数据还没有形成成熟的定义和采集体系。

比如人类手把手教机器人时，哪些信息需要记录，纠错发生在哪个时间点，人的动作、语言和机器人的反馈应该怎么对齐，这些都还缺少统一标准。

所以我们后续也会重点去定义这类人机教学交互数据，包括应该采什么、怎么采，以及怎么把它用于 ICL 训练。

△图片由 AI 生成 " 强理解，轻生成 "

量子位：可可矩阵现在在 ICL 这一块，整体做到了什么阶段？

高宇翔：整体进度比我原本预期快一些。

量子位：你原本的预计是？

高宇翔：一开始我们判断，光是把模型的理解能力这一块打磨出来，可能就需要两三个月。但核心团队到齐之后，不到一个月，我们已经拿到了足以验证技术方案可行性的核心证据。

现在这部分技术路线基本已经跑通，下一阶段主要是在 Scale 数据，继续扩量、精炼数据，把模型能力往上推。

我们现在最核心的判断是 " 机器人后面的动作生成能不能做好，很大程度取决于前面到底有没有把物理世界理解清楚 "。

量子位：在 " 理解 " 这一块，你们做了什么不一样的东西，可以具体聊聊吗？

高宇翔：我们现在做的是一套 " 条件表征 "，或者可以理解成条件隐空间。

传统视觉表征通常是一帧图像对应一个固定 Embedding。无论机器人现在想做什么，看到这张图后提取出来的信息基本是固定的。

但机器人执行任务不是这样。同一张画面，在不同任务、不同动作阶段里，需要的信息完全不同。

比如抓一个杯子。刚开始我更关心它是不是杯子，这是语义信息；真正伸手抓的时候，我更关心它的位置、深度、轮廓和空间关系。

所以我们认为一个适合机器人的视觉表征，不应该只由 " 我看到了什么 " 决定，还应该由 " 我现在想做什么 " 共同决定。

我们的模型会根据任务条件和动作意图，动态提取不同层级的信息。

现在这套统一模型已经在八、九类视觉任务上做了验证，包括深度、分割、人体姿态等。

部分任务的能力已经能够接近上一代专门为单任务训练的模型，后面主要继续通过数据把它往当前 SOTA 推。

量子位：是什么让你们认定 " 理解做好以后，动作生成反而可以变轻 "？

高宇翔：因为现在很多机器人模型的问题，是前面的表征里混进了太多和动作无关的信息。

比如桌面到底是木纹还是大理石，这对我要不要抓这个杯子基本没有帮助，但传统视觉 Embedding 里，这些纹理、材质信息都会一起被编码进去。

那后面的 Action Head 就得非常大，自己从一堆混合信息里把真正和动作有关的东西筛出来。

我们的思路是在前面的条件表征阶段，就尽量把动作相关信息提炼出来。

我们做过一个比较极端的实验。在同样的训练设置和算力下，把动作头压到大约 60M 参数，效果依然可以超过一个动作头达到 1.1B 左右的对照方案。

所以现在更相信 " 强理解、轻生成 " 这个方向。如果前面的视觉理解足够准确，后面的动作解码其实没有必要设计得特别重。

量子位：什么叫 " 动作相关信息 "？行业里对这现在有没有一个统一定义？

高宇翔：目前还没有特别统一、让我觉得足够完善的（定义）。

现在行业里比较常见的一条路线是 Latent Action Model。

很多人类视频、生成视频，本身没有机器人动作标注，所以大家会训练一个隐变量，去表示帧与帧之间发生了什么变化，把它当成一种 " 替代动作 "。

常见做法有两类。

一种是只要从第一帧能够推到第二帧，就认为中间的变化包含动作信息；另一种是通过光流，把像素在空间里的变化作为动作表征。但这些方案都有问题。

比如光流很稠密，但很难区分到底是相机在动，还是机器人、人物本身在动。人体关键点相对更稳定，不太受相机运动影响，但它的信息又比较稀疏。

所以我们没有先人为规定一个非常严格的 " 动作表示 " 应该是什么。

现在会把人类手部关键点、全身关键点、光流等多种和动作相关的预测任务放进同一个条件表征模型里训练，让不同信息彼此补充。

后面如果发现新的预测任务能够帮助动作生成，也可以继续加入训练。

我们更希望模型能力的提升来自数据和训练任务本身，而不是不断在结构上做复杂修改。

成功率之外，怎么衡量机器人的学习能力？

量子位：现在可可基础模型的 One-Shot 能力，大概做到什么水平？

高宇翔：目前比较明确的是简单任务。比如常规抓取类任务，在临时改变目标、做 One-Shot Adaptation 之后，完成率可以稳定在 80% 以上。

我们现在不仅仅是单独看 One-Shot 成功率，还要看它和专项 Post-training 后的能力差距有多大。

理想状态下，机器人只看一次示范、在 Context 里完成快速适配之后，效果应该尽可能接近针对这个任务专门训练出来的模型。

复杂任务目前还没有完整评测，因为对应模型还在继续训练。

量子位：主攻 One-Shot 的同时，为什么还去做 Self-Correction？

高宇翔：因为人类学习新任务也不是看一遍之后，每次都能第一次成功。

但失败以后，你会知道哪里出了问题，下次会针对性调整。我们希望机器人也有这种能力。

第一次执行失败之后，模型会重新利用这段失败轨迹，判断哪里需要修正，再进行下一次尝试。

△图片由 AI 生成

所以 Self-Correction 其实也是 In-Context Learning 的一种形态。Context 不只来自别人给出的示范，也可以来自机器人自己刚刚经历过的失败。

我们的目标是即使第一次没有完成任务，机器人也能通过后续几次自主尝试和纠正，最终完成任务。

量子位：假如——我是说假如——如果机器人可以不断试错，那以后 " 成功率 " 是不是也不够用了？

高宇翔：对，所以我们之后可能会更关注另外一个指标——第一次成功平均耗时。

如果机器人能够持续尝试、持续 Self-Correction，那么单纯问 " 一次任务成功率是多少 "，意义会越来越有限。

更有价值的问题是，它看完一次示范之后，要花多久才能第一次把这个任务学会。

这个时间其实对应的就是机器人的教学成本和学习效率。

对于抓取这种简单任务，我们希望它看一次就能第一次成功。

但像叠衣服，甚至把衣服叠成大象、天鹅这种，人类自己可能也需要几个小时学习。那我们希望机器人的学习周期，至少可以逐渐接近正常人的培训周期。

如果这套能力成立，一个地方、一台机器人学会的新技能，后面也可以被其他机器人继续复用。

所以以后衡量机器人智能，可能不只是看它已经会多少任务，还要看它学会一个新任务到底需要多久。

为什么要自己创业？

量子位：你本科就从自驾转向了机器人，大概是十年前。

高宇翔：对，我本科在西安交大少年班，最开始做自动驾驶，大概 2016 年前后开始转向机器人。

那个时候我就觉得，机器人这个问题比自动驾驶更复杂，它同时涉及硬件、算法和数据，而且要解决的场景更多样。

后来从 JHU 博士生辍学，我来了工业界，尤其是人形机器人、数据和模型落地这一侧。

量子位：我看你是从机器人公司傅利叶出来创业的。

高宇翔：对的。我 2024 年的时候加入了傅利叶。

这几年我较早参与打通了全尺寸人形机器人的遥操作、数据采集到模型部署这一整套流程，也参与了一些大规模 VLA 训练。

那段经历让我第一次比较直观地看到 VLA 数据 Scaling 的边界。

后来我们又在内部做了基于世界模型的全尺寸人形机器人 Policy，也验证了世界模型确实可以驱动全尺寸人形机器人，并且在一些特性上表现出和传统 VLA 不同的优势。

这几个判断叠在一起以后，我开始觉得可能到了需要重新考虑模型范式的时候。

我的目标是让 ICL 远不止于一个 "feature"。

我们要真正颠覆模型训练范式。

量子位：既然已经在傅利叶内部验证过一些方向。为什么还是决定出来创业？

高宇翔：因为这个方向本质上是一个范式创新的问题。

如果继续在原来的组织里做，我很难拿到足够集中的资源，也很难围绕这个方向重新搭一支足够强的模型团队。

还有一个很现实的原因，就是我的联创不可能直接加入原来的团队。但我们真正确定要做这个方向之后，我觉得最合适的合作对象只有她。

她长期在学术侧研究机器人泛化、学习能力和 ICL，我这边刚好有比较完整的工业界经验，包括本体、数据、模型训练、场景和上下游资源。

两边的能力正好互补，所以最后就决定一起出来做。

量子位：你们现在怎么分工？

高宇翔：联创主要负责整体技术路线和核心研发方向；我会更多负责上下游硬件、场景、数据、算力这些问题。

这也是我过去两年在人形机器人行业里积累比较多的部分。

我踩过很多数据 Scale、遥操作数据、第一视角数据、模型部署相关的坑，所以现在更清楚什么样的数据适合什么样的模型，也知道不同数据来源分别应该在训练里发挥什么作用。

我们不会把团队做得特别大。模型研发真正核心的团队，本身就不需要很多人。

我们更看重团队的智力密度。

量子位：最后聊一下公司名字吧～你们的名字和市面上大多数具身公司的名字画风蛮不一样的。

高宇翔：COEXIST、COWORK、COLLABORATE、COEVOLVE，这就是我们公司名字的由来。

参考链接：

[ 1 ] https://www.linkedin.com/in/yuxiang-gao-268084114/

[ 2 ] https://scholar.google.com/citations?user=CICgPz8AAAAJ&hl=en

[ 3 ] https://arxiv.org/pdf/2005.14165

[ 4 ] https://arxiv.org/abs/2607.15275

[ 5 ] https://www.ccmtrx.com

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见