硅星人 12小时前
物理AI的竞争单位,正在从“模型”变成“系统”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

今年 WAIC,比模型本身更抢眼的,是那些开始替人做事、进入设备和真实场景的 AI 产品。

展馆里,可以跨应用完成任务的智能体手机、进入产线的人形机器人、戴在身上的 AI 眼镜,以及支撑它们运行的超节点和万卡集群,正在成为新的注意力中心。

这种变化也体现在论坛议题中。AI 行业关注的问题,正在从 " 模型还有多聪明 ",转向 "AI 能不能进入产品、完成任务,并以产业能够承受的成本大规模运行 "。

京东集团副总裁、京东探索研究院副院长段楠在演讲中指出了这种变化:" 互联网数据还是数字世界信息的载体,没办法让模型学习到如何真正交互和驾驭物理世界。如果人工智能未来面向更高水平的通用性,必须从数字世界走向物理世界。"

这是一场比模型竞赛更复杂的竞争。

一个模型可以生成内容,甚至构造一个世界;但要真正进入设备、理解环境、完成任务并对结果负责,中间还隔着数据、评测、算力、硬件和产品。

在今年 WAIC,京东 JoyAI 是一个很适合观察这种变化的样本。

一直以来,京东把 AI 的发展分成三个阶段:语言、代码和内容生成属于 " 数字 AI";当 AI 进入玩具、家电和汽车,持续感知并与人交互,它变成 " 附身 AI";当 AI 进一步理解空间和物理规律,并能在真实世界执行动作,才进入 " 物理 AI"。

沿着这条路线,这届 WAIC,京东第一次把 JoyAI 大模型矩阵、具身数据体系、云基础设施和 JoyInside 硬件入口集中摆在了一起。

其中,JoyAI-Image-Edit、JoyAI-Echo 和 JoyAI-Video-Edit 分别覆盖空间图像编辑、长音视频生成和实时视频编辑;JoyAI-VL-Interaction、JoyAI-Voice 和 JoyAI-Talker 负责持续观察、实时回应和语音交互;到了 JoyAI-RA,模型开始进一步学习机器人的动作。

模型之外,JoyEgoCam 负责采集,EgoLive 沉淀真实操作数据,JoyAI-Sim 完成仿真转换与训练评测;京东云支撑数据处理、模型训练和规模化部署,JoyInside 则把这些能力装进具体硬件。 

这些能力覆盖了 AI 进入物理世界的完整链路:看见、理解、交流、行动、学习,直至落地。

它也对应着当前的行业变化——当 AI 走出聊天框、进入物理世界,竞争单位不再是单个模型,而是数据、模型、算力、硬件和场景能不能组成一套真正跑起来的系统。

模型先要学会空间、时间和交互

系统化并不意味着模型变得不重要。恰恰相反,当 AI 开始离开聊天框、进入真实世界,模型需要解决的问题反而更多了:它不仅要生成内容,还要理解空间、时间,以及什么时候应该介入。

以 JoyAI-Image-Edit 为例,普通图像编辑解决的是 " 哪些像素应该改变 ",但物理世界面对的问题是:一个物体移动以后,空间关系应该怎样随之变化。

JoyAI-Image-Edit 将图像理解、生成和编辑放进同一个体系。它展示的重点不只是换背景、改颜色,还包括移动、旋转物体,改变相机视角以及生成多视角画面,同时尽量维持几何关系的一致性。

过去的模型主要判断 " 这张图看起来是否合理 ",现在则需要进一步理解:" 如果换一个位置观察,这个世界是否仍然成立。"

编辑甚至可以反过来帮助理解。当原始视角无法判断空间关系时,模型可以生成另一个视角的画面,再根据新画面回答问题。生成由此不再只是输出内容,也成为模型观察世界的一种方式。

如果说图像模型理解的是一个瞬间,JoyAI-Video-Edit 面对的则是时间连续性。它需要在视频持续发生时修改人物、动作和场景,同时保证前后画面不会因为一次干预而崩掉。

这相当于要求模型理解:世界不仅 " 长什么样 ",还要知道它怎样从上一秒运动到下一秒。

到了 JoyAI-VL-Interaction,问题进一步从空间和时间变成了介入时机。

传统语音助手等待用户唤醒,用户问一句,它回答一句;附身 AI 却要长时间待在环境中,一边持续观察,一边判断什么时候应该回应,什么时候应该保持沉默,什么时候应该把复杂任务交给后台模型、API 或者智能体。

此前有人利用这一模型制作了一台 AI 夜视婴儿看护器:红外视频持续输入模型,只有在模型发现婴儿惊跳、醒来或者口鼻可能被遮挡时,才触发手环和音响提醒。

JoyAI-Talker 补充的则是实时表达能力,让模型在保持理解和推理能力的同时,拥有更加自然、低延迟,并具备情感表达和共情能力的语音交互。

把这些模型放在一起,可以看到一条清晰的演进线:Image-Edit 补充空间理解,Video-Edit 处理时间连续性,VL-Interaction 判断介入时机,Talker 负责自然、实时的表达。它们共同回答的是,AI 怎样持续看见、理解并回应一个正在发生的世界。

模型开始反过来定义什么是好数据

但看懂世界,只完成了一半。

模型可以在屏幕里把一只杯子旋转 90 度,机器人却必须知道从哪里抓、用多大力,以及抓空以后怎样调整。像素里的合理,不等于物理上的可执行。

如果把 GPT-3.5 看作语言模型真正跨过能力门槛的时刻,物理 AI 还没有到达类似的节点。语言模型拥有互联网规模的文本、相对统一的训练方法和成熟的评测体系;物理 AI 的数据却分散在不同场景、任务和机器人身体里,既昂贵,又难以复用。

段楠把物理数据规模化放在了首位:" 物理 AI 不仅要从海量数据中学习通用常识知识,还要从蕴含着非常丰富的物理信息的真实世界数据中学习物理规律和因果关系,比如三维空间结构、物理属性、运动轨迹等。"

京东把这件事拆成了三层。

第一层,是先把真实经验采下来。

京东开源的 EgoLive 首批包含约 2000 小时视频、65,866 段数据和 346 种真实任务,覆盖家庭、仓储、药房等场景。第一视角数据记录的不只是 " 人在做什么 ",还有人看见了什么、手怎样运动、动作按照什么顺序发生。 

这很重要。实验室里的标准动作容易采集,却很难覆盖真实世界的杂乱、遮挡和意外。EgoLive 要保存的,正是人类处理这些不确定性的过程。

第二层,是把人的经验翻译成机器人能够使用的数据。

人的手与机器人的关节结构完全不同,人类演示不能直接拿来训练机器人。JoyAI-Sim 因此把真人动作放进仿真环境,检查它是否满足机器人的关节、碰撞和物理约束,再转换成机器人可以学习的轨迹;反过来,它也能把真实机器人任务重建到仿真环境中,用于批量测试。

第三层,是验证这些经验到底有没有用。

JoyAI-RA 把第一视角视频、仿真轨迹、真实机器人数据和网络数据放进统一训练框架,再通过仿真和真机任务检验效果。如果一批数据加入以后,机器人的任务成功率没有提高,甚至下降,那么无论它多清晰、标注多完整,都不能算好数据。

段楠把 JoyAI-RA 0.1 定位为一项验证工作:随着数据规模扩大和多样化,观察具身模型在理解、推理、预测和最终操作上的能力变化,并随着具身数据集体量扩大继续验证效果。

到这里,模型同时成为数据的消费者和质检工具。

这三层形成了一个完整闭环:EgoLive 采集经验,JoyAI-Sim 翻译经验,JoyAI-RA 学习并验证经验。数据训练模型,模型再反过来定义什么是好数据。

只有这个闭环能够运转,扩大数据规模才有意义。今年,京东还进一步提出将在两年积累 1000 万小时高质量数据,同时将具身训练扩展到千卡规模集群,并把数据处理成本降低了 10 倍以上。

物理 AI 何时抵达自己的 GPT-3.5 时刻,很大程度上取决于真实世界的经验能否被转化为可训练、可验证、可复用的数据。

模型装进硬件之后,难题才刚开始

即便 AI 已经会看、会学,要真正进入物理世界,仍然需要具体的产品和硬件作为入口。 

京东 JoyInside 想做的,就是补上这一环,把 AI 能力装进不同品类的硬件,让它在真实场景中与人交互、完成任务。

从 2025 年正式发布,到今年 WAIC,JoyInside 已经与近 200 家行业品牌合作,覆盖家电家居、机器人、玩具和健康设备等品类;按照公开计划,2026 年接入终端将超过 1000 万台。 

在这一年的产品实践中,JoyInside 形成了一个核心判断:从玩具、机器人到家居家电,设备正在从 " 被动执行控制 " 走向 " 主动完成目的 "。

过去使用蒸烤箱,用户需要设置温度、时间和模式,设备只负责执行参数;接入 AI 以后,用户只说 " 我想吃烤红薯 ",系统就要理解食材、口味和火候,并对最后有没有烤好负责。

人与设备的责任由此被重新划分:过去人负责决策,设备负责执行;现在人只提出需求,设备开始负责结果。

接入品类不断增加后,JoyInside 团队也发现,单品 AI 化的价值存在明显差异。目前使用频率最高的是台灯、点读笔等学习产品,其次是 AI 玩具;家居家电虽然一度占到团队接入 SKU 的约 80%,活跃度却相对较低。

家电家居当然需要 AI,只是单台设备能够提供的新价值仍然有限。灯还是灯,床垫还是床垫,增加一项对话功能,很难真正改变用户原来的使用习惯。

于是,JoyInside 把策略从单品推向了 AI Home。

AI Home 的思路是让不同设备根据用户目的进行联动分工。比如床垫感知身体和睡眠状态,灯光与音箱调节环境,机器人负责移动和观察;当用户说 " 我有点累 ",系统判断应该由谁响应、怎样配合。

京东科技 AI 创新业务 JoyInside 负责人戴文军把这种家庭形态称作一个 " 积木化的、更复杂的机器人 ":感知、交流和控制能力被分散在不同设备中,组合起来共同完成任务。

更重要的是,AI Home 还让产品重新接回了反馈循环。哪些场景真正被使用、一次联动有没有完成目的、用户是否接受设备主动服务,这些反馈会回到品牌、方案商和 JoyInside,决定下一代硬件应该增加什么能力、删除什么功能。

而在从单品走向 AI Home 的过程中,交付压力随之显现。模型可以统一训练,硬件却无法统一交付。台灯、床垫和蒸烤箱拥有完全不同的麦克风、传感器、芯片、声学结构和控制协议,JoyInside 团队不可能独自完成所有适配。

为解决交付问题,京东今年在 WAIC 把方案商推到了更重要的位置。

分工上,京东提供大模型、ASR、TTS 和家庭场景能力,品牌负责产品和品类知识,方案商则完成芯片、声学结构、控制协议与整机方案的工程适配,并触达大量仍在小批量试水、尚未进入京东视野的品牌,将新的产品机会带进这套体系,帮助 JoyInside 扩充品类。

结尾:

数字 AI 时代,一个基础模型可以成为一家公司的技术中心。但在物理世界,数据、模型、算力、硬件和产品中的任何一层出现问题,AI 都只能停留在 Demo 里。

京东的优势来自它能力的完整性:模型、数据、云基础设施、产品入口和真实场景可以彼此连接,组成一个不断转动的反馈循环。

所谓 " 全球最大物理世界运营中心 ",真正值得关注或许不是 " 大 ",而是 " 运营 ":数据训练模型,模型筛选数据,云降低迭代成本,JoyInside 把能力装进产品,产品与场景再不断返回新的经验。

一个模型可以生成一个世界,但只有成为一整套系统,才能真正进入这个世界。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

物理 京东 机器人 京东云 竞赛
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论