英伟达于 6 月 1 日发布 Cosmos3,一款面向物理人工智能的开放世界基础大模型。该模型采用混合 Transformer 架构,结合推理 Transformer 与专精生成类 Transformer,基于包含数十亿条文本、图像、视频、音效及动作轨迹样本的多模态物理 AI 数据集训练而成。Cosmos3 原生支持文本、图像、视频、环境音效和动作内容的理解与生成,具备业界领先的物理仿真精度,可将物理 AI 的训练与评估周期从数月缩短至数日。在主流物理 AI 评测基准中,其世界生成精度、动作策略能力和视觉理解能力均位列第一。该模型提供多个版本:Cosmos3Super 适用于机器人与自动驾驶模型的二次训练;Cosmos3Nano 可在数秒内完成高质量视频解析与动作推理;主打边缘端实时推理的 Cosmos3Edge 即将上线。英伟达同时发起宇宙联盟(CosmosCoalition),联合全球世界模型研发团队与 AI 开发者,共同推进下一代世界模型技术发展。开发者可将 Cosmos3 作为多模态图文大模型、世界模型 / 视频基础模型或世界动作模型的主干网络使用。


登录后才可以发布评论哦
打开小程序可以发布评论哦