快科技 11 月 4 日消息,小米技术官方发布文章,详细介绍其自研视觉生成框架 WorldCast 及在手机端的落地应用,该框架已搭载于 10 月 27 日发布的 REDMI K100,为用户提供 3D 运镜 AI 影像功能。
WorldCast 的核心能力是将静态照片转化为具有环绕、推拉、倾斜等运镜效果的 3D 视频。
用户只需从相册选择一张照片,AI 即可生成大角度 3D 运镜视频,且在镜头运动过程中保持画面中人物五官、发型、衣着的一致性。

这一功能并非孤立存在,它与一键动图、希区柯克变焦、延时摄影共同构成了 REDMI K100 的 AI 影像玩法矩阵。
从技术角度看,WorldCast 需要解决两大难题:一是复杂运镜轨迹的精准跟随,二是大角度视角变化下的角色身份一致性保持。

小米的解决方案包含三大模块:
首先通过深度估计模型将二维照片升至三维空间,构建带颜色的 3D 点云,再沿目标相机轨迹渲染引导图;
其次引入几何对齐的记忆注意力机制(GAMA),通过多视角锚点图补充角色背面等不可见区域的外观信息;
最后构建了包含 8 万样本的训练数据集和覆盖 42 个场景的评测基准 CLACT。

在 CLACT 基准测试中(42 个场景 x 6 类轨迹,与 13 个方法同台竞技),WorldCast 在全部相机控制与角色一致性指标上取得第一。
其中轨迹精度指标 ATE 从此前最优的 0.098 降至 0.065,跨视角几何一致性指标 MEt3R 达到全场最优,身份相似度相比次优方法提升约 28%,同时画面质量 IQ 保持在 0.719 的第一梯队水准。


登录后才可以发布评论哦
打开小程序可以发布评论哦