驱动之家 11-04
REDMI K100搭载小米WorldCast技术:一键生成3D运镜视频
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 11 月 4 日消息,小米技术官方发布文章,详细介绍其自研视觉生成框架 WorldCast 及在手机端的落地应用,该框架已搭载于 10 月 27 日发布的 REDMI K100,为用户提供 3D 运镜 AI 影像功能。

WorldCast 的核心能力是将静态照片转化为具有环绕、推拉、倾斜等运镜效果的 3D 视频。

用户只需从相册选择一张照片,AI 即可生成大角度 3D 运镜视频,且在镜头运动过程中保持画面中人物五官、发型、衣着的一致性。

这一功能并非孤立存在,它与一键动图、希区柯克变焦、延时摄影共同构成了 REDMI K100 的 AI 影像玩法矩阵。

从技术角度看,WorldCast 需要解决两大难题:一是复杂运镜轨迹的精准跟随,二是大角度视角变化下的角色身份一致性保持。

小米的解决方案包含三大模块:

首先通过深度估计模型将二维照片升至三维空间,构建带颜色的 3D 点云,再沿目标相机轨迹渲染引导图;

其次引入几何对齐的记忆注意力机制(GAMA),通过多视角锚点图补充角色背面等不可见区域的外观信息;

最后构建了包含 8 万样本的训练数据集和覆盖 42 个场景的评测基准 CLACT。

在 CLACT 基准测试中(42 个场景 x 6 类轨迹,与 13 个方法同台竞技),WorldCast 在全部相机控制与角色一致性指标上取得第一。

其中轨迹精度指标 ATE 从此前最优的 0.098 降至 0.065,跨视角几何一致性指标 MEt3R 达到全场最优,身份相似度相比次优方法提升约 28%,同时画面质量 IQ 保持在 0.719 的第一梯队水准。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

小米 ai redmi 效果 希区柯克
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…