如何从一张普通的单幅图像准确估计物体的三维法线和材质属性，是计算机视觉与图形学领域长期关注的难题。

这种单图逆渲染任务存在严重的不确定性，传统方法通常需要多角度或多光源的拍摄条件，难以在日常场景中普遍应用。 

近日，由香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。

其成果已被计算机视觉顶级会议 CVPR 2025 正式接收。

核心立意

Neural LightRig 创新性地提出利用图像扩散模型（如 Stable Diffusion）的强大先验信息，生成虚拟的多光照图像，从而有效解决单图估计法线和 PBR 材质过程中存在的不确定性问题。

研究团队首次提出通过微调预训练的图像扩散模型，生成不同光照条件下的一致性多光照图像序列，这种方法有效减少了单图估计过程中的内在不确定性。

混合条件策略：通过通道级别的图像拼接与参考注意力机制的结合，引入输入图像的先验信息，有效保证了生成图像的颜色和纹理细节的一致性。

双阶段微调策略：首先仅微调扩散模型的初始卷积层及注意力层，以稳定早期训练；随后以较低学习率微调整个模型，进一步提升模型生成多光照图像的质量。

2. 基于 U-Net 的大型 G-buffer 重建模型

利用扩散模型生成的多光照图像作为辅助信息，团队设计了一个基于 U-Net 架构的回归模型，以实现对物体表面法线和 PBR 材质属性（包括反照率、粗糙度、金属性）的高效精确估计。

显式光照条件输入：通过对光源位置进行球面坐标编码，使模型能显式地关联不同光照方向下的图像变化，更有效地预测物体表面属性。

优化目标设计：采用余弦相似度损失和均方误差 ( MSE ) 联合优化法线估计，材质估计则采用简单而有效的均方误差损失。

数据增强策略：针对扩散模型生成图像与真实渲染图像之间的领域差异，提出随机降质、亮度调整、光照方向扰动和数据混合策略，以提高模型的泛化能力与稳定性。

实验表现

在自主构建的大规模数据集 LightProp 上的实验结果表明，Neural LightRig 在各项指标上全面超越现有先进方法：

法线估计：平均角度误差显著降低至 6.413 °，大幅提高估计精度（详见论文表 1 和图 5）；

材质估计与新光照下渲染效果：实现了对反照率、粗糙度和金属性等材质属性的精准估计，并能够生成逼真的单图重光照效果（详见论文表 2 与图 6 图 7）。

此外，该方法在真实世界图像中的泛化表现突出，展现出良好的实际应用潜力，适用于增强现实（AR）、虚拟现实（VR）和数字内容创作等广泛领域。

法线估计

材质估计

新光照渲染

开源与资源

为促进研究与应用，研究团队已公开了相关资源，欢迎社区同行积极使用和探索：

代码开源地址：

https://github.com/ZexinHe/Neural-LightRig  

数据集开源地址：  https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings  

预训练模型地址：  https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon  

论文链接：  https://arxiv.org/abs/2412.09593

项目主页：  https://projects.zxhezexin.com/neural-lightrig/

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

学术投稿请于工作日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉我们：

你是谁，从哪来，投稿内容‍

附上论文 / 项目主页链接，以及联系方式哦

我们会（尽量）及时回复你

点亮星标

科技前沿进展每日见