什么是UniRelight

UniRelight 概述
UniRelight 是 NVIDIA AI 团队联合多伦多大学、Vector Institute 开发的 通用视频重照明（video relighting）技术。它能够仅凭单张图片或一段视频，就在后期对光照进行任意修改，实现白天↔夜晚、添加移动光源、改变光照颜色等高质量的光影重塑。该技术基于 扩散模型（diffusion model）‍，在一次前向传播中同时完成 内在分解（albedo 估计）‍ 与 光照合成，从而保证时序一致性和细节保真。

1. 技术原理

1. 联合建模：模型在潜在空间中把 反射率（albedo）‍ 与 目标光照（environment map）‍ 进行拼接，使用视频扩散 Transformer（DiT）一次性去噪，既预测场景的固有属性，又生成重新照明后的视频。
2. 数据来源
   • 合成数据：约 108 k 条 57 帧的合成视频，使用 36 k 个 3D 资产、4 k 种 PBR 材质和 766 张 HDR 环境图进行渲染。
   • MIT 多光照数据：985 条室内场景，每个场景提供 25 种光照条件。
   • 真实世界自动标注：约 150 k 条单光照视频，利用预训练逆渲染模型自动生成 albedo，提升对真实场景的泛化能力。
3. 训练策略：在合成、MIT 多光照和自动标注三类数据上交叉训练，采用条件化的噪声注入与多任务损失，使模型在不同光照分布下均能保持稳定表现。
4. 推理流程：输入原始视频 + 目标 HDR 环境图 → VAE 编码 → 联合潜在拼接 → 35 步扩散去噪 → VAE 解码，得到 时序一致、光影自然 的重照明视频，单卡 A100 推理约 445 s（57 帧）。

2. 核心优势

3. 典型应用场景

1. 影视后期：快速将拍摄素材的光照从白天改为夜晚，或为场景添加虚拟灯光，实现“一键重塑”。
2. 虚拟/增强现实：在实时渲染中根据用户环境光动态调整虚拟对象的光照，使其更自然融合。
3. 自动驾驶与机器人数据增强：通过多种光照条件生成同一场景的训练样本，提升感知模型对光照变化的鲁棒性。
4. 游戏与数字内容创作：为素材库提供多光照版本，降低美术师的手工调光工作量。

4. 公开资源与链接

5. 小结

UniRelight 将 内在分解 与 光照合成 融合进同一扩散模型，实现了 单输入、单次推理、高清时序一致 的视频重照明。通过大规模合成与真实自动标注数据的混合训练，它在多种材质、复杂光照以及真实场景下均表现出色，已成为后期特效、AR/VR、自动驾驶等领域的前沿工具。未来代码即将开源，预计将在计算机图形学与视觉感知社区产生更广泛的影响。