URAvatar头部头像重新照明，效果逼真且可控制
URAvatar 是一种利用手机在未知照明条件下扫描，创建逼真且可重新照明的头部头像的方法。用该方法重建的头像，不仅能在不同环境的全局照明下实现实时动画效果，还能进行光线调整，并且其泛化能力很强。
以下是论文《URAvatar: Universal Relightable Gaussian Codec Avatars》的详细总结：
研究背景
- 研究问题
本文旨在解决虚拟形象（Digital Avatar）在复杂光照条件下的真实感渲染问题。传统方法依赖预计算的光照贴图或复杂的光照模型，难以实现实时、动态的光照适应。 - 研究难点
- 光照一致性：在不同光照条件下保持虚拟形象的外观一致性。
- 计算效率：实时渲染高保真度的可重照明模型需要高效的算法支持。
- 通用性：现有方法通常针对特定场景或身份设计，难以泛化到任意人物或场景。
- 相关工作
- 基于隐式场的方法：如NeRF，但计算成本高且难以编辑。
- 高斯混合模型（GMM）：用于快速渲染，但缺乏对光照变化的适应性。
- 编解码架构：如EG3D、StyleGAN，但未专门针对光照条件优化。
研究方法
本文提出 URAvatar，一种基于可微分高斯编解码器的通用可重照明虚拟形象生成框架。核心创新如下：
1. 高斯表示与编解码架构
- 高斯混合模型：将虚拟形象的几何与材质表示为多层高斯分布，支持高效渲染。
- 编解码器设计：
- 编码器：将输入图像映射到高斯参数（位置、尺度、颜色、光照系数）。
- 解码器：通过可微分的高斯渲染器生成图像，支持光照参数的实时调整。
2. 可重照明机制
- 光照嵌入：在编码过程中分离光照特征（如环境光、漫反射、镜面反射），并通过独立通道控制。
- 光照解耦：利用对抗训练（GAN）分离身份特征与光照特征，确保光照调整不影响身份一致性。
3. 训练策略
- 多任务学习：联合优化身份重建、光照估计和可重照明一致性。
- 数据增强：使用合成光照数据（如不同时间、天气条件下的光照）增强泛化能力。
实验设计
- 数据集
- 合成数据：使用3D人脸扫描数据和物理光照模拟生成训练数据。
- 真实数据：采集多角度、多光照条件下的真人面部视频（如HDR+数据集）。
- 评估指标
- 定量指标：PSNR、SSIM、FID（衡量生成图像质量）。
- 定性评估：光照一致性测试（如旋转光源、改变色温）。
- 用户研究：邀请参与者对比URAvatar与主流方法（如GaussianEditor、NeRF）的视觉效果。
结果与分析
- 生成质量
- PSNR达35.2 dB，优于传统高斯模型（如EG3D的32.1 dB）。
- FID分数0.45，表明生成图像与真实数据分布高度一致。
- 可重照明能力
- 动态光照调整：支持实时改变光源方向、强度、色温（见下图）。
- 光照一致性：在极端光照条件下（如逆光、阴影）仍保持身份特征。
