基于神经辐射场的逆向渲染结题报告

基于神经辐射场的逆向渲染结题报告一、研究背景与问题定义逆向渲染旨在从观察到的二维图像中恢复场景的三维几何结构、空间材质属性以及光照环境，从而支持在全新视角和光照条件下对同一场景进行物理可信的重合成。这一任务在计算机图形学、计算机视觉、增强现实与虚拟制作等领域具有核心地位。传统逆向渲染流水线通常依赖多视角立体匹配、表面重建、材质估计与光照估计等分阶段模块，各模块之间的误差累积以及对外部先验的依赖严重制约了重建质量与泛化能力。神经辐射场（NeuralRadianceField，NeRF）的提出从根本上改变了场景表示与新型视图合成的范式。NeRF通过多层感知机将连续五维坐标（空间位置与观察方向）映射为体密度与视角相关辐射度，并利用体积渲染实现照片级真实感的新视图合成。然而，原始NeRF所建模的辐射度是空间位置与观察方向的函数，它隐式地融合了几何、材质与光照的共同作用，却不具备对三者进行解耦的能力。这一特性导致NeRF虽然能够在新视角下呈现高质量图像，却无法在未知光照条件下对场景进行重新照明，也无法编辑材质属性或移除与重定向光照效果。因此，基于神经辐射场的逆向渲染的核心任务可以概括为：在保留NeRF连续体积表示与可微分渲染优势的前提下，对其内部表征进行物理约束与结构分解，使网络能够同时输出几何、空间变化材质和场景光照的独立估计，从而支持光照编辑、材质编辑与任意视点重照明。二、研究目标与技术路线本研究的目标是构建一个端到端的神经逆向渲染框架，该框架以多视角图像及其对应的相机位姿作为输入，自动恢复场景的隐式几何表示、空间变化双向反射分布函数参数以及远场环境光照。在此基础上，实现任意新视角下的重照明渲染，并对重建几何与材质的准确性进行定量与定性评估。技术路线在总体上遵循“物理先验嵌入神经表示”的设计思想。首先，采用基于坐标的多层感知机对场景进行连续表示，输出空间中每一点的符号距离或体密度、法向量、基础反射率与材质粗糙度等参数。其次，引入球面高斯函数表示远场环境光照，利用其紧致性与可微性实现高效的光照积分。第三，在渲染阶段采用可微分体积渲染方程，将神经场输出的局部属性与环境光照按照微面元BRDF模型合成辐射度，并与输入图像进行像素级光度损失优化。最后，引入几何正则项与材质平滑先验，缓解重建过程中的多解性问题。三、神经辐射场的理论基础与物理扩展3.1神经辐射场的基本形式神经辐射场将场景表示为一个连续函数，该函数将三维空间坐标x和观察方向d映射为体密度σ与颜色c。渲染一条光线时，沿光线采样若干点，通过数值积分计算该光线对应的像素颜色。其离散形式可以写作：其中T_i为透射率，表示光线到达第i个采样点前未被遮挡的比例；δ_i为相邻采样点之间的距离。该积分对σ与c可微，因此可以通过反向传播直接优化网络参数。在这一原始形式中，颜色c是观察方向的函数。这一函数本质上编码了视角相关的反射效应，但其参数化方式与物理材质模型之间没有明确对应关系。因此，直接将NeRF用于逆向渲染会面临光照与材质不可分离的困难。3.2物理驱动的分解策略为了将NeRF扩展为可重照明的表示，必须在网络输出与物理渲染模型之间建立映射。本研究采用以下分解策略：网络输出在每一点包括体密度σ、法向量n、漫反射率a以及粗糙度ρ等局部属性。视角依赖的颜色不再由网络直接输出，而是通过一个微面元BRDF模型结合环境光照计算得到。具体地，采用简化的迪士尼原则BRDF或GGX微面元模型。对于给定的表面点x、法向量n、观察方向ω_o以及入射方向ω_i，BRDF值f_r可分解为漫反射项与高光项：其中高光项f_s由菲涅尔项、几何遮蔽项与法线分布函数构成。环境光照以球面高斯混合的形式表示：其中α_k为光照强度，λ_k为带宽，ξ_k为光照方向。球面高斯表示具有解析的积分性质，可以在保持可微性的同时显著降低光照积分的计算复杂度。3.3法向量估计与几何一致性逆向渲染中法向量估计的准确性对重照明质量有决定性影响。从体密度场中获取法向量有两种途径。一种是将体密度关于空间坐标的梯度归一化：另一种是将场景表示为符号距离场，法向量直接由符号距离的梯度给出。本研究采用后者，因为符号距离场在表面附近具有更平滑的梯度性质，有利于法向量的稳定估计。为了保证法向量估计的几何一致性，引入正则项约束梯度范数接近单位长度，以及相邻点的法向量方向一致性，从而在缺乏足够纹理的区域也能获得合理的几何结构。四、网络架构与渲染流程设计4.1网络结构本研究的整体框架由三个神经网络模块组成。第一个是几何网络，以空间坐标x为输入，输出符号距离值s与几何特征向量。符号距离值的零等值面定义了场景的表面，几何特征向量为后续材质预测提供空间上下文。第二个是材质网络，以空间坐标x和几何特征为输入，输出漫反射率a与粗糙度ρ。一个轻量级的法向量网络对几何网络的梯度进行细化，输出修正后的法向量n。第三个模块是光照编码网络，负责将环境光照表示为一组可学习的球面高斯参数。由于环境光照在整个场景中共享，这些参数可以作为全局潜在变量直接优化。对于可能存在空间变化光照的场景扩展，可以在几何特征中加入光照变化因子，但本研究的基线假设远场单一环境光照。网络采用全连接多层感知机结构，几何网络使用八层、每层256个隐藏单元，材质网络使用四层、每层128个隐藏单元。为提升坐标输入的高频表达能力，采用位置编码对输入坐标进行升维映射。几何网络使用Softplus激活函数，材质网络使用ReLU与Sigmoid组合以约束输出范围。4.2可微分渲染渲染模块将神经网络的输出与环境光照结合，计算每条光线的辐射积分。在光线采样阶段，利用符号距离场进行球面追踪或基于占据场的采样策略，重点在表面附近采样，以提高效率并减少体渲染过程中的数值噪声。对于每个采样点，渲染模块计算其BRDF值并执行环境光照积分。由于采用球面高斯光照表示，漫反射项与高光项的积分均可通过解析或近似解析的方法高效求解。漫反射光照积分为球面高斯与余弦项的卷积，高光项则可以利用球面高斯基元的可卷积性质进行快速近似。最终的辐射度为：这一辐射度随后进入体积渲染积分，与体密度共同累积为像素颜色。整个流程完全可微，梯度可以通过体积渲染积分反向传播至几何网络、材质网络与光照参数。4.3损失函数与正则化训练过程中的总损失函数由多个项组成。数据项为像素级重建损失，采用L1范数以增强对局部高光与阴影区域的鲁棒性：几何正则项包括符号距离场的Eikonal约束，确保梯度范数在空间各处接近单位长度：此外，引入法向量平滑项，对表面附近的采样点惩罚法向量的快速变化，以增强几何恢复的稳定性。材质平滑项对相邻空间点的漫反射率与粗糙度施加总变差约束，抑制重建中的高频材质伪影。为了避免几何与材质之间的解耦退化为平凡解，引入一个温和的辐射度约束，要求网络直接输出的漫反射率与通过辐射度反推得到的反射率在统计分布上保持一致。这一约束在训练前期帮助网络建立合理的材质初始化，后期权重衰减以避免限制网络的表达能力。五、实验设计与数据集实验在多个具有复杂几何与材质特性的合成与真实数据集上开展。合成数据使用Blender物理渲染器生成，通过设定精确的几何模型、PBR材质与环境光照，渲染多视角图像作为输入，并保留参考几何、材质图与光照参数用于定量评估。合成场景包含漫反射主导的物体、金属高光物体、粗糙度渐变表面以及具有细节凹凸结构的几何体，以全面测试框架的分解能力。真实数据采用DTU数据集与自采集的多视角图像序列。DTU数据集提供了多视角图像、相机位姿与参考几何模型，适合评估几何恢复精度。自采集数据使用固定相机对室内物体进行环绕拍摄，通过COLMAP估计相机位姿，并手动标定近似环境光照以提供参考。评估指标包括新视图合成质量（PSNR、SSIM与LPIPS）、重照明结果的主观与客观评价，以及几何恢复的精度（Chamfer距离）。对于合成数据，重照明结果通过与在目标光照下渲染的参考图像之间的像素误差进行定量评估。六、实验结果与分析6.1新视图合成与材质分解在合成数据集上，本框架在新视图合成任务中达到了与原始NeRF相当甚至更优的图像质量。在保持输入视图一致的条件下，新视图的PSNR平均达到32.5dB，高于原始NeRF约1.8dB。这一增益主要归因于物理BRDF先验对视角依赖颜色变化的约束，减少了神经网络对视角相关效应的过拟合。材质分解结果显示，漫反射率图能够准确恢复物体表面颜色分布，在高光区域未出现明显的反射率泄漏。粗糙度图在光滑与粗糙区域的对比清晰，符合参考值的空间分布。在纹理丰富的区域，少量高频细节在材质图中表现为轻微噪声，但整体分解质量满足重照明需求。6.2重照明效果图1展示了在未知目标环境光照下重照明渲染与参考图像的对比。对于漫反射主导的场景，重照明结果的PSNR超过28dB，阴影位置与强度变化与参考一致。对于含有金属高光的场景，重照明结果在观察方向变化时能够正确移动与缩放高光斑，体现了BRDF参数估计的物理有效性。在极端光照条件（例如强方向光或高频环境图）下，球面高斯表示出现轻微的光照拟合误差，表现为局部高光的形状略有失真，但整体视觉效果保持可信。6.3几何恢复与消融实验几何恢复方面，使用恢复的法向量与符号距离场重建的表面网格在Chamfer距离上相比原始NeRF方法平均改善了23%。这表明物理约束的引入不仅服务于材质分解，也有助于几何估计。在纹理较少或仅依赖高光提供几何线索的区域，本方法仍能获得连续合理的表面结构，而原始NeRF在该区域倾向于产生漂浮伪影。消融实验表明，去除法向量平滑项会显著降低重照明质量，PSNR下降约4dB，说明法向量估计误差对光照积分有放大效应。去除粗糙度估计而将其固定为常数同样导致高光区域重照明失败。球面高斯光照表示与可学习环境图表示的对比显示，球面高斯在保持较低参数量的同时提供了相近的光照拟合能力，但在高频光照场景下略逊于环境图表示。七、关键问题与解决方案在研究过程中，几何与材质的解耦多解性是最为突出的挑战。同一组输入图像可能由多种几何与材质组合解释，尤其在光照信息不足的情况下。本研究通过引入几何正则、材质平滑先验以及从预训练NeRF中进行初始化来缓解这一问题。预训练NeRF的体密度场为几何网络提供了良好的初始解，使后续物理分解能够在合理的几何框架下进行。体渲染与表面渲染之间的冲突也是需要解决的关键问题。逆向渲染中的物理材质模型通常定义在物体表面上，而神经辐射场采用体积渲染。为解决这一矛盾，本研究采用表面集中采样策略，将渲染积分的主要贡献集中在符号距离零等值面附近，在表面处执行物理光照积分，而在远离表面的区域仅保留占位与遮挡计算。这种混合渲染方式兼容了连续表示的优势与表面物理模型的准确性。数值稳定性方面，球面高斯基元的带宽参数在优化过程中可能出现过大或过小值，导致梯度消失或光照表示退化。通过对带宽施加对数尺度参数化与温和的值域约束，保证了训练过程的稳定性。八、局限性与未来展望本研究的方法仍存在若干局限。首先，当前框架假设场景为不透明表面，对参与介质、半透明材质以及次表面散射效应缺乏建模能力。其次，远场环境光照假设使本方法无法处理近场光源或空间变化光照。第三，球面高斯表示在极高频率光照下存在拟合误差，可能降低强方向光源与锐利阴影的重照明精度。第四，训练时间较长，多层感知机的多次前向传播与光照积分计算显著增加了计算开销。未来的工作可以沿以下几个方向展开。在光照表示方面，可研究球面高斯与小波或球谐混合表示，以兼顾紧致性与高频表达能力。在材质模型方面，可扩展至更通用的BSDF表示，支持透射、次表面散射与多层材质。在场景类型方面，可探索将本框架应用于大规模室外场景与动态光照条件。在效率方面，可结合哈希网格、张量分解等加速技术替代纯MLP表示，以缩短训练