【《梯度域渲染相关工作综述》8400字】

梯度域渲染相关工作综述目录TOC\o"1-3"\h\u30573梯度域渲染相关工作综述 197871.1梯度域渲染的提出 183831.1.1Metropolis光线传输 1242801.1.2梯度域的Metropolis光线传输 351941.2梯度域渲染的后续优化 5314061.2.1梯度域渲染的改进 5290611.2.2梯度域渲染与其他光线传输算法的结合 652251.3梯度域渲染与图像空间降噪以及神经网络结合 7177151.3.1图像空间降噪 759841.3.2神经网络降噪器 983011.3.3神经网络降噪与梯度域渲染的结合 10梯度域渲染的提出梯度域渲染的开创制作是梯度域的Metropolis光线传输ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)。本小节将从细节介绍Metropolis光线传输和梯度域渲染的算法原理。Metropolis光线传输一些蒙特卡洛光线追踪的优化算法是通过对光路采样方式的改变来减小噪音。其中一个分支是适应性采样，也就是使得样本的概率分布尽量相近似地正比于渲染方程中的被积函数，那么这样就能使方差达到最小。可以通过以下例子来考察这个事实。我们将渲染方程的求解写为一个函数fxF其中fx的形式是未知的。假设我们以概率密度函数px进行采样，而px满足px∝f可见，采样统计量的值总是为一个常数，也就意味着方差为零。从这个例子可以看出，如果我们可以让采样的概率密度函数尽量正比于渲染方程中的被积函数，可以极大程度上地减小方差。因此，适应性的采样对蒙特卡洛光线追踪渲染得到的图片降噪十分有帮助。Metropolis光线传输算法ADDINEN.CITE<EndNote><Cite><Author>Veach</Author><Year>1997</Year><RecNum>2</RecNum><DisplayText>(Veach&Guibas,1997)</DisplayText><record><rec-number>2</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622188830">2</key></foreign-keys><ref-typename="ConferencePaper">47</ref-type><contributors><authors><author>EricVeach</author><author>LeonidasJ.Guibas</author></authors></contributors><titles><title>Metropolislighttransport</title><secondary-title>Proceedingsofthe24thannualconferenceonComputergraphicsandinteractivetechniques</secondary-title></titles><pages>65–76</pages><keywords><keyword>globalillumination,variancereduction,lightingsimulation,physically-basedrendering,MarkovChainMonteCarlomethods,radiativeheattransfer,Metropolis-Hastingsalgorithm,MonteCarlointegration</keyword></keywords><dates><year>1997</year></dates><publisher>ACMPress/Addison-WesleyPublishingCo.</publisher><urls><related-urls><url>/10.1145/258734.258775</url></related-urls></urls><electronic-resource-num>10.1145/258734.258775</electronic-resource-num></record></Cite></EndNote>(\o"Veach,1997#2"Veach&Guibas,1997)通过Metropolis-Hastings算法计算渲染方程积分可以对路径空间进行局部以及全局的非常彻底且有效的探索，使得光路集中在路径空间中携带照度较大的区域，也就是使得样本尽量按照渲染方程被积函数进行分布。Metropolis采样算法在渲染过程中可以使在入射光度未知的情况下达到这个目的。在实际应用中，这一方面使得渲染的效率更高，减少贡献较小的无意义的光路，另一方面又可以捕捉到较难移采样却较亮的区域，例如焦散效果。在Metropolis光线传输算法提出之前，光线追踪中的光路样本都是独立生成的，而Metropolis光线传输方法让历史样本中的重要的光路在后续的采样中提供指导，使得光路样本之间具有相关性。具体地，在随机生成了第一个光路样本X0之后，接下来，我们通过对样本Xi−1进行一次随机的变异提出一个样本X',通过选择是否接受样本X'，来生成下一个样本Xi在选定一个变异规则后，我们记从X状态转移到X'T在给定上述转移概率的情况下，我们定义接受概率为aXf根据这个平衡态条件，我们可以定义出aX→Xa通过合理地选择变异规则，我们可以使得变异的样本尽量与上一个状态的样本差别较大，这样便可以更加快速且彻底地探索样本空间。在光路采样的过程中，我们可以很自然地应用Metropolis采样的方法来高效地对样本空间进行探索。梯度域的Metropolis光线传输后来，在Metropolis光线传输算法的基础上，ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)提出了梯度域的Metropolis算法，也就是梯度域的蒙特卡洛光线追踪的开创之作。考虑到通常原图的梯度具有很好的稀疏性，在平滑的区域梯度趋近于零，而高频区域或者边界区域则包含着更多的信息量，因此利用Metropolis算法可以将光路样本集中在梯度较大的地方，进一步提高渲染效率；另一方面，由于信号的噪声大小通常情况下正比于信号的强度，因此梯度图像的稀疏性可以有效达到降噪的效果。在实际渲染过程中，梯度图像是被直接渲染出来的，但同时为了对最终的重构过程提供指导，也可以将样本进行简单的线性组合获得一个粗糙的原图。为了保证这个粗糙的图像也拥有一定的质量，在进行Metropolis光线传输时，我们希望使得样本的分布既考虑到了被积函数梯度的分布也考虑到了被积函数本身的分布。同时，算法的另一个关键部分则是利用一个确定性的映射得到与主光路相似的周围像素的光路，这种采样方式可以直接计算出路径空间的梯度。具体地，我们可以定义一个转移函数:T其中x是一条与屏幕上sx,sy点相交的基础光路，而(3.6)式定义的转移函数作用在基础光路x上，可以确定性地得到一条与屏幕arg其中，Hdx和Hdy分别是对行和对列作差分的映射矩阵。也就是说，我们希望重构后的图像的差分梯度尽量和梯度蒙特卡洛渲染得到的梯度图像相近，重构后的图像其本身要和梯度渲染过程中产生的粗糙原图相近。这两项之间有一个系数α来控制，α决定了梯度图像和提供指导的粗糙图像对最终重构图像的影响权重，对于不同的场景，图STYLEREF1\s3SEQ图\*ARABIC\s11使用1范数和2范数进行Poisson重构效果对比ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)在实际实验中，在采样率较低的情况下，二范数重构可能会获得不理想的结果，尤其是在边缘部分，会有比较明显的人工痕迹。经过尝试，可以发现使用一范数能够获得更好的效果，虽然可以证明用一范数进行重构是有偏的。图3.1展示了分别用一范数和二范数进行重构的差别，可以看到，在使用二范数进行重构时，在颜色的边界处有一些较为明显的人工痕迹，可能是由梯度图像在边界附近的噪音导致的，而使用一范数进行重构则可以显著降低这种人工痕迹。在之后的小节中我们将进一步用实验说明这个问题。 本质上，梯度域的渲染通过这个确定性的映射Tδx,δyx引入了最终图片像素之间的统计相关性ADDINEN.CITE<EndNote><Cite><Author>Back</Author><Year>2020</Year><RecNum>6</RecNum><DisplayText>(Back,Hua,Hachisuka,&Moon,2020)</DisplayText><record><rec-number>6</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622208699">6</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JongheeBack</author><author>Binh-SonHua</author><author>ToshiyaHachisuka</author><author>BochangMoon</author></authors></contributors><titles><title>Deepcombinerforindependentandcorrelatedpixelestimates</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article242</pages><volume>39</volume><number>6</number><keywords><keyword>combinationkernel,montecarloraytracing</keyword></keywords><dates><year>2020</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3414685.3417847</url></related-urls></urls><electronic-resource-num>10.1145/3414685.3417847</electronic-resource-num></record></Cite></EndNote>(\o"Back,2020#6"Back,Hua,Hachisuka,&Moon,2020)。这种相关性可以使得样本之间共享一些信息，从而提高渲染效率，也一定程度上可以发现离群的样本的存在并利用其他样本的信息对其进行修复。梯度域的Metropolis渲染是梯度域渲染的开山之作，但无疑这个算法具有一些局限性，梯度域的思路可以进行进一步的推广。梯度域渲染的后续优化梯度域渲染的改进此后，有许多研究工作对梯度域的蒙特卡洛渲染算法进行了推广和优化。ADDINEN.CITE<EndNote><Cite><Author>Manzi</Author><Year>2014</Year><RecNum>5</RecNum><DisplayText>(Manzi,Rousselle,Kettunen,Lehtinen,&Zwicker,2014)</DisplayText><record><rec-number>5</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198882">5</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarcoManzi</author><author>FabriceRousselle</author><author>MarkusKettunen</author><author>JaakkoLehtinen</author><author>MatthiasZwicker</author></authors></contributors><titles><title>Improvedsamplingforgradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article178</pages><volume>33</volume><number>6</number><keywords><keyword>globalillumination,metropolislighttransport</keyword></keywords><dates><year>2014</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2661229.2661291</url></related-urls></urls><electronic-resource-num>10.1145/2661229.2661291</electronic-resource-num></record></Cite></EndNote>(\o"Manzi,2014#5"Manzi,Rousselle,Kettunen,Lehtinen,&Zwicker,2014)提出了对原算法的优化，通过改进光路映射的方式以及优化采样方式减少了人工痕迹，并将梯度推广到非相邻像素之间。观察到原算法存在一些由采样方式引入对人工痕迹以及梯度在奇点附近的误差，这篇工作应用了三个技巧对梯度域的Metropolis算法进行改进。第一个改进是，采用一种类似于重要性采样的方法，用一个启发式的权重将多种梯度采样策略结合起来，例如，可以将奇点附近的样本权重降低，从而可以合理地处理一些容易产生突兀的像素点的光路样本。第二个技巧是，考虑梯度图像像素空间的两个像素，用一种策略来从中选出一个更优的路径空间邻居，也就是将像素空间的信息应用到梯度渲染采样中选取相邻像素光路的过程，从而可以进一步优化采样策略，使得图片中由奇点导致的人工痕迹减少。最后一种优化技巧是讲像素空间的梯度，推广到任意两个像素之间，通过这个推广可以选取到相似度更高，梯度更小的一对像素，利用更小的梯度便可以获得更少的噪音。另外，结果显示，在梯度域渲染的基础上应用以上三种策略可以在Poisson重构的过程中更好地保留图片中的细节结构。此后，又有研究工作ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2015</Year><RecNum>4</RecNum><DisplayText>(Kettunenetal.,2015)</DisplayText><record><rec-number>4</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198877">4</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>MarcoManzi</author><author>MiikaAittala</author><author>JaakkoLehtinen</author><author>FrédoDurand</author><author>MatthiasZwicker</author></authors></contributors><titles><title>Gradient-domainpathtracing</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article123</pages><volume>34</volume><number>4</number><keywords><keyword>gradient-domain,lighttransport,globalillumination,pathtracing</keyword></keywords><dates><year>2015</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2766997</url></related-urls></urls><electronic-resource-num>10.1145/2766997</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2015#4"Kettunenetal.,2015)将梯度域渲染推广到了路径追踪算法。将梯度域渲染应用在Metropolis光线传输算法中的一个主要思路是可以将样本尽量集中在梯度较大的区域。然而，这篇研究工作表明，梯度域渲染也可以直接应用到标准的蒙特卡洛光线追踪上，并且可以获得更加低噪音的效果。注意到，Metropolis光线传输在实现上非常复杂，不便于应用，并且Metropolis算法在某些情况下收敛性并不好，有时会导致某些区域呈块状整体偏亮或者偏暗。对于梯度渲染，这个问题在一些情况下会尤其严重，因为梯度图像较亮的区域更加稀少。因此，我们希望将梯度域的渲染推广到标准的光线追踪中。在不使用Metropolis采样的情况下，仍然保留利用转移函数Tδx,δyx来对每一个基础光路生成周围像素的偏移光路的方式。研究进一步证明了转移函数带来的样本之间的强相关性从而引入的最终图像中相邻像素颜色的强相关性对梯度域渲染的降噪效果起到至关重要的作用，且从理论上可以分析梯度域的标准光线追踪比采用Metropolis采样算法具有更好的效果，在收敛性、最终重构后的降噪效果上都更优。梯度域渲染与其他光线传输算法的结合为了进一步降低方差，梯度域蒙特卡洛光线追踪也被和其他渲染加速算法结合进行应用。在某些复杂场景中，单向的光线追踪可能会很难以采样到可以到达光源的有效光路。例如假设光源和主要的场景物体之间有一些体积较大的遮挡物，但光线仍然可以透过遮挡物的缝隙到达物体表面，如果利用传统的蒙特卡洛光线追踪算法从相机出发追踪光线，便很难以采样到具有较高照度的光路，这会导致整个场景噪音非常大。为了解决这个问题，双向光线追踪可以同时从相机和光源出发构造子光路，然后根据物体的BRDF以一定的方式对光路进行合理的连接。如果将梯度域的蒙特卡洛光线追踪与双向渲染方法相结合，便可以拓宽梯度域渲染的普适性，在上述极端的场景中也可以达到不错的效果ADDINEN.CITE<EndNote><Cite><Author>Manzi</Author><Year>2015</Year><RecNum>14</RecNum><DisplayText>(Manzi,Kettunen,&Aittala,2015)</DisplayText><record><rec-number>14</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622365301">14</key></foreign-keys><ref-typename="ConferencePaper">47</ref-type><contributors><authors><author>MarcoManzi</author><author>MarkusKettunen</author><author>MiikaAittala</author></authors><secondary-authors><author>JaakkoLehtinenandDerekNowrouzezahrai</author></secondary-authors></contributors><titles><title>Gradient-DomainBidirectionalPathTracing</title><secondary-title>EurographicsSymposiumonRendering</secondary-title></titles><dates><year>2015</year></dates><publisher>TheEurographicsAssociation</publisher><urls></urls></record></Cite></EndNote>(\o"Manzi,2015#14"Manzi,Kettunen,&Aittala,2015)。在结合两个算法的基础上，研究工作也提出了一种通过重要性采样来加速转移函数生成偏移路径的方法。结果显示，两种算法的结合比单独地使用其中一种算法在上述场景中表现更加优异。之后，也有研究工作将梯度域渲染与光路复用相结合ADDINEN.CITE<EndNote><Cite><Author>Bauszat</Author><Year>2017</Year><RecNum>16</RecNum><DisplayText>(Bauszat,Petitjean,&Eisemann,2017)</DisplayText><record><rec-number>16</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622368740">16</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>PabloBauszat</author><author>VictorPetitjean</author><author>ElmarEisemann</author></authors></contributors><titles><title>Gradient-domainpathreusing</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article229</pages><volume>36</volume><number>6</number><keywords><keyword>lighttransportsimulation,pathreusing,globalillumination,gradient-domainrendering</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3130800.3130886</url></related-urls></urls><electronic-resource-num>10.1145/3130800.3130886</electronic-resource-num></record></Cite></EndNote>(\o"Bauszat,2017#16"Bauszat,Petitjean,&Eisemann,2017)。光路复用是一种蒙特卡洛光线追踪的加速算法，通过特定的方法共用一些相邻像素的光路样本，我们可以以较低的采样率获得理想的渲染效果。但是光路复用算法有一些明显的缺陷，一方面，在一些拥有大量镜面和高光材料的场景中，光路复用的效率将会大大降低。另一方面，相邻像素之间共享样本的规则必须非常谨慎的选择，在一些情况下会导致肉眼可见的人工痕迹，使得渲染结果非常不自然。从概念上，我们可以发现光路复用算法跟梯度域渲染有一些共通之处，光路复用通过共享样本的方式引入了像素之间的相关性，而这种相关性在一般情况下会导致一些难以接受的人工痕迹。相反，梯度域渲染正需要利用样本之间的相关性来获得稀疏的梯度图像。如果我们可以直接在梯度域进行光路复用，相比原本的光路复用算法可以极大地避免强相关性带来的人工痕迹，且光路复用的形式可以使得我们用更少的样本渲染噪音较小的梯度图像。因此，这篇研究工作将光路复用算法拓展到了梯度领域，在保留梯度域渲染的转移函数生成偏移路径的思路下对其进行了扩展。结果显示，将这两种算法结合可以很好地处理高光表面，得到非常自然且平滑的渲染效果。在复杂的场景中，这种方法还可以加速梯度图像的蒙特卡洛光线追踪的收敛速度，从而减少因为梯度图像中的个别噪音导致的重构后的图像中有明显的突兀人工痕迹的特点。梯度域渲染与图像空间降噪以及神经网络结合图像空间降噪以上提到的对蒙特卡洛光线追踪进行降噪和优化的一些方法都是在光路空间进行研究，改变光路空间的采样方式，使得光路样本对场景更具有适应性。近年来，另一个流行的蒙特卡洛光线追踪降噪的分支是图像空间的降噪，也就是结合一些场景信息和特点直接对渲染后图像的各个像素进行降噪处理。由于图像空间的降噪往往可以和路径空间的降噪算法同时使用，也就是说，图像空间的降噪可以看作是光线追踪渲染的一个后处理算法，在渲染的过程中可以根据需要任意应用一种合适的光路空间降噪算法，也就是采样优化算法，然后在用图像空间的降噪器对整个图片进行降噪。 一些传统的图像空间降噪器通过人工构造一个过滤器对图像进行一些平滑化的处理。而更高级的降噪器可以根据图像特点或是场景特点适应性地对每个像素选择不同的过滤器。渲染中基于图像的降噪和图像处理中的自然图片降噪有所不同的是，渲染降噪可以利用很多场景信息作为辅助。在经典的图像处理中，常见的过滤器例如双边过滤器，其原理是构造一个过滤器使得离中心像素越近且颜色跟中心像素越接近的像素在重构时对中心像素的贡献权重越大，权重的具体形式如下：w这是一个高斯形式的过滤器，其中σs2和σr2是可以手动设置的两个参数p和q表示两个像素的位置坐标参数，经典的基于回归的降噪器NFORADDINEN.CITE<EndNote><Cite><Author>Bitterli</Author><Year>2016</Year><RecNum>17</RecNum><DisplayText>(Bitterlietal.,2016)</DisplayText><record><rec-number>17</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622370697">17</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BenediktBitterli</author><author>FabriceRousselle</author><author>BochangMoon</author><author>JoséA.Iglesias-Guitián</author><author>DavidAdler</author><author>KennyMitchell</author><author>WojciechJarosz</author><author>JanNovák</author></authors></contributors><titles><title>Nonlinearlyweightedfirst-orderregressionfordenoisingMonteCarlorenderings</title><secondary-title>ComputerGraphicsForum(ProceedingsofEGSR)</secondary-title></titles><periodical><full-title>ComputerGraphicsForum(ProceedingsofEGSR)</full-title></periodical><pages>107-117</pages><volume>35</volume><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>(\o"Bitterli,2016#17"Bitterlietal.,2016)，也应用了类似的思路，在渲染的过程中可以以很低的代价获得一些跟场景信息有关的辅助特征，例如第一个交点的深度，法向量，反照率，等等。我们希望在降噪后的图片中能够达到渲染的图片值与这些辅助特征中的值尽量正相关，那么我们可以构造出一个基于这个原则的过滤器，使得过滤后的图片的每个像素满足，特征空间中中心像素与周围像素越近，那么中心像素与此像素的颜色就应该越相近。由此可以给出如下形式的一个像素域的降噪过滤器：c其中wx表示基于像素对应的辅助特征向量过滤权重，其形式与(3.8)式中的wc这种根据辅助特征向量对渲染图片进行一阶回归的方法可以很好地与梯度域蒙特卡洛光线追踪降噪进行结合，因为其中也考虑到了对图像的梯度进行处理，在后面的章节中我们将描述如何将此降噪器与梯度域渲染相结合。神经网络降噪器除了传统的回归降噪器，由于近年来神经网络的方法在图像处理领域得到了非常广泛且成功的应用，许多蒙特卡洛光线追踪的降噪器也开始应用神经网络进行图像空间的降噪。一个经典的例子是KPCN降噪器ADDINEN.CITE<EndNote><Cite><Author>Bako</Author><Year>2017</Year><RecNum>18</RecNum><DisplayText>(Bakoetal.,2017)</DisplayText><record><rec-number>18</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622374736">18</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SteveBako</author><author>ThijsVogels</author><author>BrianMcwilliams</author><author>MarkMeyer</author><author>JanNováK</author><author>AlexHarvill</author><author>PradeepSen</author><author>TonyDerose</author><author>FabriceRousselle</author></authors></contributors><titles><title>Kernel-predictingconvolutionalnetworksfordenoisingMonteCarlorenderings</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article97</pages><volume>36</volume><number>4</number><keywords><keyword>MonteCarlorendering,MonteCarlodenoising,globalillumination</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3072959.3073708</url></related-urls></urls><electronic-resource-num>10.1145/3072959.3073708</electronic-resource-num></record></Cite></EndNote>(\o"Bako,2017#18"Bakoetal.,2017)。沿用了NFOR的思路，KPCN将辅助特征和有噪音的欠采样的原图一起作为神经网络的输入，并输出一个过滤器，这个过滤器储存了每个像素对应的一个n×n的矩阵，矩阵的元素对应着中心像素周围n×n个像素在重构时对应的权重值。神经网络的损失函数是重构后的图像与真值之间的L2误差，真值是在构造数据集是通过足够的样本量使用蒙特卡洛光线追踪获得的。也就是说，我们在拥有足够的数据集的情况下，可以训练出一个神经网络，它可以根据提供场景信息的辅助向量以及原图本身计算出一个能最大程度降低噪音并保持原图结构细节的过滤器作用在原图上，这个过滤器针对每个像素的值是不同的，具有局部性。神经网络可以构造一个非常强大的非线性模型，在图片处理方面可以获得非常好的效果。KPCN所使用的一个技巧是值得注意的，也就是考虑到场景中的物体材料有镜面的成分也有粗糙的成分，渲染的图片具有很高的动态范围，这会导致最终神经网络中的权重十分不稳定。这两种成分具有非常不同的噪音特征和空间特征，于是我们可以在利用蒙特卡洛光线追踪进行数据集的渲染时将粗糙的成分和镜面的成分分别输出，然后对两种成分的图像加上辅助特征利用两条独立的神经网络分别进行训练。此外，对于两种成分的不同特征可以做一些不同的预处理。镜面成分对应的像素颜色动态范围很高，因此可以对整张图片像素颜色取对数再输入神经网络。而对于粗糙成分，我们可以先整张图除以反照率，使得图片颜色更加平滑均匀，最终输出的过滤器作用在除掉反照率的图片上，最后再乘上反照率，这样可以使得神经网络的任务简化，同时又可以很好地保留场景中的纹理细节信息。这个技巧在之后的实验中也会涉及到。此后，有研究工作用样本而不是图片作为输入利用神经进行降噪，将神经网络模型应用到了样本空间ADDINEN.CITE<EndNote><Cite><Author>Gharbi</Author><Year>2019</Year><RecNum>20</RecNum><DisplayText>(Gharbi,Li,Aittala,Lehtinen,&Durand,2019)</DisplayText><record><rec-number>20</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385924">20</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MichaëlGharbi</author><author>Tzu-MaoLi</author><author>MiikaAittala</author><author>JaakkoLehtinen</author><author>FrédoDurand</author></authors></contributors><titles><title>Sample-basedMonteCarlodenoisingusingakernel-splattingnetwork</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article125</pages><volume>38</volume><number>4</number><keywords><keyword>MonteCarlodenoising,deeplearning,data-drivenmethods,convolutionalneuralnetworks</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3322954</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3322954</electronic-resource-num></record></Cite></EndNote>(\o"Gharbi,2019#20"Gharbi,Li,Aittala,Lehtinen,&Durand,2019)。另外还有相关工作将生成对抗网络（GAN）应用到蒙特卡洛光线追踪的降噪中ADDINEN.CITE<EndNote><Cite><Author>Xu</Author><Year>2019</Year><RecNum>19</RecNum><DisplayText>(Xuetal.,2019)</DisplayText><record><rec-number>19</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385914">19</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BingXu</author><author>JunfeiZhang</author><author>RuiWang</author><author>KunXu</author><author>Yong-LiangYang</author><author>ChuanLi</author><author>RuiTang</author></authors></contributors><titles><title>AdversarialMonteCarlodenoisingwithconditionedauxiliaryfeaturemodulation</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article224</pages><volume>38</volume><number>6</number><keywords><keyword>featuremodulation,adversariallearning,MonteCarlodenoising,pathtracing</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3355089.3356547</url></related-urls></urls><electronic-resource-num>10.1145/3355089.3356547</electronic-resource-num></record></Cite></EndNote>(\o"Xu,2019#19"Xuetal.,2019)，将利用辅助特征进行降噪的问题视为条件性的图像生成问题，由此可以更充分地利用辅助特征的信息，并可以以更大的自由度通过神经网络解决降噪问题。神经网络降噪与梯度域渲染的结合总体上看，神经网络的方法非常直接，并不需要给出从原图到降噪后的图像之间的映射的解析形式，只需要给出神经网络的输入和输出，在数据集足够大的情况下便可以获得一个很好的降噪器模型。根据这个思路，一些研究工作将梯度域的渲染结合到神经网络降噪器中。ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunen,Härkönen,&Lehtinen,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikHärkönen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunen,Härkönen,&Lehtinen,2019)直接将梯度图像作为辅助特征的其中几个通道。这篇工作采用了有监督学习的方式，神经网络结构采用了经典的U-net，如图3-2所示。网络的输入是一个16通道的图像，其中包括有噪音的原图3个通道，x和y方向的梯度分别3个通道，另外还有包括深度、反照率、法向量在内的7个辅助特征通道，网络的输出直接是降噪后的RGB图像。这个方法非常简单直接地将梯度域渲染算法应用到神经网络降噪器中，其可解释性并不强，且丢失了梯度域渲染中梯度图片本来的一些特征，而仅仅将其作为一个辅助特征加入到神经网络的输入中。图STYLEREF1\s3SEQ图\*ARABIC\s12网络结构图示ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunenetal.,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikHärkönen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunenetal.,2019)目前梯度域渲染与神经网络结合的最优降噪器是Gradnet降噪器ADDINEN.CITE<EndNote><Cite><Author>Guo</Author><Year>2019</Year><RecNum>21</RecNum><DisplayText>(Guoetal.,2019)</DisplayText><record><rec-number>21</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388447">21</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JieGuo</author><author>MengtianLi</author><author>QueweiLi</author><author>YutingQiang</author><author>BingyangHu</author><author>YanwenGuo</author><author>Ling-QiYan</author></authors></contributors><titles><title>GradNet:unsuperviseddeepscreenedpoissonreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article223</pages><volume>38</volume><number>6</number><keywords><keyword>imagereconstruction,deeplearn