CN114332250B 使用时间累积来对动态光线追踪场景进行去噪的方法、系统和存储介质 （辉达公司）

使用时间累积来对动态光线追踪场景进行本发明公开了使用时间累积来对动态光线成快速历史帧连同针对去噪处理生成的完整历史帧可用以确定可用于在重投影之前或之后箝混合权重以控制图像序列中相对于时滞的噪声之间的差也可以用于确定要应用的空间滤波的2从所述快速历史帧确定对应于所述渲染帧的像素位置的快速像素确定来自完整历史帧的历史像素值在预期像将来自所述完整历史帧的所述历史像素值箝位到预期像素值的所述范围内的经箝位作为图像重构过程的部分，将所述渲染帧的所述像素位置的像将从所述图像重构过程得到的图像提供给时间累积过程，所述时间所述快速历史帧和所述完整历史帧并存储到用于所述图像重构过程的确定用于生成所述快速历史帧的第一时间累积权重以及用于生成所述完整历史帧的提供从所述图像重构过程产生的所述图像以供显示作为图像序列的部6.根据权利要求1所述的方法，其中从所述快速历史图像中的所述像素位置的周围的从第二渲染帧确定对应于像素位置的第二组快速至少部分地基于所述第二组快速像素值来确定预期9.根据权利要求8所述的方法，其中箝位所述历史像素值包括针对每个色彩分量应用从所述快速历史帧确定对应于像素位置的快速像素确定来自完整历史帧的历史像素值在预期像3将来自所述完整历史帧的所述历史像素值箝位到预期像素值的所述范围内的经箝位作为图像重构过程的部分，将所述渲染帧的所述像素位置的当前将从所述图像重构过程得到的图像提供给时间累积过程，所述时间所述快速历史帧和所述完整历史帧并存储到用于所述图像重构过程的确定用于生成所述快速历史帧的第一时间累积权重以及用于生成所述完整历史帧的从第二渲染帧确定对应于像素位置的第二组快速至少部分地基于所述第二组快速像素值来确定预期区域是所述色彩空间中的所述当前像素值的位置周围的边界形状、凸包或非晶区域之一，并且其中箝位所述第二历史像素值包括针对每个色彩分量应用混合/最大阈值、确定所述从所述快速历史帧确定对应于像素位置的快速像素确定来自完整历史帧的历史像素值在预期像将来自所述完整历史帧的所述历史像素值箝位到预期像素值的所述范围内的经箝位作为图像重构过程的部分，将所述渲染帧的所述像素位置的当前将所述图像重构过程得到的图像提供给时间累积过程，所述时间累述快速历史帧和所述完整历史帧并存储到用于所述图像重构过程的4确定用于生成所述快速历史帧的第一时间累积权重以及用于生成所述完整历史帧的从第二渲染帧确定对应于像素位置的第二组快速至少部分地基于所述第二组快速像素值来确定预期20.根据权利要求16所述的非暂态计算机可读存储介质，其中所述预期范围对应于色彩空间中的区域，所述区域是所述色彩空间中的所述当前色彩值的位置周围的边界形状、凸包或非晶区域之一，并且其中箝位所述第二历史像素值包括针对每个色彩分量应用混5频游戏或动画的内容帧。某些常规方法利用诸如时间累积之类的过程来尝试对不同效果的变化而导致明显的重影。用于管理时滞的现有方法或者未能充分地减少不希望的影响，可以提供对图像伪影(如可以通过光线追踪或其他图像生成或渲染技术引入的伪影)的改6存在虚拟相机的摇摄运动(panmotion)或其他这样的运动，其使得在图像中的光源102的图1D的图像160中所示的适当位置。诸如所利用的混合权重和历史数据的量之类的因素可能影响该滞后的程度，这在一些情况下可能是相当显著的并且可能分散观看者的注意力，或者可能至少降低场景的感知真实性。期望在至少一些系统中保留时间平滑和累积的优使用历史箝位作为处理动态事件的方式。传统的时间累积方法通常涉及使用两个缓冲器。程序来说可在约10至100帧或更多帧的范围内。这些帧可以使用指数移动平均值随时间累[0018]为了处理时滞，历史值通常在时间反失真之前从当前帧箝位到像素邻域的最小/实际上是一种滤波技术，其可将噪声帧作为输入且将其重构为具有减小的噪声的全图像。率(诸如至少60帧每秒(fps))实时操作的射线追踪器而言可能太长。A-SVGF使用时间梯度7速历史箝位混合权重可以用作直观旋钮以确定场景中的噪声量与时滞量之间的适当平衡。可以使用至少部分地基于该输入修改的存储的内容204来生成视频的图像或帧。在至少一使用矢量场的图形处理单元(GPU)粒子模拟的功能的渲染管线202可用于以低于一个或更多个最终输出分辨率的分辨率生成渲染的图像以便满足定时要实施例中，如果当前渲染的图像具有较低分辨率，则该低分辨率渲染的图像可使用(可选的)按比例放大器206来处理以生成以等于(或至少更接近地近似于)目标输出分辨率的分辨率表示低分辨率渲染的图像的内容的经按[0023]该当前被渲染的图像(无论是否被放大)可被提供作为到可生成高分辨率的图像重构模块208的输入，使用所述当前图像和一个或更多个先前生成的图像的数据的反失真累积像素(例如，色彩)值。在至少一个实施例中，该图像重构模块208可以包括混合组件运动向量或指示序列中的相邻帧之间的移动的其他信息的第一光流网络(OFN)。在至少一的输出图像，该输出图像然后可以被提供用于经由显示器212或其他这种呈现机制进行呈素值对累积像素值贡献较少。该历史图像帧然后可以被存储到完整历史缓冲器216或另一[0024]如所提及的，图像的实时时间重构利用来自在某种线程束(warping)之后的一个8位置周围的区中的像素的数目，例如快速历史图像的3X3像素邻域中的像素。可使用大于图像然后可由历史管理器214处理以生成更新的历史图像以存储在历史缓冲器216、218中9于完整历史帧的箝位值382是在色彩空间中最接近快速历史像素值的预期范围内的“箝位”[0030]图4示出了可以根据各实施例执行的用于执行对历史数据的箝位的示例过程40前帧可以使用适当的混合因子与对应的快速历史帧混合404。可以针对此快速历史帧的单如果快速历史值在该范围之外，则可做出将完整历史值箝位416到该预期范围内的最接近其他空间滤波应用于动态场景。此模糊可帮助使序列中的图像平滑以提供更自然的运动，部分是动态的，使得可能希望将模糊应用于具有运动的部分且不将模糊应用于静态的部[0033]因此，根据各个实施例的方法可以利用信息(如在此呈现的箝位确定)来确定模像中的运动量或改变使得来自快速图像帧的历史像素值落在预期范围或区域之外时应用有之前生成的图像或帧的数据。此差可乘以常数或标量以确定待应用的空间滤波器的权史箝位影响的指示以及这些像素受影响的程度。在此实例中，可将默认量的空间滤波(例值，其中(在预定义的最大半径内)至少部分地基于某种形式的噪声估计来计算有效半径，历史置信度(HistoryConfidence))给出的线性内插(“lerp”)。在至少一个实施例中，ScalingFactor可以是已经被确定为提供给定信号或实现方式的可接受结果的任何任意缩[0036]图5示出了可以根据各个实施例利用的示例系统500。这个系统带有用于来自图2史帧和完整历史帧。空间滤波器模块502可以确定诸如是否应用箝位以及快速历史图像和完整历史图像中的对应像素位置的像素值之间的差的信息。空间滤波器模块502然后可以确定要应用于由重构模块208生成的图像的每个像素的空间滤波器的大小或模糊量，其可器214用于累积到更新的完整和快速历史帧中以用于重建这个序列中的下一个图像[0037]图6示出了可以根据各个实施例利用的用于确定在重构过程中应用于图像的空间部分地基于来自快速历史帧的对应像素邻域的像素的值(如当前帧的像素值是否落入基于数据来移除此噪声，所以在检测到陈旧历史的位置中可增加空间偏置以便提供增强的去提供或确定速度数据的情况下，空间滤波器的模糊半径或权重可随着速度的增加而增加。在检测到陈旧历史数据的情形下对原本改进的图像质量进[0041]图7示出了可以使用至少一个实施例的示例数据中心700[0043]在至少一个实施例中，分组计算资源714可以包括容纳在一个或更多个机架内的[0044]在至少一个实施例中，资源协调器712可以配置或以其他方式控制一个或更多个[0045]在至少一个实施例中，如图7所示，框架层720包括作业调度器722、配置管理器软件层730的软件732和/或应用程序层740的一个或更多个应用程序742的框架。在至少一支持分布式文件系统728和作业调度器722的集群或分组计算资源。在至少一个实施例中，实施例中，资源管理器726可以与资源协调器712协调以管理这些映射的或分配的计算资[0046]在至少一个实施例中，包括在软件层730中的软件732可以包括由节点C.R.716件系统728使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多据中心700描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习[0051]此类组件可用于在图像重构期间使用快速基于历史的箝位和差异确定来改进图[0053]图8是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统从加利福尼亚圣塔克拉拉的英特尔公司(IntelCorporationofSantaClara,California)获得的PENTIUMg处理器家族、XeonTM、Itanium@、XScaleTM和/或可以执行可从华盛顿州雷蒙德市的微软公司(MicrosoftCorporationofRedmond,和/或图形用户界面也可以使用。示例包括蜂窝电话、互联网协议(InternetProtocol)设备、数码相机、个人数字助理包括但不限于一个或更多个执行单元808，以根据本文描述的技术执行机器学习模型训练810可以在处理器802与计算机系统800中的其他组件之间传输数数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程[0060]在至少一个实施例中，计算机系统800可以使用系统I/O接口822其是专有集线器串行总线(USB)端口)和网络控制器834。数据存储824可以包括硬盘驱动器、软盘驱动器、[0062]此类组件可用于在图像重构期间使用快速基于历史的箝位和差异确定来改进图[0063]图9是示出根据至少一个实施例的用于利用处理器910的电子设备900的框图。在[0064]在至少一个实施例中，系统900可以包括但不限于通信地耦合到任何合适数量或[0066]在至少一个实施例中，其他组件可以通过本文上述的组件通信地耦合到处理器[0067]此类组件可用于在图像重构期间使用快速基于历史的箝位和差异确定来改进图在至少一个实施例中，处理系统1000还可包括与可穿戴设备耦合或集成在可穿戴设备中，[0073]在至少一个实施例中，存储器设备1020可以是动态随机存取存储器(DRAM)设备、部显示设备中的一个或更多个，例如在移动电子设备或膝如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，显示设备1011可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的[0074]在至少一个实施例中，平台控制器集线器1030使外围设备能够通过高速I/O总线在至少一个实施例中，无线收发器1026可以是Wi-Fi收发器、蓝牙收发器或移动网络收发可以配置成在与处理器1002通信的系统芯片组中的存储器控制器集线器和外围控制器集[0077]此类组件可用于在图像重构期间使用快速基于历史的箝位和差异确定来改进图[0078]图11是根据至少一个实施例的具有一个或更多个处理器核心1102A-1102N、集成[0079]在至少一个实施例中，内部高速缓存单元1104A-1104N和共享高速缓存单元1106元1104A-1104N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及共享中级一致性逻辑维持各种高速缓存单元1106和1104A-1104[0080]在至少一个实施例中，处理器1100还可包括一组一个或更多个总线控制器单元一组外围总线，例如一个或更多个PCI或PCIe总线。在至少一个实施例中，系统代理核心[0081]在至少一个实施例中，一个或更多个处理器核心1102A-1102N包括对多线程同时[0082]在至少一个实施例中，处理器1100还包括用于执行图处理操作的图形处理器1110还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器1111。[0083]在至少一个实施例中，基于环的互连单元1112用于耦合处理器1100的内部组种处理器组件与高性能嵌入式存储器模块1118(例如eDRAM模块)之间的通信的封装I/O互式存储器模块1118作为共享的最后一级[0085]在至少一个实施例中，处理器核心1102A-1102N是执行公共指令集架构的同质核一个或更多个处理器核心1102A-1102N执行公共指令集，而一个或更多个其他处理器核心处理器核心1102A-1102N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较[0086]此类组件可用于在图像重构期间使用快速基于历史的箝位和差异确定来改进图入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独被存储在其上