CN119484931A 神经超采样方法和设备 （三星电子株式会社）

像帧的低分辨率像素的子像素对三维(3D)场景与当前渲染图像帧和先前渲染图像帧之间的差异相对应的运动矢量图对先前输出图像帧进行采样的采样位置的变化对当前扭曲图像帧的像前渲染图像帧和当前移位图像帧来生成当前输2通过基于当前渲染图像帧的低分辨率像素的子像素对三维3D场景执行抖动采样来生通过基于与所述当前渲染图像帧和先前渲染图像帧之间的差异相对应的运动矢量图通过基于根据所述抖动采样的采样位置的变化对所述当前扭曲图像帧的像素进行移通过选择性地对与所述当前渲染图像帧的每个低分辨率像素的对应子像素相对应的所述3D场景的多个采样点进行采样来执行所述基于与根据所述抖动采样的采样位置的变化同步的移位模式来对所述当前扭曲图像基于所述抖动采样，从所述当前渲染图像帧的每个低分辨率像基于所述多个移位操作中与所述采样目标的位置相对应的移位操作来生成所述当前基于第一周期，交替地选择所述当前渲染图像帧的每个低分辨率像素的对应子像素；基于第二周期，交替地对与所选择的每个对应子像素的对应其中，生成所述当前输出图像帧包括：使用所述基于神经网络将所述输入数据输入到基于神经网络的神经超通过基于所述抖动采样执行子采样，将所述当前移位图像帧划分为与低分3通过基于所述抖动采样执行子采样，将所述当前移位图像帧划分为与低分其中，所述先前渲染图像帧和所述当前渲染图像帧对应其中，所述先前输出图像帧和所述当前输出图像帧对应于基于基于所述先前输出图像帧的分辨率，放大与所述当前渲染图通过基于当前渲染图像帧的低分辨率像素的子像素对三维3D场景执行抖动采样来生通过基于与所述当前渲染图像帧和先前渲染图像帧之间的差异相对应的运动矢量图通过基于根据所述抖动采样的采样位置的变化对所述当前扭曲图像帧的像素进行移选择性地对与所述当前渲染图像帧的每个低分辨率像素的对应子像素相对应的所述基于与根据所述抖动采样的采样位置的变化同步的移位模式4基于所述抖动采样，从所述当前渲染图像帧的每个低分辨率像基于所述多个移位操作中与所述采样目标的位置相对应的移位操作来生成所述当前基于第一周期，交替地选择所述当前渲染图像帧的每个低分辨率像素的对应子像素；基于第二周期，交替地对与所选择的每个对应子像素的对应5[0002]本申请要求于2023年8月10日在韩国知识产权局递交的韩国专利申请No.10_[0005]本公开的一个或多个示例实施例可以解决上述问题和/或缺点和/或上面未描述[0006]本公开的一个或多个示例实施例提供了一种用于基于神经网络的图像处理的超染图像帧和先前渲染图像帧之间的差异相对应的运动矢量图对先前输出图像帧进行扭曲基于当前渲染图像帧和当前移位图像帧来生成当前6[0022]以下详细的结构和/或功能描述仅作为示例提供，并且可以对示例进行各种改变7[0029]应当理解，所公开的过程/流程图中的块的具体顺序或层次结构是对示例性方法括运动矢量渲染模块111和低分辨率图像渲染模块112。低分辨率图像渲染模块112可以将[0033]运动矢量渲染模块111可生成示出渲染图像帧之间随时间流动的变化的运动矢量例如，运动矢量渲染模块111可以根据先前输出图像帧的分辨率放大与当前渲染图像帧和[0036]输入模块140可以基于扭曲模块120和移位模块130对神经超采样模型150的输出图像帧的处理结果以及从低分辨率图像渲染模块112输出的渲染图像帧来生成神经超采样分为对应于低分辨率图像的像素集，并且可以将渲染图像帧和像素集组合以生成输入数经超采样模型150可以基于包括先前输出图像帧和当前渲染图像帧的处理结果的输入数据8[0040]神经网络可以是和/或可以包括包含多个层的深度神经网络(DNN)。DNN可以包括集解决诸如但不限于图像和/或语音识别的问题的机器学习技术。深度学习可以被解释为在使用准备好的训练数据训练神经网络的同时找到能量可以被最小化的点的优化问题解[0042]低分辨率图像渲染模块112可以通过基于渲染图像帧的低分辨率像素的子像素对[0043]抖动采样可以指的是可以选择性地对与每个低分辨率像素的子像素相对应的3D[0044]移位模块130可通过基于由于抖动采样而引起的采样位置的变化对扭曲图像帧的对当前扭曲图像帧的像素进行移位来生成当前移位图像帧。移位模块130可通过根据与由标的位置相对应的移位操作来生成当前移位[0045]确定渲染图像帧的低分辨率像素的像素值所使用的子像素的采样位置可以根据9140的操作可以被描述为电子设备和/或电子设[0047]图2是示出根据实施例的低分辨率像素和高分辨率像素之间的关系的示例的图。用其他点来代替第一子像素2111至第四子像素[0049]可以根据抖动采样选择性地使用第一子像素2111至第四子像素2114的中心。例如，可以在生成第一渲染图像帧时对与第一子像素2111相对应的3D场景的采样点进行采[0050]图3是示出根据实施例的对渲染图像帧的子像素进行抖动采样的示例的图。参照第四子像素324可以被称为第二低分辨率像素320的对应子像素，并且第一子像素331至第帧中进行，并且位置B处的第二子像素312、322和332的采样[0055]图4是示出根据实施例的使用渲染图像帧的子像素的采样位置的示例的图。参照[0056]图5是示出根据实施例的响应于抖动采样来生成移位图像帧的操作的示例的图。以根据采样中使用的子像素的位置来确定从扭曲图像帧501提取输入像素502的位置。例行移位操作以包括参考值为1的位置D处的[0060]图6是示出根据实施例的采样位置的变化与移位模式之间的关系的示例的图。由[0061]与当前渲染图像帧相同的帧编号可以用于基于先前输出图像帧生成的当前扭曲型可以基于i＝j的输入数据生成i＝j的输[0062]图7是示出根据实施例的响应于抖动采样来执行像素替换的操作的示例的图。参率像素710的像素值。当K为通过将时间i除以属于一个低分辨率像素的对应子像素的数量[0066]空间到深度转换模块811可以执行与抖动采样相对应的子采样，以将移位图像帧辨率比所获得的余数将移位图像帧分类为像素集812。像素替换模块810可以将像素集812电子设备的处理器(例如，图11的处理器1110)可以811的操作可以被描述为电子设备和/或电子设备的处辨率像素区域911的子像素区域912可以被划分为次级子像素区域913。属于某个子像素的[0070]即，可以根据第一周期交替地选择渲染图像帧的每个低分辨率像素的对应子像[0072]根据实施例，可以基于第二周期在子像素区域中根据各种序列算法(例如Hammersley序列和Halton序列)来选择次级子像素。当在整个子像素区域中使用这样的序[0073]图10是示出根据实施例的神经超采样方法的流程图。根据实施例，电子设备(例如，图11的电子设备1100)在操作1010中通过基于当前渲染图像帧的低分辨率像素的子像帧和先前渲染图像帧之间的差异相对应的运动矢量图对神经超采样模型的先前输出图像应子像素相对应的3D场景的采样点进行采样来对当前扭曲图像帧的像素进行移位来生成当前移[0077]存在与当前渲染图像帧的每个低分辨率像素的对应子像素的位置相对应的移位采样目标的位置相对应的移位操作来生成当前移[0079]先前输出图像帧和当前输出图像帧可以通过基于神经网络的神经超采样模型来[0080]操作1040可以包括：通过组合当前渲染图像帧和当前移位图像帧来生成输入数[0084]当前渲染图像帧的低分辨率像素的子像素可以具有与高分辨率像素相对应的尺且先前输出图像帧和当前输出图像帧可以对应于基于高分辨率像素[0085]电子设备可以根据先前输出图像帧的分辨率放大与当前渲染图像帧和先前渲染图像帧之间的差异相对应的运动矢量图对神经超采样模型的先前输出图像帧进行扭曲来[0090]存储器1120可以包括计算机可读存储介质和/或计算机可读存储设备。存储器1120可以存储要由处理器1110执行的指令，并且可以在电子设备1100执行软件和/或应用[0092]输入设备1150可以以通过键盘和鼠标的传统输入方式和/或以其他输入方式(例当前输出图像帧的输出图像帧。网络接口1170可以通过有线和/或无线网络与外部设备通件和数据可以由一个或多个非暂时性计算机可读记录[0095]根据示例的方法可以被记录在包括用于实现示例的各种操作的程序指令的非暂