CN115769247B 图像增强方法及装置 （华为技术有限公司）

2022.11.29PCT/CN2020/1049692020.07.27WO2022/021025ZH2022.02.03术领域，该方法能够同时实现图像亮度和/或对括待处理图像的边缘或纹理中的至少一种；然2根据所述低频特征图，确定第一图像，所述第一图像包括重建的所通过第二神经网络获取所述待处理图像的高根据所述高频特征图，确定第二图像，所述第二图像包括重建的所使用第一神经网络获取所述待处理图像的第一特征图；以及，述第一特征图中第一像素的像素值和所述待处理图像中对应所述第一像素的第二像素的使用所述第二神经网络将所述第一特征图中每个像素的像素值取反，得到第二特征3.根据权利要求2所述的方法，其特征在于，所根据所述低频特征图，使用第三神经网络重建所述待处理图像的基将所述第三图像中第六像素的像素值和所述第四图像中对应所述第六像素的第七像根据所述高频特征图，使用第四神经网络重建所述待处理图像的细节其中，所述第四神经网络和所述第三神经网络的网络结构相同3将所述第一图像中第八像素的像素值和所述第二图像中对应所述第八像素的第九像使用第一神经网络获取所述待处理图像的第一特征图；以及，述第一特征图中第一像素的像素值和所述待处理图像中对应所述第一像素的第二像素的使用所述第二神经网络将所述第一特征图中每个像素的像素值取反，得到第二特征所述确定单元，具体用于根据所述低频特征图，使用第三神经网络重所述确定单元，还具体用于根据所述高频特征图，使用第四神经网络其中，所述第四神经网络和所述第三神经网络的网络结构相同所述融合单元，具体用于将所述第一图像中第八像素的像素值和所述45照条件所拍摄的图像时，无法同时实现增强图像的亮度和/或对比度、以及图像去噪的效该第一特征图中第一像素的像素值和待处理图像中对应该第一像素的第二像素的像素值6增强装置在通过本申请方法增强待处理图像的过程到用于确定待处理图像高频特征图的第二特征图，7时，使得该图像增强装置执行上述第一方面中的任一种可能的实现方式提供的任一种方得第一方面中的任一种可能的实现方式提供的任一8征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，[0041]应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示或其分组。9个人计算机(personalcomputer，PC)、个人数字助理(personaldigitalassistant，用程序。可下载应用程序是一个可以提供自己的因特网协议多媒体子系统(internet装在设备中的应用或可以由用户下载并安装在设备中的第三方(applicationprocessor，AP)，调制解调处理器，图像信号处理器(imagesignal[0059]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0066]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0067]天线140发射和接收电磁波信号。手机10中的每个天线可用于覆盖单个或多个通[0071]处理器21是服务器20的控制中心，可以是一个通用中央处理单元(central息和指令的其他类型的动态存储设备，也可以是erasableprogrammableread_onlymemory，EEPROM)、磁盘存储介质或者其他磁存储设网络可以是以太网，无线接入网(radioaccessnetwork，RAN)，无线局域网(wireless[0077]总线24，可以是工业标准[0088]其中，第一神经网络可以是注意力上下文编码(attentiontocontext[0090]下面参考图4所示的ACE网络40的网络结构图，对图像增强装置通过ACE网络40获[0094]其中，上述两个卷积核，可以是两个不同感受野(或称为视场(fieldofview核2分别与待处理图像进行卷积运算前，可以先对待处理图像41进行填充(padding)操作，的像素2的像素值做差，从而可以得到用于确定待处理图像的高频特征图的对比特感知特[0102]参考图5，图5示例性的示出了特征图51中和特征图52中的位于相同位置的像即为用于确定待处理图像的第一低频特征图43的第一特征图42。像素与池化后所得的低频特征图44中除该像素之外的子网络45将低频特征图44和转置的低频特征图440进行卷积运算，从而得到低频特征图M。[0121]可选的，ACE网络40可以将第一低频特征图43和第二低频特征图47的对应像素的低频特征图43和第二低频特征图47中位于相同位置的像素[0132]这里，Unet网络包括至少一层下采样卷积网络(即步长(stride)为2的网络)和至块6042的输入特征图为反卷积网络6041的输出特征图，此时，CDT模块6042和反卷积网络别与反卷积网络的连接情况，与CDT模块6042与反卷积网络的连接情况类似，这里不再赘[0148]在一种可能的实现方式中，图像增强装置可以直接对上述的基础图像进行亮度图像)对应像素的像素值相乘，是指第四图像和第三图像中位于相同位置的像素的像素值[0158]应理解，图像增强装置也可以将步骤S1031所获取的基础图像(即第三图像)直接[0168]其中，第二特征图和待处理图像中位于相同位置的像素的说明，可以参考上述高频特征图的过程，可以参考上文S102中步骤3和步骤4中得到目标低频特征图48的描述，可以被第二重建网络中处于第一层网络层的第二C一以包括上文所述的第一重建网络，并用于实现上文中步骤S1031中重建待处理图像的基础骤S104中获取待处理图像的高频特征图[0198]第二重建模块84，可以包括上文所述的第二重建网络，并用于实现上文中步骤[0205]图像增强装置获取训练样本的描述，可以参考上文S101[0217]图像增强装置将训练图像1输入到初始的图像增强模型后，该初始的图像增强模[0220]然后，图像增强装置将损失函数1和损失函数2分别反馈以在该图像处理App的显示界面加载待处理图像，并在图片编辑状态下，在工具栏中点击强后的待处理图像。[0228]本申请实施例可以根据上述方法示例对图像增强装置进行功能模块的划分，例[0229]如图10所示，图10示出了本申请实施例提供的一种图像增强装置100的结构示意[0230]获取单元101，用于通过第一神经网络获取待处理图像的低频特征图。确定单元[0232]可选的，获取单元101具体用于：使用第一神经网络获取待处理图像的第一特征用第二神经网络将第二特征图中第三像素的像素值和第一图像中对应该第三像素的第四第三神经网络中用于得到低频特征图的特征图中的每个像素的像素值上述提供的任一种图像增强装置100的解释以及有益效果的描述均可参考上述对应的方法元103可以通过图1中的处理器101执行图1中的内部存储器121中[0245]处理器111和接口电路112可通过线路互联。例如，接口电路112可用于接收信号存储介质上的或者被编码在其它非瞬时性介质或者制品上的算机程序产品包括用于在计算设备上执行计算机进介质120可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针