CN112700368B 图像处理方法、装置及电子设备 （华为技术有限公司）

toAccelerateSuper-ResConferenceonComputertoAccelerateSuper-ResConferenceonComputer采用两帧中已经经过超分处理的那一帧的超分2获取第一图像与相邻的前一帧图像的帧间残差，得到残基于所述残差块，在所述第一图像中确定目标像素区域，对所述第一图像中的所述目标像素区域进行超分处理，得到超分处采用超分处理后的所述前一帧图像中的其他像素区域更新所述第一图像中所述其他其中，超分处理后的所述第一图像包括所述超分处理后的膜点与所述残差块中的多个目标残差点的位置一将所述掩膜图形和所述第一图像输入超分模型，通过所述超分模型将所述第一图像通过所述超分模型对所述第一图像中的所述目标像素区域进行超分将所述第一图像中，与所述多个第一掩膜点中每个掩膜点位置对应的像素点所在区将所述第一图像中的目标像素区域输入超分模型，通过所述超基于所述残差块，生成包括多个掩膜点的初始掩膜图形，所述多个3将所述初始掩膜图形中所述第一掩膜点的掩膜值赋值为第一值，将所述将所述第一图像中，与所述多个第一掩膜点中每个掩膜点位置对应的像遍历所述掩膜图形中的掩膜点，在所述第一图像中，将掩膜值为第一值对所述残差块进行形态学变化处理，得到所述掩膜图形，所述形态学变将所述残差块划分成多个子残差块，并对每个划分得到当所述子残差块中包括的至少一个残差点的残差值不为0时，将所述子残差块划分成块中包括的残差点的残差值均为0，或者，划分得到的子残差块的残差点总数小于点数阈生成与每个目标残差块对应的子掩膜图形，所述目标残差在所述第一图像中获取每个所述子掩膜图形对分别对每个所述目标图像块包含的所述目标像素区域的子目标图像块包含的所述目标像素区域的子区对所述掩膜图形中的多个第一掩膜点进行腐蚀处理，得到更新后的掩膜蚀处理的核与所述超分模型最后一个卷积层的感受野将所述第一图像中，与腐蚀处理后的所述多个第一掩膜点位置对应将所述第一图像中除所述辅助像素点之外的像素点所在区域确定为所述其他像素区4统计所述残差块中残差值为0的残差点的数量在所述残差块中残差点总数中的第一占像素区域为所述第一图像中与第一目标残差点和第二目标残差点位置对应的像素点所在部分超分模块，用于对所述第一图像中的所述目标像素区域进行更新模块，用于采用超分处理后的所述前一帧图像中的其他像素其中，超分处理后的所述第一图像包括所述超分处理后的生成子模块，用于基于所述残差块，生成掩膜图形，所述掩确定子模块，用于将所述掩膜图形和所述第一图像输入超分模通过所述超分模型对所述第一图像中的所述目标像素区域进行超分生成子模块，用于基于所述残差块，生成掩膜图形，所述掩确定子模块，用于将所述第一图像中，与所述多个第一掩膜将所述第一图像中的目标像素点输入超分模型，通过所述超分模型对5基于所述残差块，生成包括多个掩膜点的初始掩膜图形，所述多个掩膜点与所述将所述初始掩膜图形中所述第一掩膜点的掩膜值赋值为第一值，将遍历所述掩膜图形中的掩膜点，在所述第一图像中，将掩膜值为第一值对所述残差块进行形态学变化处理，得到所述掩膜图形，所述形态学变将所述残差块划分成多个子残差块，并对每个划分得到当所述子残差块中包括的至少一个残差点的残差值不为0时，将所述子残差块划分成块中包括的残差点的残差值均为0，或者，划分得到的子残差块的残差点总数小于点数阈生成与每个目标残差块对应的子掩膜图形，所述目标残差在所述第一图像中获取每个所述子掩膜图形对分别对每个所述目标图像块包含的所述目标像素区域的子目标图像块包含的所述目标像素区域的子区腐蚀模块，用于在采用超分处理后的所述前一帧图像中的其他像素第二确定模块，用于将所述第一图像中，与腐蚀处理后的所第三确定模块，用于将所述第一图像中除所述辅助像素点6统计所述残差块中残差值为0的残差点的数量在所述残差块中残差点总数中的第一占所述处理器用于执行所述存储器存储的所述计算机程序时实现如权利要求1至12任一7一图像中其他像素区域，该其他像素区域包括第一图像中除目标像素区域之外的像素区8处理后的第一图像的重叠区域的像素数据通常以第一图像的更新后的其他像素区域的像周边的残差点。第一目标残差点周边的残差点指的是围绕第一目标残差点设置的残差点，指定条件是基于超分处理的需求确定，例如基于超分模型中的感受野(receptivefield)[0016]由于残差块中所有残差点的残差值均为0时，说明第一图像和前一帧图像的内容9[0031]本申请实施例中的二值化处理可以采用全局二值化阈值法、局部二值化阈值法、[0035]将所述残差块划分成多个子残差块，并对每个划分得到的子残差块执行分块处[0036]当所述子残差块中包括的至少一个残差点的残差值不为0时，将所述子残差块划述腐蚀处理的核与所述超分模型最后一个卷积层的感受野的尺寸相同；将所述第一图像一图像中除所述辅助像素点之外的像素点所在区域确定为所述其他像所述残差块中残差点总数中的第一占比；当所述第一占比大于第一超分触发占比阈值时，以为可编程逻辑电路。当所述芯片运行时用于实现前述第一方面的任意一种图像处理方域进行超分处理，实现对第一图像与前一帧图像存在差异的像素点所在区域的超分处理，[0061]图1是是本申请实施例提供的一种图像处理方法所涉及的超分显示装置的结构示[0070]图10是本申请实施例提供的另一种在第一图像中确定目标像素区域的流程示意[0072]图12是本申请实施例提供的一种采用超分处理后的第二图像中的其他像素区域颜色空间(颜色空间中的每种颜色也称为一个颜色通道)，相应的颜色编码格式为YUV格式(ReceptiveField)是卷积神经网络每一个卷积层输出的特征图(featuremap)上每个像素点在原始图像(指的是输入该卷积神经网得到的图像进行预处理(如后续步骤201或步骤202等)，将预处理得到图像输入超分模型模型，如超分辨率卷积神经网络(Super-ResolutionConvolutionalNeuralNetwork，SRCNN)或高效亚像素卷积神经网络(Efficientsub-pixelConvolutionalNeuralNetwork，SRGAN)或增强型超分辨率生成对抗网络(EnhancedSuper-Resolution至公式三，帧间残差Residual为前述RGB三个颜色通道的帧间残差按照一定的比例转化得以采用本申请实施例提供的帧间残差计算方法轻易想到变换或替换来进行帧间残差的计MPEG-4V1至MPEG-4V3等中的任意一种。其中，H.264，又称视频编码(AdvancedVideo码(entropycoding)模块、帧内预测(intraprediction)模块、帧间预测(inter熵解码模块用于对视频源提供的码流(bitstream)进行处理得到模式信息和帧间残差。则[0125]示例的，该第二目标残差点为残差块中第一目标残差点周边的残差值不大于(即[0131]该掩膜图形用于指示目标像素区域的位置，对于在第一图像中筛选目标像素区[0133]在第一种可选实现方式中，可以对残差块进行形态学变化(morphological[0137]示例的，在YUV色彩空间，由于每个残差点的残差值包括一个值，即前述的可以采用局部自适应二值化的方式确定二值化阈值)。在某个残差点的残差值大于该二值[0141]本申请实施例中的二值化处理可以采用全局二值化阈值法、局部二值化阈值法、到的子残差块的残差点总数小于点数阈值，说明划分得到的子残差块的尺寸已经足够小，[0154]其中，残差块和子残差块均可以采用二叉树划分或四叉树划分的方式进行分以尽量进行子残差块的均匀划分，使得每次划分后的4子残差块中任意两个子残差块之间的尺寸差距小于或等于指定差距阈值即可，这样也不会影响最终得到的子掩膜图形的功[0158]其中，每个子掩膜图形的生成方式可以参考前述步骤2031中的两种可选实现方仅对接收的图像进行超分处理，本申请实施例中，可以在传统的超分模型的前端(即输入个像素块的大小即前述一个子掩膜图形的大小)的数据粒度，存储的图形相对于第一种示一图像中的目标像素区域进行超分处理，得到超分处理后的目标像素区域的过程可以为：一图像中的目标像素区域进行超分处理，得到超分处理后的目标像素区域的过程可以为：为了多个子掩膜图形，则标像素区域也可以划分为与该多个子掩膜图形对应的多个子区后的目标像素区域由超分处理后的每个目标图像块包含的目标像素区域的子超分显示装置分别将每个子掩膜图形和对应的目标图像块输入超分模型(每一次输入的是[0184]超分显示装置在接收到超分模型输出的超分处理后的各个目标图像块包含的目标像素区域的子区域后，可以按照各个目标图像块在第一图像中的位置拼接(也可以称为组合)得到超分处理后的目标像素区域的子区域，则最终得到的超分处理后的目标像素区域由超分处理后的每个目标图像块包含的目标像素区域的子区域其他像素区域为第一图像中除目标像素区域之外的像素点所在区域(也可以理解为直接执到的更新后的掩膜图形中第一掩膜点所对应区域实际上是前述膨胀处理得到的掩膜图形中的第一掩膜点去掉最外围的一层第一掩膜点后所对应区域(也即是实现了第一掩膜点对新后的掩膜图形中的第一掩膜点所对应区域为前述膨胀处理得到的掩膜图形中的第一掩[0195]步骤206、超分显示装置采用超分处理后的第二图像中的其他像素区域更新第一[0196]由于超分处理后的第二图像中的其他像素区域中像素点的个数大于第一图像中素的像素值以及像素位置等像素数据更新其他像素区域K2中对应的像素的像素值以及像后的目标像素区域以及通过步骤206获取的更新后的其他像素区域，该超分处理后的第一取的超分处理后的目标像素区域覆盖该第二图像的对应区域，得到超分处理后的第一图理后的第一图像与对第一图像进行整体超分处理后的图像的效果一致或者差距在可接受他像素区域生成超分处理后的第一图像的过程也可以通过前述(w,h)表示掩膜图形(例如前述步骤205中更新后的掩膜图形)中的掩膜点(w,h)，SR表示超膜值为第二值的掩膜点(w,h)对应的像素点(w,h)所在的像素区域，即前述步骤205确定的步骤203确定的目标像素区域)中，与掩膜图形中掩膜值为第一值的掩膜点(w,h)对应的像一图像和第二图像获取的残差块中所有残差点的残差值均为0，说明第一图像和第二图像[0211]通过判断残差值为0的残差点的数量在残差块中残差点总数中的第一占比是否大图像整体进行超分处理(例如将第一图像直接输入超分模型)的运算代价小于或等于采用像直接输入超分模型)的运算代价小于或等于采用前述步骤203至206的运算代价，则可以以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技部分用非超分手段处理的牺牲效果换效率的方法，而是避免对视频前后帧的未变化区域、[0226]更新模块304，用于采用超分处理后的所述前一帧图像中的其他像素区域更新所[0245]将所述残差块划分成多个子残差块，并对每个划分得到的子残差块执行分块处[0246]当所述子残差块中包括的至少一个残差点的残差值不为0时，将所述子残差块划所述目标图像块包含的所述目标像素区域的子区[0254]腐蚀模块305，用于在所述采用所述前一帧图像中的与其他像素区域位置对应的[0256]第三确定模块307，用于将所述第一图像中除所述辅助像素点之外的像素点所在[0258]统计所述残差块中残差值为0的残差点的数量在所述残差块中残差点总数中的第[0266]所述处理器用于执行所述存储器存储的所述计算机程序时实现本申请任一所述[0271]处理器410可以包括一个或多个处理单元，例如包括中央处理器CPU(例如应用处[0273]在一些实施例中，处理器410可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purpose[0274]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器410可以通过I2S总线与音频模块470耦合，实现处理器410与音频模块470之间的通也可以通过PCM接口向无线通信模块460传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display[0284]天线4和天线2用于发射和接收电磁波信号。电子设备400中的每个天线可用于覆[0285]移动通信模块450可以提供应用在电子设备400上的包括2G/3G/4G/5G等无线通信[0287]无线通信模块460可以提供应用在电子设备400上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi-Fi)网络)，蓝牙无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time-divisioncodedivisionmultipleaccess，TD-统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi-zenithsatellite晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight-emitting[0293]摄像头493用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0295]视频编解码器用于对数字视频压缩或解压缩。电子设备400可以支持一种或多种[0298]内部存储器421可以用于存储计算机可执行程序代码，所述可执行程序代码包括器421可以包括高速随机存取存储器，例如双倍速率同步动态随机存储器(doubledata[0300]音频模块470用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风470C发声，将声音信号输入到麦克风窝电信工业协会(cellulartelecommunicationsindustryassociationoftheUSA，力传感器480A检测所述触摸操作强度。电子设备400也可以根据压力传感器480A的检测信[0307]气压传感器480C用于测量气压。在一些实施例中，电子设备400通过气压传感器[0308]磁传感器480D包括霍尔传感器。电子设备400可以利用磁传感器480D检测翻盖皮[03