CN112529775A 一种图像处理的方法和装置 （华为技术有限公司）

本申请实施例公开了人工智能领域中计算了多种处理串行进行时不同处理之间的相互影2基于第一深度学习网络对所述第一中间图像进行处理8.根据权利要求1至7任一项所述的方法对所述多帧RAW图像进行通道拆分和像素重排列，得到11.根据权利要求10所述的方法，其特征在于，所述分别对齐每个通道中的多帧子图括如下至少一项：黑电平校正BLC、自动白平衡AWB、镜头阴影校正LSC、色调映射Tone3对所述多帧RAW图像进行黑电平校正BLC、自动白平衡AWB或镜头阴影校对所述多帧第一预处理后的RAW图像进行通道拆分和像素重基于所述噪声强度区域分布图控制所述第一中间图像的不同基于所述锐度强化图控制所述第一中间图像的不同19.根据权利要求1至18任一项所述的方法，其特征在于，当所述方法应用于HDR场景20.根据权利要求1至18任一项所述的方法21.根据权利要求1至19任一项所述的方法，所述第一指示信息为分析摄像头获取的预览图像的特性得到的与应用场景相关的指4增强模块，用于对所述第一目标图像进行亮度增强27.根据权利要求22至26任一项所述的装置，其特29.根据权利要求22至27任一项所述的装置，其特征在于，所述预处理还包括图像对对所述多帧RAW图像进行通道拆分和像素重排列，得到对所述多帧RAW图像进行黑电平校正BLC、自动白平衡AWB或镜头阴影校对所述多帧第一预处理后的RAW图像进行通道拆分和像素重5基于所述噪声强度区域分布图控制所述第一中间图像的不同基于所述锐度强化图控制所述第一中间图像的不同34.根据权利要求22至33任一项所述的装置，其特征在于，所述第一深度学习网络包35.根据权利要求22至34任一项所述的装置所述第一指示信息为分析摄像头获取的预览图像的特性得到的与应用场景相关的指计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至21任一项所述的6[0005]本申请第一方面提供了一种图像处理的方法，该方法包括：获取多帧原始RAW图7和相位点补偿功能，避免了多种不同处理串行进行时不同处理的相互影响带来的错误累[0019]在一种可能的实施方式中，该RAW图像为RYYB图像或包含4个不同颜色分量的图8[0028]示例的，通道拆分获得的通道的个数与该RAW图像的格式有关，通道的个数等于正BLC、自动白平衡AWB、镜头阴影校正LSC、色调映射ToneMapping、颜色校正Color[0032]在一种可能的实施方式中，该第一中间图像包括的子图像所属的通道数等于该[0035]本申请实施例可以根据每个区域的噪声特点有效控制每个区域的降噪强度，或9[0040]在一种可能的实施方式中，对该高质量目标图像至少进行马赛克和添加噪声处网络资源池中选择的目标深度学习网络，该第一指示信息为用户在应用程序APP界面上选[0046]在一种可能的实施方式中，该第一指示信息为用户在应用程序APP界面上选择的[0057]在一种可能的实施方式中，该RAW图像为RYYB图像或包含4个不同颜色分量的图通道为该M个通道中的任一个通道；基于对齐该第一通道时所使用的对齐方式对齐其他通[0064]在一种可能的实施方式中，该第一中间图像包括的子图像所属的通道数等于该网络资源池中选择的目标深度学习网络，该第一指示信息为用户在应用程序APP界面上选质量输入数据基于该高质量目标数据模拟得到；基于该训练数据对基础网络架构进行训设条件的高质量图像，该预设条件根据用户需求对应性设置；对该高质量图像进行反向[0081]在一种可能的实施方式中，该深度学习网络的损失函数包括L1Loss或L2Loss函[0082]在一种可能的实施方式中，该深度学习网络的训练方法包括自适应矩阵估计[0085]在一种可能的实施方式中，该第一指示信息为用户在应用程序APP界面上选择的者输入数据的特性或者根据输入数据携带的参数从深度学习网络资源池中选择或使能最[0115]图6a为本申请实施例提供的一种示例性的对RGGB格式的Bayer图像进行通道拆分[0116]图6b为本申请实施例提供的一种示例性的对Quad排列的图像进行通道拆分和像[0127]图16为本申请实施例提供的一种示例性的自适应选择深度学习网络的方法流程度恢复等一系列的图像处理操作。其中，与细节恢复相关的处理包括：去马赛克该处理器130还可以包括专用处理设备，例如专用集成电路(ApplicationSpecific理单元(GraphicsProcessingUnit，GPU)以及神经网络处理单元(Neural-network间通过一个或多个总线彼此耦合。该处理器可以包括模拟-数字转换器(Analog-to-制器耦合到处理器130。存储器140可以用于存储计算机程序指令，包括计算机操作系统据，以实现相关的处理功能。该存储器140可以是非掉电易失性存储器，例如是EMMC是电可擦可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体在显示面板171上覆盖的触控面板172上或者附近进行操作，触控面板172检测到在其上或户输入通过I/O子系统10在显示面板171上提供相应的视觉输出。虽然在图1中，触控面板172与显示面板171是作为两个独立的部件来实现终端100的输入和输入功能，但是在某些保真(WirelessFidelity，WiFi)网络、无线个人局域网络(WirelessPersonalArea[0142]终端100还可以包括其他输入设备14,其耦合到处理器130以接收各种用户输入，[0143]终端100还可以包括上述的I/O子系统10，该I/O子系统10可以包括其他输入设备控制器11用于从其他输入设备14接收信号或者向其他输入设备190发送处理器130的控制实现传感器180和显示屏170与处理器130之间[0144]终端100还可以包括电源101，以向终端100的包括110-190在内终端100还可以包括图1中未显示出来的现有的或的处理器130的示例性架构图，本申请实施例提供的图像处理方法和图像处理框架可以应发送接口可以是高清晰度多媒体接口(HighDefinitionMultimedV-By-One接口、嵌入式显示端口(EmbeddedDisplayPort，eDP)、移动产业处理器接口NPU也可以作为独立的处理器芯片。该NPU用于实现各种神经网络或者深度学习的相关运[0152]在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的包括各类功能器件，每一类功能器件包括逻辑门电路、金属氧化物半导体(Metal-Oxide-OxideSemiconductor，CMOS)传感器或感光耦合元件(Charge-CoupledDevice,CCD)传感种分量的图像格式，X、Y、Z、W各代表一种分量，例如红绿蓝红外(RedGreenBlue列的Bayer图像，如图4b所示为一种示例性的RGBIR图像。RAW图像还可以是如图5所示的6b所示，为对Quad排列的图像进行通道拆分和像素重排列得到第一中间图像的示意图，的不对齐的图像，这样训练出的深度学习网络具备将多帧不对齐的图像进为RYYB格式时，第一深度学习网络处理之后得到的第一目标图像是RYB三个通道的彩色图像，当输入的RAW图像为XYZW格式时，第一深度学习网络处理之后得到的第一目标图像是[0179]304、对第一目标图像进行亮度增强或颜色增强中的至少一项，得到第二目标图一目标图像进行亮度增强或者颜色增强，或者对第一目标图像进行亮度增强和颜色增强，示例性的，亮度增强或颜色增强的处理包括以下至少一项：黑电平校正(BlackLevel和颜色增强模块由显示驱动集成器(DisplayDrivingIntegrated[0189]该图像处理的框架的输入为N帧RAW图像，该N帧RAW图像可以是RGGB格式的Bayer[0191]该细节恢复深度学习网络为前述方法实施例中第一深度学习网络的一种示例性=其他非RGB格式的图像转换为RGB彩色图像。将图像转换为RGB彩色图像之后，再经过亮[0199]如图10所示，为本申请实施例提供的一种示例性的深度学习网络的结构示意实施例提供的一种示例性的细节恢复网络的处理效果示意图。该细节恢复网络为2倍变焦理之后得到细节恢复网络的输入图像，该细节恢复网络的输入图像是原始输入的RAW图像特征提取卷积块包括第一卷积层Conv(k3n64s1)、第一激活函数层(PReLU)、第二卷积层残差网络卷积块包括第一卷积层Conv(k3n128s1)、激活函数层(PReLU)和第二卷积层Conv[0203]如图14a和图14b所示，为本申请实施例提供的一种示例性的特征融合模块1和特样卷积块包括卷积层Conv(k3n256s1)，像素洗牌层PixelShuffler以及激活函数层将输入的RAW图像的长和宽分别记为h0和w0，通道拆分后的子图像的长和宽分别记为h1和采样卷积块的个数为log2r，其中r＝h2/h1＝w2/w1。当输入的RAW图像为RGGB、RYYB或者4，如果输入的是10M的RGGB图像，输出的是10M的RGB图像，即h0＝h2,w0＝w2,r＝h2/h1=的亮度范围更加接近照相机获取的RAW图的亮度范围，然后进行下采样得到训练数据中高质量图像，因此构建的训练数据中的低质量输入图像与高质量目标图像之间是严格对齐[0214]下面介绍一下深度学习网络的损失函数(lossfunction)，损失函数为用于衡量以将L1Loss与结构相似性(Structuralsimilarity，SSIM)和对抗Loss相结合作为损失函[0215]关于深度学习网络的训练方法：本申请实施例可以采用自适应矩阵估计[0216]本申请实施例提供的图像处理的框架和图像处理的方法适用于多种应用场景或倍的下采样表示下采样之后的图像的长和宽分别是原始图像的长和宽的四分之一，也即，到反伽马校正图像，该反伽马校正图像的亮度范围符合摄像头获取的原始RAW图像的亮度择并发送的，例如用户通过触摸应用程序APP界面上的模式选择按钮选择适用或偏好的应的图像可以包括若干曝光时间较长的图像和若干曝者输入数据的特性或者根据输入数据携带的参数从深度学习网络资源池中选择或使能最