CN112534443B 图像处理设备及其操作方法 （三星电子株式会社）

2021.02.02PCT/KR2019/0094002019.07.29WO2020/027519KO2020.02.06号US2018157916A1,2018.06.07括存储一个或多个指令的存储器以及配置为执的目的来处理输入图像，其中DNN根据不同的目2获得第一图像和与所述第一图像对应的分类符，其中，所述分将所述第一图像和所述分类符输入至预先训练的深度神经网络DNN，以所指示的图像处理方式进行处理得到的图像作为输出进行训所述处理器还配置成：基于所述第一图像生成所述输入图像，通过执所述U通道和所述V通道中的所述Y通道的图像确定为DNN中处理所述Y通道的图像而输出的图像以及基于所述Y通道、所述U通道和所述V通道中二目的处理所述第一图像中的与所述第二区域对一目的而定的图像处理等级以及基于所述第二目的而定的图像处理等级来处理所述第一3图像数据而获得的第一标签数据来训练，并且通过包括第二图像数据的第二训练数据集、具有作为像素值的第二值的第二分类符以及通过根据第二目的处理所述第二图像数据而调整包括在所述DNN中的一个或多个核的权重，以减小所述第一标签数据与当所述第调整包括在所述DNN中的所述一个或多个核的权重，以减小所述第二标签数据与当所述第二图像数据和所述第二分类符输入到所述DNN时输出的图像数据之获取第一图像和与所述第一图像对应的分类符，其中，所述分将所述第一图像和所述分类符输入至预先训练的深度神经网络DNN，以所指示的图像处理方式进行处理得到的图像作为输出进行训4[0001]各种实施例涉及一种通过使用深度神经网络来处理图像的图像处理设备及其操[0007]根据实施例的图像处理设备可以通过使用单个深度神经网络来根据各种目的处[0009]图1示出了使用不同训练数据集训练的第一深度神经网络、第二深度神经网络和[0010]图2示出了根据实施例的由图像处理设备执行的根据不同目的处理输入图像的过[0013]图5是根据实施例的用于描述由图像处理设备执行的生成输入图像和分类符的方5[0022]图14是根据实施例的用于描述被配置成根据多个目的执行图像处理的深度神经[0023]图15是根据实施例的用于描述生成用于训练深度神经网络的训练数据集的方法[0028]DNN可以包括N个卷积层，并且处理器还可以被配置为基于第一图像生成输入图[0033]当包括在分类符中的第一区域中的像素具有第一值并且包括在分类符中的第二6[0037]DNN可以由包括第一图像数据的第一训练数据集、具有作为像素值的第一值的第[0038]处理器还可以被配置为：调整包括在DNN中的一个或多个核的权重以减小第一标签数据与当第一图像数据和第一分类符输入到DNN时输出的图像数据之间的差；以及调整包括在DNN中的一个或多个核的权重以减小第二标签数据与当第二图像数据和第二分类符络(DNN)根据分类符指示的目的对第一图像进行[0046]图1示出了使用不同训练数据集训练的第一深度神经网络(DNN1)、第二深度神经7或边缘(增强文本或边缘表示)周围的锯齿等而获[0052]由用于训练第一目的(细节增强)的第一训练数据集11和用于训练第二目的(文本或边缘增强)的第二训练数据集21训练的DNN3不具有由第一训练数据集11训练的DNN1的性[0053]图2示出了根据实施例的由图像处理设备执行的根据不同目的处理输入图像的过[0054]根据实施例的图像处理设备100可以通过使用深度神经网络(DNN)150来处理输入据L1。各条第一图像数据D1和各条第一标签数据L1与参考图1描述的各条第一图像数据D1照图1描述的第二图像数据D2和第二标签数据L2相同。当输入第二图像数据D2和第二分类[0055]根据实施例的图像处理设备100可以向DNN150输入第一图像10和指示第一目的(细节增强)的第一分类符C1，并且DNN150可以通过根据由第一分类符C1指示的第一目的节增强程度可以与参考图1描述的DNN1的第一输出图像15的细节增240中的文本或边缘增强的程度可以与参考图1描述的DNN2的第二输出图像25的程度相同8[0060]图像处理设备100可以基于第一图像生成要输入到DNN的输入图像和分类符。例当尝试根据第一目的对第一图像执行图像处理时，图像处理设备100可以将分类符的像素值确定为与第一目的对应的第一值，并且当尝试根据第二目的对第一图像执行图像处理[0062]DNN可以包括N个卷积层，并且图像处理设备100可以通过执行卷积操作来提取特[0063]图像处理设备100可以基于包括在分类符中的像素的值、对应于第一目的的第一[0064]另一方面，图像处理设备100可以通过使用具有不同目的的多个训练数据集来训练DNN。例如，图像处理设备100可以通过使用第一训练数据集和第二训练数据集来训练以及通过根据第二目的处理第二各条图像数据而获得的各标签数据与当将第一各条图像数据和第一分类符输入到DNN时输出的各条图像数据之间的二标签数据与当将第二图像数据和各条第二分类符输入到DNN时输出的各条图像数据之间[0067]参照图4，根据实施例的图像处理设备100可以接收第一图像410。图像处理设备100可以将第一图像410输入到DNN150，或者基于第一图像410生[0068]图5是根据实施例的用于描述由图像处理设备执行的生成输入图像和分类符的方9图像处理设备100可以确定转换后的Y通道、U通道和V通道(YUV3ch)中的Y通道420的图像[0071]此外，根据实施例的图像处理设备100可以生成指示图像处理的目的的分类符[0072]例如，当尝试根据第一目的对整个第一图像410执行图像处理时，图像处理设备备100可以通过对第一图像410的图像进行分析来确定是根据第一目的还是根据第二目的一图像410或第一图像410的部分区域(第二区域)时，图像处理设备100可以生成分类符[0075]回到图4，图像处理设备100可以通过使用DNN(150)根据分类符430所指示的目的[0077]根据实施例的图像处理设备100可以通过使用DNN150从输入图像420中提取诸如[0078]此外，图像处理设备100可以应用激活函数来将所提取的第一特征映射的值改变不限于此。此外，图像处理设备100可以执行降采样(池化)以减小所提取的特征映射的大逐元素求和(element-wiselysumming)的操作(逐元素求和)470，从而跳过包括在残差块450中的卷积层以及已经通过了包括在残差块450中的卷积层的数据(例如，从第三卷积层可以通过对输入到DNN150的数据应用双线性插值方法、双三次插值方法和卷积插值方法中的至少一个来放大输入数据。图像处理设备100可以通过对放大的图像数据和从去卷积双三次插值方法和卷积插值方法中的至少一个来放大U通道和V通道的图像。第二图像490类符430所指示的目的处理第一图像410来获得第二图像就是说，可以通过将包括在左上端的3*3*2区域611和621中的像素值分别乘以包括在第一核Kernel1中的权重并将相乘结果求和来生成映射到左上端的3*3*2区域611和621的像素[0086]此外，可以通过将包括在3*3*2区域612和622中的像素值分别乘以包括在第一核Kernel1中的权重并将乘法结果求和来生成映射到分别从输入数据600的左上端处的3*3*2区域611和621偏移一个像素的3*3*2区域612和622的像素[0089]尽管图6仅示出了第一核Kernel1的卷积操作结果，但是当对n个核执行卷积操作[0093]当输入第二输入图像I2和第二分类符C2时，第一卷积层440可以通过对第二输入[0094]当图7的第一特征映射710和第二特征映射720彼此比较时，纹理特征在第一特征映射710中比第二特征映射720更好地表示，并且文本或边缘特征在第二特征映射720中比[0096]参照图8，当第一输入图像I1输入到参照图1描述的DNN3中所包括的第一卷积层的第二特征映射720与图8的第四特征映射820进行比较时，文本或边缘特征在第二特征映[0098]因此，根据实施例的DNN150可以根据分类符指示的目的对输入图像符931的像素值可以具有指示细节增强(纹理表示增强)的第一值。当要处理的图像和第一像素值可以具有指示文本或边缘增强的第二值。当要处理的图像和第二分类符932都输入可以大于第一值。输出第七图像970可以表现出比参考图9描述的第三图像930中表现出的图像980可以表现出比参考图9描述的第六图像960中表现出的文本或边缘增强效果更好的[0108]参照图11，根据实施例的图像处理设备100可以基于要处理的第一图像1010生成[0109]例如，图像处理设备100可以通过提取第一图像1010的边缘和文本来生成指示第一图像1010的边缘和文本的映射图像1020。图像处理设备100可以通过使用各种已知的边缘提取过滤器或文本提取过滤器来提取第一图像1010[0111]图像处理设备100可以通过平滑指示边缘和文本的映射图像1020来生成分类符[0113]此外，图像处理设备100可以将第一图像1010和生成的分类符1030输入到DNN[0116]当接收到的图像是主要包括纹理表示的图像时，图像处理设备100可以将分类符以将分类符的像素值确定为第二值，并且生成具有第二值作为每个像素值的第二分类符络时输入第二分类符C2以及用于文本或边缘表示增强的训的图像处理可以包括处理输入图像以便当输入图像被转换成高分辨率图像时增强细节(纹以是在将各条第一图像数据D1转换为高分辨率图像时增是通过在将第二图像数据D2转换成高分辨率图像时减少出现在文本或边缘(增强文本或边[0122]根据实施例的图像处理设备100可以将第一分类符C1与第一图像数据D1一起输入包括在DNN150中的一个或多个核的权重，以便减少各条第一标签数据L1与当将各条第一图像数据D1和第一分类符C1输入到DNN150时输出的各以调整包括在DNN150中的一个或多个核的权重，以便减少第二标签数据L2与当第二图像数据D2和第二分类符C2输入到DNN150时输出的图像数据[0125]图14是根据实施例的用于描述被配置为根据多个目的执行图像处理的DNN的参考如，编码伪像(codingartifact)降低)中的至少一个处理n个图像数据中的每一个而获得[0127]DNN150可以接收第一分类符C1、第二分类符C2和第三分类符C3(四个通[0128]例如，可以基于第一图像数据1410和第一标签数据来确定输入到DNN150像数据1410与通过将第一图像数据1410转换成高分辨率图像而获得的第一标签数据进行的细节增强程度大于将第二图像数据与第二标签数据进行比较时在第二标签数据中呈现调整包括在DNN150中的一个或多个核的权重，以便减小第一标签数据与当第一图像数据[0133]当通过使用以与上述相同的方式训练的DNN150来处理输入图像时，可以通过调使标签数据1540以第三强度虚化来生成第三图像[0141]根据实施例的处理器130通常可以控制图像处理设备100。根据实施例的处理器[0142]根据实施例的存储器120可以存储用于操作和控制图像处理设备100的各种数据、程序(一个或多个指令)或应用可以由处理[0143]根据实施例的处理器130可以获得第一图像和指示图像处理的目的的分类符，并处理器130可以通过颜色空间转换将包括在第一图像中的R通道、G通道和B通道转换为Y通据第一目的对第一图像执行图像处理时，处理器130可以将分类符的像素值确定为与第一[0145]DNN可以包括N个卷积层，并且处理器130可以通过执行卷积操作来提取特征信息[0146]处理器130可以基于包括在分类符中的像素的值、对应于第一目的的第一值以及对应于第二目的的第二值来确定根据第一目的的图像处理级别和根据第二目的的图像处数据与当将多条第一图像数据和第一分类符输入到DNN时输出的多条图像数据之间的差当第二图像数据和第二分类符输入到DNN时输出的多条图像数[0151]网络训练器1400可以根据实施例获得用于训练DNN的训练数据。网络训练器1400的图像处理的训练的第一训练数据集和用于根据第二目的的图像处理的训练的第二训练[0153]网络训练器1400可以基于具有不同目的的多个训练数据集来学习如何处理输入[0154]网络训练器1400可以将经过训练的网络(例如，DNN)存储在图像处理设备的存储[0155]其中存储受过训练的网络的存储器还可以存储例如与图像处理设备100的至少一[0156]或者，网络训练器1400可以基于由图像处理器1500生成的高分辨率图像来训练[0157]图像处理器1500可以基于第一图像和指示图像处理目的的分类符来处理第一图[0158]网络训练器1400和图像处理器1500中的至少一个可以以硬件芯片形式制造并安单元(CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))的一部分并且被网络训练器1400和图像处理器1500中的至少一个由软件模块(或包括指令的程序模块)实[0162]参照图18，图像处理器1500可以包括输入图像生成器1510、分类符生成器1520、[0164]分类符生成器1520可以在尝试根据第一目的对第一图像执行图像处理时生成具成器1520可以生成具有单个像素值的分类符或者具有用于各个区域的不同像素值的分类器1520可以通过平滑化指示边缘和文本的映[0166]根据实施例的DNN单元1530可以通过使用由网络训练器1400训练的DNN对第一图输出图像生成器1540可以放大第一图像的U和V通道的图像，并通过将放大的图像与由DNN处理并从DNN输出的图像(第一图像的Y通道的图像)级联(concatenating)来生成最终图[0168]网络更新器1550可以基于对从DNN单元1530提供的输出图像或从输出图像生成器过向网络训练器1400提供从DNN单元1530或输出图像生成器1540提供的图像数据来更新网络更新器1550中的至少一个可以以硬件芯片形式制造并安装在图像处理设备中。例如，生成器1540和网络更新器1550可以分别安装在一个图像处理设备中或安装在单独的图像[0173]根据实施例的图像处理设备的操作方法可以以可由各种计算机装置执行并记录存储介质。例如，计算机程序产品可以包括通过电子设备的制造公司或电子市场(例如[0176]计算机程序产品可以包括服务器的存储介质或者包括服务器和客户端设备的系序产品可包括将从服务器传输到客户端设备或第三设备或从第三设备传