CN111295688B 图像处理设备、用于处理图像的方法和计算机可读记录介质 （三星电子株式会社）

2020.04.29PCT/KR2018/01177220WO2019/088476EN2019.05.09被配置为通过使用存储器中存储的具有不同亮度的多个图像来获得高动态范围(HDR)图像，并且针对获得的HDR图像对包括至少一个像素的每为针对每个像素组在所述多个图像中识别将被2对包括在获得的HDR图像中的多个像素组中的每个像素组，从所述多个图像中分别识基于识别出的图像，对包括在获得的HDR图像中的所述多个像素组中每个像素组的像中具有小亮度差的前两个图像的色度进行融合而获得的图像识别为用于所述多个像素述多个图像的与所述多个像素组相应的每个区域的亮度和所述多个像素组的亮度之间的差最小的图像识别为将被用于所述多个像素组的色使用所述多个像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色像的像素的色度进行融合来对所述多个像素组的色度所述多个像素组中包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之预定像素间隔获得所述多个像素组中包括的像素的色度和识别出的图像的与所述像素相于或大于预定值的像素相应的区域的色度进所述多个像素组的亮度并对所述多个像素组的色度进3对包括在获得的HDR图像中的多个像素组中的每个像素组，从所述多个图像中分别识基于识别出的图像，对包括在获得的HDR图像中的所述多个像素组中每个像素组的其中，所述识别的步骤包括：基于所述多个图像的与所述多个具有小亮度差的前两个图像的色度进行融合而获得的图像作为将被用于所述多个像素组述多个像素组相应的每个区域的亮度和所述多个像素组的亮度之间的差最小的图像识别包括的像素的色度和识别出的图像的与所述像素相应的像素的色度之间的差来获得融合4机的动态范围因镜头和图像传感器的物理限制而已经变窄，更强大的HDR图像技术已经被[0008]示例性实施例的一方面涉及提供一种用于对HDR图像的颜色模糊进行校正的图像通过使用存储器中存储的具有不同亮度的多个图像来获得高动态范围(HDR)图像，并且针所述像素组的亮度之间的差最小的图像识别为将被用于所述像素组的色的前两个图像的色度进行融合而获得的图像识别为用于所述对所述像素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进行校5度差等于或大于预定值的像素相邻的预定数量的像素的色度组的与获得的色度差等于或大于预定值的像素相应的区域的色度[0018]所述处理器还可被配置为：保持像素组的亮度并且对所述像素组的色度进行校有不同亮度的多个图像来生成高动态范围(HDR)图像，在所述多个图像中确定将被用于针对获得的HDR图像对包括至少一个像素的每个像素组进行色度校正的图像，并且通过使用述像素组的亮度之间的差最小的图像确定为将被用于所述像素组的色[0022]所述校正的步骤可包括：基于像素对构成像素组的至少一个像素的色度进行校素的色度和识别出的图像的像素的色度进行融合来对所述像素组的色度进差等于或大于预定值的像素相邻的预定数量的像组的与获得的色度差等于或大于预定值的像素相应的区域6[0033]图5是用于解释根据本公开的实施例的用于确定执行色度校正的区域的操作的示[0034]图6是用于解释根据本公开的另一实施例的确定将执行颜色校正的区域的操作的[0037]本说明书中使用的所有术语(包括技术术语和科学术语)具有与本领域技术人员7[0045]参照图1，根据本公开的实施例的图像处理系统1000可包括第一图像处理设备[0047]图1示出了在第二图像处理设备100-2上显示由作为相机的第一图像处理设备[0048]当第一图像处理设备100-1的动态范围比第二图像处理设备100-2的动态范围窄态范围(SDR)图像被显示在具有较宽动态范围的第二图像处理设备100[0049]当第一图像处理设备100-1的动态范围比第二图像处理设备100-2的动态范围宽[0050]第一图像处理设备100-1可生成HDR图像并将HDR图像发送到第二图像处理设备100-2，或者第二图像处理设备100-2可从第一图像处理设备100-1接收图像并生成HDR图100-1接收到的图像来生成HDR图像，并且将生成的HDR图像发送到第二图像处理设备100-[0052]参照图2，根据本公开的实施例的图像处理设备100可包括存储器110和处理器储器110可存储具有不同亮度的多个图像。可连续地捕获多个图像或可通过使用单个图像处理设备100或外部装置捕获的单个原始图像来生成多个图像。多个图像可由捕获或接收[0055]处理器120可通过使用原始图像(即LDR图像或SDR图像)来生成HDR图像。处理器不同亮度的多个图像进行合成来生成HDR图像。用于通过使用单个图像或多个图像来生成8在输入图像中的边缘数量多的高频区域的情况下通过使像素组中具有少量像素以减小像素组的尺寸并且在边缘数量少的低频区域的情况下通过使像素组中具有大量的像素而增120可针对每个像素组在用于生成HDR图像的具有不同亮度的多个图像中选择将被用于色[0059]处理器120可将多个图像中与像素组相应的区域的亮度与该像素组的亮度进行比或者将像素组中的多个像素中具有最多数量的最小亮度差的像素的图像识别为将被用于[0062]当生成的HDR图像的像素组的亮度和多个图像的与像素组相应的每个区域的亮度之间的差等于或大于预定值时，处理器120可将通过对多个图像进行融合而获得的图像识成的HDR像素组的亮度是高曝光图像和基本图像的与像素组相应的各个区域的亮度之间的一半的值，则处理器120可将通过对作为具有相似亮度的前两个图像的高曝光图像和基本图像的色度进行融合而获得的图像确定为将被用于色度校正的图像。处理器120可考虑像素组的亮度与高曝光图像和基本图像的亮度的相似[0064]当像素组中包括的像素的色度和确定的图像中与该像素相应的像素的色度之间包括的像素的色度和确定的图像中与该像素相应的像素的色度之间的色度差小于预定值[0066]处理器120可确定像素组中包括的所有像素之间的色度差，并基于确定的色度差[0067]处理器120可以以预定比率缩小像素组和确定的图像的与像素组相应的区域，并9且确定与各个缩小后的区域相应的像素的色度差。处理器120可仅对缩小之前的像素组中[0068]处理器120可按照预定的像素间隔确定像素组中包括的像素的色度和确定的图像融合比率是通过使用像素组中包括的像素的色度和确定的图像的与该像素相应的像素的[0071]处理器120可按照以下等式(1)通过使用像素组中包括的像素的色度和确定的图[0074]处理器120可按照以下等式(2)通过使用基于等式(1)计算的融合比率来对像素的[0077]参照等式2，随着像素组中包括的像素的色度和确定的图像的与该像素相应的像[0078]处理器120可按照以上等式(2)在保持像素组中包括的像素的亮度的同时对像素[0084]CPU123可访问存储器110并且通过使用存储器110中存储的操作系统(O/S)来执[0085]用于系统启动的命令集等可被存储在ROM122中。当开启命令被输入并且被供电尺寸、颜色等)。渲染单元可基于由计算单元计算的属性值生成包括对象的各种布局的屏幕。由渲染单元生成的屏幕(或用户界面窗口)可被提供给显示器140并且被显示在主显示[0087]通信接口130可被配置为根据各种类型的通信方法执行与各种类型的外部装置的[0088]通信接口130可使用例如天线、电缆或端口以有线方式接收图像，或者经由例如备100中设置的存储器110中存储的多个图像中选择的图像并对图像进行处[0092]按钮150可以是形成在图像处理设备100的主体的任意区域(诸如前表面部分、侧[0093]视频处理器160可被配置为处理通过通信接口130接收的内容、或者存储器110中存储的内容中包括的视频数据。视频处理器160可执行视频数据的各种图像处理，诸如解外部输入端口(诸如在图像处理设备100中可通过其连接USB连接器的USB端口、头戴式耳[0098]参照图4，图像处理设备可通过使用具有不同亮度的多个图像410来生成HDR图像[0099]图像处理设备可选择多个图像410中的一个图像作为参考图像430。参考图像430是指将被用于对生成的HDR图像420的应于该像素组的区域的亮度之间的最小亮度差的图像作为参考图像430。当作为HDR图像420的一部分的像素组的亮度和相应于该像素组的每个区域的亮度之间的差等于或大于预[0101]图像处理设备可基于参考图像430的与像素组相应的区域的色度和HDR图像420的[0102]图像处理设备可生成通过使用计算出的融合比率440基于H(颜色)融合450和S(饱和度)融合460对色度进行校正而获得的结果图像480。图像处理设备可生成通过根据计算的融合比率440对HDR图像420和参考图像430的颜色和饱和度进行融合来对色度进行校正[0103]图像处理设备可在通过色度校正生成结果图像480的过程中保持470亮度(V)。换备可通过在保持Y值的同时对Cb和Cr值进行融合[0105]如果亮度值如在RGB颜色空间中那样未被分离，则可通过转换成亮度值可分离的[0106]图5是用于解释根据本公开的实施例的用于确定执行色度校正的区域的操作的示图。图5示出通过缩小像素组的尺寸来确定用于执行色度校正的像素从而降低计算量的示[0108]如图5的(b)所示，图像处理设备可通过以1/3的比率缩小HDR图像的像素组510来对像素组510进行色度校正的图像的参考图像中以1/3的比率缩小与像素组510相应的区[0109]图像处理设备可确定缩小后的像素组520和与参考图像的缩小后的区域相应的像[0111]图6是用于解释根据本公开的另一实施例的确定用于执行颜色校正的区域的操作的示图。图6示出了通过以预定像素间隔确定像素组中包括的像素的色度差来降低用于色[0112]参照图6，图像处理设备可将生成的HDR图像的像素组610生成为21×16形式。然[0113]图像处理设备可计算参考图像和HDR图像的像素组610中包括的多个像素中预定[0114]当在具有预定间隔的像素611中存在与参考图像的色度差等于或大于预定值的像[0115]可通过不对是否未对像素组中包括的所有像素执行色度校正进行确定来减少用[0119]图像处理设备可在具有不同亮度的多个图像中确定针对生成的HDR图像的每个像[0120]图像处理设备可将多个图像中的与像素组具有最小亮度差的图像确定为参考图用针对HDR图像的每个像素组确定的参考图像来对像素组的色度进行校正。图像处理设备可通过使用参考图像的与HDR图像的像素组相应的区域的色度和HDR图像的该像素组的色[0123]根据本公开的各种实施例，