CN109658338B 使用外部电子装置处理原始图像的方法和电子装置 （三星电子株式会社）

号JP2007215001A,200US2011034209A1,2011.使用外部电子装置处理原始图像的方法和得外部电子装置能够生成与第二校正图像和第中第二校正图像通过以第一图像处理方案处理原始图像而生成且第三校正图像通过以第二图经进一步校正的第一校正图像与第三校正图像2通过第一图像处理方案由所述原始图像生成控制所述通信模块将所述原始图像以及标识所述电子装置或所述至少一个处理器中控制所述通信模块从所述外部电子装置接收差异图像信息通过根据基于所述至少一条标识信息选择的所述第一图像处理方案处理所述原始图像而及通过使用所述差异图像信息进一步校正所述第一校正图像，使得述无损压缩所得的压缩差异图像信息进行解压来获取所述频编码HEVC编码方案之中不需要另一帧图像的第一编码方案对所述第一校正图像进行编3通过第一图像处理方案由所述原始图像生成控制所述电子装置的通信模块将所述原始图像以及标识所述电子装置或所述电子装置的至少一个处理器中的至少一者的至少一条标识信息发控制所述通信模块从所述外部电子装置接收差异图像信息通过根据基于所述至少一条标识信息选择的所述第一图像处理方案处理所述原始图像而及通过使用所述差异图像信息进一步校正所述第一校正图像，使得4[0001]本公开各实施方式涉及用于通过使用外部电子装置处理经由相机获取的原始图像匹配的基于计算机视觉的技术(其可能难以在终端中执行)可被应用于上传至云服务器器；从云服务器接收经过在电子装置的图像信号处理器(ISP)中难以执行或耗费很多时间像通过以与外部电子装置对应地设置的第一图像处理方案处理原始图像来生成且第二校5通信模块从外部电子装置接收与第二转换图像和第一校正图像之间的差异对应的差异图接收的差异图像信息和第一转换图像生成与第一校正图像对应的[0010]通过下文结合附图披露本公开的示例性实施方式的详细描述，本公开的其它方[0024]图8A和图8B是示出根据各实施方式的用于操作电子装置和服务器的方法的流程[0029]图13是示出根据各实施方式的服务器和不具有图像信号处理器(ISP)的电子装置6络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部[0040]可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统[0041]输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它7[0042]声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可[0045]传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据[0046]接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接[0048]触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激块188实现为例如电力管理集成电路(PMIC)的星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信8在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。[0054]上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出[0055]根据实施方式，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或多个装置101除了运行所述功能或服务以外，还可请求所述一个或多个外部电子装置执行所述能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少器)和/或图像信号处理器260。镜头组件210可采集从将被拍摄图像的目标发出或反射的或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或9[0057]图像传感器230可通过将从目标发出或反射并经由镜头组件210透射的光转换为使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在[0058]图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)和/或加速度传感器[0059]存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用和处理存储在存储器250中的原始图像的至少一部分。根据示例性实施方式，可将存储器[0060]图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置[0061]根据示例性实施方式，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相像传感器230可根据滤色器阵列(CFA)模式以多种格式获取原始图像。如果图像传感器230包括双像素结构(或者2个光电二极管(2PD)结构)，则图像传感器230可获取包括与一个像同或不同性能的多个图像传感器，例如但不限于双传感器(例如，RGB传感器+RGB传感器、多个原始图像。所获取的原始图像可原样地或者在附加处理之后被存储在存储器130或存180的外部。在处理器264中执行的处理可以由处理器264单独执行或由多个处理器以分布噪声。轻量级图像生成器262可通过使用原始图像生成在大小上小于原始图像的轻量级图图像执行诸如尺寸缩小(down-scaling)、下采样(down-sampling)或压缩的多种处理来生压缩器263可通过多种图像压缩算法(不限于任何特定的压缩方案)来压缩原始图像或轻量[0068]ISP260可如之前参照图2A描述的那样对经由图像传感器230获取的图像或者存或非暂时地存储在服务器108的原始图像存储器[0070]根据各实施方式，预处理器271可在将所接收的原始图像发送至引擎272或ISP274之前执行所需的处理。例如，如果预处理器271经由通信模块284接收到已压缩原始图可以以多层的形式生成校正区域信息。将参照图2C和图2D更详细地描述由引擎272生成的下，电子装置101可组合地执行由ISP260提供的图像处理和基于校正区域信息的图像处ISP274可基于校正区域信息执行图像处理。ISP274可从DB存储器281接收与校正区域信281可存储与图像类别等对应的各种特征信息。经处理的图像可被再次发送至电子装置正图像并作为第二图像处理的结果产生第二校正图像。处理器270可将第一校正图像与第正区域信息执行的图像处理和/或可以是需要比第一图像处理更大的计算量或更大的资源像中的每个像素的像素值减去第一校正图像中的每个相应像素的像素值来计算。处理器270可经由通信模块284向电子装置101发送差异图像或通过将差异图像压缩而获得的压缩[0075]服务器108可获取例如在图2C中示出的原始图像285。服务器108可另外接收用于理器)可通过使用通过使大量DB经过机器学习或深度学习而获得的识别算法来获取识别目298和299有关的位置信息(或像素坐标信息)以及纹可确定目标识别结果的可靠性和纹理识别结果的可靠性中的至少一项。服务器108可确定从原始图像285获取分类信息287。分类信息287可包括表示例如普通绿草的整体场景分类结果信息。分类信息287可包括目标信息(例如，天空、气球和草)、日期信息(例如，与瓷釉对应的效果应用于原始图像的与纹理分割图293中正被瓷釉处理的纹理目标的像素异发送至电子装置101。电子装置101可通过使用在电子装置101中校正的图像和所接收的[0080]根据各实施方式，服务器108可通过之前参照图2C和图2D描述的过程处理第二校如，服务器108)可生成与第二校正图像和第三校正图像之间的差异相对应的差异图像信始图像生成已压缩原始图像，并控制经由通信模块190将已压缩原始图像发送至外部电子正图像在已压缩原始图像被解压之后以第一图像处理方案生成且第三校正图像在已压缩存储在电子装置101中的第一图像处理方案将原始图像发送至外部电子装置；控制经由通信模块190从外部电子装置接收第二转换图成预定格式而生成且第一校正图像通过将存储在外部电子装置中的图像处理方案应用于用第一数据和第一校正图像生成第二校正图像并将第二校正图像存储在存储器外部电子装置(例如，电子装置101)对应地设置的第一图像处理方案而生成且第二校正图由通信模块(例如，通信模块284)将差异图像信息发送至外部电子装置(例如，电子装置[0099]根据各实施方式，作为接收原始图像的操作的至少一部分，至少一个处理器(例的信息中的至少一部分和存储在外部电子装置(例如，电子装置101)中的第一图像处理方正图像以至少基于至少一条标识信息选择的第一图像处理(例如，处理器270)可配置成通过参照第一校正图像以HEVC编码方案之中需要另一帧图像[0102]图3是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参160上显示第一图像或通过校正第一图像而获得的图像，并另外显示可在其上可选择经由一图像的发送，并且随后如果电子装置101被确定为连接至符合诸如Wi-Fi等标准的网络，的发送(操作303)被示出为在生成第一校正图像(操作305)之前，但这仅是示例而非限制。置101可以以预定顺序向原始图像应用白平衡、颜色调整和锐化。在另一示例性实施方式[0109]服务器108可参照表1的关联信息识别电子装置101的第一图像处理方案。在另一示例性实施方式中，服务器108可存储型号信息和与图像处理算法(或图像处理程序)有关可通过使第一图像经过如第一图像处理方案的NR、锐化和/或图像增强来生成图4A中所示务器108可管理图像处理方案(或图像处理程序)和与电子装置101有关的唯一标识信息(而用第一图像处理方案来生成第二校正图像，该第一图像处理方案至少基于与电子装置101子装置104)接收到图像，则服务器108可将与第一图像处理方案不同的第三图像处理方案方案应用于所接收的第一图像来生成第三校正图像。第二图像处理方案可以是在服务器108中设置的图像处理方案，并且可以是可执行需要相对大的计算量或相对大的资源的更准确的校正的图像处理。第二图像处理方案可以是例如不能在电子装置101中执行的图像校正图像中的坐标(i,j)中的像素的像素值为c(i,j)且第三校正图像中的坐标(i,j)中的像素的像素值为d(i,j)，则服务器108可将差异图像中的坐标(i,j)中的像素的像素值确定为示出示例性差异图像403。因为第二校正图像401和第三校正图像402二者均是针对原始图108可直接从原始图像生成差异图像信息，而不是直接生成并存储第二校正图像和第三校101可将从所接收的差异图像信息中识别的差异图像添加到第一校正图像，从而产生第四的像素(i,j)的像素值为c(i,j)，因而在通过置101中生成第四校正图像的过程可表示为进一步校正第一生成的第一校正图像与在通信模块190接通的情况下生成的第四校正图像之间的差异可与如，通过解压通信信号中所包括的信息而获取的信息可与在通信模块190接通时生成的校正图像和在通信模块190断开时生成的校正图像之[0115]图5是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参[0116]根据各实施方式，电子装置101可在操作501中通过使用相机模块180获取与外部一ISP601可通过将第一图像处理方案应用于第一图像而生成与由电子装置101的第一ISP601生成的第一校正图像大致相同的第二校正图像(例[0118]在操作509中，服务器108可生成第二校正图像与第三校正图像之间的差异图用于原始图像的全部像素，并且第二ISP611可能将第二校正效果应用于原始图像的全部101可通过如附图标记603所指示那样将第一校正图像和差异图像相加来生成第四校正图值之间的差异小于阈值)，则服务器108可通过使用这样的信息来生成差异图像的编码数编码数据发送至电子装置101。电子装置101可在操作707中例如通过将行程解码算法应用可确定在图像的块中是否存在系数。如果确定在块内不存在系数，则服务器108可在操作在操作719中通过使用改进的高斯滤波器来估计定向性。服务器108可在操作721中确定复杂度是否超过阈值复杂度。如果复杂度被确定为超过阈值复杂度，则服务器108可在操作如果复杂度被确定为等于或小于阈值复杂度，则服务器108可在不执行帧内预测的情况下取与外部目标对应的第一图像。在操作802中，电子装置101可压缩第一图像(即，原始图108可包括多种类型的压缩/解压模块，并因而对从各种电子装置101接收的以多种压缩方像。电子装置101可通过对第一图像应用第一图像处理方案来生成第一校正图像。在操作803中从电子装置101接收的压缩的第一图像中识别的、由电子装置101使用的压缩方案来选择压缩方案。在操作802中由电子装置101执行的压缩方案可以与在操作821中由服务器装置101可至少基于第一校正图像和差异图像生成第[0130]图9是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图10对图9的实施方式进行更详细的描述。图10是示出根据各实施方式的电子装置和服标识信息可包括例如标识ISP260的信息或表示ISP260所使用的至少一个图像处理程序的信息。电子装置101可在不同的通信信号中单独发送第一图像和标识信息或在一个通信本重建1023、图像修复1024、CFA插值1025、WB/颜色调整1026、NR/锐化1027和图像增强务器108可基于所接收的标识信息1050来选择多个图像处理程序1020的一部分1030。服务器108可选择多个图像处理程序1020的部分1030以执行与电子装置101执行的第一图像处可通过将例如图10中所示的被包括在第一图像处理方案1010中的图像处理程序1011、程序1020中选择的与电子装置101对应的图像处理程序1030来生成第二校正图像。服务器108可通过应用例如在图10中所示的多个图像处理程序1020的至少一部分来生成第三校正图像。服务器108可通过将所存储的多个图像处理程序1020的全部应用于第一图像或将所存储的多个图像处理程序1020的一部分应用于第一图像来生成第三校正图像。服务器108装置101可至少基于第一校正图像和差异图像信息生成与第三校正图像大致相同的第四校装置101可将用于模拟服务器108中的ISP的信息包括在第一图像(即，原始图像)的元数据[0136]在操作1105中，服务器108可检查第一图像的元数据中的与电子装置101或ISP器108可通过使用所选的处理程序至少基于第一图像生成第二校正图像。第二校正图像可装置101可将原始图像的格式转换为校正图像的格式(YUV格式)。电子装置101可仅将原始用解压模块602对所接收的压缩的差异图像进行解压，从而获取差异图像A-R'。电子方式的电子装置101仅包括能够只转换格式的转换模块1301而不包括ISP，电子装置101也可获取与如在服务器108中处理的校正图像[0142]根据各实施方式，服务器108可在操作1409中至少基于第一图像生成第二校正图图标记613所指示那样通过从所生成的第二校正图像A中减去所接收的第一校正图像B来生[0143]在操作1415中，电子装置101可至少基于第一校正图像和差异图像信息生成第三从服务器108接收的压缩的差异图像)来生成差异图像A-B。电子装置101可如附图标记603所指示那样通过将第一校正图像B与差异图像A-B相加而生成第三校正图像C。第三校正图缩第三校正图像C。电子装置101可将图像文件存储在存储器130的存储器621(例如，DRAM612可通过将第一图像处理方案应用于第一图像来生成第二校正图像B。服务器108的第二ISP611可通过将与第一图像处理方案不同的第二图像处理方案应用于第一图像来生成第[0146]根据各实施方式，电子装置101可在操作1609中通过高效视频编码(HEVC)编码对的HEVC编码器1721可通过将HEVC编码方案之中的预定第一编码方案应用于第一图像来生用于生成I帧图像的编码)。电子装置101可将第一校正图像C'存储在存储器130中(例如，第三校正图像A进行编码。由需要另一帧图像的第二编码方案生成的第三编码图像A'的大装置101可通过使用存储的第一编码校正图像和所接收的编码数据来生成第四校正图像。解码器1722可独立地对第一编码图像C'进行解码，并参照解码所得的第一校正图像C解码[0150]图像传感器230可获取外部目标的图像，并生成与所获取的图像对应的原始图像并将压缩的轻量级图像1821存储在图像传感器230的存储器中，以处理原始图像1822的一部分。服务器108的识别模块1831可经由通信模块获取轻量级图像1821，并将轻量级图像[0151]根据各实施方式，图像传感器230提供的原始图像1822可与轻量级图像1821分开级图像1821发送至服务器108，并随后将原始图像1822发送至服务器108。例如，可在ISP始图像1822。服务器108可通过使用先前生成的校正区域信息1832或通过使用扩展的校正生成的校正区域信息和原始图像1822二者来生成扩展校正区域信息。ISP274可通过使用子装置101的ISP260中使用的图像处理方案相同的图像处理方案应用于原始图像1822来生成校正图像。服务器108可将与高分辨率图像1834和所生成的校正图像之间的差异图像外部存储器138)中的可由机器(例如，电子装置101)读取的一个或多个指令的软件(例如，120)可在使用或无需使用一个或多个其它部件的情况下调用存储在存储介质中的所述一磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储[0156]根据实施方式，可在计算机程序产品中包括和提供根据本公开各实施方式的方少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转第二校正图像与以第二图像处理方案生成的第三校正图像之间的差异而生成的差异图像一个区域且与第二效果对应。第二图像处理方案可能需要比第一图像处理方案大的计算关的信息中的至少一部分和存储在电子装置中的第一图像处理方案中第二编码图像通过参照第二校正图像以HEVC编码方案之中需要另一帧图像的第二编码方获取的原始图像；生成与第一校正图像和第二校正图像之间的差异对应的差异图像信息，预定格式而生成并且第一校正图像通过将存储在外部电子装置中的图像处理方案应用于图像之间的差异(在电子装置的ISP中可能难以获得或耗费很多时间方可获得)，并且通过人员将理解，在不背离如由所附权利要求及其等同限定的本公开的精神和范围的