CN112700377B 图像泛光处理方法及装置、存储介质 （华为技术有限公司）

OliverKlehm.Interactive本申请公开了一种图像泛光处理方法及装子设备在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同2获取第一图像的第一亮度区域类，所述第一亮度区域类中包括所在确定所述第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域2.根据权利要求1所述的方法，其特征在于，所述第一图像基于第一三维场景渲染得所述第一亮度区域类中的亮度区域在所述第一三维场景中对应的物体模型的状态信息与所述目标亮度区域类中的亮度区域在所述第二三维场景中对应的物体模型的状态信获取所述第一三维场景中所述第一亮度区域类对应的所有物体所述第二三维场景中所述目标亮度区域类对应的所有物体模在确定所述第一三维场景中所述第一亮度区域类对应的所有物体模型的状态信息与述第一三维场景的相机参数以及所述第二三维场景在确定所述第一三维场景的相机参数与所述第二三维场景的相遍历所述第一三维场景中的所有物体模型的标签，所述标签用于指示物获取所述第一三维场景中的所有所述背景类物体模型，所述所述背景类物体模型在所述第一图像中对应的背景类亮对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处3在确定所述第一图像的第二亮度区域类与所述对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处8.根据权利要求6或7所述的方法，其特征在于或者，所述第一亮度区域类中的亮度区域的尺寸均小于_3。第一获取模块，用于获取第一图像的第一亮度区域类，所述第二获取模块，用于在确定所述第一图像的第一亮度区域类生成模块，用于基于所述第一图像以及所述第一中间图像，生成所述第一亮度区域类中的亮度区域在所述第一三维场景中对应的物体模型的状态信息与所述目标亮度区域类中的亮度区域在所述第二三维场景中对应的物体模型的状态信第三获取模块，用于获取所述第一三维场景中所述第一亮度区4第四获取模块，用于在确定所述第一三维场景中所述模型的状态信息与所述第二三维场景中所述目标亮度区域类对应的所有物体模型的状态确定模块，用于在确定所述第一三维场景的相机参数与所遍历所述第一三维场景中的所有物体模型的标签，所述标签用于指示物获取所述第一三维场景中的所有所述背景类物体模型，所述所述背景类物体模型在所述第一图像中对应的背景类亮高斯模糊处理模块，用于针对所述第二亮度区域类进对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处高斯模糊处理模块，用于在确定所述第一图像的第二亮度区对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处或者，所述第一亮度区域类中的亮度区域的尺寸均小于5_3。滤波处理模块，用于在所述基于所述第一图像以及所述第一指示处理组件执行如权利要求1至11任一67斯模糊处理后得到的中间图像，而无需针对第一图像的第一亮度区域类进行高斯模糊处区域类中的亮度区域在第一三维场景中对应的物体模型的状态信息与目标亮度区域类中[0013]电子设备获取第一三维场景中第一亮度区域类对应的所景中第一亮度区域类对应的所有物体模型的状态信息与第二三维场景中目标亮度区域类三维场景的相机参数。在确定第一三维场景的相机参数与第二三维场景的相机参数相同[0015]上述第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场型的状态信息与对应的第二亮度区域对应的物体模型的状态8子设备可以先判断经过泛光处理的第二图像中是否存在某个亮度区域类与第一图像的第二亮度区域类相同的过程可以参考上述电子设备判断第一图像的第一亮度区域类与经过9[0034]另外，本申请还具有前述各个方面中所提到的效果以及其它可推导出的技术效[0036]图2是本申请实施例提供的一种图像泛光处理方法涉及的电子设备的结构示意[0039]图5是本申请实施例提供的一种根据图形应用程序创建得到的3D场景渲染得到图[0041]图7是本申请实施例提供的一种判断第一图像的第一亮度区域类与第二图像的目以认为是类似于PS(photoshop)的滤镜处理技术。图像后处理的对象可以是基于三维场景亮度区域类进行高斯模糊处理后得到的第一中间图像，并基于第一图像以及第一中间图[0060]本申请实施例以第一图像和第二图像均为基于3D场景渲染得到的图像为例进行[0061]图2是本申请实施例提供的一种图像泛光处理方法涉及的电子设备200的结构示[0065]处理器210可以包括一个或多个处理单元，例如包括中央处理器(centralprocessingunit，CPU)(例如应用处理器(applicationprocessor，AP))，图形处理器[0067]在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0068]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器210可以通过I2S总线与音频模块270耦合，实现处理器210与音频模块270之间的通也可以通过PCM接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display[0078]天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆[0079]移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信[0081]无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi_Fi)网络)，蓝牙通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time_divisioncodedivisionmultipleaccess，TD_统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi_zenithsatellite晶显示屏(iquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode，AMOLED)，柔性发光二极管(flexlight_emitting[0087]摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0089]视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种[0092]内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括器221可以包括高速随机存取存储器，例如双倍速率同步动态随机存储器(doubledata[0094]音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风270C发声，将声音信号输入到麦克风窝电信工业协会(cellulartelecommunicationsindustryassociationoftheUSA，力传感器280A检测所述触摸操作强度。电子设备200也可以根据压力传感器280A的检测信[0101]气压传感器280C用于测量气压。在一些实施例中，电子设备200通过气压传感器[0102]磁传感器280D包括霍尔传感器。电子设备200可以利用磁传感器22280D检测翻盖[0103]加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大200附近没有物体。电子设备200可以利用接近光传感器280G检测用户手持电子设备200贴[0106]环境光传感器280L用于感知环境光亮度。电子设备200可以根据感知的环境光亮[0107]指纹传感器280H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹[0108]温度传感器280J用于检测温度。在一些实施例中，电子设备200利用温度传感器频模块270可以基于所述骨传导传感器280M获取的声部振动骨块的振动信号，解析出语音[0111]在本申请另一些实施例中，电子设备200也可以采用上述实施例中不同的接口连法模块30231。图形API层303包括嵌入式系统的开放式图形库(openGLforembeddedsystems，OpenGLES)接口层3031以及VuIkan接口(一个跨平台的绘图应用程序接口)层[0120]图形应用程序301加载一个或多个物体模型，也即是获取该一个或多个物体模型[0121]图形应用程序301创建得到3D场景后，通过渲染引擎接口将该3D场景中的一个或后处理泛光效果模块3023及其包括的优化大维度高亮区域泛光算法模块30231的功能在下231]中所有像素的数量之和小于第一图像中像素总数的90且像素值区间[0，7]、[8，中所有像素的数量之和大于或等于第一[0133]步骤603、当第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度类中的亮度区域在第一3D场景中对应的物体模型的状态信息与目标亮度区域类中的亮度[0135]可选地，图7是本申请实施例提供的一种判断第一图像的第一亮度区域类与第二一亮度区域类对应的所有物体模型的状态信息和该目标亮度区域类对应的所有物体模型对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的山体B的状态信息相同，且第一3D场景中的天空C的状态信息与第二3D场景中的天空C的状的墙体A的状态信息与第二3D场景中的墙体A的状态信息不同，第一3D场景中的山体B的状与第二3D场景中的天空C的状态信息不同时，电子设备确定第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的[0148]当第一亮度区域类对应的所有物体模型的状态信息和目标亮度区域类对应的所定该第一亮度区域类与该第二图像的目标亮度[0151]本申请实施例中，第一图像的第一亮度区域类与第二图像的目标亮度区域类相第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类备判断第一亮度区域类中亮度区域的数量与目标亮度区域类中亮度区域的数量是否相同，以及第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的类型一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的每个亮度区域类分别执行上述步骤602至步骤604，得到每个亮度区域类对应的中间图域类中的亮度区域的尺寸均大于第二亮度区域类中亮度区域的尺寸为例[0166]步骤803、电子设备判断第一图像的第一亮度区域类与经过泛光处理的第二图像[0168]步骤804、电子设备获取针对第二图像的目标亮度区域类进行高斯模糊处理后得像的分辨率进行较小缩减倍率的缩减处理，以即是细节部分的亮度区域)的像素，仅保留尺寸较大的亮度区域(也即是大维度的亮度区域)的像素，从而方便电子设备针对第一图像的[0175]步骤807、电子设备判断经过泛光处理的第二图像中是否存在某个亮度区域类与[0177]步骤808、电子设备获取针对第二图像中与第二亮度区域类相同的亮度区域类进行高斯模糊处理后得到的中间图像，并将该中间图像作为第二亮度区域类对应的中间图(即图中人物R上的阴影区域)。照射在房屋墙壁P上的光线在该房屋墙壁P上形成尺寸较大间图像称为第二中间图像。前景类中亮度区域的尺寸通常小于背景类中亮度区域的尺寸，电子设备针对第一图像的前景类进行高斯模糊处理的方式可以参考上述步骤809中针对小通过判断图像对应的3D场景的背景类物体模型与经过泛光处理后的图像对应的3D场景的备遍历第一3D场景中的所有物体模型的标签，获取第一3D场景中的所有背景类物体模型，型均可以携带有标签，该标签用于指示物体模型属于背景类物体模型或者前景类物体模体模型是否相同；当第一3D场景中背景类物体模型与第二3D场景中背景类物体模型相同[0199]电子设备判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是景类物体模型是否相同的过程与上述步骤603中，电子设备判断第一图像的第一亮度区域备确定第一图像对应的第一3D场景中背景类物体模型相对于第二图像对应的第二3D场景中背景类物体模型发生变化，因此可以认为第一图像的背景类与第二图像的背景类不同。电子设备针对第一图像的背景类进行高斯模糊处理的方式可以参考上述步骤805中针对大[0206]本申请实施例中，上述步骤1003可以在步骤1001之前执行，或者也可以与步骤像进行亮度滤波处理的同时判断第一3D场景中背景类物体模型与第二3D场景中背景类物骤1002针对第一图像的前景类进行高斯模糊处理，得到第一图像的前景类对应的中间图需针对第一图像的前景类进行高斯模糊处理，减少对第一图像进行高斯模糊处理的次数，[0208]本申请以下实施例对电子设备实现如图10所示的图像泛光处理方法的过程进行模型属于背景类物体模型。物体4、物体5和物体6具有的标签均为前景标签(也称角色标[0211]优化大维度高亮区泛光算法模块采用1/4的缩减倍率对第一图像进行缩减像素采样处理，得到分辨率为原分辨率(第一图像的分辨率)的1像)，然后对1/4缩减图像进行高斯模糊处理得到第一图像的前景类对应的一个中间图像得到分辨率为原分辨率的1/8倍的缩减图像(简称1/8缩减图像)，然后对1/8缩减图像进行高斯模糊处理得到第一图像的前景类对应的另一个中间图像(简称1/8高斯模糊结果图16缩减图像进行高斯模糊处理得到第一图像的背景类对应的一个中间图像(简称1/16高斯[0214]优化大维度高亮区泛光算法模块获取针对第二图像进行高斯模糊处理后的中间斯模糊结果图像以及1/32高斯模糊结果图像进行图像融合处理，得到第一图像的泛光图图11所示的图像泛光处理方法(简称本申请算法)时CPU和GPU的负载情况以及系统功耗情负载增加率为5CPU负载增加率为12而电子设备开启本申请算法运行上述游戏应用[0220]在本申请实施例中，上述图像泛光处理方法中的各个步骤可以由图3所示的电子[0225]渲染引擎模块302还用于将优化大维度高亮区域泛光算法模块30231生成的第一图像的泛光处理图像通过调用OpenGLES接口层3031或者调用VuIkan接口层3032从而呈现[0234]第一亮度区域类中的亮度区域在第一三维场景中对应的物体模型的状态信息与模型的状态信息与第二三维场景中目标亮度区域类对应的所有物体模型的状态信息相同[0238]确定模块120