CN113935898B 图像处理方法、系统、电子设备及计算机可读存储介质 （华为技术有限公司）

备使用第一图形渲染硬件对原生图像数据进行第一图形渲染硬件和第二图形渲染硬件为不同申请的方法可以降低渲染高画质图像的渲染功2所述第一电子设备获取原生图像数据，所述原生图像数据为所述第一电子设备通过第一图形渲染硬件对所述原生图像数据进行渲所述第一电子设备通过第二图形渲染硬件对所述第一图像进行其中，所述第一电子设备通过第一图形渲染硬件对所述第一图像进行超分辨率重建，所述第一电子设备查找与所述标识关联的目标所述第一电子设备通过所述第一图形渲染硬件以及查找到的所述目标超分模型对所若未查找到与所述标识关联的目标超分模型，则所述第所述第一电子设备通过所述第一图形渲染硬件以及预设的第一图像分辨率对所述原所述第一电子设备通过所述第二图形渲染硬件以及单倍增强型超分模型对所述第一所述第一电子设备通过所述第二图形渲染硬件以及多倍增强型超分模型对所述第一相应的，所述第一电子设备通过第二图形渲染硬件对所述第一图像进行超分辨率重所述第一电子设备通过神经网络处理器对所述第一图像进行超分辨3所述第二电子设备接收第一电子设备发送的第一图像，所述第一图像为所述第二电子设备查找与所述标识关联的目标所述第二电子设备通过查找到的所述目标超分模型对所述第一图像进行超分辨率重若未查找到与所述标识关联的目标超分模型，则所述第二电子所述第二电子设备通过单倍增强型超分模型对所述第一图像进行超分辨率重所述第二电子设备对所述第一图像进行上采样处理，得到第二图像所述第二电子设备通过单倍增强型超分模型对所述第二图像进行超分辨率重所述第二电子设备通过多倍增强型超分模型对所述第一图像进行超分辨率重所述第一电子设备用于对应用程序生成的原生图像数所述第二电子设备用于执行权利要求7至11中任一项所述的图45[0012]之后，第一电子设备可以通过第二图形渲染组件对第一[0014]此外，第一图形渲染组件和第二图形渲染组件的具体类型可以为中央处理器6[0019]所述第一电子设备通过所述第一图形渲染硬件以及查找到的所述目标超分模型上述第一图形渲染硬件以及上述目标超分模型对第一图像进行图形渲染硬件以及预设的通用超分模型对所述第一图像进行超分辨率重建，得到目标图[0029]需要说明的是，如果第一电子设备无法查找到与上述标设备可以建立上述标识与该通用超分模型的关联7分模型对第一图像进行超分辨率重建，从而使第一电子设备在处理该应用程序的图像时，[0036]所述第一电子设备通过所述第一图形渲染硬件以及预设的第一图像分辨率对所[0039]所述第一电子设备通过所述第二图形渲染硬件以及单倍增强型超分模型对所述[0043]所述第一电子设备通过所述第二图形渲染硬件以及多倍增强型超分模型对所述[0047]所述第一电子设备通过图形处理器对所述原生图像数据进行渲染，得到第一图[0050]需要说明的是，第一电子设备通过异构的图形渲染硬件对原生图像数据进行处8[0062]所述第二电子设备通过查找到的所述目标超分模型对所述第一图像进行超分辨图形渲染硬件以及上述目标超分模型对第二9[0072]需要说明的是，如果第二电子设备无法查找到与上述标设备可以建立上述标识与该通用超分模型的关联分模型对第二图像进行超分辨率重建，从而使第二电子设备在处理该应用程序的图像时，[0080]所述第二电子设备通过单倍增强型超分模型对所述第一[0086]所述第二电子设备通过单倍增强型超分模型对所述第二[0092]所述第二电子设备通过多倍增强型超分模型对所述第一[0098]第一超分模块，用于通过第二图形渲染硬件对所述第一一图形渲染硬件以及预设的第一图像分辨率对所述原生图像数据进行渲染，得到第一图型为输入图像的图像分辨率和输出图像的图像分辨率相同的型为输入图像的图像分辨率小于输出图像的图像分辨率的[0132]所述第一电子设备用于对应用程序生成的原生图像数据进行渲染，得到第一图染硬件的硬件资源不足导致电子设备以较低的画质运行[0179]这些产品对电子设备的硬件资源要求较高。当电子设备在渲染这些产品的画面[0180]例如，如果用户在具备RTX2080显卡级别的硬件资源的电子设备上运行一款制作[0186]本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之[0187]本申请实施例描述的业务场景是为了更加清楚的说明本样适用。理(personaldigitalassistant，PDA)、增强现实(augmentedreality，AR)\虚拟现实(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing[0195]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purpose[0196]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display[0207]天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆[0208]移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信[0210]无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi-Fi)网络)，蓝牙无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time-divisioncodedivisionmultipleaccess，TD-统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi-zenithsatellite晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight-emitting[0216]摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0218]视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种[0221]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0223]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风[0227]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信[0230]气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器[0231]磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮[0232]加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴[0235]环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮[0236]指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹[0237]温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音[0249]应用程序框架层为应用程序层的应用程序提供应用编程接口(application[0254]电话管理器用于提供电子设备100的通信功能。例如通话息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通[0260]系统库可以包括多个功能模块。例如：表面管理器(surfacemanager)，媒体库[0272]在本实施例的图像处理方法中，第一电子设备可以通过图像超分辨率重建的方于预设画质指标可以理解为第一画质指标中的部分画质指标或全部画质指标低于预设画渲染硬件可以为中央处理器(centralprocessingunit，CPU)、图形处理器(graphics的一种或多种。例如，当第一电子设备采用GPU-turbo技术对原生图像数据进行初步渲染[0280]S302、第一电子设备通过第二图形渲染硬件对所述第一分辨率卷积神经网络模型(super-resolutionconvolutionalneuralnetwork，SRCNN模型)、快速超分辨率卷积神经网络模型(fastsuper-resolutionconvolutionalneuralnetwork，SRCNN模型)、亚像素卷积神经网络模型(efficientsub-pixelconvolutionalneuralnetwork，ESPCN模型)、深度递归模型(deeply-recursiveconvolutionalnetwork，DRCN模型)以及深度超分辨网络模型(verydeepnetworkforsuper- 人员可以从各种游戏应用程序中获取图像样本对。例如，开发人员可以从《Arenaof (中文译名《萝卜保卫战》)、《Plantsvs.Zombies》(中文译名《植物大战僵尸》)、不同类型的游戏应用程序中获取通用游戏图像样本对。可以只获取该游戏应用程序的图像作为特定游戏图像样本对。例如，当前《Arenaof超分模型时，第一电子设备还可以在使用通用超分模型对第一图像进行超分辨率重建之第一电子设备在训练了针对《ArenaofValor》的超分模型之后，可以将该超分模型与取《ArenaofValor》的包名，根据包名查找相应的超分模型，使用相应的超分模型对申请在此不对第一电子设备内执行上述超分辨率重建操作的硬通用的游戏类超分模型以及针对游戏A的超分模型，针对游戏A的超分模型与游戏A的应用一个图标表示一种应用程序。[0316]GPU701对上述原生图像数据进行逐帧渲染，得到与各帧原生图像数据对应的第[0318]NPU702逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像触发游戏B时，第一电子设备依然使用同一通用游戏类的超分模型对游戏B的图像进行处[0321]如果第一电子设备中存在多个通用游戏类的超分模型，则当用户再次触发游戏B时，第一电子设备可以从多个通用游戏类的超分模型中随机选择一个超分模型对游戏B的戏B的应用标识，根据游戏B的应用标识找到同一通用游戏类的超分模型对游戏B的图像进一个图标表示一种应用[0327]GPU701对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第一[0329]NPU702逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第一图像[0334]GPU701对上述原生图像数据1301进行逐帧渲染，得到各帧原生图像数据1301对[0336]NPU702逐帧地将第一图像1302输入目标超分模型中，通过目标超分模型对第一[0338]NPU702获取到目标图像1303之后，将目标图像1303逐帧送至第一电子设备的显[0342]GPU701对上述原生图像数据1501进行逐帧渲染，得到各帧原生图像数据对应的[0344]NPU702逐帧地将第一图像1502输入目标超分模型中，通过目标超分模型对第一图像1502进行画质增强，并对第一图像1502进行分辨率适配，得到图像分辨率为1920×[0346]NPU702获取到目标图像1503之后，将目标图像1503逐帧送至第一电子设备的显辨率重建的步骤可以均由第一电子设备内的N[0359]由于在当前的投屏方案中，图像的渲染工作完全由投屏[0368]当用户操作手机，如果用户希望将手机的游戏画面同时投屏至智能电视和电脑时，则手机为投屏方的第一电子设备，智能电视和电脑为被投屏方的电子设备(即指定设子设备也可以直接根据用户配置的第一图像分辨率对应用程序产生的原生图像数据进行第一图像进行上采样处理，将第一图像的分辨率适配为指定设备上配置的目标图像分辨与上述应用程序的标识的关联关系，以便指定设备下一次处理该应用程序的第一图像时，可以根据前述关联关系查找到同一通用超分模型对第一图像进图像数据进行初步渲染，得到第一图像。上述图形渲染硬件可以为中央处理器(centralGPU-turbo技术对原生图像数据进行初步渲染时，上述图形渲染硬件可以为CPU和GPU的组[0385]指定设备可以根据实际情况选择合适的硬件运行上述超分模型。在一些实施例[0392]手机的GPU对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第[0394]智能电视的NPU逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第[0399]手机的GPU对上述原生图像数据进行逐帧渲染，得到各帧原生图像数据对应的第[0401]智能电视的NPU逐帧地将第一图像输入目标超分模型中，通过目标超分模型对第[0405]游戏A启动后，游戏A的应用程序逐帧发送原生图像数据20011至手机2001的GP[0406]并且，手机2001通过无线通信模块与智能电视2002以及电脑获取智能电视2002上配置的图像分辨率1920×1080和电脑2003上配置的图像分辨率2560[0409]手机2001通过无线通信模块将图像20012发送至智能电视2002，并且通过无线通[0412]如图21所示，图像20012的图像分辨率和图像20021的图像分辨率都是1920×[0416]如图21所示，图像20013的图像分辨率和图像20031的图像分辨率都是2560×[0421]游戏A启动后，游戏A的应用程序逐帧发送原生图像数据22011至手机2201的GP[0423]手机2201通过无线通信模块将图像22012发送至智能电视2202，并且通过无线通[0426]如图23所示，图像22021的图像分辨率和图像22022的图像分辨率都是1920×[0430]如图23所示，图像22031的图像分辨率和图像22032的图像分辨率都是1920×[0437]手机2401通过无线通信模块将图像24012发送至智能电视2402，并且通过无线通[0444]图像24031的图像分辨率大于图像24012的图像分辨率，且图像24031的清晰度大的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限运行的计算机程序262。所述处理器260执行所述计算机程序262时实现上述屏幕扩展方法述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段[0455]第一超分模块，用于通过第二图形渲染硬件对所述第一其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Applicat