CN110363709B 一种图像处理方法、图像展示方法、模型训练方法及装置 （腾讯科技（深圳）有限公司）

信息用于指示对待处理图像进行放大处理的倍2获取所述待处理图像所对应的缩放倍数信息，其中，所述缩放按照所述级联次数，通过所述图像处理模型获取所述待处理图像所对应的目标图像，根据所述随机数值与比率数值，从所述待训练图像样本集合中确定待训练对象集合，为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图像进按照所述级联次数，通过所述图像处理模型获取所述待处理图像所对应的目标图像，3根据所述随机数值与比率数值，从所述待训练图像样本集合中确定待训练对象集合，若所述随机数值大于所述比率数值，则从所述待训练通过所述待训练图像处理模型获取所述第一图像所对应的所述根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的若所述随机数值小于或等于所述比率数值，则从所述待训根据所述第二图像与所述第三图像生成所述待训练对象集合中的根据所述第一待训练图像样本、所述第二待训练图像样本以及所根据所述偏移值、所述斜率值以及所述待训练图像样本集合所对7.根据权利要求2至6中任一项所述的方法，其特通过所述待训练图像处理模型获取所述待训练对象集合中每个待训练对象所对应的4根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对应的采用所述网络模型参数对所述待训练图像处理模型进行训练，得到所述图像处理模所述根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对;所述待训练图像样本集合中的待训练图像样本总数量，所述表示所述待训练对象集合中的第i个待训练对象，所述表示所述第i个待训练对象所对应的第二预测图级联次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处所述获取模块，还用于按照所述确定模块确定的所述级联次数，通过所确定模块，用于根据所述生成模块生成的所述随机数值与比率5训练模块，用于采用所述确定模块确定的所述待训练确定模块，用于响应于所述接收模块接收的所述图像调节所述获取模块，还用于按照所述确定模块确定的所述级联次数，通过所确定模块，用于根据所述生成模块生成的所述随机数值与比率训练模块，用于采用所述确定模块确定的所述待训练若所述随机数值大于所述比率数值，则从所述待训练通过所述待训练图像处理模型获取所述第一图像所对应的所述根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的若所述随机数值小于或等于所述比率数值，则从所述待训根据所述第二图像与所述第三图像生成所述待训练对象集合中的6根据所述第一待训练图像样本、所述第二待训练图像样本以及所所述确定模块，还用于根据所述偏移值、所述斜率值以及所述获取模过所述待训练图像处理模型获取所述待训练对象集合中每个待训练对象所对应的第二预根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对应的采用所述网络模型参数对所述待训练图像处理模型进行训练，得到所述图像处理模;所述待训练图像样本集合中的待训练图像样本总数量，所述表示所述待训练对象集合中的第i个待训练对象，所述表示所述第i个待训练对象所对应的第二预测图获取所述待处理图像所对应的缩放倍数信息，其中，所述缩放7按照所述级联次数，通过所述图像处理模型获取所述待处理图像所对应的目标图像，根据所述随机数值与比率数值，从所述待训练图像样本集合中确定待训练对象集合，所述总线系统用于连接所述存储器以及所述处理器，以使所述存储为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图像进按照所述级联次数，通过所述图像处理模型获取所述待处理图像所对应的目标图像，根据所述随机数值与比率数值，从所述待训练图像样本集合中确定待训练对象集合，8所述总线系统用于连接所述存储器以及所述处理器，以使所述存储9[0009]根据所述缩放倍数信息确定级联次数，其中，所述级联次数为大于或等于1的整次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图述第一预测图像为所述第一图像通过待训练图像处理模型所述级联次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述所述图像放大参数用于指示对所述待处理图像进行放大[0042]根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的待训练对[0058]根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对[0068]根据所述缩放倍数信息确定级联次数，其中，所述级联次数为大于或等于1的整次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图述第一预测图像为所述第一图像通过待训练图像处理模型[0094]图4A为本申请实施例中基于级联次数实现图像2倍放大处理的一个实施例示意[0095]图4B为本申请实施例中基于级联次数实现图像4倍放大处理的一个实施例示意[0096]图4C为本申请实施例中基于级联次数实现图像8倍放大处理的一个实施例示意应用以及交互式应用(比如多人在线战术竞技游戏)。该方法应用于图1所示的图像展示系载高清图像不仅消耗用户的手机流量、而且传输过程中的时延会造成用户在翻页的过程告警或者网络状态不好时，用户可以通过漫画类APP向服务器请求发送低分辨率的图像之漫画类APP采用图像处理模型将低分辨率的图像进行放大处理，从而得到相应的高分辨率图像，这样就不需要服务器直接向漫画类APP发送高分辨率的图像，从而对使用该漫画类仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal脑交换(PersonalComputerExchange，PCX)格式、标签图像文件格式(TagImageFileFormat，TIFF)、图形交换格式(GraphicsInterchangeFormat，GIF)、联合照片专家组SVG)格式、图纸交换格式(DrawingExchangeFormat，DXF)以及封装式页描述语言联次数表示采用相同的图像处理模型对待处理图参阅图4A，图4A为本申请实施例中基于级联次数实现图像2倍放大处理的一个实施例示意[0126]请参阅图4B，图4B为本申请实施例中基于级联次数实现图像4倍放大处理的一个[0127]请参阅图4C，图4C为本申请实施例中基于级联次数实现图像8倍放大处理的一个X21X42X83XNX1X2X3XN数信息或者缩写倍数信息)与级联次数之间具有对应关系。本申请设计出可实现级联结构部署于终端设备上，具体可以为一个客户端。待处理图像为第一倍率，比如第一倍率为将X倍(即第一倍率)的待处理图像输入至图像处理模型，从而得到(2^N)X倍(即第二倍率)放大N倍，无论这个图像处理模型的输入是真实的图像，还是其他图像处理模型输出的图过和其他放大倍数图像处理模型的级联实现N的倍数的集合中的各个待训练图像样本进行随机的上下翻转[0163]本实施例中，模型训练装置采用待训练对象集合对待训练图像处理模型进行训的输入为第二图像(x)，待训练图像处理模型的输出为net(x)，而理想的输出为第三图像RDN的输入为低分辨率图像(lowresolution，LR)，输出为高分辨率图像(high学习(globalresiduallearning)以及全局特征融合(globalfeaturefusion)两个部型可以通过级联方式实现更大的放大倍数，具有幂次关系的放大倍数只需要训练一个模训练图像样本所对应的第一图像(x_pre)和第三图像(y)，将第一图像(x_pre)输入至待训[0180]步骤S8中，采用步骤S7中获取的待训练对象对待训练的训练目标是使得第一预测图像(x’)经过待训练的图像处理模型能得到期望的第三图像这样设计的目的在于，希望训练完成的放大倍数为r的网络输入既可以是1/r分辨率的图[0194]训练目标是使得第二图像(x)经过待训练的图像处理模型能得到期望的第三图像这样设计的目的在于，希望训练完成的放大倍数为r的网络输入既可以是1/r分辨率的图和1/4降采样的图像(第一图像)，使用一次图像处理模型放大1/2降采样的图像(第二图通过级联三次图像处理模型放大1/8降采样的图像(第四图像)，可能会出现性能下降的情是增加了第二待训练图像样本和第三待训练图像样本，若第一待训练图像样本的格式为[0225]通过待训练图像处理模型获取待训练对象集合中每个待训练对象所对应的第二[0226]根据每个待训练对象所对应的第二预测图像以及每个待训练对象所对应的期望[0228]根据每个待训练对象所对应的第二预测图像以及每个待训练对象所对应的期望[0235]具体地，可以将第i个待训练对象xi(即第二图像或(adaptivemomentestimation，Adam)优化算法来优化网络模型参数θ,学习率初始值为表3，表3为在常用测试集B100上使用不同方法在放大倍数为2和4时的峰值信噪比(Peak29.5631.3632.0832.3432.3532.1725.9626.9027.4027.7227.7527.61[0243]其中，实验中用于与本方案进行对比的方案分别为双三次插值算法(bicubicinterpolation，Bicubic)、基于卷积神经网络的超分辨算法(ImageSuper-ResolutionUsingDeepConvolutionalNetworks，SRCNN)、深度持续记忆网络(deeppersistentmemorynetwork，MemNet)、RDN以及任意放大倍数的超分辨网络(AMagnification-[0245]可以理解的是，Meta-SR实现了一个模型适用于一定范围内的放大倍数，例如请提供的训练方式集合Meta-SR的网络结构，就能实现单一网络模型适用于任意的放大倍[0249]确定模块402，用于根据所述获取模块401获取的所述缩放倍数信息确定级联次所述级联次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图像进行处理的次数，所述获取模块401按照所述确定模块402确定的所述级联次放大参数用于指示对所述待处理图像进行放大处理的倍数，确定模块503响应于所述接收次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图示模块504展示所述获取模块501获取的及所述第三图像，所述第一预测图像为所述第一图像通过待训练图像处理模型之后得到现任意放大倍数的图像超分辨，并且在保证性能的情况下对任意放大倍数的图像超分辨，[0272]根据所述第一预测图像与所述第三图像生成所述待训练对象集合中的待训练对[0291]所述训练模块604，具体用于通过所述待训练图像处理模型获取所述待训练对象[0292]根据所述每个待训练对象所对应的第二预测图像以及所述每个待训练对象所对据。存储器740的一部分还可以包括非易失性随机存取存储器(Non-VolatileRandom[0306]根据所述缩放倍数信息确定级联次数，其中，所述级联次数为大于或等于1的整[0309]上述本申请实施例揭示的方法可以应用于处理器730中，或者由处理器730实现。步骤可以通过处理器730中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-[0310]图12的相关描述可以参阅图3方法部分的相关描述和效果进行理解，本处不做过包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoise上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystemofmobilecommunication，GSM)、通用分组无线服务(generalpacketradioservice，GPRS)、码分多址(codedivisionmultipleaccess，CDMA)、宽带码分多址(widebandcodedivisionmultiple[0315]存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820[0316]输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以[0317]显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器(liquidcrystal面板831与显示面板841集成而实现手机的输的大小，静止时可检测出重力的大小及方向，可用[0320]WiFi属于短距离无线传输技术，手机通过WiFi模块870可以帮助用户收发电子邮过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的次数为大于或等于1的整数，所述级联次数表示采用相同的图像处理模型对所述待处理图[0330]图14是本申