CN111951195B 图像增强方法及装置 （华为技术有限公司）

申请以低分辨率的特征子图为基础进行特征提2其中，所述N个特征子图包括第三特征子图，所述第三特征子图的任意一个特征子图，所述N个特征子图还包括频率大于所述第三特征子图的M个特征子对所述M个中间结果和所述第三特征子图进行拼接操作，得到采用所述第三特征提取模块对所述融合有M个中间结果的第三特征子图进行特征提2.根据权利要求1所述的图像增强方法，其特子图和第二特征子图，所述第一特征子图和所述第二特征子图为所述N个特征子图中的频率不同的任意两个特征子图，所述N个特征提取模块包括与所述第一特征子图对应的第一特征提取模块以及与所述第二特征子图对应的第二特对所述第一中间结果和所述第二特征子图进行拼接操作，得到融采用所述第二特征提取模块对所述融合有第一中间结果的第二特征子图进行特征提根据所述第一特征图，对所述待处理图像进行超分辨率处理，根据所述第一特征图，对所述待处理图像进行降噪或去雾处3所述N个特征子图包括第三特征子图，所述第三特征子图为所述N个特个特征提取模块包括与所述第三特征子图对应的第三特征提取模块以及与所述M个特征子所述第三特征提取模块用于对所述融合有M个中间结果的第三特征子图进行特征提9.根据权利要求8所述的图像增强装置，其特征在子图和第二特征子图，所述第一特征子图和所述第二特征子图为所述N个特征子图中的频率不同的任意两个特征子图，所述N个特征提取模块包括与所述第一特征子图对应的第一所述拼接模块，用于对所述第一中间结果和所述第二特征子图进行拼所述第二特征提取模块用于对所述融合有第一中间结果的第二特征子图进行特征提4理器用于执行如权利要求1-7中任一项所述的图像5[0002]人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算[0004]随着人工智能的快速发展以及算力的不断提升，具有图像增强功能的神经网络对所述N个特征子图进行特征提取，得到N个中间结果；对所述N个中间结果进行逆小波变图和第二特征子图，所述第一特征子图和所述第二特征子图为所述N个特征子图中的频率6不同的任意两个特征子图，所述N个特征提取模块包括与所述第一特征子图对应的第一特征提取模块以及与所述第二特征子图对应的第二特征提取模块，所述采用N个特征提取模所述第三特征提取模块对所述融合有M个中间结果的第三特征子图进行特征提取，得到第[0015]将频率大于第三特征子图的M个特征子图对应的中间结果均融合至第三特征子7图和第二特征子图，所述第一特征子图和所述第二特征子图为所述N个特征子图中的频率不同的任意两个特征子图，所述N个特征提取模块包括与所述第一特征子图对应的第一特征提取模块以及与所述第二特征子图对应的第二特征提取模块，所述采用N个特征提取模所述第三特征提取模块对所述融合有M个中间结果的第三特征子图进行特征提取，得到第8[0047]图10为本申请一实施例提供的利用图像增强模块进行图像增强处理的处理方式[0049]图12为本申请另一实施例提供的利用图像增强模块进行图像增强处理的处理方[0050]图13为本申请另一实施例提供的利用图像增强模块进行图像增强处理的处理方[0051]图14为本申请另一实施例提供的利用图像增强模块进行图像增强处理的处理方9[0052]图15为本申请另一实施例提供的利用图像增强模块进行图像增强处理的处理方[0053]图16为本申请另一实施例提供的利用图像增强模块进行图像增强处理的处理方[0054]图17为本申请一实施例提供的利用后处理模块进行超分辨率处理的处理方式示[0055]图18为本申请一实施例提供的利用后处理模块进行降噪或去雾处理的处理方式[0057]图20为本申请一实施例提供的利用图像增强网络进行图像增强处理的处理方式图1和图2对视频流传输场景和视频监控场景进客户端可以利用本申请实施例提供的图像增强方法对该低质量视频流中的图像进行增强。对本申请实施例可能涉及的相关术语及神经网络等相关概念进行[0070]图像增强是一种图像处理技术，主要目标是将图像从较低质量增强到较高质量。般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。[0080]纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性表示信号的一种信号分析方法。小波变换分为离散小波变换(discretewavelet[0091]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就[0097]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络中对输入信号进行卷间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过[0107]数据采集设备560用于采集训练数据。本申请实施例中的训练数据包括待增强的备520基于数据库530中维护的训练数据训练得到目标模型/[0109]根据训练设备520训练得到的目标模型/规则501可以应用于不同的系统或设备备，车载终端等，还可以是服务器或者云端等。在图5中，执行设备510配置输入/输出[0110]预处理模块513和预处理模块514用于根据I/O接口512接收到的输入数据(如待处[0111]在执行设备510对输入数据进行预处理，或者在执行设备510的计算模块511执行备540也可以作为数据采集端，采集如图所示输入I/O接口512的输入数据及输出I/O接口[0118]图像增强模块620用于将对待处理图像进行预处理后得到的特征图作为输入特征图像增强模块620的输入特征图，也可以将前n-1个图像增强模块620的输出特征图拼接后括上述图像增强模块620和后处理模块630。预处理模块610的功能可以集成在预处理模块[0123]图7为本申请一实施例提供的芯片硬件结构图，该芯片包括神经网络处理器70片也可以被设置在如图5所示的训练设备520中，用以完成训练设备520的训练工作并输出分为运算电路703，控制器704控制运算电路703提取存储器(权重存储器702或输入存储器(localresponsenormalizat[0128]在一些实现中，向量计算单元707能将经处理的输出的向量存储到统一存储器[0130]权重数据直接通过存储单元访问控制器(directmemoryaccesscontroller，DMAC)705将外部存储器中的输入数据搬运到输入存储器701和/或统一存储器706、将外部存储器中的权重数据存入权重存储器702，以及将统一存储器706中的数据存入外部存储率同步动态随机存储器(doubledataratesynchronousdynamicrandomaccess图5所示的执行设备510中的计算模块511执行。可选地，图8的方法可以由中央处理器将待处理图像从三通道图像(如RGB图像)转换为多通道[0143]应理解，经过小波变换之后得到的特征子图的分辨率小于输入特征图的分辨块包括与第一特征子图对应的第一特征提取模块以及与第二特征子图对应的第二特征提[0157]S8330：采用所述第二特征提取模块对所述融合有第一中间结果的第二特征子图[0163]第一特征子图和第二特征子图可以是小波变换之后得到的多个特征子图中的频征子图中的任意一个特征子图，N个特征子图还包括频率大于第三特征子图的M个特征子[0168]将频率大于第三特征子图的M个特征子图对应的中间结果均融合至第三特征子导LL低频信息，另外，HH高频信息也可以引导另外两个高频信息(HL高频信息和LH高频信[0176]图17是根据第一特征图(该第一特征图可以是融合了输入特征图之后的第一特征对第一特征图进行上采样操作和卷积操作；采用上采样模块1730对待处理图像(低分辨率[0177]图18是根据第一特征图(该第一特征图可以是融合了输入特征图之后的第一特征[0188]S1980：将多通道输入特征图进行3×3卷积操作和激活函数处理后与多通道第一特征图叠加，得到多通道叠加特征图，利用卷积模块627对多通道叠加特征图进行卷积操[0193]图23为本申请一实施例提供的图像增强装置的结构示意图。所述图像增强装置[0195]小波变换模块2320用于对所述输入特征图进行小波变换，得到频率不同的N个特[0196]N个特征提取模块2330分别用于对所述N个特征子图进行特征提取，得到N个中间所述第一特征子图和所述第二特征子图为所述N个特征子图中的频率不同的任意两个特征子图，所述N个特征提取模块包括与所述第一特征子图对应的第一特征提取模块以及与所申请的图像增强方法的各个步骤可以通过处理器2420中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2420还可以是通用处理器、数字信号处理器(digital算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个