CN114402356B 网络模型的训练方法、图像的处理方法、装置及电子设备 （深圳市欢太科技有限公司）

2022.03.16PCT/CN2019/1181352019.11.13WO2021/092808ZH2021.05.20道高新南一道13号赋安科技大厦B座AdaptiveLabelDistributionLe本申请实施例公开了一种网络模型的训练网络模型以及对应基础网络模型的多个损失函2对每一待评分图像对应的初始评分分布数据中的每一评分数据进行指数化处将所述图像样本集输入至所述基础网络模型中进行美学评分，得到根据所述评分分布数据、所述期望评分分布数据以及所述将收敛的基础网络模型作为用于对图像进行美学评分将所述评分分布数据和所述期望评分分布数据输入至第一损失函数，得到第一损失将所述评分分布数据和所述期望评分分布数据输入至第二损失函数，得到第二损失根据所述第一损失值和所述第二损失值确定根据所述目标损失值对所述基础网络模型的参pppppp函数CDF(K)为累积概率分布函数，k为评分分数，CDFp3获取初始图像样本集，所述初始图像样本集中包括多个带有对每一所述样本图像进行图像预处理，得到多个带有初始评分分布数根据所述评分模型对所述目标图像进行美学评分，得到所述目标图像7.根据权利要求6所述的方法，其中，根据所述评分模型对所述目标图像进行美学评根据所述评分模型对所述目标图像进行美学评分，得到所述目标图像将所述目标评分分布数据中概率值最大的评分分数作为第一获取模块，用于获取图像样本集，所述图像样本集第一评分模块，用于将所述图像样本集输入至训练模块，用于根据所述评分分布数据、所述期望第二评分模块，用于根据所述评分模型对所述目标图像进4对每一待评分图像对应的初始评分分布数据中的每一评分数据进行指数化处将所述图像样本集输入至所述基础网络模型中进行美学评分，得到根据所述评分分布数据、所述期望评分分布数据以及所述将收敛的基础网络模型作为用于对图像进行美学评分将所述评分分布数据和所述期望评分分布数据输入至第一损失函数，得到第一损失将所述评分分布数据和所述期望评分分布数据输入至第二损失函数，得到第二损失根据所述第一损失值和所述第二损失值确定根据所述目标损失值对所述基础网络模型的参获取初始图像样本集，所述初始图像样本集中包括多个带有对每一所述样本图像进行图像预处理，得到多个带有初始评分分布数根据所述评分模型对所述目标图像进行美学评分，得到所述目标图像5根据所述评分模型对所述目标图像进行美学评分，得到所述目标图像将所述目标评分分布数据中概率值最大的评分分数作为6叉学科研究方向。其中图像美学评价(imageaestheticsassessment)是近期计算机视觉利用机器学习或者深度学习方法对图像进行美学评[0006]获取图像样本集，所述图像样本集包括多个带有初始评分分布数据的待评分图7[0020]第一评分模块，用于将所述图像样本集输入至所述基础网络模型中进行美学评[0022]确定模块，用于将收敛的基础网络模型作为用于对图像进行美学评分的评分模[0031]获取图像样本集，所述图像样本集包括多个带有初始评分分布数据的待评分图8[0045]图3是本申请实施例提供的初始评分分布数据和期望评分分布数据的分布示意[0053]请参阅图1，图1是本申请实施例提供的网络模型的训练方法的第一种流程示意像样本集可以采用现有的第一个大规模的美学质量评估数据库(ALarge-ScaleDatabase美学评分的分数越高表明该样本图像的美学质量中平均每张样本图像有210人参与美学评分，因此每张样本图像的大量的美学评分数据可9可分离卷积的结构实现了MobileNets模型在不降低网络性能的前提下减少网络参数和计络模型在ImageNet数据库上进行预训练，将完成预训练的MobileNetV2网络模型作为基础约100万个图像含边界框和注释)。将MobileNetV2网络模型在ImageNet数据库上进行预训练，在训练结束时可以得到网络参数较好的MobileNetV2网络模型，并将该预训练完成的MobileNetV2网络模型作为基础网络模型可以极大的缩短基础网络模型的[0061]其中，由于基础网络模型输出的评分分布数据包括每一评分分数的概率分布数[0063]其中，将图像样本集中的待评分图像输入至基础网络模型如MobileNetV2网络模评分分布数据包括每一评分分数对应的概率值。例如输出的评分分布数据为其中ps1为评分分数为1时的概率值，为评分分数为2时的概率使得用户可以优先浏览到美学评分分数高即图像美学[0069]请参阅图2，图2是本申请实施例提供的网络模型的训练方法的第二种流程示意像样本集可以采用现有的AVA公开数据集。该AVA公开数据集为一个美学质量评估的数据中平均每张样本图像有210人参与美学评分，因此每张样本图像的大量的美学评分数据可为待评分图像输入至基础模型中进行美学评分，以增强输入图像即待评分图像的数据量。图像的初始评分分布数据作为第一样本图像的初始评分随机平移以及随机裁剪等得到的，使得第一样本数据与样本数据之间必定存在微小的差[0080]205、对每一待评分图像对应的初始评分分布数据中的每一评分数据进行指数化[0084]在一些实施方式中，请继续参阅图3，还可以获取一个与评分分数相关的高斯函数为8时的概率值也较大，此时初始评分分布数据中将会在评分分数为3和评分分数为8两率值大的评分分数向中间值如评分分数为5分处靠拢，使得得到的期望评分分布数据不准可分离卷积的结构实现了MobileNets模型在不降低网络性能的前提下减少网络参数和计络模型在ImageNet上进行预训练，将完成预训练的MobileNetV2网络模型作为基础网络模型。需要说明的是，ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库。ImageNet数据库包含超过1500万个图像，其中120万个图像分为1000个类别(大约100万个型作为基础网络模型可以极大的缩短的基础网络模[0089]其中，由于基础网络模型输出的评分分布数据包括每一评分分数的概率分布数第一损失函数可以为测地距离(EarthMover'sDistance，EMD)损失函数，第一损失函数率值；k为评分分数，表示期望评分分布数据中评分分数i的概率CDF,(k)=飞psk为评分分数，表示评分分布数据中评分分数i的概率值；k为评分分数，表示期望评分分布数据中评分分数i的概率[0099]其中，将图像样本集中的待评分图像输入至基础网络模型如MobileNetV2网络模评分分布数据包括每一评分分数对应的概率值。例如输出的评分分布数据为其中ps1为评分分数为1时的概率值，Ps为评分分数为2时的概率[0100]208、将评分分布数据和期望评分分布数据输入至第一损失函数，得到第一损失[0102]209、将评分分布数据和期望评分分布数据输入至第二损失函数，得到第二损失果将图像进行显示，使得用户可以优先浏览到美学评分分数高即图像美学质量更高的图美学评分请求通过有线连接或者无线连接的方式获取需要进行美[0119]304、根据评分模型对目标图像进行美学评分，得到目标图像对应的目标评分分分数是否大于预设评分值，并将目标评分分数小于或等于预设评分值的目标图像进行删[0126]构建模块42，用于构建基础网络模型以及对应所述基础网络模型的多个损失函[0140]第二获取模块52，用于根据所述美学评分请求获取需要进行美学评分的目标图[0151]该电子设备600可以包括存储器601、处理器602等部件。本领域技术人员可以理[0152]存储器601可用于存储软件程序以及模块，处理器602通过运行存储在存储器601[0153]处理器602是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各应用程序的进程对应的可执行代码加载到存储器601中，并由601处理器602来运行存储在[0156]获取图像样本集，所述图像样本集包括多个带有初始评分分布数据的待评分图[0161]在一些实施方式中，处理器602执行构建基础网络模型以及对应所述基础网络模器602执行所述根据所述评分分布数据、所述期望评分分布数据以及所述多个损失函数对[0170]在一些实施方式中，处理器602执行根据所述第一损失值和所述第二损失值确定[0174]在一些实施方式中，处理器602执行对每一待评分图像对应的初始评分分布数据[0175]对每一待评分图像对应的初始评分分布数据中的每一评[0187]在一些实施方式中，处理器602执行根据所述评分模型对所述目标图像进行美学[0191]该显示器603可以用于显示由用户输入的信息或提供给用户的信息以及各种图形603可以包括显示面板，在某些实施方式中，可以采用液晶显示器(LiquidCrystal[0192]射频电路604可以用于收发射频信号，以通过无线通信与网络设备或其他电子设可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕[0197]本申请实施例提供的所述网络模型的训练方法/图像的处理方法装置与上文实施图像的处理方法装置上可以运行所述网络模型的训练方法/图像的处理方法实施例中提供本领域普通技术人员可以理解实现本申请实施例所述网络模型的