CN114462628B 数据增强方法、装置、计算设备以及计算机可读存储介质 （华为技术有限公司）

由于是在多种数据增强操作的目标操作等级所在多种数据增强操作的目标操作等级所指示的2获取第一目标数据增强策略，所述第一目标数据增强策种数据增强操作的目标操作强度变化范围的基于所述第一目标数据增强策略，在多种数据增强操作的目任一种数据增强操作的目标操作强度变化范围由配5.根据权利要求4所述的方法，其特征在于，所述任一种数据增强操作的配置过程包标操作概率为对所述第一样本进行所述任一种数据增强所述多个数据增强策略中的任一数据增强策略用于指示所述多种数据增强操作中每基于所述多个数据增强策略的评估值，从所述多个数据增略的评估值用于指示基于所述任一数据增强策略得到的增强样本所训练出的识别模型的8.根据权利要求7所述的方法，其特征在于，所述基于所述多个第二目标数据增强策基于所述多个第二目标数据增强策略中所述多种数据增强操作的操作概率以及操作3基于确定出的所述多种数据增强操作的目标操作概率以及对于所述任一种数据增强操作，对所述多个第二目标数据增强策略中对于所述至少一个操作等级类别中的任一操作等级类别，基于所述任一操作强操作的操作概率，确定所述任一种数据增强操作的目标操作强度以及目标操作概率包基于所述任一操作等级类别中的操作等级，确定所述任一种基于所述多个第二目标数据增强策略中的第三目标数据增强策略内所述任一种数据在第i次迭代计算的过程中，基于在前i_1次迭代计以及所述初始数据增强策略中的各个数据增强策略，确定所述多个数据增强策略中的第i基于所述第i数据增强策略中所述多种数据增强操作的操作概率以及操作等级，对多4第一目标数据增强策略还用于指示所述多种数据增强操作中每种数据增强操作的目标操所述基于所述第一目标数据增强策略，在多种数据增强操作的目标基于所述多种数据增强操作中每种数据增强操作的目标操作概率以及目标操作等级，通过所述目标接口向所述应用节点发送所述多个获取模块，用于获取第一目标数据增强策略，所述第一目标分别为所述任一种数据增强操作的目标操作强度变化增强模块，用于基于所述第一目标数据增强策略，在多种数据19.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器读取以使计算设备执行如权利要求1至权利要求16中5[0004]例如具有识别功能的深度学习模型(简称识别模型)在学习的过程中需要大量的个目标增强样本能够在多种数据增强操作的目标操作等级所指示的操作强度变化区间之6定，所述多个数据增强策略基于配置的所述多种数据增强操作的多个操作等级搜索得到，增强操作的操作概率为对第二样本进行所述任一种7的评估值用于指示基于所述任一数据增强策略得到的增强样本所训练出的识别模型的优[0027]基于所述多个第二目标数据增强策略中所述多种数据增强操作的操作概率以及个第二目标数据增强策略中的第三目标数据增强策略内所述任一种数据增强操作的操作据增强策略为所述任一操作等级类别的操作等级所属的第二目多个第二目标数据增强策略中的第三目标数据增强策略内所述任一种数据增强操作的操8二目标数据增强策略中的第三目标数据增强策略内所述任一种数据增强操作的操作概率[0042]在一种可能的实现方式中，所述基于在前i_1次迭代计算过程中所确定出的数据强操作的多个操作等级以及所述各个数据增强策略的多个评估值，预测所述第i数据增强述任一数据增强策略得到的增强样本所训练出的识别模型的优强操作的多个操作等级以及所述各个数据增强策略的多个评估值，预测所述第i数据增强述任一数据增强策略得到的增强样本所训练出的识别模型的优强操作的多个操作概率以及所述各个数据增强策略的多个评估值，预测所述第i数据增强9[0046]基于预测出的所述多种数据增强操作的操作等级以及操作概率，生成所述第i个强操作的多个操作等级以及所述各个数据增强策略的多个评估值，预测所述第i数据增强取最大值的操作等级确定为所述第i数据增强策略中所述任一种数据增强操作的操作等强操作的多个操作概率以及所述各个数据增强策略的多个评估值，预测所述第i数据增强取最大值的操作概率确定为所述第i数据增强策略中所述任一种数据增强操作的操作概[0054]在一种可能的实现方式中，所述确定所述多个数据增强策略中的第i数据增强策[0055]基于所述第i数据增强策略中所述多种数据增强操作的操作概率以及操作等级，对多个所述第二样本进行所述多种数据增强操作，得到所述多个第二样本的多个增强样[0058]在一种可能的实现方式中，所述基于所述多个增强样本训练得到第i识别模型包[0067]基于所述多种数据增强操作中每种数据增强操作的目标操作概率以及目标操作[0070]对于所述任一种数据增强操作，基于所述任一种数据增定，所述多个数据增强策略基于配置的所述多种数据增强操作的多个操作等级搜索得到，一种数据增强操作对应的目标操作强度变化范围划分为多个增强操作的操作概率为对第二样本进行所述任一种所述多个数据增强策略中除所述多个第二目标数据增强策略以外的数据增强策略的评估第二目标数据增强策略中的第三目标数据增强策略内所述任一种数据增强操作的操作概略中所述任一种数据增强操作的多个操作等级以及所述各个数据增强策略的多个评估值，预测所述第i数据增强策略中所述任一种数据增强操作的操作等级，任一数据增强策略的评估值用于指示基于所述任一数据增强策略得到的增强样本所训练出的识别模型的优劣略中所述任一种数据增强操作的多个操作概率以及所述各个数据增强策略的多个评估值，预测所述第i数据增强策略中所述任一种数据增强操[0113]生成子模块，用于基于预测出的所述多种数据增强操作的操作等级以及操作概取最大值的操作等级确定为所述第i数据增强策略中所述任一种数据增强操作的操作等取最大值的操作概率确定为所述第i数据增强策略中所述任一种数据增强操作的操作概[0121]得到模块，用于基于所述第i数据增强策略中所述多种数据增强操作的操作概率[0129]第一接收模块，用于从所述多个评估设备分别接收所述至少一个第i数据增强操[0132]基于所述多种数据增强操作中每种数据增强操作的目标操作概率以及目标操作[0134]对于所述任一种数据增强操作，基于所述任一种数据增第一方面或者第一方面的各种可选实现方式中[0161]此时对于该第一节点101而言，上一次预测到的且具有评估结果的数据增强策略为一个历史预测到的数据增强策略，说明第一节点101历史预测到的各个数据增强策略出增强策略满足预设条件，则该第一节点101将历史预测到的各个数据增强策略发送给第三[0163]为了进一步说明数据增强系统100中各个节点的工作原理，下面结合各个节点的子1011中配置多种数据增强操作以及该多种数据增强操作中每种数据增强操作的目标操分配概率变化区间，从而该任一种数据增强操作对应多个操作等级以及一个概率变化区数据增强操作中每种数据增强操作的操作概率以及操作等级。例如图3所示的本申请实施据增强策。由于第二个数据增强策略是基于第一个数据增强策略的评估结果所搜索到的，练集中样本的对象属于不同种类，该第一节点101可以最终生成不同类型的目标数据增强该类型的各个数据增强策略，生成针对该任一类型[0172]该数据增强系统100中第二节点102的个数可以是一个或多个，第二节点102可以够预测出多个数据增强策略，若在该数据增强系统100中的第二节点102有多个的情况下，该第一节点101可以将在每一次预测出的多个数据增强策略分散发送至多个第二节点102。由每个第二节点102对该多个数据增强策略中的部分数据增强策略进行评估，并由每个第一节点101能够获取每一次的迭代过程中所预测出的多个数据增强策略的评估结果，实现[0176]在一种可能的实现方式中，该第三节点103基于接收到的多个数据增强策略的评类型下的多个对象的多个样本评估时，则该第三节点103基于该多个数据增强策略最终生由该CPU实现第一节点所执行的各个步骤，该第一节点包括图形处理器(graphics而产生比较大的差异，可以包括一个或一个以上处理器701和一个或一个以上的存储器该至少一个指令由该处理器701加载并执行以实现下述各个方法实施例中第一节点所执行网络处理器(neuralnetworkprocessingunit，NPU)、大脑处理器(brainprocessing[0185]处理器701可以采用通用的CPU、微处理器、应用专用集成电路(application申请的数据增强方法中任一节点所执行的步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701还可以是通用处理器、数字信号处理器场景进行一下初始化配置为例，参见图8所示的本申请实施例提供的一种初始化配置的流[0189]801、第一节点配置多种数据增强操作以及该多种数据增强操作的目标操作强度[0191]该样本由在该应用场景下采集到的数据组成，或者认为该样本是由真实数据组的操作强度可以用旋转角度来表示。若该图像识别场景下的多个图像中的对象会发生旋[0200]该第一节点将该任一种数据增强操作对应的目标操作强度变化范围划分成多个强度的高低，第一节点将该10个强度变化区间对应的强度等级依次配置为强度等级1、例如图2所示的第一节点101中的策略变化例对该第一节点为该多种数据增强操作配置的概率变例如图2所示的第一节点101中的策略变化[0212]示例性地，该多种数据增强操作中的每种数据增强可以增强策略中该多种数据增强操作的操作概率之和为1，该初始数据增强策略中每种数据增实施例以初始数据增策略中每种数据增强操作具有一个强度等级为[0218]该初始数据增强策略的评估值也即是该第一节点对该初始数据增强策略的评估个增强样本中该任一种数据增强操作的操作概率的增强样本进行过该任一种数据增强操[0223]需要说明的是，本申请中所涉及到的样本均是在该应用场景下所采集的数据组[0225]而采用数据增强策略如果要生成具有与真实数据总体尽可能相似分布的数据的强操作的增强样本的个数为该目标个数与该任一种数据增强操作的操作概据增强操作中的第j种数据增强操作以及该多个第二样本中的第r个第二样本，若第j种数第一节点等概率的按照该任一种数据增强操作的强度等级所指示的操作强度变化区间中任一第二样本进行数据增强操作所得到的各个增强标类型的对象或该多个增强样本的对象的其他样本时识别的精确度为该初始识别模型正确识别出该多个第四样本的对[0240]在一种可能的实现方式中，该第一节点将该多个第四样[0243]903、该第一节点基于该初始数据增强策略进行迭代计算，得到多个数据增强策[0244]任一数据增强策略用于指示该多种数据增强操作中每种数据增强操作的操作概代计算过程中所确定出的数据增强策略以及该初始数据增强策略中的各个数据增强策略，[0247]在该第i次迭代计算的过程中，该第一节点能够确定出至少一个第i数据增强策数据增强策略中的操作等级以及操作概率，再基于预测出的每种数据增强操作在该第i数该各个数据增强策略中该任一种数据增强操作的多个操作等级以及该各个数据增强策略强策略的评估值用于指示基于该任一数据增强策略得到的增强样本所训练出的识别模型[0249]其中，该各个数据增强策略为在前i_1次迭代计算过程中所确定出的数据增强策[0250]为了使得最终获取到的增强样本的每种变化分布均符合在该应用场景下所采集到的各个样本的每种变化分布，则预测的第i数据增强策略中的每种数据增强操作的操作强度的变化分布以及操作概率的变化分布均要符合该应用场景下所采集到的各个样本的变化分布。一般认为该应用场景下所采集到的各个样本的每种变化分布均符合正态分布，操作新的操作等级也即是第i数据增强策略中每种数据增强策略中该任一种数据增强操作的操作等级所服从的多[0255]p(fx)=N(flμ,k)(1)X＝{x0i_1}者认为：该任一种数据增强操作所属的数据增强策略的评估值也即是该映射函数的函数xq据增强操作策略中该任一种数据增强策略的操作等级之间服从下述公式(2)所示的联合分预测的第i数据增强策略中该任一种数据增强策略的强度等级，m(X)为X的均值函数，中，预测的第i数据增强策略中该任一种数据增强操作的操作等级所服从的多元高斯分布p(y;IX⃞,x,y),如下述公式(3)所示。节点将令采集函数取最大值的操作等级确定为该第i数据增强策略中该任一种数据增强操值的x会有更大的概率使得y取最大值，因此把采集函数取最大值的x作为能够使得si取更大值，则该第一节点将令该采集函数取最大值的强度等级确定为该第i数据增强策略[0267]在一些实施例中，配置的该任一种数据增强操作的多个强度等级的个数比较为了快速从配置的该任一种数据增强操作的多个强度等级确定出能够令该采集函数取最大值的强度等级，则该第一节点通过优化算法计算出令采集函数的取最大值的操作等级。解最小化对应的x值，则第一节点将该各个数据增强策略的评估值以及该各个历史数据增任一种数据增强操作的操作等级)，每个x对应的y都理解为一个x取值的概率分布(图12中于是已经确定了的强度等级x和y值，所以该强度等级x所对应的y值必然在曲线1所示的均个强度等级x(也即是)所对应的si值的分布时，第一节点通过公式(1)所示的多元高斯新点时应的的取值概率分布。为上述公式(4)所示的采集函数α(x)取最大值所对[0272]该第一节点通过该各个数据增强策略中每种数据增强操作的多个操作概率所服率也即是第i数据增强策略中每种数据增强操作该任一种数据增强操作的操作概率作为随机变量x，而上述步骤A1是以该任一种数据增强节点将令采集函数取最大值的操作概率确定为该第i数据增强策略中该任一种数据增强操该任一种数据增强操作的操作概率作为随机变量x，而上述步骤A2是以该任一种数据增强[0279]该第一节点对该多种数据增强操作中的每种数据增强操作均执行上述步骤9031_策略的评估值。该第一节点采用该第i数据增强策略，对该应用场景下的样本进行数据增增强策略的好坏。其中，该第一节点对第i数据增强策略进行的评估值的过程由下述步骤[0281]步骤C1、该第一节点基于该第i数据增强策略中该多种数据增强操作的操作概率[0284]该第i识别模式也即是基于该第i数据增强策略得到的增强样本所训练出的识别强策略的总个数达到目标个数；前i次迭代过程所确定出的数据增强策略的平均评估值达[0288]若前i次迭代过程所确定出的数据增强策略总个数达到目标个数，则说明该第一节点确定出的数据增强策略足够多，若前i次迭代过程所确定出的数据增强策略的平均评目标数据增强策略包括多种数据增强操作中每种数据增强操作的目标操作概率以及目标多个数据增强策略中除该多个第二目标数据增强策略之外的数据[0300]在一种可能的实现方式中，本步骤9042所示的过程由下述步骤D1_D2所示的过程[0305]可选地，该密度聚类算法为具有噪声的基于密度的聚类方法(density_based[0306]例如该多个第二目标数据增强策略中该任一种数据增强操作的强度等级有5个，[0309]在一种可能的实现方式中，该第一节点基于该任一操作大操作等级；并将大于等于该最小操作等级且小于等于该最大操作等级的各个操作等级，数据增强操作的操概率为0.6，操作等级3所属的数据增强策略(也即是第三目标数据增强任一种数据增强操作的目标操作概率为0.6和0.4之间的平[0317]需要说明的是，本步骤904所示的过程也即是第一节点获取第一目标数据增强策种类。本申请实施例以该第一样本的对象与该第二样本的对象属于同一种类为例进行说[0322]该第一节点基于该第一目标数据增强策略中多种数据增强操作中每种数据增强增强操作的操作概率，在该任一种数据增强操作的操作等级所指示的操作强度变化区间目标识别模型后，该第一节点将该目标识别模型与该目标种类的类型标识进行[0327]本步骤906所示的过程与上述步骤9022中该第一节点基于该多个第二样本的多个[0329]本申请实施例提供的数据增强方法，通过数据增强策略[0330]上述图9所示的过程为第一节点具有数据增强系统中各个节点的功能的情况下，中获取到多个数据增强策略后，该第一节点将该多个数据增强策略发送到不同的第二节点向多个第二节点分别发送至少一个第i数据增强策略，由每个第二节点基于下述步骤1311所示的过程对接收到的每个第i数据增强策略进行评估，以便后续该第一节点从该多[0356]在一些实施例中，该第一节点除了向该第三节点发送该[0362]由于该第一目标数据增强策略中任一种数据增强操作的目标强度等级可能有多转角度的旋转操作的增强样本的占比，曲线1构成的分布是该应用场景下的真实数据的变化分布，曲线2构成的分布是采用该第一目标数据增强操作所得到增强样本的数据的变化该第一目标数据增强操作所得到增强样本的数据的变化分布能够覆盖真实数据变化分布样本为小鸟的图像，对个图像进行强锐化操作后，[0364]例如图16所示的本申请实施例提供的一种锐化操作变化时特定像素值变化的分[0365]需要说明的是，步骤1314_1316所示的过程是第一节点将多个数据增强策略发送所训练出的识别模型的准确率为92.3而通过本申请提供的数据增强策略得到的增强样于指示数据增强操作的目标操作等级，一个目标操作等级用于指示一个操作强度变化区定，所述多个数据增强策略基于配置的所述多种数据增强操作的多个操作等级搜索得到，一种数据增强操作对应的目标操作强度变化范围划分为多个增强操作的操作概率为对第二样本进行所述任一种所述多个数据增强策略中除所述多个第二目标数据增强策略以外的数据增强策略的评估策略中的第三目标数据增强策略内所述任一