CN119537931A 标签校正方法、装置、计算机设备和计算机可读存储介质 (广东明创软件科技有限公司)_第1页
CN119537931A 标签校正方法、装置、计算机设备和计算机可读存储介质 (广东明创软件科技有限公司)_第2页
CN119537931A 标签校正方法、装置、计算机设备和计算机可读存储介质 (广东明创软件科技有限公司)_第3页
CN119537931A 标签校正方法、装置、计算机设备和计算机可读存储介质 (广东明创软件科技有限公司)_第4页
CN119537931A 标签校正方法、装置、计算机设备和计算机可读存储介质 (广东明创软件科技有限公司)_第5页
已阅读5页,还剩58页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

的目标模型预测当前轮的样本数据集中各个样本分别在各类别标签下的预测概率和各样本的实标签,得到当前轮标签校正完成的样本数据2将待校正的初始样本数据集作为当前轮的样本在每轮迭代中,根据当前轮的样本数据集对基础分类模通过所述当前轮训练完成的目标模型,预测所述当前轮的样本数据集中各个根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标注标将所述目标样本的当前的标注标签校正为所述预估真实标签,得在每轮迭代中,基于所述目标超参数,根据当前轮的样本数基于所述当前轮的目标超参数,根据当前轮的样本数据集对基础根据各所述目标样本分别在各所述类别标签下的预测概率,确定各从所述目标样本中,按照所述标签质量评分从低到高的顺序依次选所述将所述目标样本的当前的标注标签校正为所述预估真实标签,得将所述待校正样本的当前的标注标签校正为所述预估真实标签,得分别针对每个类别标签,根据当前的标注标签为所述类别标签的3分别针对每个所述样本,根据所述样本在当前的标注标注标签对应的概率门限值之间的差异,确定所述样本的当前的标注标签的标签质量评本在当前的标注标签下的预测概率与所述当前的标注标签对应的概率门限值之间的差异,分别针对每个所述样本,确定所述样本分别在各所述根据各所述类别标签分别对应的差值,对所述样本在当前的标注标签根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标注标根据所述目标样本分别在各所述类别标签下的预测概率,确定所根据各所述样本的预测标签和当前的标注标签,确定所述当针对每个样本,从所述样本在各所述类别标签下的预述目标预测概率是大于或等于相应的类别标签对应的概率门限将所述目标预测概率中的最大预测概率对应的类别标签确定为所述样本若所述样本在各所述类别标签下的预测概率均小于类别标签对应针对每个样本,若所述样本的预测标签与当前的标注标签不一致所述当前轮的样本数据集中需要进行标签校正将当前的标注标签和预测标签均为同一类别标签的样本划分至所述类别标签对应的4若所述目标样本子集中的样本数量大于或等于预设保留量,则若所述目标样本子集中的样本数量小于所述预设保留量,将当前的标注标签相同、且预测标签相同的各个样本划分至同一注标签和预测标签为同一类别标签的样本被划分至的样本子集为目根据各所述样本子集中的样本数量,生成置信联合矩阵;所述置针对每个样本,确定所述样本分别在各所述类别标签下的预测概率中的最大预测概训练集和当前轮的验证集;所述当前轮的样本数据集用于对基础分类模型进行模型训练;所述当前轮的验证集用于确定所述前轮训练完成的目标模型针对每个样本,在所述样本的校正次数占比大于或等于预设占比模型训练模块,用于将待校正的初始样本数据集作为当前轮的样本5置信学习模块,用于通过所述当前轮训练完成的目标模型标签校正模块,用于将所述目标样本的当前的标注标签校正为所述预到当前轮标签校正完成的样本数据集,作为更新的当前轮的样本数据集进入下一轮迭代,被处理器执行时实现如权利要求1至17中任一项所述的6[0009]根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标7[0014]标签校正模块,用于将所述目标样本的当前的标注标签校正为所述预估真实标[0019]根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标[0025]根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标[0031]根据各所述样本分别在各所述类别标签下的预测概率和各所述样本的当前的标8当前轮的样本数据集中需要进行标签校正的目标样本、以及各目标样本的预估真实标签,校正得到更加准确的校正完成的目标样本数[0037]图3为一个实施例中各种类型的样本数据集所采用的基础分类模型和参数搜索策9终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数[0056]步骤204,在每轮迭代中,根据当前轮的样本数据集对基础分类模型进行模型训[0059]在一些实施例中,服务器可以在每轮迭代中或仅在首轮本数据集中样本的类型是音频数据的情况下,基础分类模型可以是VGGish模型或MusicNN[0064]例如:当前轮的样本数据集为x=(x),当前轮训练完成的目标模型为通过当前轮训练完成的目标模型,预测当前轮的样本数据集中各个样本分别在各个类别标签下的预测概率其中,第k个样本在类别标签j下的预测概率为将样本的标注标签记作则对应标注标签为i的样本子集为样本的真实标签记=j的样本被错误标注成$=i,这些误标注的样本构成了不同的样本子集图4中的(a)示出了这些样本子集的划分情况。图4中的(b)中的每个元素Xi,j代表一个样本子集线元素Xi,j(i≠j)表示原本应该标注类别标签j的样本被标注为类别标签i(即标注错误的本的真实标签进行预估,即求解样本子集的估计量本申请各实施例中[0065]步骤208,根据各样本分别在各类别标签下的预测概率和各样本的当前的标注标[0070]在一些实施例中,服务器可以将确定的各个目标样本对应的问题标记(issue到的当前轮标签校正完成的样本数据集作为标签校正完成的目标类模型是在标签校正完成后使用标签校正完成的[0077]上述标签校正方法,首先将待校正的初始样本数据集作一些实施例中,服务器可以将各个目标样本按照标签质量评分从高到低的顺序进行排序,选取排在最后的符合当前轮的实际校正数量的目标样本作为的标注标签j为j的样本。PG=jx,9)表示当前轮训练完成的目标模型预应的概率门限值等于当前的标注标签为j的样本在类别标签j下的预测概率之和除以当前本的当前的标注标签的标签质量评分。可以使用如下公式计算样本k在各个类别标签下分示由样本k分别在各个类别标签下的预测概率组成的向量。Γ表示由各个类别标签分别对[0112]其中,表示由样本k在各个类别标签下分别对应的目标差值组成的向量,su(p:)表示样本k在各类别标签分别对应的目标差值之和,sum是求和函数。表示由样本k在各个类别标签下分别对应的目标差值的归一化结果组成的向量,可以使用如下公式根据确定样本的当前的标注标签的标签质量评分:a表[0117]在一些实施例中,确定各样本分别在各类别标签下的预测概率中的最大预测概预测概率大于或等于该类别标签对应的概率门限值)的情况下,服务器可以直接将该目标预测概率大于或等于类别标签对应的概率门限值)的情况下,服务器可以将多个目标预测概率中的最大预测概率对应的类别标签确定为样本的预本划分至同一样本子集,得到样本子集的估计量在目标预测概率的数限值)的情况下,在目标预测概率的数量为多m2个样本子集服务器可以将除m个样本子集中的样本集中的样本(除m个样本子集中的样本之外的m2个样本子集中的样本)对应的问题标记设置为第二数量小于预设保留量,则从当前的标注标签是目标样本子集对应的类别标签的各个样本应的类别标签的样本的数量与预设保留量之子中的m个样本子集即为目标样本子集。根据当前的标注标签是目标样本子集对应的类别标签的样本的数量与预设保留量之间的示样本子集中的样本数量,即,当前的标注标签为且预测标签为j=j的样本的数量。置信联合矩阵csy中的对角线元素表示当前的标注标签3与预测标的向量d-diag(cx,),该向量用于表征各个目标样本子集中的样本数量。标签下的预测概率从小到大的顺序依次选取符合相应目标校正量的样本作为需要进行标中选取当前的标注标签为5=i的样本组成样本子集得到当前的标注标签是该类别正的样本)的数量为nremain=d,[i],则该样本子集中需[0159]其中,y*表示预估真实标签。if=jx,9)表示当前轮训练完成的目标模型组成的向量。argmax(B)表示向量中元素中的最大值。条件中的任意一种;第一迭代停止条件是当前的迭代次数大于或等于第一预设迭代次数;第二迭代停止条件是当前轮中目标模型的性能指标的优化程度小于或等于预设指标门限于上一轮训练完成的目标模型的性能指标的[0166](1)step>max_epoch,即,当前的迭代次数step大于或等于第一预设迭代次数F1t-1小于或等于预设指标门限值delta大于或等于第一预设迭代次数或者当前轮中目标模型的性能指标的优化程度小于或等于[0169]在一些实施例中,当前轮的样本数据集包括当前轮的训练集及使用当前轮的验证集确定前轮训练完成的目标模型签校正的校正次数和每次校正后的更新的标注标签记录于依据不稳定样本的相关信息,评估具体业务场景下分类任务的标签体系设计是否合理,以是cfs或ceph等文件系统的存储地址,需要保证云端服务具备读取文件系统存储地址的[0178]上传的文本类型的样本数据集的格式可以参见图10中的(a),上传的图像类型和[0185]模型训练模块1202,用于将待校正的初始样本数据集作为当到当前轮标签校正完成的样本数据集,作为更新的当前轮的样本数据集进入下一轮迭代,标签质量评分从低到高的顺序依次选取符合当前轮的实际校正数量的目标样本作为待校本子集对应的类别标签的样本的数量与预设保留量之间的条件中的任意一种;第一迭代停止条件是当前的迭代次数大于或等于第一预设迭代次数;第二迭代停止条件是当前轮中目标模型的性能指标的优化程度小于或等于预设指标门限于上一轮训练完成的目标模型的性能指标的[0204]在一些实施例中,当前轮的样本数据集包括当前轮的训练集[0206]上述标签校正装置,首先将待校正的初始样本数据集作[0207]上述标签校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间[0212]本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read_Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory,MRAM)、铁电存储器(FerroelectricRandomAccessMemory,FRAM)、相变存储器(PhaseChangeMemory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory,库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论