CN119415837A 数据裁剪方法、装置、电子设备及存储介质 （鹏城实验室）

于更新邻接特征矩阵计算每个邻域样本的邻接提高在样本数据集中进行数据裁剪以保留重要2在所述样本数据集中确定所述目标样本的多个邻域样本，基于所述特征编码对所述邻接特征矩阵进行特征传播处理，得到更新邻接特征矩阵，并基于所述更新邻接特征矩阵计算每个所述邻域样基于所述邻接预测值和所述目标标签的标签概率值，计算得到所基于所述相似度估计值对所述样本数据集进行数据裁剪得到相似度估计值对所述核心数据集中至少一个目标样本进计算所述目标样本的特征编码和其他所述样本的特征基于所述对角矩阵和所述过渡矩阵更新所述邻接特征矩阵，得到所基于单位矩阵和所述邻接矩阵的和，再乘以所述邻接特征矩基于所述更新邻接特征矩阵和所述全连接层参数的乘将所述预测参数代入所述概率激活函数得到每个所述邻域样本的目标标签的标签概率值，计算得到所述多个邻域样本和所述目标样本之间的相似度估计3基于所述相似度估计值的数值排序，对多个所述目标样本的所述相似获取所述核心数据集中所述目标样本的样本标签，当所述相将多个所述相似度估计值划分为多个估计值集群，每个所述估基于多个所述相似度估计值的数值排序，逐一从每个所述估计值集将所有所述目标相似度估计值对应的所述目标样本作为所述核心预测值计算模块，用于基于所述特征编码对所述邻接特征矩阵进到更新邻接特征矩阵，并基于所述更新邻接特征矩阵计算每个所述邻域样本的邻接预测相似度计算模块，用于基于所述邻接预测值和所述目标标签的标签概所述多个邻域样本和所述目标样本之间的相似数据裁剪模块，用于基于所述相似度估计值对所述样本数据数据集，并基于所述相似度估计值对所述核心数据集中至少一个目标样本进行标签重标所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的数被处理器执行时实现权利要求1至8任一项所述的4[0002]爆炸式增长的数据量是深度神经网络能够在各种应用中取得成功的关键因素之所述相似度估计值对所述核心数据集中至少一个目标样本进行标签[0006]在一些实施例中，所述在所述样本数据集中确定所述目计算所述目标样本的特征编码和其他所述样本的特征[0007]在一些实施例中，所述基于所述特征编码对所述邻接特征矩阵进行特征传播处5[0008]在一些实施例中，所述基于所述对角矩阵和所述过渡矩阵更新所述邻接特征矩基于所述更新邻接特征矩阵和所述全连接层参数的乘将所述预测参数代入所述概率激活函数得到每个所述邻域样本的将所有所述目标相似度估计值对应的所述目标样本作为所述核心邻域样本选取模块，用于在所述样本数据集中确定所述目标样本的多个邻域样6预测值计算模块，用于基于所述特征编码对所述邻接特征矩阵进行特征传播处得到所述多个邻域样本和所述目标样本之间的相集中确定目标样本的多个邻域样本，并根据多个邻域样本的特征编码得到邻接特征矩阵；新邻接特征矩阵精准地计算得到每个邻域样本是否为噪声样本的邻接预测值以矫正邻域7技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，[0034]爆炸式增长的数据量是深度神经网络能够在各种应用中取得成功的关键因素之[0036]然而，当数据不满足被完美标记的假设时（即数据集中包含错误标记的噪声样8后利用目标样本的精准的相似度估计值从多个样本数据集中的多个目标样本中选取相似[0040]步骤101：从样本数据集的多个样本中选取目标样本，并获取目标样本的目标标后续进行数据剪裁时，将从样本数据集的多个样本中逐一选取样本作为[0044]本申请实施例提供的数据裁剪方法的目的是从样本数据集中选取最具代表性的核心数据集s，以使得利用核心数据集s进行训练所得到的模型os与利用整个样本数据集进行训练所得到模型具有更接近的泛化性能，从而在确保训练精准9[0054]然后利用K近邻算法，计算目标样本的特征编码和其他每个样本的特征编码之间[0060]在由KNN计算得到目标原本的多个邻域样本后，将目标样本和多个邻域样[0063]在一些实施例中，在确定目标样本的多个邻域样本以及邻接特征矩阵veR"后，为了进一步挖掘邻域样本之间的数据信息，将基于特征编码对邻接特征矩阵ii个邻域样本的特征编码。邻接特征矩阵计算每个邻接样本是否为噪声的预测值，进而提高了数据标签标注的精准[0085]在得到更新邻接特征矩阵后，将进一步利用更新邻接特征矩阵计算每个[0093]概率激活函数sofimax是一种在多分类问题中常用的激活函数，它将一个实值向全连接层参数的乘积得到预测参数，并进一函数sofimax以得到每个邻域样本的邻接预测值如以下公式(7)所示。[0097]通过以上步骤501至步骤标签传播，以利用领域样本之间数据信息精准的矫正邻域样本的标签信息（即邻接预测一步利用邻接预测值和目标样本在类型下的目标标签的标签概率值p(ylx)和目标样本的标签概率值ro")之间的散度值JS(p("),p(YIX:))，然后进一步对所有散度值进行平均处理以得到目标样本与多个邻域样本之间的相似度估计值如以下公式(8,其中是P和Q的平均分布，KL(plIM)和KL(Q1M)分别是从P到M和从Q到M的KL散度。JS散度的值域在0到log中选取下一个目标样本以计算得到该目标样本的相似估计值，从而便于后续利用多个目标样本的相似估计值对样本数据集进行数据剪裁以得相似度估计值对核心数据集中至少一个目标样本进相似度估计值对核心数据集中至少一个目标样本进行标签重标注，包括以下步骤701至步[0129]参照图9和图10，是本申请实施例提供的一种数据裁剪方法的流程结构示意图和数的乘积得到预测参数，将预测参数代入概率激活函数得到每个邻域样本的邻接预测值；计算目标样本的特征编码和其他样本的特征基于更新邻接特征矩阵和全连接层参数的乘将预测参数代入概率激活函数得到每个邻域样本的心数据集中所有所述目标样本的相似度估计值小据的标签标注，从而进行数据裁剪得到仅包括重要性高且可靠的样本数据的核心数据集，述的数据裁剪方法。该电子设备可以为包括手机、平板电脑、个人数字助理（Personal可以根据实际的需要选择其中的部分或者全部模块来实现本的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，说对现