CN119494032A 一种优化数据集的处理方法和装置 （北京车网科技发展有限公司）

本发明实施例涉及一种优化数据集的处理构建得到对应的训练/评估集训练分类模型；训练结束后基于分类模型对预处理数据集进行同维模型数据集构建得到对应的训练/评估集，并基于训练/评估集和目标模型对降维模型进行训2将数据集的目标训练模型作为对应的第一目标模型；并基于所述设的第一数据分类标签集合和所述第一特征项序列构建一个用于对输入数据进行分类识以所述第一目标模型的输入/输出数据特征范围为数据采集要求进行大数据采集得到对所述第一采集数据集进行预处理得到对应的第一预处理数基于所述第一预处理数据集进行分类模型数据集构建得到对应的第一训练集和第一理得到对应的第一去重数据集；对所述第一去重数据集进行样本平衡和数据增强处理得到对应的第一数基于所述第一数据集进行降维模型数据集构建得到对应的第二训练集和第二评估集；理得到对应的第一优化数据集。所述第一分类模型基于一类机器学习模型或深度学习模型实现；所述第一分于根据模型输入向量dain进行分类识别处理并输出对应的分类预测向量daout；所述模型输所述第一降维模型基于一类机器学习模型或深度学习模型实现；所述第一降于对模型输入向量dbin进行特征降维处理并输出对应的降维向量dbout；所述模型输入向量所述第一采集数据集包括多个第一采集数据记录；所述第一采集数据记录包括N个第一特征数据字段和M个第二特征数据字段；所述第一特征数据字段与所述第一特征项一一所述第一预处理数据集包括多个第一预处理数据记录；所述第一预所述第一去重数据集包括多个第一去重数据记录；所述第一去重3个第七特征数据字段和M个第八特征数据字段；所述第二数据类型字段与所述第一分类标所述第一优化数据集包括多个第二数据记录；所述第二数据记录包括第型的输入/输出数据特征范围为数据采集要求进行大数据采集得到对应的第一采集数据并通过多个大数据采集渠道，以所述采集对象属性集为单条大数据采集从而得到多条采集数据对象；所述多个大数据采集渠道至少包括政府/机构数述第二属性数据与所述目标模型预测特征项一一并将各个所述采集数据对象作为对应的当前数据对象；并将N个所述第三特征数据字段和M个所述第四特征数据字段组成一个对应的所述第一采集数并由得到的所有所述第一采集数据记录组成对应的所述第一预先为N个所述第一特征项以及M个所述目标模型预测特征项分别设置一个对应的特征项数据合理性检验标准和一个对应的特征项数据标准化转换规并对所述第一采集数据集的所有所述第一采集数据记录进行一的所述特征项数据合理性检验标准对所述当前字段进行合理性检验得到对应的第一检验当前字段的字段数据进行标准化转换处理并将转换结果作为一个对应的所述第三或第四4个所述第四特征数据字段组成一个对应的所述第一预并在对所述第一采集数据集的所有所述第一采集数据记录的遍有所述第一预处理数据记录组成对应的所述第一预先为所述第一数据分类标签集合的各个所述第一分类标签设置一个对应的数据分数据集中随机分拣出一组指定数量的所述第一预处理数据记录组成一个对应的第一类记并将得到的各个所述第一类记录集合记为对应的当前集合daout的向量格式设置一个长度为S且所有所述分类预测概率都为零的分类预测向量作为对率重置为1；并由所述当前记录对应的所述第一训练向量和所述第一标签向量组成一个对所述第一子集合的记录总数与所述第二子集合的记录总数的比值满足所述第一分割并由得到的S个所述第一子集合组成对应的所述第一训练集；并由步骤62，将所述当前训练记录的所述第一训练向量输步骤63，将所述第一分类预测向量和所述当前训练记步骤64，对所述第一损失值是否满足预设的第5步骤66，对所述第一精确率、所述第一召回率以及所对所述第一预处理数据集的所有所述第一预处理数据记录进行一轮输入向量dain的向量格式由所述当前记录的N个所述第三特征数据字段组成一个模型输入所述第一数据类型相同的多个所述第一预处理数据记录提取出来聚为一类组成一个对应并在对所述第一预处理数据集的所有所述第一预处理数据记录的遍历类记录集合记为对应的当前集合；并基于所述模型输入向量dain的向量格式由所述当前集合的各个所述第一预处理数据记录的N个所述第三特征数据字段组成一个对应的第一数据并在对所有所述第二类记录集合的遍历结束后，对所有所并对所述第一合并集合的所有所述第一预处理数据记录进行一6步骤81，将所述第一去重数据集中所述第一数据类步骤82，对各个所述第三类记录集合的记录总数进行统计得到对应的第一记录总数；述第一记录总数和所述第一平均总数计算对应的第一比率＝第一记录总数/第一平均总步骤83，对所述欠采样集合以及所述过采样集合的总的总数不为0或所述过采样集合的总数不为0，则在所述欠采样集合的总数不为0时使用过采样方法对各个所述欠采样集合进行记录添加处理，并在所述过采样集合的总数不为0时使用欠采样方法对各个所述过采样集合进行记录删除处理，并在记录添加/删除处理完成后返回步骤82；若所述欠采样集合的总数以及所述过采样集合的总数都为0，则转至步骤步骤84，对所有所述第三类记录集合进行记录合并得到将所述第一数据集中所述第二数据类型字段相同的多个所述第一数据记录提取出来并对所述第三合并集合的所有所述第一数据记录进行一轮遍历；并在本轮遍历过程述模型输入向量dbin的向量格式由所述当前记录的N个所述第七特征数据字段组成一个模量格式Y的向量格式由所述当前记录的M个所述第八特征数据字段组成一个模型输出向量7对应的第二记录序列；并按预设的第二分割比例将所述第二记录序列分割成两个子序列记为对应的第一子序列的记录总数与所述第二子序列的记录总数的比值满足所并将所述第一子序列作为对应的所述第二训练集，将所述步骤101，对预设的特征降维处理模式进行识别；若所述特征降维处理模式为第一模选择多个整数值组成对应的k值范围；并基于所述k值范围的各个k值对所述第一降维模型的所述特征维度K进行设置得到一个对应的第二降维模型；并基于各个所述第二降维模型的所述特征维度K对所述第一目标模型的所述模型输入向量X的特征维度进行设置得到一步骤103，并基于所述第二训练集和所述第二评估集对各个所述第一训练模型进行模步骤104，并将所述第一评估分数最高的所述第一训练模型对应的所述第二降维模型步骤105，基于主成分分析方法根据所述第二训练集和所述第二评估集对所述第一特征项序列中的关键特征项进行识别得到对应的第一关键特征项序列；步骤106，并对所述第一关键特征项序列的特征项总数进行统计得到对应的第一特征总数；并基于所述第一特征总数对所述第一降维模型的所述特征维度K进行设置得到一个步骤107，并基于主成分分析方法根据所述第一关键特征项序列对所述第二训练集和所述第二评估集进行数据集重构得到对应的第三训练集和第三评其中，所述第三训练集和所述第三评估集都由多个第三记录组所述第三评估集的记录总数比值满足所述第二分割比例；所述第三记录包括第三训练向步骤108，并基于所述第三训练集和所述第三评估集对所述第三降维模型进行模型训8步骤109，并对所述第一特征评估分数序列的各个所述第一特征评估分数是否都超过练集和所述第二评估集对各个所述第一训练模型进行模型训练与评估得到对应的第一评步骤111，基于所述第一目标模型的指定损失函数构建所述第一训练模型的损失函数步骤113，将所述当前训练记录的所述第二训练向量输入所述第一训练模型的所述第述第一训练模型的所述第二目标模型进行模型处理并将得到的模型输出向量作为对应的步骤114，将所述第一预测向量和所述当前训练记录的所述第二标签向量输入所述第记录提取出来作为新的所述当前训练记录并返回步骤113；若所述第二损失值不满足所述步骤116，对所述第二评估集的所有所述第二记录进行一轮遍历；并在本轮遍历过程第二训练向量输入所述第一训练模型的所述第二降维模型进行特征降维处理并输出对应于所述第二混淆矩阵进行对应的精确率、召回率计算得到对应的第二精确率和第二召回9第一评估值满足所述第一评估值范围则将所述第一评估值的倒数作为对应的所述第一评率不满足对应的所述第二召回率范围或所述第二F1分数不满足对应的所述第二F1分数范方法根据所述第二训练集和所述第二评估集对所述第一特征项序列中的关键特征项进行步骤121，对所述第二训练集和所述第二评估集的所述第二记录的总数进行统计得到步骤122，并根据所述第二训练集和所述第二评估集的所有所述第二训练向量构建一其中，所述特征矩阵A由Q×N个第一矩阵单元组成，所述特征步骤123，并基于主成分分析方法，对所述特征矩阵A的步骤124，并将所述特征矩阵A每行Q个所述第一矩阵单元提取出来组成一个对应的第为第g个所述第一特征项对应的所述第一主成分特征值、所述第一皮尔逊相关系数和所述h个所述第一特征项对应的所述第一主成分特一皮尔逊相关系数和所述第一稳健标准差；所述第一比值系数Rg,h若大于预设的比值系数阈值则说明第g个所述第一特征项对所述第一目标模型的预测贡献比第h个所述第一特征特征项对所述第一目标模型的预测贡献比第h个所述第步骤127，将各个所述第一主成分特征值超过预设的主成分特征阈值的所述第一特征方法根据所述第一关键特征项序列对所述第二训练集和所述第二评估集进行数据集重构将所述第二训练集或所述第三评估集作为对应的当前数据集；阵进行特征分解得到与各个所述第一特征项对应的第二主成分特征值和第二主成分特征由所述当前数据集对应的所有所述第三记录组成对应的所述第三训练集或所述第三评估练集和所述第三评估集对所述第三降维模型进行模型训练与评估得到对应的第一特征评步骤142，将所述当前训练记录的所述第三训练向量输入所述第三降维模型进行特征步骤143，将所述第三降维向量和所述当前训练记录的所述第三标签向量输入预设的记录提取出来作为新的所述当前训练记录并返回步骤142；若所述第三损失值不满足所述步骤145，对所述第三评估集的所有所述第三记录进行一轮遍历；并在本轮遍历过程估值不满足所述第二评估值范围则返回步骤141继续训练，若所述第二评估值满足所述第步骤147，对所述第三评估集的所述第三记录的总数进行统计并将得到的统计总数作基于U个所述样本记录的所述第三训练向量构建一个形状为UXN的特征矩阵C；并基于U个所述样本记录对应的所述第四降维向量构建一个形状为UXK的特征矩阵D；并基于样本记录的所述第一目标向量构建一个形状为UXM的特征矩阵E；其中，所述特征矩阵C由UXN个第二矩阵单元组成，所述特征矩阵C的每行对应一个所XK个第三矩阵单元组成，所述特征矩阵D的每行对应一个所述第一关键特征所述特征矩阵E的每行对应一个所述目标模型预测特征项，每列对应一个所述样本记录的步骤148，并将所述特征矩阵C每行U个所述第二矩阵单元提取出来组成一个对应的第步骤149，并根据所述特征矩阵D对各个所述第一关键步骤150，并将所述特征矩阵D每列K个所述第三矩阵单元提取出来组成一个对应的第征项对应的所述第一关键特征向量与第u个所述第一样本目标向量的所述第一相关性度一特征评估分数进行排序组成对应的所述第一特征评估分数对所述第一数据集的所有所述第一数据记录进行一轮遍历；并在本轮输入向量dbin的向量格式由所述当前记录的N个所述第七特征数据字段组成一个模型输入维处理得到对应的当前降维向量；并将所述当前降维向量的K个向量特征提取出来作为对八特征数据字段作为对应的所述第三数据类型字段和M个所述第十特征数据字段；并由所16.一种用于执行权利要求1_15任一项所述的优化数据集的处理方法的装置，其特征所述模型准备模块用于将数据集的目标训练模型作为对应的第一目标述第一目标模型的输出数据特征对模型输入数据的最大特征范围进行确认得到对应的第对输入的高维数据进行特征降维处理的第一降维模型；所述第一特征项序列包括N个第一所述数据采集模块用于以所述第一目标模型的输入/输出数据特征范围为数据采集要所述数据预处理模块用于对所述第一采集数据集进行预处理得到对应的第一预处理所述分类去重模块用于基于所述第一预处理数据集进行分类模型数据集构建得到对集进行同类数据去重处理得到对应的第一去重数所述平衡增强模块用于对所述第一去重数据集进行样本平衡和数据增强处理得到对所述特征降维模块用于基于所述第一数据集进行降维模型数据集构建得到对应的第一数据集进行特征降维处理得到对应的第一所述处理器用于与所述存储器耦合，读取并执行所述存储器中的型被应用于在多个技术领域。每个AI模型在投入应用之前都会基于模型功能(诸如回归计建一个用于对输入的高维数据进行特征降维的降维模型；并以目标模型的输入/输出数据据集进行分类模型数据集构建得到对应的训练/评估集，并基于训练/评估集训练分类模据集构建得到对应的训练/评估集，并基于训练/评估集以及目标模型对降维模型进行训据预设的第一数据分类标签集合和所述第一特征项序列构建一个用于对输入数据进行分[0006]以所述第一目标模型的输入/输出数据特征范围为数据采集要求进行大数据采集[0008]基于所述第一预处理数据集进行分类模型数据集构建得到对应的第一训练集和[0010]基于所述第一数据集进行降维模型数据集构建得到对应的第二训练集和第二评≤i≤N；所述模型输出向量Y的特征维度不变，即所述模型输出向量Y由M个输出特征yj组型用于根据模型输入向量dain进行分类识别处理并输出对应的分类预测向量daout；所述模型输入向量dain的特征维度固定为N；所型用于对模型输入向量dbin进行特征降维处理并输出对应的降维向量dbout；所述模型输入[0014]所述第一采集数据集包括多个第一采集数据记录；所述第一采集数据记录包括N个第一特征数据字段和M个第二特征数据字段；所述第一特征数据字段与所述第一特征项[0019]优选的，所述以所述第一目标模型的输入/输出数据特征范围为数据采集要求进[0020]由N个所述第一特征项和M个所述目标模型预测特征项组成对应的采集对象属性进行大数据采集从而得到多条采集数据对象；所述多个大数据采集渠道至少包括政府/机包括N个第一属性数据和M个第二属性数据，所述第一属性数据与所述第一特征项一一对应的N个所述第三特征数据字段和M个所述第四特征数据字段组成一个对应的所述第一采[0024]优选的，所述对所述第一采集数据集进行预处理得到对[0025]预先为N个所述第一特征项以及M个所述目标模型预测特征项分别设置一个对应对应的所述特征项数据合理性检验标准对所述当前字段进行合理性检验得到对应的第一所述当前字段的字段数据进行标准化转换处理并将转换结果作为一个对应的所述第三或第四特征数据字段，并在所述第一检验结果为不合理时将所述当前数据记录记为异常记否被记为异常记录进行识别，若否则基于所述当前数据记录对应的N个所述第三特征数据字段和M个所述第四特征数据字段组成一个对应的所述第一预处[0029]预先为所述第一数据分类标签集合的各个所述第一分类标签设置一个对应的数处理数据集中随机分拣出一组指定数量的所述第一预处理数据记录组成一个对应的第一向量daout的向量格式设置一个长度为S且所有所述分类预测概率都为零的分类预测向量作测概率重置为1；并由所述当前记录对应的所述第一训练向量和所述第一标签向量组成一预设的第一模型损失函数进行计算得到对应的述第一训练向量输入所述第一分类模型进行分类识别处理得到对应的第二分类预测向量；并由所述第二分类预测向量和所述当前训练记录的所述第一标签向量组成一个对应的第满足对应的所述第一精确率范围、或所述第一召回率不满足对应的所述第一召回率范围、模型输入向量dain的向量格式由所述当前记录的N个所述第三特征数据字段组成一个模型述分类预测概率对应的所述第一分类标签作为对应的第一数据类型；并在本轮遍历结束第二类记录集合记为对应的当前集合；并基于所述模型输入向量dain的向量格式由所述当前集合的各个所述第一预处理数据记录的N个所述第三特征数据字段组成一个对应的第一重数据记录提取出来聚为一类组成一个对应的个所述第一记录总数和所述第一平均总数计算对应的第一比率＝第一记录总数/第一平均集合的总数不为0或所述过采样集合的总数不为0，则在所述欠采样集合的总数不为0时使对所述第二合并集合的所有所述第一去重数据记录进行一轮遍历；并在本轮遍历过程中，[0053]将所述第一数据集中所述第二数据类型字段相同的多个所述第一数据记录提取所述模型输入向量dbin的向量格式由所述当前记录的N个所述第七特征数据字段组成一个向量格式Y的向量格式由所述当前记录的M个所述第八特征数据字段组成一个模型输出向个对应的第二记录序列；[0055]并按预设的第二分割比例将所述第二记录序列分割成两个子序列记为对应的第一子序列的记录总数与所述第二子序列的记录总数的比值满足所述第围中选择多个整数值组成对应的k值范围；并基于所述k值范围的各个k值对所述第一降维模型的所述特征维度K进行设置得到一个对应的第二降维模型；并基于各个所述第二降维模型的所述特征维度K对所述第一目标模型的所述模型输入向量X的特征维度进行设置得[0062]步骤103，并基于所述第二训练集和所述第二评估集对各个所述第一训练模型进[0063]步骤104，并将所述第一评估分数最高的所述第一训练模型对应的所述第二降维[0064]步骤105，基于主成分分析方法根据所述第二训练集和所述第二评估集对所述第一特征项序列中的关键特征项进行识别得到对应的第一关键特征项[0066]步骤106，并对所述第一关键特征项序列的特征项总数进行统计得到对应的第一特征总数；并基于所述第一特征总数对所述第一降维模型的所述特征维度K进行设置得到[0067]步骤107，并基于主成分分析方法根据所述第一关键特征项序列对所述第二训练集和所述第二评估集进行数据集重构得到对应的第三训练集和[0069]步骤108，并基于所述第三训练集和所述第三评估集对所述第三降维模型进行模型训练与评估得到对应的第一特征评估分数序列；[0070]其中，所述第一特征评估分数序列由所述第一特征总数的第一特征评估分数组[0071]步骤109，并对所述第一特征评估分数序列的各个所述第一特征评估分数是否都[0074]步骤111，基于所述第一目标模型的指定损失函数构建所述第一训练模型的损失[0076]步骤113，将所述当前训练记录的所述第二训练向量输入所述第一训练模型的所入所述第一训练模型的所述第二目标模型进行模型处理并将得到的模型输出向量作为对[0077]步骤114，将所述第一预测向量和所述当前训练记录的所述第二标签向量输入所述第二模型损失函数进行计算得到对应的第第二记录提取出来作为新的所述当前训练记录并返回步骤113；若所述第二损失值不满足述第二训练向量输入所述第一训练模型的所述第二降维模型进行特征降维处理并输出对型评估函数进行计算得到对应的第一评估值；若当前所述第二目标模型为一个分类模型，所述第一评估值满足所述第一评估值范围则将所述第一评估值的倒数作为对应的所述第召回率不满足对应的所述第二召回率范围或所述第二F1分数不满足对应的所述第二F1分[0084]步骤121，对所述第二训练集和所述第二评估集的所述第二记录的总数进行统计[0085]步骤122，并根据所述第二训练集和所述第二评估集的所有所述第二训练向量构[0088]步骤124，并将所述特征矩阵A每行Q个所述第一矩阵单元提取出来组成一个对应g为第g个所述第一特征项对应的所述第一主成分特征值、所述第一皮尔逊相关系数和h个所述第一特征项对应的所述第一主成分特述第一皮尔逊相关系数和所述第一稳健标准差；所述第一比值系数Rg,h若大于预设的比值系数阈值则说明第g个所述第一特征项对所述第一目标模型的预测贡献比第h个所述第一第一特征项对所述第一目标模型的预测贡献比第h个所述第一特征[0095]步骤127，将各个所述第一主成分特征值超过预设的主成分特征阈值的所述第一特征项进行排序得到对应的所述第一关键特征差矩阵进行特征分解得到与各个所述第一特征项对应的第二主成分特征值和第二主成分所述第三训练向量、所述第三标签向量和所述第一目标向量组成一个对应的所述第三记[0100]步骤142，将所述当前训练记录的所述第三训练向量输入所述第三降维模型进行[0101]步骤143，将所述第三降维向量和所述当前训练记录的所述第三标签向量输入预设的第三模型损失函数进行计算得到对应的第第三记录提取出来作为新的所述当前训练记录并返回步骤142；若所述第三损失值不满足二评估值不满足所述第二评估值范围则返回步骤141继续训练，若所述第二评估值满足所[0108]步骤147，对所述第三评估集的所述第三记录的总数进行统计并将得到的统计总数作为对应的样本总数U；并将所述第三评估集中的各个所述第三记录记为对应的样本记于U个所述样本记录对应的所述第四降维向量构建一个形状为U×K的特征矩阵D；并基于U个所述样本记录的所述第一目标向量构建一个形状为U×M的特应一个所述样本记录对应的所述第四降维向量；所述特征矩阵E由U×M个第四矩阵单元组[0110]步骤148，并将所述特征矩阵C每行U个所述第二矩阵单元提取出来组成一个对应[0112]步骤150，并将所述特征矩阵D每列K个所述第三矩阵单元提取出来组成一个对应主成分特征值和所述第一降维特征进行关键特征评估处理得到对应的所述第一特征评估键特征项对应的所述第一关键特征向量与第u个所述第一样本目标向量的所述第一相关性述第一特征评估分数进行排序组成对应的所述第一特征评估分数序列。[0119]对所述第一数据集的所有所述第一数据记录进行一轮遍历；并在本轮遍历过程述模型输入向量dbin的向量格式由所述当前记录的N个所述第七特征数据字段组成一个模特征降维处理得到对应的当前降维向量；并将所述当前降维向量的K个向量特征提取出来所述第八特征数据字段作为对应的所述第三数据类型字段和M个所述第十特征数据字段；所述第二数据记录组成对应的所述第一优化数[0120]本发明实施例第二方面提供了一种用于实现上述第一方面所述的优化数据集的于所述第一目标模型的输出数据特征对模型输入数据的最大特征范围进行确认得到对应用于对输入的高维数据进行特征降维处理的第一降维模型；所述第一特征项序列包括N个[0122]所述数据采集模块用于以所述第一目标模型的输入/输出数据特征范围为数据采[0123]所述数据预处理模块用于对所述第一采集数据集进行预处理得到对应的第一预[0124]所述分类去重模块用于基于所述第一预处理数据集进行分类模型数据集构建得数据集进行同类数据去重处理得到对应的第一去[0125]所述平衡增强模块用于对所述第一去重数据集进行样本平衡和数据增强处理得[0126]所述特征降维模块用于基于所述第一数据集进行降维模型数据集构建得到对应述第一数据集进行特征降维处理得到对应的第一优化数构建一个用于对输入的高维数据进行特征降维的降维模型；并以目标模型的输入/输出数据集构建得到对应的训练/评估集，并基于训练/评估集以及目标模型对降维模型进行训[0136]本发明实施例一提供的一种优化数据集的处理方法，如图1为本发明实施例一提根据预设的第一数据分类标签集合和第一特征项序列构建一个用于对输入数据进行分类一分类模型用于根据模型输入向量dain进行分类识别处理并输出对应的分类预测向量一降维模型用于对模型输入向量dbin进行特征降维处理并输出对应的降维向量dbout；模型数据作为一个对应的第二特征数据字段，并由当前数据对象对应的N个第三特征数据字段一个对应的特征项数据合理性检验标准和一个对应的特征项数据标准化转对应的特征项数据标准化转换规则对当前字段的字段数据进行标准化转换处理并将转换记录是否被记为异常记录进行识别，若否则基于当前数据记录对应的N个第三特征数据字段和M个第四特征数据字段组成一个对应的第一预[0155]步骤4，基于第一预处理数据集进行分类模型数据集构建得到对应的第一训练集处理数据集中随机分拣出一组指定数量的第一预处理数据记录组成一个对应的第一类记S且所有分类预测概率都为零的分类预测向量作为对应的第一标签向量，并将第一标签向量中与当前分类标签对应的分类预测概率重置为1；并由当前记录对应的第一训练向量和[0164]步骤422，将当前训练记录的第一训练向量输入第一分类模型进行分类识别处理[0165]步骤423，将第一分类预测向量和当前训练记录的第一标签向量输入预设的第一满足第一损失值范围，则对当前训练记录是否为第一训练集的最后一个第一记录进行识器朝着使第一模型损失函数达到最小值的方向对第一分类模型的模型参数进行一轮参数精确率和第一召回率进行F1分数计算得到对应的模型输入向量dain的向量格式由当前记录的N个第三特征数据字段组成一个模型输入向量一预处理数据记录提取出来聚为一类组成一个对应的第二录集合记为对应的当前集合；并基于模型输入向量dain的向量格式由当前集合的各个第一预处理数据记录的N个第三特征数据字段组成一个对应的第一数据向量；并对当前集合中字段、N个第五特征数据字段和M个第六特征数据字段组成一个对应的第一去重数据记录；数据记录提取出来聚为一类组成一个对应的[0182]步骤52，对各个第三类记录集合的记录总数进行统计得到对录总数和第一平均总数计算对应的第一比率＝第一记录总数/第一平均总数；并将第一比预设的第二比率阈值的第三类记录集合记为对应的为0或过采样集合的总数不为0，则在欠采样集合的总数不为0时使用过采样方法对各个欠采样集合进行记录添加处理，并在过采样集合的总数不为0时使用欠采样方法对各个过采[0186]步骤6，基于第一数据集进行降维模型数据集构建得到对应的第二训练集和第二向量dbin的向量格式由当前记录的N个第七特征数据字段组成一个模型输入向量记为对应的第二训练向量；并基于第一目标模型的模型输出向量的向量格式Y的向量格式由当前记录的M个第八特征数据字段组成一个模型输出向量记为对应的第二标签向量；并由当前记录对应的第二训练向量和第二标签向量组成一个对应的第二记录；并在本轮遍历结束时，由得到的所有第二记录组成一个对应的第二记录序列；[0190]步骤613，并按预设的第二分割比例将第二记录序列分割成两个子序列记为对应行设置得到一个对应的第二降维模型；并基于各个第二降维模型的特征维度K对第一目标模型的模型输入向量X的特征维度进行设置得到一个对应的第二目标模型；并由各个第二降维模型与对应的第二目标模型连接组成一个对应的第一训K的取值范围内将大于2的偶数作为一个选出的k值组成对应[0200]步骤623，并基于第二训练集和第二评估集对各个第一训练模型进行模型训练与目标模型进行模型处理并将得到的模型输出向量作为对应的第优化器朝着使第二模型损失函数达到最小值的方向对第一训练模型的模型参数进行一轮向量输入第一训练模型的第二目标模型进行模型处理并将得到的模型输出向量作为对应预测标签对；并在本轮遍历结束时，对第一训练模型的第二目标模型的模型功能进行识基于第二精确率和第二召回率进行F1分数计算得到对应的标模型为一个回归计算模型，则对第一评估值是否满足预设的第一评估值范围进行识别，确率范围或第二召回率不满足对应的第二召回率范围或第二F1分数不满足对应的第二F1[0211]步骤624，并将第一评估分数最高的第一训练模型对应的第二降维模型和第二目据第二训练集和第二评估集对第一特征项序列中的关键特征项进行识别得到对应的第一关键特征项序列；对各个第一特征向量与第一目标张量的皮尔逊相关系数进行计算得到对应的第一皮尔逊数和第一稳健标准差，对每两个第一特征项的比值系数进行计算得到对应的第一比值系系数阈值则说明第g个第一特征项对第一目标模型的预测贡献比第h个第一特征项的贡献标模型的预测贡献从大到小的顺序对得到的所有第一关键特征项进行排序得到对应的第一关键特征项序列；[0228]步骤626，并对第一关键特征项序列的特征项总数进行统计得到对应的第一特征总数；并基于第一特征总数对第一降维模型的特征维度K进行设置得到一个对应的第三降[0229]步骤627，并基于主成分分析方法根据第一关键特征项序列对第二训练集和第二评估集进行数据集重构得到对应的第三训练集和第三评估[0232]步骤628，并基于第三训练集和第三评估集对第三降维模型进行模型训练与评估得到对应的第一特征评估分数序列；[0234]具体包括：步骤628_1，将第三训练集的第一个第三记录作为对应的当前训练记[0235]步骤628_2，将当前训练记录的第三训练向量输入第三降维模型进行特征降维处[0236]步骤628_3，将第三降维向量和当前训练记录的第三标签向量输入预设的第三模优化器朝着使第三模型损失函数达到最小值的方向对第三降维模型的模型参数进行一轮所有第三预测_标签对带入预设的第二模型评估函数进行计算得到对应的第值不满足第二评估值范围则返回步骤628_1继续训练，若第二评估值满足第二评估值范围[