CN115269681B 一种面向多维特性数据的缺失值检测及填补方法 （同济大学）

一种面向多维特性数据的缺失值检测及填本发明涉及一种面向多维特性数据的缺失缺失值填补算法进行数据填补。与现有技术相2维度缺失度的最小单位为一个维度，通过对整个数据集的缺失维度其中，nulindex[i,j]表示矩阵nulindex的第i行第j列，row(nulindex)为矩阵依次对每一个数据点的每一维度进行检测，并与该维度对应的重2.根据权利要求1所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在33.根据权利要求1所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在计算数据集整体缺失度，即计算整个数据集中发生缺失的数据4.根据权利要求1所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在5.根据权利要求4所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在中的插值填补法以及模型填补方法中的KNN填补法和Iterative6.根据权利要求5所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在采用评价指标F1_score和评价指标RMSE评判多种缺失值填补算法的性评价指标F1_score用以评判模型预测缺失值的准确度，根据不同缺失值填为1的样本占预测为1的样本总数的比例，召回率recall表示被正确预测为1的样本占真实评价指标RMSE用以评判模型累计预测误差值，通过计算预测结果与真实7.根据权利要求6所述的一种面向多维特性数据的缺失值检测及填补方法，其特征在45中的维度缺失常常会导致数据类型不匹配的错误，这给后续数据分析与处理带来了挑战，6失数据点输入到预测模型，得到缺失位置的可能填补值。常见的如KNN(k_nearest据数据集的缺失程度选择最合适的填补方法具有一定的[0012]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向多维特性7[0034]其中，nulindex[i,j]表示矩阵nulindex的第i行第j列，row(nulindex)为矩阵[0036]依次对每一个数据点的每一维度进行检测，并与该维度8[0039]所述的步骤6中，基于不同缺失度选择合适的缺失值填补算法进行数据填补的过方法中的插值填补法和插值填补法以及模型填补方法中的KNN填补法和Iterative[0044]所述的步骤602中，对不同的缺失值填补算法在不同缺失度时填补效果进行全面预测为1的样本占预测为1的样本总数的比例，召回率recall表示被正确预测为1的样本占[0054]1、本发明针对现有的缺失值检测方法缺少对多维数据进行更全面立体分析的问9[0065]图10为本发明实施例的IterativeImputer填补法在不同缺失度时的填补结果示施例采用Dataframe表格型数据结构格式对数据集进行存储，存储后的数据集含有一组有D,1的表达式为：[0090]如图3所示，整体缺失度用以衡量整个数据集中具有缺失的数据点占所有数据点[0099]其中，nulindex[i,j]表示矩阵nulindex的第i行第j列，row(nulindex)为矩阵加权维度缺失度不失真且符合真实情况，需满足所有维度权重系数之和等于k，即[0107]在步骤6中，基于不同缺失度选择合适的缺失值填补算法进行数据填补的过程具方法中的KNN(K_NearestNeighbor)填补法和IterativeImputer填补法这五种典型的缺失学习数据库UCIMachineLearningRepository中选取Iris数据集进行实验，Iris数据集[0114]根据上述缺失度的设置，这些数据集囊括了allms偏小menms偏小、allms偏小menms偏大、allms中等menms中等、allms偏大menms偏小以及allms偏大menms偏大五种情[0115]本发明采用典型的F1_score和RMSE这两个评价指标评判多种缺失值填补算法的(缺失值填补算法)的填补结果，得到预测的精确率precision和召回率recall，精确率precision表示被正确预测为1的样本占预测为1的样本总数的比例，召回率recall表示被[0120]综上所述，评价指标F1_score用以评判模型预测缺失值的准确度，而评价指标值填补算法，但是IterativeImputer填补法的性能总是优于KNN填补法，因为Iterative