CN119513078A 一种多源数据质量提升方法及系统、存储介质 （国网辽宁省电力有限公司沈阳供电公司）

质异常因子LOF算法对所述负荷数据进行异常检不仅为智能电网的大数据分析和运行状态评估2基于前述特征提取和异常修正结果，应用熵权法计算负对于采集过程中出现的缺失数据，采用插值法、回归分析数据填补技4.如权利要求1所述的一种多源数据质量提升方法，其特征在于：应用局部异常因子的鲁棒性；空间中p点和o点之间的可达距离定义为点o的第k距离和dist(p,o)之间的最大3其中，reach_dist(p,o)表示点p和点o之间的可达距离，定义为点o的第k距离和dist最后，根据点p与其邻域内其他点的局部可达密度之比，计算点p的局部异常因子k在1左右说明点p数据密度与其邻域内点的数据密度相当；当LOFk(p)远大于1或者远小于1Ej表示某个负荷数据特征的熵，反映该特征的信息量；各个变量的权重也由公式⑶获4检测单元，应用局部异常因子LOF算法对所述负荷数据进行异常检测，筛选出异常数优化单元，基于前述特征提取和异常修正结果，应用对于采集过程中出现的缺失数据，采用插值法、回归分析数据填补技10.一种计算机存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程5据质量的关键步骤。常用的方法包括基于统计学的方法(如3σ法)和基于机器学习的方法[0008]基于前述特征提取和异常修正结果，应用熵权法计算负荷数据特征间的权重关6[0010]通过设定阈值和规则清洗多源负荷数据，去除数据中的噪声和明显错误的数据[0012]对不同数据源的负荷数据进行标准化处理，消除因数据来源多样导致的量纲差i[0017]进一步的，应用局部异常因子LOF算法对所述负荷数据进行异常检测包括对不同[0019]在这部分，局部可达密度和局部异常因子的计算实际上是针对每个数据点p独立7增强密度计算的鲁棒性。空间中p点和o点之间的可达距离定义为点o的第k距离和dist(p,[0026]其中，reach_dist(p,o)表示点p和点o之间的k8[0042]其中，ωj为特征j9[0049]通过设定阈值和规则清洗多源负荷数据，去除数据中的噪声和明显错误的数据[0051]对不同数据源的负荷数据进行标准化处理，消除因数据来源多样导致的量纲差一个样本；每个数据点对应某一时刻或某一地理位置的负荷数据；Ci表示第i个负荷数据[0068]基于前述特征提取和异常修正结果，应用熵权法计算负荷数据特征间的权重关[0072]对不同数据源的负荷数据进行标准化处理，消除因数据来源多样导致的量纲差[0074]配网系统采集数据具有较强的周期性，采用数据挖掘中的K_means聚类法对多源一个样本；每个数据点对应某一时刻或某一地理位置的负荷数据；Ci表示第i个负荷数据[0080]2)计算集合内各个数据点到聚类中心点之间的欧几里得距离(公式2)，选取最近[0082]4)判断聚类中心是否发生变化，如果发生变化则返回步骤x，如果不发生变化则增强密度计算的鲁棒性。空间中p点和o点之间的可达距离定义为点o的第k距离和dist(p,[0090]其中，reach_dist(p,o)表示点p和点o之间的[0093]根据局部异常因子的定义，LOFk(p)值在1左右说明点p数对于需要修正的属性ci，筛选出与其强相关的m个属性建立各个属性之间的皮尔逊相关系[0114](c)属性ci的异常数据集记为对于其中一条异常数据记为中寻找与相同时间历史数据点记为所处类的聚类中心记为[0115](d)在选取所有m个强关联属性后，通过加权求和求[0123]通过设定阈值和规则清洗多源负荷数据，去除数据中的噪声和明显错误的数据[0125]对不同数据源的负荷数据进行标准化处理，消除因数据来源多样导致的量纲差