《数据挖掘与财务决策》课件 第7章 离群点检测

第7章离群点检测《数据挖掘与财务决策》目录7.1离群点概述7.2

离群点检测方法7.3

财务决策——离群点检测建模7.1离群点检测7.1.1离群点基本概念7.1.2离群点成因7.1.3离群点类型7.1.4离群点检测面临的挑战离群点（Outlier）是指数据集中明显偏离大多数数据分布模式的观测值，其数值或行为与其余数据存在显著差异。在统计学和数据挖掘中，离群点常被称为异常值、异常点或噪声数据。离群点检测在金融、医疗、网络安全等领域都发挥着不可或缺的重要作用。以信用卡交易数据为例，当某笔交易在金额、交易地点、消费习惯等维度与持卡人过往历史交易数据存在显著偏差时，即可能被判定为离群点。在临床诊断中，医生可以通过分析患者的生理指标数据，如血压、血糖、心率等，利用离群点检测技术来发现那些异常的数据点，从而辅助疾病的诊断。7.1.1离群点基本概念离群点的成因主要分为以下三类：7.1.2离群点成因成因类型描述示例数据质量问题由数据采集、记录或传输过程中的错误导致-传感器故障导致温度记录为-100℃

-人工录入时多输入一个零（如1000误为10000）真实事件反映数据本身反映了现实中的小概率事件或特殊现象-地震前的异常地质活动信号

-双十一电商平台的瞬时流量峰值恶意行为或攻击人为故意制造异常数据以干扰系统运行或隐藏信息-网络攻击中的DDoS流量

-金融洗钱交易中的分散大额转账离群点可以分成三种类型：全局离群点、情境离群点和集体离群点：7.1.3离群点类型类型描述示例全局离群点一个数据显著地偏离数据集中的其余对象在医疗数据中，突然出现一个体温为39.5℃的记录，特别高于正常大多数人的体温情境离群点情境离群点的判定依赖于特定情境或上下文信息夏季因气温较高，整体用电量普遍较高；在此情境下，某一天的用电量显著低于夏季平均水平恶意行为或攻击一组数据整体偏离数据集的常规行为模式电商平台连续几天日销量整体低于评价日销量7.1.4离群点检测面临的挑战主要包括数据复杂性相关挑战和检测算法相关挑战。数据复杂性挑战：高维数据困境数据分布多样性挑战数据噪声干扰检测算法相关挑战：参数敏感性计算效率问题算法适应性局限7.2离群点检测方法7.2.1基于统计学的离群点检测7.2.2基于邻近度的离群点检测7.2.3基于聚类的离群点检测7.2.4基于分类的离群点检测7.2.1基于统计学的离群点检测

基于统计学的离群点检测方法对数据的正常性做假定，此类方法假定数据集中的正常对象由一个随机过程产生。正常对象出现在该随机模型的高概率区域中，而低概率区域中的对象则为离群点。

离群点检测的统计学方法一般先拟合所给定数据的生成模型，然后通过该模型识别低概率区域中的对象。7.2.1基于统计学的离群点检测

7.2.1基于统计学的离群点检测

例7-1：假设某城市过去10年中7月份的平均温度按照递增序列排列为：24,28.9,28.9,29.0,29.1,29.1,29.2,29.2,29.3和29.4。请基于正态分布的一元离群点检测方法，找出该数据集中的离群点。7.2.1基于统计学的离群点检测2.多元离群点检测

许多一元离群点检测方法都可以扩充成多元离群点检测，其核心思想是把多元离群点检测任务转换成一元离群点检测问题。

7.2.1基于统计学的离群点检测基于Mahalanobis距离（马氏距离）检测多元离群点的算法流程主要包含以下几个关键步骤：（1）对给定的多元数据集进行均值向量和协方差矩阵的估计：(2)依据马氏距离的定义，计算每个数据点到均值向量的马氏距离。

（3）设定一个合适的阈值，将马氏距离大于该阈值的数据点判定为离群点。

7.2.2基于邻近度的离群点检测

基于邻近度的离群点检测方法借助定义数据对象间的邻近性度量，将偏离大部分其他对象的数据点判定为离群点。

基于邻近度的离群点检测核心原理是通过计算每个数据对象与数据集中其他对象之间的距离（或相似度），依据这些距离信息来判断该对象是否为离群点。KNN方法KNN方法计算每个点的k个最近邻的距离，若距离超过阈值，则判定为离群点。假设我们有一个包含多个数据点的数据集​D，以及需要检测离群点的数据点x。首先，计算数据点​x与数据集​D中所有其他点的距离。可根据数据的特点选择合适的距离度量方法，如前文提到的欧氏距离、曼哈顿距离等。接着，将计算得到的所有距离按照从小到大的顺序进行排序。排序后，选取距离数据点​x最近的​k个点，这​k个点构成了数据点x的​k近邻集合。然后，根据这​k近邻集合来计算数据点​x的离群点得分。最后，将计算得到的离群点得分与预先设定的阈值进行比较。如果数据点​x的离群点得分高于阈值，则判定数据点x为离群点；反之，则认为它是正常数据点。7.2.2基于邻近度的离群点检测2.局部离群因子方法局部离群因子（LocalOutlierFactor，简称LOF），是一种基于密度的无监督异常检测算法，由Breunig等人在2000年提出。LOF算法通过计算每个数据点的局部离群因子评分，实现了对数据点异常程度的量化评估进行离群点检测。它不需要对数据的分布做出任何预先假设，能够适应各种复杂的数据分布情况。（1）局部离群因子相关概念k邻近距离（k-distance）：第​k个最近的点与点​p之间的距离，就是点​p的​k邻近距离，记作​k−distance(p)。k距离领域（k-distanceneighborhood）：以数据点p为圆心，以刚刚计算得到的k邻近距离k−distance(p)为半径画一个圆，这个圆所覆盖的范围，包括圆的边界，就是点p的k距离领域：

7.2.2基于邻近度的离群点检测

7.2.2基于邻近度的离群点检测基于局部离群因子检测离群点的步骤：第一步，确定K近邻。对于数据集中的每一个数据点​p，我们首先要确定它的​k近邻。这一步需要计算点​p与数据集中其他所有点的距离，然后按照距离从小到大进行排序，选取距离最近的​k个点作为点p的k近邻。第二步计算可达距离。对于每一个数据点​p及其​近邻中的点o，根据可达距离的定义分别计算点​p到点o​的可达距离。第三步计算局部可达密度。利用第二步计算出来的可达距离来计算每个数据点的局部可达密度。第四步计算LOF值。根据局部可达密度来计算每个数据点的局部异常因子​LOF值。第五步判断是否是离群点。计算出每个数据点的LOF值后，可以根据设定的阈值来判断数据点是否为异常点。7.2.3基于聚类的离群点检测基于聚类的方法通过考察对象与簇之间的关系检测离群点。有三种基于聚类的方法检测离群点：一个数据对象，如果其不属于任何一个簇，则被识别为离群点；一个数据对象如果离最近的簇之间的距离很远，则被识别为离群点；如果一个簇是一个很小的簇或稀疏簇中的一部分，则该簇中所有的对象都是离群点。不属于任何一个簇图7-4a被识别为离群点2.离最近的簇很远图7-5a、b、c被识别为离群点3.小簇中的离群点图7-6小簇中的离群点7.2.4基于分类的离群点检测基于分类的离群点检测方法的一般思想是：训练一个可以区分正常数据和离群点数据的分类模型。对于给定的一个数据集，它既包含被标记为“正常”的数据点，也包含标记为“离群点”的数据，我们可以使用任一分类算法在该数据集上构建一个分类器。但是，一般这样的数据集都是极不平衡的数据集，也就是说，正常样本的数量远远超过离群点的数量，由此构建出来的分类器效果很难达到理想的效果。因此，基于分类的离群点检测方法通常使用“一类模型”（one-classmodel）,也既：仅构建一个仅描述正常类的分类器，不属于正常类的任何样本都被视为离群点。

图7-7一类模型7.3财务决策—离群点检测建模7.3.1数据集介绍7.3.2数据预处理7.3.3离群点检测7.3财务决策—离群点检测建模在财务决策中，离群点检测是识别异常模式、欺诈行为、财务报告错误或市场极端波动的关键工具。通过结合Python的数据分析与机器学习库，可以高效构建离群点检测模型，辅助企业进行风险控制和决策优化。案例：将离群点检测技术应用于银行电话营销活动记录中，能够帮助银行从海量数据中识别异常模式，优化营销策略并降低风险。7.3.1数据集介绍

所采用的数据集来自于UCI的BankMarketingDataset，可以从链接BankMarketing-UCIMachineLearningRepository下载该数据集。

该数据集为葡萄牙某银行机构2008-2013年的电话营销活动记录，由16个特征组成，共包含45211条数据，该数据集主要用于预测客户是否会订阅定期存款产品。

这16个特征涵盖了客户的基本信息、社会经济指标、营销活动上下文信息。7.3.1数据集介绍字段名描述类型age客户年龄数值job职业类型（如管理员、蓝领等）分类martial婚姻状况（已婚、单身、离婚）分类education教育水平（如中学、大学等）分类default是否有信用违约（是/否）二元balance年平均账户余额（欧元）数值housing是否有住房贷款（是/否）二元loan是否有个人贷款（是/否）二元表7-3银行电话营销活动客户基本信息特征7.3.1数据集介绍字段名描述类型campaign本次活动中联系该客户的次数数值pdays上次联系后的天数（999=未联系过）数值previous之前营销活动中联系的次数数值poutcome之前营销活动的结果（成功/失败等分类表7-4银行电话营销活动客户营销活动特征7.3.1数据集介绍字段名描述类型day最后一次联系的日期（日）数值(1-31)month最后一次联系的月份分类duration最后一次通话时长（秒）数值表7-5银行电话营销活动客户营销上下文特征7.3.2数据预处理该数据集基本不存在缺失值的情况，所以无需进行缺失值处理。字段pdays如果为999，则表示未联系过，需要将这样的取值替换为-1。数值型的特征中，存在着量纲不一致的情况，所以需要进行数据归一化处理。在BankMarketing数据集中，主要是数值型的字段需要进行归一化处理，这几个字段分别是：age,balance,duration,campaign,pdays,previous。7.3.2数据预处理数据预处理的相关代码如下：importpandasaspdimportnumpyasnpfromscipy.spatial.distanceimportmahalanobisfromscipy.linalgimportinvimportmatplotlib.pyplotaspltimportseabornassns

#加载数据data=pd.read_csv('bank.csv',sep=';')#注意分隔符为分号

#选择数值型特征numeric_features=['age','balance','duration','campaign','pdays','previous']X=data[numeric_features].copy()

#处理特殊值：pdays=999（未联系过）替换为-1X['pdays']=X['pdays'].replace(999,-1)

#标准化数据（Mahalanobis距离对尺度敏感）fromsklearn.preprocessingimportStandardScalerscaler=StandardScaler()X_scaled=scaler.fit_transform(X)X_scaled=pd.DataFrame(X_scaled,columns=numeric_features)#转为DataFrame方便后续操作7.3.3离群点检测在7.3.2节，我们选取了age,balance,duration,campaign,pdays,previous这5个字段进行了数据预处理，所以采用基于Mahalanobis距离的多元离群点检测。首先计算Mahalanobis距离中协方差的逆矩阵以及均值向量，然后为每个样本计算Mahalanobis距离，卡方分布的97.5%分位数作为阈值。计算并设置好以上参数以后，从已经预处理后的数据集X_scaled找出离群点。7.3.3离群点检测相关代码如下：#计算协方差矩阵的逆cov_matrix=np.cov(X_scaled,rowvar=False)cov_matrix_inv=inv(cov_matrix)#求逆矩阵

#计算均值向量mean_vector=np.mean(X_scaled,axis=0)

#为每个样本计算Mahalanobis距离defcalculate_mahalanobis(row):returnmahalanobis(row,mean_vector,cov_matrix_inv)X_scaled['mahalanobis_distance']=X_scaled.apply(calculate_mahalanobis,axis=1)fromscipy.statsimportchi2threshold=chi2.ppf(0.975,df=len(numeric_features))#卡方分布的97.5%分位数作为阈值

#标记离群点X_scaled['is_outlier']=np.where(X_scaled['mahalanobis_distance']>threshold,1,0)data['mahalanobis_outlier']=X_scaled['is_outlier']#将结果合并到原始数据

#输出离群点数量print(f"离群点数量:{data['m