Py数据基础及实战 12

数据探索数据校验数据特征分析数据校验数据校验可检查出原始数据中是否存在噪声数据，从而针对所出现的噪声数据类型采取相应的解决措施。常见的数据校验类型分为一致性校验、缺失值校验、异常值校验和数据漂移校验4种。一致性校验1.时间校验时间不一致是指数据在合并或联立后，时间字段出现时间范围、时间粒度、时间格式或时区不一致等情况。时间范围不一致通常是指不同表的时间字段中所包含的时间的取值范围不一致。时间粒度不一致通常是指在数据采集时没有设置统一的采集频率。时间格式不一致通常是指不同系统之间设置时间字段时采用的格式不一致。时区不一致通常是指数据传输时的设置不合理，导致时间字段出现不一致的情况。时间校验时间范围不一致两列时间字段的取值范围分别为2025年1月1日-2025年1月31日和2025年1月17日-2025年2月20日，此时如果需要联立两列时间字段，那么需要对时间字段进行补全，否则将会产生大量空值或报错。time_1time_22025-01-0108:35:002025-01-1710:31:002025-01-0209:16:002025-01-1811:36:002025-01-0310:33:002025-01-199:45:00…………2025-01-3015:20:002025-02-1919:27:002025-01-3121:18:002025-02-2023:55:00时间校验时间粒度不一致某地部分设备的系统尚未升级，采集频率为每分钟采集一次；另一部分设备已经升级，升级后采集频率提高至每30秒采集一次。如果此时将这两部分数据合并，那么将会导致数据时间粒度不一致。unupgraded_time_1upgrade_time_22025/03/1610:35:002025/6/814:12:302025/03/1610:36:002025/6/814:13:002025/03/1610:37:002025/6/814:13:302025/03/1610:38:002025/6/814:14:002025/03/1610:39:002025/6/814:14:30时间校验时间格式不一致订单系统的时间字段order_time1与结算系统的时间字段end_time2采用了不同的格式，从而导致时间格式不一致。order_time1end_time22025-08-1515:16:00202511051430002025-08-1515:25:00202511051435002025-08-1515:33:00202511051442002025-08-1515:40:00202511051448002025-08-1515:47:0020251105145100时间校验时区不一致海外服务器时间字段Overseas_sever_time与本地服务器时间字段Local_sever_time因时区差异造成固定相差5个小时。Overseas_sever_timeLocal_sever_time2025/05/1009:10:302025/05/1014:10:302025/05/1009:11:002025/05/1014:11:002025/05/1009:11:302025/05/1014:11:302025/05/1009:12:002025/05/1014:12:002025/05/1009:12:302025/05/1014:12:30一致性校验2.字段信息校验在数据收集工作中，往往会出现重复收集数据或在数据库中重复写入数据的情况，从而导致数据冗余。字段信息校验主要是检验数据中是否存在重复值，从而避免重复数据对分析结果造成的影响。字段信息校验产生重复值的主要原因在收集数据时没有进行查重或查重不认真而产生较为明显的重复值。虽然已经进行查重，但是由于数据中已存在的记录不够详细，所以又重新收集了一次数据，导致产生重复值。集中收集或分散收集时，数据主体不一致造成数据重复。因为数据采集、存储设备发生故障等非人为原因而造成数据重复。字段信息校验重复值会产生的影响重复值可能会影响分析结果的正确性。重复值的存在会占用存储空间。重复值中不规范，甚至是错误的数据会影响分析结果的准确性。重复值会影响数据的分布，同时会造成预测结果偏移。字段信息校验由于存在重复值，所以当合并不同来源的数据时，字段可能存在以下3种不一致的问题。同名异义异名同义单位不统一字段信息校验同名异义两个名称相同的字段所代表的实际意义不一致。数据源A中的Number字段和数据源B中的Number字段分别描述货物编号和订单编号，即描述不同的实体Number（A）Number（B）1004538109101600016210045383061016000175100453842542380003391004538333423800034810045380074238000256字段信息校验异名同义两个名称不同的字段所代表的实际意义是一致的。数据源A中的Sold_dt字段和数据源B中的Sales_dt字段都描述销售日期，即Sold_dt＝Sales_dt。Sold_dtSales_dt2025/7/012025/7/012025/7/032025/7/032025/7/102025/7/102025/7/152025/7/152025/7/242025/7/24字段信息校验单位不统一两个名称相同的字段所代表的实际意义一致，但是使用的单位不一致。数据源A中Gold_coins字段的单位为人民币，而数据源B中Gold_coins字段的单位为欧元。Gold_coins（A）Gold_coins（B）49.56.343456.97.291743.05.510480.610.328867.28.6116缺失值校验缺失值是指数据中由于缺少信息而造成的数据集中某个或某些特征的值不完全。根据缺失值的分布模式，可以分为完全随机缺失、随机缺失和完全非随机缺失3种情况。对数据进行缺失值校验是为了找出数据中的缺失值，从而针对缺失值进行相关处理。缺失值校验1.缺失值产生的原因有些数据暂时无法获取，或获取数据的代价太大。有些数据被遗漏。可能是由于未输入、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为因素而遗漏。属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。缺失值校验2.缺失值的影响数据分析建模时将丢失大量有用信息。数据分析模型所表现出的不确定性将更加显著，模型中蕴含的规律将更难把握。包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。缺失值校验3.缺失值的校验在Python中，可以利用缺失值校验函数或方法检测数据中是否存在缺失值。函数或方法名函数或方法功能使用格式isnull用于判断是否为缺失值pandas.DataFrame.isnull()或pandas.isnull(obj)notnull用于判断是否为非缺失值pandas.DataFrame.notnull()或pandas.notnull(obj)count用于计算非缺失值pandas.DataFrame.count(axis=0,level=None,numeric_only=False)缺失值的校验Python缺失值校验函数或方法的常用参数及其说明。函数或方法名参数名参数说明isnullobj接收标量或类似数组。表示检查对象是否为缺失值。无默认值notnullobj接收数组或对象值。表示检查对象是否为非缺失值。无默认值countaxis接收int。表示所要应用的功能的轴，可选0和1。默认值为0level接收int类型的值或索引名。表示标签所在级别。默认值为Nonenumeric_only接收bool类型的值。表示计数对象仅包含float、int或bool类型的数据。默认值为False缺失值的检验对下表的数据（表中空白处表示缺失值）进行缺失值、非缺失值的识别，并进行缺失率统计。编号x1x2x32006914615.3176620158639

3582208943

56.7486120547323

2589

1546/p>

33.81975异常值校验异常值是指样本中的个别数值明显偏离所属样本的其余观测值。在实际测量中，异常值的产生一般是由疏忽、失误或突然发生的意外造成的，如读错、记错、仪器示值突然跳动、突然震动、操作失误等。异常值校验是检验数据是否有录入错误，以及是否有不合常理的数据。异常值校验1.简单统计量分析可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁，则该变量的取值存在异常。简单统计量分析Python异常值检测函数或方法。函数或方法名函数或方法功能使用格式percentile用于计算百分位数numpy.percentile(a,q,axis=None,out=None,overwrite_input=False,interpolation='linear',keepdims=False)mean用于计算平均值pandas.DataFrame.mean(axis=None,skipna=None,level=None,numeric_only=None,**kwargs)std用于计算标准差pandas.DataFrame.std(axis=None,skipna=None,level=None,ddof=1,numeric_only=None,**kwargs)简单统计量分析Python异常值检测函数或方法的常用参数及其说明。函数或方法名参数名参数说明percentilea接收array_like（类数组）。表示输入数组或可以转换为数组的对象。无默认值q接收浮点类型的array_like。表示要计算的百分位数或百分位数的序列，必须在0～100之间（含0和100）。无默认值axis接收int类型的值、int元组、None。表示计算百分位数的一个或多个的轴。默认值为Nonemeanaxis接收int类型的值。表示所要应用的功能的轴，可选0和1。默认值为Noneskipna接收bool类型的值。表示排除缺失值。默认值为Nonelevel接收int类型的值或级别名称。表示标签所在级别。默认值为Nonestdaxis接收int类型的值。表示所要应用的功能的轴，可选0和1。默认值为Noneskipna接收bool类型的值。表示排除缺失值。默认值为Nonelevel接收int类型的值或级别名称。表示标签所在级别。默认值为Noneddof接收int类型的值。表示Delta的自由度。默认值为1异常值校验2.3σ原则和IQR准则如果数据服从正态分布，那么在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，出现距离平均值3σ之外的值的概率为，属于极个别的小概率事件。如果数据不服从正态分布，那么在四分位距准则（IQR）下，异常值被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。其中，QL为下四分位数，QU为上四分位数，IQR为是上四分位数QU与下四分位数QL之差。3σ原则和IQR准则使用IQR准则和原则可以检测ary中的异常值，返回为异常值的元素，并计算元组ary中异常值所占的比例，计算结果如下表。ary=(9999，57，68，52，79，43，55，94，376，4581，3648，70，51，38)检测方法检测的异常值异常值比例IQR准则[9999，4581，3648]0.21428571428571427原则[9999]0.07142857142857142异常值校验3.箱形图分析箱线图依据实际数据绘制，真实、直观地表现出了数据分布的本来面貌，且没有对数据做任何限制性要求，其判断异常值的标准以四分位距准则为基础。异常值通常不能对四分位距准则施加影响，所以箱线图识别异常值的结果比较客观，因此在识别异常值方面具有一定的优越性。箱形图分析在便利店的销售额数据中可能会出现缺失值和异常值如下表。通过pandas库的describe()方法可以查看数据的基本情况。时间2025/05/012025/05/022025/05/032025/05/042025/05/05销售额（元）732135716501980

统计指标统计指标的值统计指标统计指标的值count9125%859mean1557.95604450%1440std835.07556475%2016.5min155max5390箱形图分析箱形图可以更直观地展示便利店销售额数据，并且可以检测异常值。箱形图中超过上界的两个销售额数据4450.0和5390.0为异常值。数据漂移校验1.数据漂移的核心类型数据漂移的本质是“数据关系和数据本身的非预期变化”。根据变化的对象不同，可分为目标漂移、特征漂移和概念漂移三大类，三者的影响范围与应对策略存在显著差异。漂移类型定义典型实例目标漂移模型要预测的目标变量自身分布发生非预期变化，与输入特征的分布及映射关系无关电商平台“用户购买转化率”（目标变量）：因节日大促结束，转化率骤降特征漂移特征与特征的关系未变，仅单特征分布偏移外卖平台“订单配送距离”特征：因城市区域扩张，中位数从3公里升至5公里概念漂移特征与标签之间的映射关系发生变化（特征分布可能不变，但“特征→标签”的逻辑失效）短视频平台“视频播放量”与“用户留存率”：原“播放量高→留存率高”，因低质爆款视频增多，变为“播放量高→留存率低”数据漂移校验2.数据漂移的主要成因数据漂移并非偶然发生，通常与数据源、业务逻辑的变化直接相关。数据源变化：数据源接口调整导致字段缺失、格式变更，或数据采集工具故障引入异常值。业务逻辑变化：业务规则更新、用户群体变迁，市场趋势转移，都会改变数据分布。数据漂移校验3.数据漂移的常用检测方法数据校验中需通过主动检测及时发现数据漂移问题，常用的数据漂移检测方法分为三类。统计检验法通过统计指标量化“新数据”与“基准数据”的分布偏移程度，适用于特征漂移的直接校验。关键指标监控按周对特征的核心统计指标进行实时跟踪，当指标超出预设阈值时触发告警。模型性能关联分析将模型性能指标下降与数据特征漂移进行关联排查，通过反向追溯定位问题根源。数据校验数据特征分析数据特征分析当对数据进行校验后，可以通过绘制图表、计算某些特征量等手段进行数据特征分析，从而从数据中挖掘出所需的信息。描述性统计分析分布分析对比分析周期性分析贡献度分析相关性分析描述性统计分析1.集中趋势度量集中趋势是指总体中各单位的数量分布从两边向中间集中的趋势，用于对比同类现象在不同的时间、地点和条件下的一般水平，反映同一总体的某类现象在不同时间下变化的规律性，分析现象之间的依存关系。其中，平均水平的指标是对个体集中趋势的度量。均值均值为所有数据的平均值中位数将一组观测值从小到大进行排列，位于中间的数据就是中位数众数众数是指数据集中出现最频繁的值，是可以表示集中程度的统计特征数描述性统计分析2.离中趋势度量离中趋势是指总体中各单位标志值背离分布中心的规模或程度，用于衡量和比较均值的代表性、反映社会经济活动过程的均衡性和节奏性、衡量风险程度。其中，变异程度的指标是对个体离开平均水平的度量。离中趋势度量

极差可度量数据的离散程度，对数据集的极端值非常敏感，并且忽略了位于最大值与最小值之间的数据是如何进行分布的。标准差可度量数据偏离均值的程度。变异系数可度量标准差相对于均值的离中趋势，主要用于比较两个或多个具有不同单位或不同波动幅度的数据集的离中趋势。

离中趋势度量四分位数包括上四分位数和下四分位数。将所有数值由小到大排列并分成四等份处于第一个分割点位置的数值是下四分位数处于第二个分割点位置（中间位置）的数值是中位数处于第三个分割点位置的数值是上四分位数四分位数间距是上四分位数QU与下四分位数QL之差，这个区间包含了全部观测值的二分之一。其值越大，说明数据的变异程度越大；反之，说明变异程度越小。离中趋势度量pandas库的describe()方法可以给出一些基本的统计量，包括均值、标准差、最大值、最小值、四分位数等。pandas.DataFrame.describe(percentiles=None,include=None,exclude=None,datetime_is_numeric=False)参数名称参数说明percentiles接收int类型的值。表示要包含在输出中的百分比，取值范围为0~1。默认值为Noneinclude接收类似dtype的列表。表示包含在结果中的数据类型的白名单。默认值为Noneexclude接收类似dtype的列表。表示从结果中忽略的数据类型的黑名单。默认值为Nonedatetime_is_numeric接收bool类型的值。表示是否将datetimedtypes视为数字。默认值为False离中趋势度量以某服装店的服装销量数据为例，部分数据如下。描述性统计分析结果如下。日期服装类型销量（件）日期服装类型销量（件）2025/9/01短裤1232025/9/06衬衫232025/9/02半身裙2312025/9/07马甲62025/9/03T恤1252025/9/08背心1352025/9/04牛仔裤982025/9/09卫衣72025/9/05风衣5………………统计量名称值统计量名称值统计量名称值count1525%14.5range340mean123.66666750%123var0.947737std117.20352775%197dis182.5min5max345

描述性统计分析3.YData-profilingYData-profiling是一款专为数据探索性分析（EDA）与数据质量评估设计的Python库。它能通过一行代码自动生成交互式HTML报告，涵盖数据统计、分布特征、质量问题、相关性分析等核心信息，可帮助使用者快速理解数据集并定位问题。YData-profiling主要特点类型推断警告变量分析时间序列文件和图像分析比较数据集灵活的输出格式YData-profilingYData-profiling的语法YData-profiling的基本使用格式可分为“创建报告对象”和“输出/展示报告”两个核心步骤。YData-profiling可以使用ProfileReport类语法创建报告对象。ProfileReport(df，title，minimal=False，samples=None，config=None，explorative=False)YData-profilingYData-profiling的语法ProfileReport类常用的部分参数及其说明。参数名称说明df接收DataFrame类型的值。表示待分析的数据集，为必选参数，无默认值title接收str类型的值，表示设置报告的标题，显示在HTML报告顶部。无默认值minimal接收bool类型的值，表示是否启用精简模式。若为True，生成简化版报告（减少计算量，适合百万行以上大数据集），仅保留核心统计和质量检测。默认值为Falsesamples接收dict类型的值或None，表示配置数据采样，可避免全量计算，提升性能。通过字典指定采样规则，如head：保留前N行；tail：保留后N行；random：随机采样N行。默认值为Noneconfig接收dict、Config对象或None，表示高级配置，通过字典或配置文件自定义分析逻辑，支持禁用特定分析模块，如相关性、缺失值；调整可视化样式，如直方图bins数量；设置质量检测阈值，如缺失值比例告警阈值。默认值为Noneexplorative接收bool类型的值，表示是否启用探索模式，若为True，启用探索性模式（增加深度分析，如多变量交互、更详细的分布检验），适合复杂数据集。默认值为FalseYData-profilingYData-profiling的语法生成ProfileReport对象后，用户可对其进行输出或展示报告，ProfileReport对象的常用方法及说明。方法名称说明to_file(filepath)将报告保存为文件，支持HTML、JSON格式，默认HTMLto_widgets()在JupyterNotebook/Lab中直接显示交互式报告，无需保存文件to_json(filepath)将报告数据导出为JSON格式，供自动化系统解析，如提取统计指标compare(other)对比当前报告与另一个ProfileReport对象，如训练集vs测试集，生成差异报告分布分析1.定量数据的分布分析对于定量数据，选择组数和组距是做频率分布分析时最主要的问题。对定量数据做分布分析时，一般按照以下步骤进行。求极差。决定组距与组数。决定分布区间。列出频率分布表。绘制频率分布直方图。定量数据的分布分析决定组距与组数时需遵循以下主要原则。各组之间必须是相互排斥的。所有的数据必须包含在内。各组之间的组距最好相等。定量数据的分布分析某品牌沐浴露在2025年1月份销售数量的部分数据，需要根据该数据绘制销售数量的频率分布表、频率分布直方图，并对该定量数据做出相应的分析。日期销售数量（瓶）日期销售数量（瓶）2025/1/12542025/1/61252025/1/25462025/1/71982025/1/36422025/1/86572025/1/43512025/1/910682025/1/52352025/1/10254定量数据的分布分析某品牌沐浴露销售数量分析实现步骤求极差决定组距与组数决定分布区间分布区间分布区间分布区间分布区间[0,170)[170,340)[340,510)[510,680)[680,850)[850,1020)[1020,1190)[1190,1360)定量数据的分布分析绘制频率分布直方图某品牌沐浴露销售数量分析实现步骤（续）列出频率分布表组段组中值x频数频率f累计频率[0,170)8546.67%6.67%[170,340)2551016.67%23.33%[340,510)4251016.67%40%[510,680)5951321.67%61.67%[680,850)7651525%86.67%[850,1020)93535%91.67%[1020,1190)110523.33%95%[1190,1360)127535%100%分布分析2.定性数据的分布分析对于定性数据，常根据数据的分类类型进行分组，可以采用饼图和柱形图对定性数据进行分布分析。以某餐馆的各菜系在某段时间内的销售额为例，采用定性数据的分布分析方法进行分析。该餐馆各菜系销售额的部分数据如下。日期菜系销售额（元）2025/1/1川菜23562025/1/1苏菜56252025/1/1粤菜16872025/1/1闽菜46232025/1/1鲁菜3574定性数据的分布分析各菜系销售额分布（条形图）各菜系销售额分布（饼图）对比分析对比分析是指将两个相互联系的指标进行比较。适用于指标间的横纵向比较分析、时间序列的比较分析。在对比分析过程中，选择合适的对比标准是十分关键的步骤。若选择合适，则可以做出客观的评价若选择不合适，则评价时可能会得出错误的结论对比分析对比分析的主要形式绝对数比较：绝对数比较是利用绝对数进行对比，从而寻找差异的一种方法。相对数比较：相对数比较是将两个相互联系的指标进行对比计算的一种对比方法，用于反映客观现象之间的数量联系程度，其数值表现为相对数。相对数比较结构相对数比例相对数比较相对数强度相对数计划完成程度相对数动态相对数对比分析以某公司各部门销售额为例进行对比分析，部分数据如下表。月份销售部事业部月份销售部事业部1月1.62.16月6.35.12月3.84.57月3.23.83月4.95.78月5.76.24月2.73.69月7.57.95月5.44.310月4.63.7对比分析绘制不同部门各月份和销售部各年份各月份的销售额对比情况折线图。周期性分析周期性分析是探索某个变量是否随着时间变化而呈现出某种周期性变化趋势。时间跨度相对较长的周期性趋势有年度周期性趋势、季节性周期趋势，相对较短的有月度周期性趋势、周度周期性趋势，甚至更短的有天周期性趋势、小时周期性趋势。周期性分析以某景区2025年3月份的人流量数据为例，部分人流量数据。日期人流量日期人流量2025/3/174852025/3/687542025/3/2102432025/3/791452025/3/3142112025/3/894512025/3/485412025/3/9144422025/3/594522025/3/1013471周期性分析根据人流量数据绘制时序图，并分析景区人流量的变化趋势。该景区在2025年3月份内，日人流量呈现出周期性的趋势，以周为周期。在周末（即非工作日），景区的人流量比工作日的人流量大。贡献度分析贡献度分析又称帕累托分析，贡献度分析的原理是帕累托法则（又称二八定律），即同样的投入放在不同的地方会产生不同的效益。例如，对于一个公司，其80%的利润常来自于20%最畅销的产品，而其他80%的产品只产生了20%的利润。贡献度分析以服装企业为例，贡献度分析可分析出占盈利额80%的服装类型，然后重点发展相关的部门，而分析出的结果还可通过帕累托图直观地呈现出来。某服装企业的秋装盈利数据如下。服装编号服装类型盈利额（元）服装编号服装类型盈利额（元）20095开衫874220096西装386120097衬衫768520092半身裙301620093毛衣681220094长袖衫235820091牛仔裤597220099卫衣194220098连衣裙483220090连体裤1324贡献度分析从开衫到半身裙，这7个服装类型占服装总类数的70%，其盈利额占总盈利额的87.9168%。根据帕累托法则，应该增加从开衫到半身裙这7个服装类型的成本投入，减少从长袖衫到连体裤这3个服装类型的成本投入，以实现更高的盈利额。相关性分析1.直接绘制散点图判断两个变量是否具有线性相关关系最直接的方法是绘制散点图。相关性分析2.绘制散点图矩阵当需要同时考察多个变量间的相关关系时，逐一绘制变量间的散点图将会十分麻烦。此时可利用散点图矩阵同时绘制各变量间的散点图，从而快速发现多个变量间的主要相关性，这在进行多元线性回归时显得尤为重要。相关性分析3.计算关系系数为了更加准确地描述变量之间的线性相关关系，可以通过计算相关系数来进行相关性分析。在二元变量的相关性分析过程中比较常用的相关系数如下。Pearson相关系数Spearman相关系数判定系数计算关系系数Pearson相关系数Pearson相关系数一般可用于分析两个连续性变量之间的关系。相关系数的取值范围为，其中：表示存在不同程度的线性相关关系，其中：计算关系系数Spearman相关系数Pearson相关系数要求连续变量的取值服从正态分布。不服从正态分布的变量、分类或等级变量之间的关联性可采用Spearman相关系数（也称等级相关系数）来描述。对两个变量成对地取值并分别按照从小到大（或从大到小）的顺序编秩，Ri代表xi的秩次，Qi代表yi的秩次，为xi、yi的秩次之差。计算关系系数Spearman相关系数一个变量的秩次的计算过程如下。xi从小到大排序从小到大排序时的位置秩次Ri0.5110.8221.0331.24(4+5)/2=4.51.25(4+5)/2=4.52.3662.877计算关系系数Spearman相关系数因为一个变量相同的取值必须有相同的秩次，所以在计算中采用的秩次是变量所在位