Py数据基础及实战 11

数据预处理数据清洗数据变换数据合并自动化预处理数据清洗数据清洗主要是删除原始数据集中的重复数据，平滑噪声数据，筛选掉与分析主题无关的数据，处理重复值、缺失值和异常值等。重复值处理缺失值处理异常值处理重复值处理1.记录重复记录重复是指数据中某条记录的一个或多个属性的值完全相同。在某企业的母婴用品发货记录表中，包括母婴用品名称、品牌名称两个属性。为查看所有品牌名称，可利用列表（list）去重可以利用集合（set）的特性（元素唯一）去重得到的结果是：去重前的品牌总数为697，去重后的品牌总数为14。代码冗长数据的排列顺序发生改变？记录重复pandas库提供了一个名为drop_duplicates()的去重方法，此方法只对DataFrame或Series类型的数据有效。drop_duplicates()方法的基本使用格式如下。pandas.DataFrame.drop_duplicates(subset=None,*,keep=‘first’,inplace=False,ignore_index=False)参数名称参数说明subset接收字符串或序列。表示进行去重的列。默认值为Nonekeep接收特定字符串。表示存在重复值时保留第几个数据。first：保留第一个。last：保留最后一个。false：只要重复都不保留。默认值为firstinplace接收bool类型的值。表示是否在原表上进行操作。默认值为False记录重复利用drop_duplicates()方法对母婴用品发货记录表中的品牌名称进行去重操作。利用drop_duplicates()方法去重利用drop_duplicates()方法对多列去重创建数组对象2.属性内容重复属性内容重复是指数据中存在两个或多个属性，它们的名称不同，但数据完全相同。当需要去除连续型重复属性时，可以利用属性间的相似度，去除两个相似度为1的属性的其中一个。在pandas库中计算相似度的方法有corr()方法，该方法支持pearson、spearman和kendall这3种计算相似度的方法，可以通过method参数调节，默认值为pearson。属性内容重复利用kendall法求出母婴用品发货记录表中“仓库标签”属性和“品牌标签”属性的相似度矩阵，得到的相似度矩阵如下。通过相似度矩阵去重存在一个弊端，该方法只能对数值型重复属性去重，类别型属性之间无法通过计算相关系数来衡量相似度，因此无法根据相似度矩阵对其进行去重处理。

仓库标签品牌标签仓库标签1.000000-0.003389品牌标签-0.0033891.000000属性内容重复使用pandas库的DataFrame.equals()方法进行属性去重。DataFrame.equals()方法的基本使用格式如下。pandas.DataFrame.equals(other)DataFrame.equals()方法常用的参数及其说明如下。参数名称参数说明other接收Series或DataFrame。表示要与第一个内容进行比较的另一个Series或DataFrame。无默认值属性内容重复使用DataFrame.equals()方法进行属性去重，得到的前两行两列的属性矩阵如下。再通过遍历的方式筛选出完全重复的属性。得到的结果是：需要删除的列是[]，删除多余列后data的属性数目为5。

母婴用品名称品牌名称母婴用品名称TrueFalse品牌名称FalseTrue缺失值处理1.拉格朗日插值法拉格朗日插值法的基本实现步骤如下。确定原始数据中的因变量和自变量。取缺失值前后各k个数据，将剔除缺失值后的2k个数据组成一组，再将剩下的数据依次排序，并基于拉格朗日插值多项式，对全部缺失值依次进行插补。缺失值处理2.牛顿插值法牛顿插值法的基本实现步骤如下。计算差商。计算牛顿插值多项式。利用所得多项式计算所需插入缺失部分的值。牛顿插值法也是多项式插值，但采用了另一种构造插值多项式的方法，与拉格朗日插值法相比，牛顿插值法具有承袭性和易于变动节点的特点。从本质上来说，两者给出的结果是一样的，只不过表示的形式不同。因此，在Python的SciPy库中，只提供了拉格朗日插值法的函数，而如果要使用牛顿插值法，则需要自行编写函数。牛顿插值法以某便利店一段时间的销售额数据为例，数据示例如下表。根据拉格朗日插值法，使用缺失值前后各5个未缺失的数据对2025年5月5日的数据进行插补。插值后的结果如下。时间2025/05/012025/05/022025/05/032025/05/042025/05/052025/05/06销售额（元）732135716501980

1170时间2025/05/072025/05/082025/05/092025/05/102025/05/112025/05/12销售额（元）6006871570165021191383时间原始值插值2025/05/05

1806.928571异常值处理异常值是指样本中的个别数值明显偏离其余的观测值。不加处理地将异常值包括进数据的计算分析过程中，会对结果产生不良影响。在数据预处理时，是否剔除异常值需视具体情况而定，因为有些异常值可能蕴含着有用的信息。异常值处理方法方法描述删除含有异常值的记录直接将含有异常值的记录删除视为缺失值将异常值视为缺失值，利用处理缺失值的方法进行处理平均值修正用前后两个观测值的平均值修正该异常值不处理直接在含有异常值的数据集上进行分析建模数据清洗数据变换数据合并自动化预处理数据变换数据变换主要是对数据进行函数变换、标准化、离散化和属性构造等处理。将数据转换成“适当的”形式，以满足分析任务及算法的需要。简单函数变换简单函数变换是指对原始数据进行某些数学函数变换。平方开方取对数差分运算……简单的函数变换常用于将不具有正态分布的数据变换成具有正态分布的数据，在时间序列分析中，有时简单的对数变换或差分运算即可将非平稳序列转换成平稳序列。数据标准化1.最小-最大标准化最小-最大标准化也称离差标准化，是对原始数据的线性变换，将数值映射到[0,1]区间内，其计算公式如下。其中，max为样本数据的最大值，min为样本数据的最小值，max-min为极差。最小-最大标准化保留了原来数据中存在的关系，是消除量纲和数据取值范围差异的简单方法。这种处理方法的缺点是若数值集中某个数值很大，则规范化后大部分值会接近于0，并且将会相差不大。若遇到超过目前属性[min,max]取值范围的时候，会引起系统出错，需要重新确定min和max。数据标准化2.零-均值标准化零-均值标准化也称标准差标准化，经过处理的数据的均值为0，标准差为1，其计算公式如下。其中为原始数据的均值，为原始数据的标准差，零-均值标准化是当前用得较多的数据标准化方法。数据标准化3.小数定标标准化通过移动属性值的小数位数，将属性值映射到[–1,1]区间内，移动的小数位数取决于属性值绝对值的最大值。小数定标标准化的转化公式如下。数据标准化以某网店店主记录的商品销售数据为例，其数据集含有7个记录、4个属性，数据示例如下。对商品销售数据中每一个属性的取值分别用最小-最大标准化、零-均值标准化、小数定标标准化进行标准化操作。ColumnIndex0123065–52032128341122322–321–2325278–457–468–128335643269520244187–42763222515111532472–232161436013353211数据标准化得到的最小-最大标准化后的表如下。ColumnIndex012300.0687020.0000000.6784180.93190010.5038170.7511150.1263970.00000020.1679390.0562000.0000000.18822330.0000000.8492421.0000000.78558541.0000000.0829620.9458300.82659050.4198470.9384480.8082550.00072360.6641221.0000000.6904561.000000数据标准化得到的零-均值标准化后的表如下。ColumnIndex01230–0.937925–1.1540950.1821310.88635710.2810720.495732–1.226644–1.1858262–0.659908–1.030652–1.549214–0.7672923–1.1303980.7112671.0028200.56100941.671156–0.9718690.8645760.65218750.0458270.9072090.513479–1.18421960.7301761.0424080.2128521.037784数据标准化得到的小数定标标准化后的表如下。ColumnIndex012300.065–0.5200.3210.283410.1220.322–0.321–0.232520.078–0.457–0.468–0.128330.0560.4320.6950.202440.187–0.4270.6320.225150.1110.5320.472–0.232160.1430.6010.3350.3211数据离散化1.离散化的过程连续属性的离散化就是在数据的取值范围内设定若干个离散的划分点，将取值范围划分为一些离散化的区间，最后用不同的符号或整数值代表落在每个子区间中的数据值。数据离散化涉及两个子任务确定类别数将连续属性值映射到这些类别中数据离散化2.常用的离散化方法等宽法：等宽法将属性的值域分成具有相同宽度的区间，区间的个数由数据本身的特点决定或由用户指定，类似于制作频率分布表。等频法：等频法将相同数量的记录放进每个区间。（一维）聚类（一维）聚类的方法包括两个步骤，首先将连续属性的值用聚类算法进行聚类，然后再对聚类得到的簇进行处理，合并到一个簇的连续属性值做同一标记。聚类分析的离散化方法也需要用户指定簇的个数，从而决定产生的区间数。数据离散化以某餐馆员工的年龄数据为例，分别使用上述3种离散化方法对员工年龄数据进行属性离散化的对比，数据示例如下。员工姓名叶亦凯张建涛莫子建易子歆郭仁泽唐莉年龄273325203546数据离散化分别用等宽法（左图）、等频法（中间图）和（一维）聚类（右图）对数据进行离散化的结果。独热编码在处理数据时，经常会遇到类型数据，如性别分为男、女，手机运营商分为移动、联通和电信。在这种情况下，通常会选择将类型数据转化为数值并代入模型，如0、1或–1、0、1，这些数值往往会被默认为连续型数值进行处理，然而这样会影响模型的效果。独热编码独热编码即One-Hot编码，又称一位有效编码，是处理类型数据较好的方法，主要使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候都只有一个编码位有效。对于一个属性，如果它有m个有限的可能取值，那么经过独热编码后，就变成了m个二元属性，并且这些属性之间是互斥的，每一次都只有一个被激活，这时原来的数据经过独热编码后会变成稀疏矩阵。性别男和女经过独热编码后可以表示为10和01。独热编码独热编码的优点将离散型属性的取值扩展到欧氏空间，离散型属性的某个取值就对应欧氏空间的某个点。对离散型属性使用独热编码，可以让属性之间的距离计算更为合理。独热编码在Python中，可以使用scikit-learn库中preprocessing模块的OneHotEncoder函数进行独热编码，OneHotEncoder函数的基本使用格式如下。classsklearn.preprocessing.OneHotEncoder(*,categories='auto',drop=None,sparse_output=True,dtype=<class'numpy.float64'>,handle_unknown='error',min_frequency=None,max_categories=None,feature_name_combiner='concat’)独热编码OneHotEncoder函数常用的部分参数及其说明。参数名称参数说明categories接收array-like类型的值或auto。表示从训练数据自动确定类别。默认值为autodrop接收first、if_binary或array-like。表示是否删除“冗余列”以避免多重共线性。默认值为Nonesparse_output接收bool类型的值。表示返回稀疏矩阵还是数组。默认值为Truedtype接收字符串。表示期望的输出类型。默认值为np.float64handle_unknown接收error、ignore或infrequent_if_exist。表示遇到训练时未见过的类别如何处理：error：报错；ignore：输出全0列。默认值为None独热编码采用OneHotEncoder函数进行独热编码。数据清洗数据变换数据合并自动化预处理数据合并数据合并作为数据预处理中的重要组成部分。多表合并分组聚合多表合并是指通过堆叠合并、主键合并、重叠合并等多种合并方式，将关联的数据信息合并在一张表中。根据某个或某几个属性对数据集进行分组，并对各组应用一个函数，无论是使用聚合函数还是使用转换函数，都是数据分析的常用操作。多表合并1.堆叠合并数据堆叠就是简单地将两张表拼在一起，也被称作轴向连接、绑定或连接。根据连接轴的方向，堆叠可分为横向堆叠和纵向堆叠。堆叠合并数据横向堆叠横向堆叠即将两张或多张表在x轴方向上拼接在一起，可以使用pandas库的concat函数完成。concat函数的基本使用格式如下。pandas.concat(objs,*,axis=0,join='outer',ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,sort=False,copy=True)堆叠合并数据concat函数常用的部分参数及其说明。参数名称参数说明objs接收多个Series、DataFrame的组合。表示参与连接的pandas对象的列表的组合。无默认值axis接收0或1。表示连接的轴。默认值为0join接收inner或outer。表示其他轴上的索引是按交集（inner）还是并集（outer）进行合并。默认值为outerignore_index接收bool类型的值。表示是否不保留连接轴上的索引，并产生一组新索引range(total_length)。默认值为Falsekeys接收序列。表示与连接对象有关的值，用于形成连接轴上的层次化索引。默认值为Nonelevels接收包含多个序列的列表。表示在指定keys参数后，指定用作层次化索引各级别上的索引。默认值为Nonenames接收列表。表示在设置了keys和levels参数后，用于创建分层级别的名称。默认值为Noneverify_integrity接收bool类型的值。检查新连接的轴是否包含重复项。如果发现重复项，那么将会引发异常。默认值为False堆叠合并数据当axis=1的时候，concat函数进行行对齐操作，将不同列名称的两张或多张表合并。当两张表索引不完全一样时，可以使用join参数选择是内连接还是外连接。在内连接的情况下，仅仅返回索引重叠部分的数据。在外连接的情况下，则返回索引并集部分的数据，不足的地方则使用缺失值填补。堆叠合并数据某餐馆有2025年8月28日和2025年8月29日一部分菜品的详情数据，基于这份数据对索引完全相同的两张表进行横向堆叠，横向堆叠前后的表大小如下。数据行数列数df1表325df2表324外连接横向堆叠后的表329内连接横向堆叠后的表329堆叠合并数据纵向堆叠纵向堆叠是将两张或多张表在y轴方向上进行拼接。concat函数和append()方法都可以实现纵向堆叠。使用concat函数时，在默认情况下（即axis=0），concat进行列对齐操作，将不同行索引的两张或多张表纵向合并。在两张表的列名并不完全相同的情况下，可以使用join参数：取值为inner时，返回的仅仅是列名的交集所代表的列。取值为outer时，返回的是列名的并集所代表的列（右图）。堆叠合并数据将索引不相同的表的纵向堆叠，纵向堆叠前后的表大小如下。数据行数列数df3表109df4表229内连接纵向堆叠后的表3218外连接纵向堆叠后的表018多表合并2.主键合并数据主键合并，即通过一个或多个键将两个数据集的行连接起来，类似于SQL中的join。针对两张包含不同属性的表，将其根据某几个属性一一对应拼接起来，结果集的列数为两个原数据集的列数和减去连接键的数量。主键合并数据pandas库中的merge函数和join()方法都可以实现主键合并，但两者的实现方式并不相同。merge函数的基本使用格式如下。pandas.merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x','_y'),copy=True,indicator=False,validate=None)主键合并数据merge函数常用的部分参数及其说明。参数名称参数说明left接收DataFrame。表示要添加的新数据1。无默认值right接收DataFrame或Series。表示要添加的新数据2。无默认值how接收inner、outer、left或right。表示数据的连接方式。默认值为inneron接收字符串或序列。表示两个数据合并的主键（必须一致）。默认值为Noneleft_on接收字符串或序列。表示left参数接收数据用于合并的主键。默认值为Noneright_on接收字符串或序列。表示right参数接收数据用于合并的主键。默认值为Noneleft_index接收bool类型的值。表示是否将left参数接收数据的index作为连接主键。默认值为Falseright_index接收bool类型的值。表示是否将right参数接收数据的index作为连接主键。默认值为Falsesort接收bool类型的值。表示是否根据连接键对合并后的数据进行排序。默认值为Falsesuffixes接收元组。表示当left和right参数接收数据列名相同时，为列名添加后缀。默认值为('_x','_y')主键合并数据以菜品详情表和菜品信息表为例，使用merge函数对数据进行合并，合并前后的表大小如下表。数据行数列数meal（菜品详情）表329info（菜品信息）表1612主键合并后的表2721主键合并数据join()方法也可以实现部分主键合并的功能。但是使用join()方法时，两个主键的名字必须相同。join()方法的基本使用格式如下。pandas.DataFrame.join(other,on=None,how='left',lsuffix='',rsuffix='',sort=False,validate=None)主键合并数据join()方法常用的参数及其说明。参数名称参数说明other接收DataFrame、Series或包含了多个DataFrame的列表。表示参与连接的其他DataFrame。无默认值on接收列名或包含列名的列表或元组。表示用于连接的列名。默认值为Nonehow接收特定字符串。取值为inner时代表内连接；取值为outer时代表外连接；取值为left时代表左连接；取值为right时代表右连接。默认值为leftlsuffix接收字符串。表示用于追加到左侧重叠列名的尾缀。无默认值rsuffix接收字符串。表示用于追加到右侧重叠列名的尾缀。无默认值sort接收bool类型的值。表示是否根据连接键对合并后的数据进行排序。默认值为False主键合并数据以菜品详情表和菜品信息表为例，使用join()方法对数据进行主键合并，主键合并前后的表大小如下表。数据行数列数meal（菜品详情）表329info（菜品信息）表1612主键合并表3221多表合并3.重叠合并数据重叠合并在其他工具或语言中并不常见，但是pandas库的开发者希望pandas能够解决几乎所有的数据分析问题，因此提供了combine_first()方法来对数据进行重叠合并。重叠合并数据combine_first()方法的基本使用格式如下。pandas.DataFbine_first(other)combine_first()方法常用的参数及其说明。参数名称参数说明other接收DataFrame。表示参与重叠合并的另一个DataFrame。无默认值重叠合并数据新建两个DataFrame来进行重叠合并。IndexIDSystemCPU01win7i512win10i523NaNi534win10i745win10i756win7i567win10i578win7i789win8i3IndexIDSystemCPU01win7i512win10i523NaNNaN34win10i745NaNNaN56NaNNaN67win10i578win7i789win8i3IndexIDSystemCPU01win7i312NaNNaN23NaNi534NaNNaN45win10i756win7i567NaNNaN78NaNNaN89NaNNaN分组聚合pandas库提供了一个灵活高效的groupby()方法，配合agg()方法、transform()方法或apply()方法，能够实现分组聚合的操作。分组聚合的原理示例（右图）。分组聚合1.使用groupby()方法拆分数据groupby()方法提供的是分组聚合步骤中的拆分功能，它能够根据索引或属性对数据进行分组，其基本使用格式如下。pandas.DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=_NoDefault.no_default,squeeze=_NoDefault.no_default,observed=False,dropna=True)[source]使用groupby()方法拆分数据groupby()方法常用的参数及其说明。参数名称参数说明by接收列表、字符串、mapping或function。用于确定进行分组的依据。如果传入的是一个函数，那么对索引进行计算并分组；如果传入的是一个字典或Series，那么将字典或Series的值作为分组依据；如果传入的是一个NumPy数组，那么将数组的元素作为分组依据；如果传入的是字符串或字符串列表，那么将这些字符串所代表的属性作为分组依据。默认值为Noneaxis接收int类型的值。表示操作的轴，默认对y轴进行操作，即默认值为0level接收int类型的值或索引名。表示标签所在级别。默认值为Noneas_index接收bool类型的值。表示聚合后的聚合标签是否以DataFrame索引形式输出。默认值为Truesort接收bool类型的值。表示是否对分组依据、分组标签进行排序。默认值为Truegroup_keys接收bool类型的值。表示是否显示分组标签的名称squeeze接收bool类型的值。表示是否在允许的情况下对返回数据进行降维。默认值为False使用groupby()方法拆分数据以菜品详情表为例，根据订单编号对数据进行分组。分组后的结果并不能直接查看，而是被存在内存中，输出的是内存地址。GroupBy对象常用的描述性统计方法及其说明。方法名称说明方法名称说明count计算分组的数目，包括缺失值cumcount对每个分组中的组员进行标记，标号为0～（n-1），n为组员个数head返回每组的前n个值size返回每组的大小max返回每组的最大值min返回每组的最小值mean返回每组的均值std返回每组的标准差median返回每组的中位数sum返回每组的和使用groupby()方法拆分数据基于某餐馆的菜品详情表，求分组后前5组每组的均值（左表）、标准差（中间表）、大小（右表）的结果。order_idcounts（菜品销量）amounts（菜品售价）1761.527.51791.067.01804.04.02363.035.03221.089.0order_idcounts（菜品销量）amounts（菜品售价）1760.70710728.9913781790.00000059.396970180NaNNaN236NaNNaN322NaNNaNorder_id大小17621792180123613221分组聚合2.使用agg()方法聚合数据agg()方法和aggregate()方法都支持对每个分组应用某函数，包括Python内置函数或自定义函数。agg()方法能够对DataFrame对象进行操作是从pandas0.20开始的，在之前的版本中，agg()方法并无此功能。使用agg()方法聚合数据针对DataFrame的agg()方法与aggregate()方法的基本使用格式如下。pandas.DataFrame.agg(func=None,axis=0,*args,**kwargs)pandas.DataFrame.aggregate(func=None,axis=0,*args,**kwargs)agg()方法和aggregate()方法常用的参数及其说明。参数名称参数说明func接收列表、字典或函数。表示应用于每行或每列的函数。无默认值为Noneaxis接收0或1。代表操作的轴。默认值为0使用agg()方法聚合数据以菜品详情表为例，对当前数据使用agg()方法一次性求出所有菜品销量和菜品售价的总和与均值。得到菜品销量与菜品售价的总和与均值如下。以菜品详情表为例，仅计算表中菜品销量的总和与菜品售价的均值，此时需要使用字典的方式，将两个属性名分别作为字典的键，然后将NumPy库的求和与求均值的函数分别作为字典的值。

得到的结果是：菜品销量的总和为44，菜品售价的均值为48.84375属性summeancounts（菜品销量）44.0001.375amounts（菜品售价）1563.0000048.84375使用agg()方法聚合数据以菜品详情表为例，使用agg()方法求不同属性的不同数目统计量，如代码421所示。得到菜品销量总和与菜品售价的总和与均值如下。以菜品详情表为例，可在agg()方法中通过传入用户自定义的函数来求菜品销量两倍总和。得到菜品销量两倍总和为88。属性meansumcounts（菜品销量）NaN44.0amounts（菜品售价）48.843751563.00000使用agg()方法聚合数据以菜品详情表为例，可在agg()方法中，对数据使用含NumPy库中的函数的自定义函数来求菜品销量、菜品售价的两倍总和。index（索引）序号counts（菜品销量）0212223242数据counts（菜品销量）amounts（菜品售价）菜品详情表883126菜品详情表的菜品销量、菜品售价两倍总和菜品详情表前5行的菜品销量两倍总和使用agg()方法聚合数据以菜品详情表为例，使用agg()方法也能够实现对每一个属性的每一组数据使用相同的函数。菜品详情表分组后前3组每组的均值（左表）、标准差（右表）。以菜品详情表为例，对分组后的菜品详情表求取每组菜品销量总数和菜品售价均值，得到前3组菜品销量总数和菜品售价均值如下。order_idcounts（菜品销量）amounts（菜品售价）1761.527.51791.067.01804.07.0order_idcounts（菜品销量）amounts（菜品售价）1760.70710728.9913781790.00000059.396970180NaNNaNorder_idcounts（菜品销量）amounts（菜品售价）176327.5179267.018047.0分组聚合3.使用apply()方法聚合数据apply()方法类似于agg()方法，能够将函数应用于每一列。apply()方法传入的函数只能够作用于整个DataFrame或Series，而无法像agg()方法那样能够对不同的属性应用不同的函数来获取不同的结果。使用apply()方法聚合数据apply()方法的基本使用格式如下。pandas.DataFrame.apply(func,axis=0,raw=False,result_type=None,args=(),**kwargs)apply()方法常用的参数及其说明。参数名称参数说明func接收函数。表示应用于每行或每列的函数。无默认值axis接收0或1。表示操作的轴。默认值为0raw接收bool类型的值。表示是否直接将ndarray对象传递给函数。默认值为Falseresult_type可选expand、reduce、broadcast、None。当axis=1时，expand：类似列表的结果将被转换为列。reduce：如果可能，返回一个序列，而不是展开类似列表的结果。broadcast：结果将被广播到DataFrame的原始形状，原始索引和列将被保留。。默认值为None使用apply()方法聚合数据