《ETL数据预处理技术》课件-任务8 Pandas数据清洗进阶

ETL数据预处理技术任务8-1-1pandas的功能及含义01.Pandas概述02.目录Pandas主要特点和应用CONTENTS03.04.Pandas测试、安装与导入Pandas数据结构Pandas是一个用于处理高级数据结构和数据分析的Python库，Pandas是基于Numpy构建的一种工具，纳入了大量的模块和库以及一些标准数据模型，提高了Python处理大数据的性能。0201DataFrame是一种高效快速的数据结构模式，Pandas支持DataFrame格式，从而可以自定义索引可以将不同格式的数据文件加载到内存中03未对齐及索引方式不同的数据可按轴自动对齐0504可处理时间序列或非时间序列数据可基于标签来切片索引，获得大数据集子集06可进行高性能数据分组、聚合、添加、删除Pandas主要应用0201数据整理和清洗

数据探索性分析03数据建模和分析（1）测试Python环境中是否安装了pandas在Windows操作系统下，按【win】+【r】键，进入cmd命令窗口，输入“python”命令，按回车键，进入Python命令窗口。在Python命令窗口中输入“frompandasimport*”导入pandas模块，如果在命令窗口中出现“ModuleNotFoundError:Nomodulenamed'pandas'”的错误提示，则需要安装pandas。（2）在Windows操作系统下安装pandas方法进入cmd命令窗口，输入以下命令完成安装：pipinstallpandas（3）pandas导入导入pandas用import命令即可：frompandasimport*pandas提供了两种数据结构，Series（一维数组结构）与DataFrame（二维数组结构），这两种数据结构极大地增强的了Pandas的数据分析能力。（1）Series是一个类似一维数组的对象，它能够保存任何类型的数据，主要由一组数据（各种Numpy数据类型）和与之相关的数据标签（索引）两部分构成。仅由一组数据也可以产生简单的Series对象。注意：Series的索引位于左边，数据位于右边，且索引值可以重复。结构如右图所示：

（2）DataFrame:是一个类似于二维数组或表格（如excel）的对象，包含一组有序的列，它每列的数据可以是不同的数据类型（数值、字符串、布尔型等）。注意：DataFrame的索引不仅有行索引，还有列索引，数据可以有多列，因此可以看做是由Series组成的字典。小结高级数据处理与数据分析Pandas概述高效、方便金融、经济、数据分析、统计等商业领域Pandas特点和应用测试、安装和导入Pandas使用Pandas数据结构Series和datafram任务8-1-2Pandas字段抽取与拆分01.字段抽取与拆分概述02.目录字段抽取使用的函数CONTENTS03.04.字段拆分使用的函数样例解析Pandas中有很多数据操作，我们今天要学的是数据抽取和数据拆分，它是通过保留、抽取源数据表中的某些字段、记录的部分信息来形成一些新字段和新记录。字段抽取是根据已知列数据的开始和结束位置，抽取出新的列。字段抽取采用slice()函数，该函数的语法格式如下：

Series.str.slice(start=None,stop=None,step=None)

函数中的参数说明：

start：表示字段抽取的开始位置。

stop：表示字段抽取的结束位置。step：在切片过程中需要跳过多少个字符。

字段拆分是按照固定的字符，拆分已有的字符串。字符分割函数有正序分割列split()函数和逆序分割列rsplit()函数，其中，split()函数的语法格式：Series.str.split(sep=None,n=-1,expand=False)sep:用于分割的字符串

n:默认-1；限制输出中的分割数expand:是否展开为数据框，默认为False，但我们往往会设置为True

（1）字段抽取现有某商场的产品销售数据如右图所示：数据中价格均有一位小数，现要将小数点后面的0去掉，使用字段抽取完成示例代码及输出结果如图所示:（2）字段拆分我们构建一个数据集，然后使用拆分函数对其进行操作第一步：构建数据集第二步：字段拆分第三步：输出代码及输出结果如图所示小结Str.slice()函数字段抽取Str.split()函数字段拆分操作演示样例解析任务8-1-3Pandas字段抽取与拆分01.记录抽取概述02.目录记录抽取使用方式CONTENTS03.样例解析Pandas中的记录抽取是指根据一定的条件，对数据进行抽取。记录抽取函数：datafram[condition]

其中，condition为过滤条件。函数返回值是DataFram。

常用的条件类型①比较运算：大于(>),小于(<),大于等于(>=),小于等于(<=),不等于(!=)。②范围运算：between(left,right)。③空值匹配：pandas.isnull(column)。④字符匹配：str.contains(patten,na=False)，其中na参数是指空值的处理方式，如为False，不匹配空值。⑤逻辑运算：与(&),或(|),取反(not)。现有某商场的产品销售数据如右图所示：（1）筛选出单价在3000-6000的数据（2）筛选出商品名字带有machine的数据（3）筛选出数量为空的数据首先读取数据：输出结果如下：（1）筛选出单价在3000-6000的数据，代码如下：输出结果如下：（2）筛选出商品名字带有machine的数据，代码如下：输出结果如下：（3）筛选出商品名字带有machine的数据，代码如下：输出结果如下：（4）筛选出数量为空的数据，代码如下：输出结果如下：小结概念记录抽取概述数据筛选记录抽取使用方式操作演示样例解析任务8-2-1重复值处理01.重复值处理概述02.目录重复值处理方式CONTENTS03.样例解析

从数据采集所获得的原始数据集中，往往会存在着许多重复数据。所谓重复数据是指在数据结构中所有列的内容都相同，即行重复。而处理重复数据是数据分析中经常要面对的问题之一。pandas提供了duplicated()和drop_duplicates()函数可用于标记及删除重复数据。（1）duplicated()函数duplicated()函数用于标记Series中的值、DataFrame中的记录行是否是重复，重复为True，不重复为False。函数使用方式如下：

pandas.DataFrame.duplicated(subset=None,keep=’first’)其中参数解释如下：subset：用于识别重复的列标签或列标签序列，默认所有列标签keep=‘frist’：除了第一次出现外，其余相同的被标记为重复keep=’last’：除了最后一次出现外，其余相同的被标记为重复keep=False：所有相同的都被标记为重复（2）drop_duplicates()函数drop_duplicates()函数用于删除Series、DataFrame中重复记录，并返回删除重复后的结果。该函数语法格式如下：pandas.DataFrame.drop_duplicates(subset=None,keep=’first’,inplace=False)参数说明如下：subset：表示要进行去重的列名，默认为None。keep：有三个可选参数，分别是first、last、False，默认为first，表示只保留第一次出现的重复项，删除其余重复项，last表示只保留最后一次出现的重复项，False则表示删除所有重复项。inplace：布尔值参数，默认为False表示删除重复项后返回一个副本，若为Ture则表示直接在原数据上删除重复项。现有某商场的产品销售数据如右图所示：（1）标记重复数据（2）删除重复数据首先读取数据：输出结果如下：（1）标记重复数据，代码如下：：输出结果如下：当参数值不一样的时候，得到的结果是不同的，比如keep=False得到的结果就是标记所有的重复数据，大家可以自行尝试（2）删除重复数据，代码如下：输出结果如下：跟标记重复值类似，当参数值不一样的时候，得到的结果是不同的，比如keep=False得到的结果就是删除所有的重复数据，大家可以自行尝试小结函数使用重复值标记函数使用重复数据删除操作演示样例解析任务8-2-2缺失值处理01.缺失值处理概述02.目录缺失值判断CONTENTS04.样例解析03.缺失值的处理方式

在Python中，pandas使用浮点值NaN表示浮点数和非浮点数组中的缺失值，同时Python内置None值也会被当作是缺失值。在处理缺失值之前，首先要判断缺失值是否存在，然后再对缺失值进行删除、填充或者不处理的操作。（1）isnull()函数：用于检查空值或缺失值的对象；如果有空值或缺失值则返回True，否则返回False。

（2）notnull()函数：用于检查不为空值或缺失值的对象；如果有空值或缺失值则返回False，否则返回True。

通过isnull()函数和sum()函数可以获得Series和DataFrame中缺失值的数量（1）删除含有缺失值的记录在数据分析中，如果数据集的样本很大，并且在删除含有缺失值的记录后，不会影响分析结果的客观性和准确性时，一般是使用dropna()函数直接将空值或缺失值的数据删除。dropna()函数的语法格式如下：DataFrame.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)函数中的参数说明如下：axis:指定删除方向，当axis=0按行删除,axis=1按列删除，默认为0。how:取值为’all’表示这一行或列中的元素全部缺失(为NaN)才删除这一行或列;取值为’any’表示这一行或列中只要有缺失值，就删除这一行或列。thresh:一行或一列中至少出现了thresh个才删除。subset:在某些列的子集中选择出现了缺失值的列删除，不在子集中的含有缺失值的列或行不会被删除。inplace:筛选缺失值后，获得的新数据是存为副本还是直接在原数据上进行修改（2）数据插补法

在数据分析中，如果数据集的样本比较少或者由于删除含有缺失值的记录会影响到数据分析结果的客观性和准确性时，就需要根据数据插补的方法来选择填充值，然后再使用fillna()函数对空值或缺失值进行填充。fillna()函数的语法格式如下：DataFrame.fillna(axis=0,mthod=‘ffill’,limit=1,inplace=Flase)函数中的参数说明如下：axis：这个参数取1时，表示按照行来填充，取0时表示按照列来填充。默认为0，即按照列。和dropna函数的刚好相反。method：这个参数的意思是填充的方式，如果为’ffill’,则是将这个空值的前一个数据复制给这个空值；如果为‘bfill’，则是将这个空值的后一个数据复制给这个空值。如果不用这个参数，不声明即可。limit：这个参数时限制填充的空值的个数，比如某一列有两个空值，我这里指定只填充一个空值，另一个空值不管它。inplace:删除缺失值后，获得的新数据是存为副本还是直接在原数据上进行修改现有某商场的产品销售数据如右图所示：（1）查看缺失值（2）删除缺失值（3）插补缺失值首先读取数据：输出结果如下：（1）查看缺失值，代码如下：输出结果如下：如图所示，统计出了每一列缺失值的数量（2）删除缺失值，代码如下：输出结果如下：跟删除重复值类似，当参数值不一样的时候，得到的结果是不同的，大家可以自行尝试不同的参数（3）用价格列的中位数插补缺失值，代码如下：输出结果如下：如结果所示，最后一行数据的价格已经插补上，值为价格列的中位数小结函数使用缺失值判断删除、插补缺失值处理操作演示样例解析任务8-2-3异常值处理01.异常值处理概述02.目录异常值判断CONTENTS04.样例解析03.异常值的处理方式