数据基础及分析 3

Python爬虫、数据清洗和数据可视化大数据分析大数据与人工智能技术丛书掌握pandas安装和运行掌握pandas的基本语法了解pandas绘图原理掌握pandas绘图本章学习目标第九章pandas数据分析与清洗掌握pandas读取与清洗数据的方法9.1认识pandaspandas是Python中的一个数据分析与清洗的库，pandas库是基于numpy库构建的。在pandas库中包含了大量的标准数据模型，并提供了高效地操作大型数据集所需的工具，以及大量快速便捷地处理数据的函数和方法，使得以numpy为中心的应用变得十分简单。因为pandas是python的第三方库所以使用前需要安装一下，直接使用命令安装：pipinstallpandas该命令会自动安装pandas以及相关组件。要使用pandas，可以直接在Python命令行中输入以下命令：importpandasaspds=pd.Series（）s可得到如下结果：Series([],dtype:float64)什么是pandas？Pandas安装Pandas使用pandas9.2pandas语法与使用在pandas库有两个最基本的数据类型，分别是Series和DataFrame。Series数据类型表示一维数组，与numpy中的一维array类似，并且二者与Python基本的数据结构List也很相近。SeriesDataFrame数据类型则代表二维的表格型数据结构，也可以将DataFrame理解为Series的容器。DataFrameSeries类型Series是是能够保存任何类型的数据(整数、字符串、浮点数、Python对象等)的一维标记数组，并且每个数据都有自己的索引。在pandas库中仅由一组数据即可创建最简单的Series。Series的创建和选择并定义索引【例9-2】创建一个最简单的Series，并定义数据值的索引，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s【例9-1】创建一个最简单的Series，代码如下。importpandasaspds=pd.Series([1,2,3,4])s该例通过引入pandas库创建了一个Series一维数组Series类型在pandas中，用户还可以通过索引的方式来选择Series中的某个值。索引的选择（1）选择Series中的某个值【例9-3】选择Series中的某个值，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s['a']（2）选择Series中的多个值【例9-4】选择Series中的多个值，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s[['b','c']]该例使用语句s[['b','c']]选择了Series中的多个索引值【例9-5】选择Series中表达式的值，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s[s>3]该例使用语句s[s>3]选择了在Series中值大于3的数据（3）选择Series中的表示的值Series类型【例9-6】Series中的加法运算，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s+3【例9-7】Series中的乘法运算，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])s*3【例9-8】Series中的布尔运算，代码如下。importpandasaspds=pd.Series([1,2,3,4],index=['a','b','c','d'])'b'ins'w'ins该例用布尔运算来判断是否在数组中存在“b”或者是“w”的索引【例9-9】Series中的多个数组的加法运算，代码如下。importpandasaspds1=pd.Series([1,2,3,4])s2=pd.Series([5,6,7,8])s1+s2Series类型【例9-10】Series中的多个数组的乘法运算，代码如下。importpandasaspds1=pd.Series([1,2,3,4])s2=pd.Series([5,6,7,8])s1*s2【例9-11】Series中的自动补齐不同索引运算，代码如下。importpandasaspds1=pd.Series([1,2,3,4],index=['a','b','c','d'])s2=pd.Series([6,7,8,9],index=['b','c','d','a'])s1+s2【例9-12】Series中的缺失值，代码如下。importpandasaspds1=pd.Series([1,2,3,4],index=['a','b','c','d'])s2=pd.Series([6,7,8],index=['b','c','d'])s1+s2Dataframe类型

DataFrame是一个表格型的数据类型。它含有一组有序的列，每列可以是不同的类型（数值、字符串等）。DataFrame类型既有行索引又有列索引，因此它可以被看作是由Series组成的字典。Dataframe类型【例9-13】创建一个最简单的DataFrame，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}frame=pd.DataFrame(data)frameDataframe类型【例9-14】创建一个DataFrame，并指定列序列，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}frame2=pd.DataFrame(data，columns=['year','name'])frame2【例9-15】使用嵌套字典来创建一个DataFrame，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}pop={'leslie':{1980},'amos':{1986}}frame3=pd.DataFrame(pop)frame3Dataframe类型【例9-16】使用index属性来访问DataFrame的行索引，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}pop={'leslie':{1980},'amos':{1986}}frame3frame3=pd.DataFrame(pop)frame3.index【例9-17】使用values属性来访问DataFrame的数据，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}pop={'leslie':{1980},'amos':{1986}}frame3frame3=pd.DataFrame(pop)frame3.valuesDataframe类型【例9-18】使用索引方法和属性来查询DataFrame，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}frame2=pd.DataFrame(data，columns=['year','name'])frame2'1980'inframe2.columns'name'inframe2.columns【例9-19】建立行索引并查询，代码如下。importpandasaspddata={'name':['leslie','amos','bill','bert']'year':['1980','1986','1988',1990]}frame2=pd.DataFrame(data，columns=['year','name'],index=['one','two','three','four'])frame2'one'inframe2.index'five'inframe2.indexDataframe数据分析与应用实例在DataFrame中的数据分析方法包含有：数据计算、数据扩充、数据索引、数据丢弃、数据排序和数据汇总等。DataFrame中的数据分析方法【例9-20】在pandas中建立二维数据并求和，代码如下。importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])dfDataframe数据分析与应用实例数据计算（1）每一列求和

输入命令：df.sum()，可以对每一列求和（2）每一行求和输入命令：df.sum(1)，可以对每一行求和（3）每一行做减法输入命令：df-2，可以对每一行做减法运算（4）每一行做乘法输入命令：令df*2，可以对每一行做乘法运算（5）每一行做除法输入命令：df/2,可以对每一行作除法运算Dataframe数据分析与应用实例数据扩充在DataFrame中的常见扩充是对每一列或者每一行进行扩充。【例9-21】在pandas中建立二维数据并进行扩充，代码如下。importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])df该程序生成并显示了三列数据，如果要再增加一列，可以输入命令df['col4']=['7','8']，该语句增加了一列col4，并且插入了数据7和8Dataframe数据分析与应用实例重新索引在DataFrame中可以使用方法reindex来重新建立一个新的索引对象。【例9-22】在pandas中建立二维数据并重新建立索引，代码如下importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])dfdf=df.reindex['a','b','c','d']df该例首先建立了一个二维数据，接着使用reindex来重新建立索引。并且如果某个索引值不存在就会引入缺失值在DataFrame中可以使用方法drop来丢弃不需要的指定值，并且对原先的数据不会有任何影响。Dataframe数据分析与应用实例数据丢弃（1）丢弃指定值【例9-23】在pandas中建立二维数据并丢弃不需要的某一行值，代码如下。importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])dfdf=df.reindex['a','b','c','d']df.drop('a')df（2）丢弃某一列值【例9-24】在pandas中建立二维数据并丢弃不需要的某一列值，代码如下。importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])dfdf=df.reindex['a','b','c','d']df.drop(['col3'],axis=1)dfDataframe数据分析与应用实例数据排序在DataFrame中可以使用方法sort_index来对列中数据值进行排序，它将返回一个已经经排好序的新结果。【例9-25】在pandas中建立二维数据并对数据值排序，代码如下。

importpandasaspdimportnumpyasnpdf=pd.DataFrame({'b':[3,5,8,-1],'a':[1,4,3,9]})dfdf.sort_index(by='a')Dataframe数据分析与应用实例数据汇总在DataFrame中可以使用方法idxmin和idxmax来统计达到最小值和最大值的索引，该方法也称为间接索引。其中idxmin统计最小值的索引，idxmax统计最大值的索引。【例9-26】在pandas中建立二维数据并统计，代码如下。importpandasaspdimportnumpyasnpdf=pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'],index=['a','b'])df（1）统计索引输入命令：df.idxmin（）统计最小值索引，df.idxmax（）统计最大值索引（2）对数据累加此外，还可以使用方法cumsum进行各行数据值的累加。输入命令：df.cumsum()，可以对每一行的数据进行累加9.3pandas读取与清洗数据csv是以纯文本形式存储的表格数据。本节主要讲述使用pandas读取和操作csv文件中的数据。【例9-27】在pandas中读取外部存储的csv文件，代码如下。importpandasaspdimportnumpyasnpdf=pd.read_csv("3.csv"，header=0,)print(df)print(df.dtypes)【例9-28】在pandas中读取含有缺失值的文件。

首先准备含有缺失值的csv文件如下：white,red,blue,pink,black,green,animal1,2,3,4,5,6,cat2,3,6,NA,2,3,dog1,2,5,NULL,7,6,pig2,3,4,NA,2,1,mouse

将其保存为5.csv。（1）直接读取含有缺失值的文件，代码如下：importpandasaspdimportnumpyasnpdf=pd.read_csv("5.csv")print(df)pandas数据清洗pandas数据清洗方法方法名称方法描述cleaned清除所有缺失值dropna根据条件过滤缺失值isnull返回一个布尔值，标明哪些是缺失值fillna填充缺失值数据notnullisnull的否定式在数据采集中经常会出现重复的数据，这时可以使用pandas来进行数据清洗。在pandas中可以使用方法duplicated（）来查找重复数据，使用方法drop_duplicated（）来清洗重复数据【例9-29】在pandas中处理数据缺失值，代码如下。importpandasaspdimportnumpyasnpframe=pd.DataFrame([[1,2,3,None],[4,7,None,3],[None,None,None,None]])frame在pandas中处理重复数据9.4pandas数据可视化pandas使用一维的数据结构Series和二维的数据结构DataFrame来表示数据，因此相比较于numpy，pandas可以存储混合的数据结构。pandas使用一维的数据结构Series和二维的数据结构DataFrame来表示数据，因此相比较于numpy，pandas可以存储混合的数据结构。同时pandas使用NaN来表示缺失的数据pandas中的绘图函数如下：importpandasaspdimportnumpyasnpfrompandasimportDataFrame,Seriesimportmatplotlib.pyplotasplt此外，根据需要，有时还要引入numpy中的随机数模块：fromnumpy.randomimportrandnpandas数据可视化pandas绘图原理pandas绘图原理【例9-31】在pandas中使用Series绘制线性图，代码如下。frompandasimportDataFrame,Seriesimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotasplts=pd.Series(np.random.randn(10).cumsum(),index=np.arange(0,100,10))s.plot()plt.show()【例9-32】在pandas中使用DataFrame绘制线性图，代码如下。

frompandasimportDataFrame,Seriesimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltdf=pd.DataFrame(np.random.randn(10,4).cumsum(0),columns=['A','B','C','D'],index=np.arange(0,100,10))df.plot()plt.show()pandas绘制柱状图frompandasimportDataFrame,Seriesimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltfig,axes=plt.subplots(2,1)data=pd.Series(np.random.rand(16),index=list('abcdefghijklmnop'))df.plot.bar(ax=axes[0],color='r',alpha=0.7)#垂直柱状图df.plot.barh(ax=axes[1],color='r',alpha=0.7)#水平柱状图plt.show()使用DataFrame绘制柱状图【例9-34】在pandas中使用DataFrame绘制柱状图，代码如下。frompandasimportDataFrame,Seriesimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltdf=pd.DataFrame(np.random.rand(4,4),index=['one','two','three','four'],columns=pd.Index(['A','B','C','D'],name='bar'))df.plot.bar()plt.show()frompandasimportDataFrame,Seriesimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltfromnumpy.randomimportrandndf=pd.DataFrame({'a':np.random.randn(1000)+1,'b':np.random.r