《Python程序设计》课件 第11章 Pandas 数据分析与处理_第1页
《Python程序设计》课件 第11章 Pandas 数据分析与处理_第2页
《Python程序设计》课件 第11章 Pandas 数据分析与处理_第3页
《Python程序设计》课件 第11章 Pandas 数据分析与处理_第4页
《Python程序设计》课件 第11章 Pandas 数据分析与处理_第5页
已阅读5页,还剩28页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Python程序设计第11章Pandas数据分析与处理本章内容认识表格数据Pandas的核心数据:Series和DataFrame数据基本操作数据清洗与预处理数据运算与统计分析应用案例:学生成绩分析本章要点认识表格数据现实中,很多数据是以表格形式呈现的,如学生成绩表、商品销售记录表、股票数据等表格数据以行和列的方式组织,每行是一条记录,每列描述一类属性。行标签用于定位记录,列标签标识字段。Pandas正是围绕这种表格数据结构工作的

Pandas核心数据结构Series:一维数据可以理解为带有索引的一维数组,对应excel中的一列包含两部分——数据、索引

DataFrame:表格型二维数据Pandas最常用的对象表格型的数据结构,含两组索引———行索引和列索引,分别用来标识表格中的一行和一列可以理解为由多个共享相同索引的Series组成的。Series:带标签的一维数据

Series把一维数据与索引配对Series的属性有:values:一组数据,本质是ndarray一维数组index:数组对应的一组索引,不指定时,默认是从0开始的整数name:Series的名称,为字符串类型importpandasaspd

data=[85,92,78]idx=['数学','语文','英语']s=pd.Series(data,index=idx)print(s)print(s.values)print(s.index)print()print(s['数学'])运行结果数学85语文92英语78dtype:int64[859278]Index(['数学','语文','英语'],dtype='object')None854DataFrame:带行列标签的二维表

DataFrame包括以下三个重要属性:index:行索引,默认为从0开始的整数,也可以用自定义的数据类型。columns:列标签,也可以称之为列索引。values:表格中的数据,本质是一个numpy的二维数组,每一列中数据的类型是相同,不同列的数据类型可以不同

#使用字典创建DataFramestudent_data={'学号':[2026001,2026002,2026003],'姓名':['张三','李四','王五'],'数学':[85,92,76],'英语':[78,88,90]}df=pd.DataFrame(student_data)df.index=['a','b','c']print(df)运行结果学号姓名数学英语a2026001张三8578b2026002李四9288c2026003王五76905创建DataFrame对象Pandas可以通过list创建DataFrame,也支持从很多格式文件中直接读入DataFrame对象。理解DataFrame的属性

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'],index=list('abc'))print(df)print(df.values)print(df.index)print(df.columns)print(type(df.index))运行结果学号姓名数学英语a2026001张三8578b2026002李四9288c2026003王五7690[[2026001'张三'8578][2026002'李四'9288][2026003'王五'7690]]Index(['a','b','c'],dtype='object')Index(['学号','姓名','数学','英语'],dtype='object')<class'pandas.core.indexes.base.Index'>5上例通过列表创建DataFrame,并打印DataFrame各个属性。如运行结果显示,df.values本质是二维ndarray数组。

Pandas基本操作选择数据数据筛选修改数据选择数据

7按列访问数据通过列名访问,如df[‘数学’]、df.数学

都能访问列索引为数学那一列df[[‘学号’,‘数学’]],用学号、数学两列的数据,创建一个新的DataFrame按行访问数据loc:基于行标签访问,如df.loc['a']是指行索引'a'对应的那一行数据iloc:基于整数位置访问数据,从0开始,如df.iloc[1]是指表格中的第2行数据,即行索引为'b'那一行访问单个数据at[行标签,列标签]:按行列标签访问单个元素iat[行标签,列标签]:从0开始的数字位置访问单个元素按行、列访问数据loc[行切片,列切片]:基于行、列标签的切片访问iloc[整数位置行切片,整数位置列切片]:基于整数位置的行列切片df数据选择举例

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语’],index=list('abc'))print(df.数学)print(df[['学号','数学']])print(df.loc['a':'c','学号':'数学'])print(df.at['a','姓名'])print(df.iat[1,1])print(df.iloc[:2,0:2])7运行结果a85b92c76Name:数学,dtype:int64

学号数学a202600185b202600292c202600376

学号姓名数学a2026001张三85b2026002李四92c2026003王五76张三李四学号姓名a2026001张三b2026002李四数据筛选

Pandas中也可以用布尔索引实现数据筛选基于query()方法的筛选按照文本进行筛选(通过Series.str中一系列字符串方法实现)按缺失值筛选isna()方法

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'],index=list('abc'))print(df.loc[(df['数学']>80)&(df['英语']>80)])print(df.query('数学>80and英语>80'))print(df[df['姓名'].str.contains('张')])运行结果学号姓名数学英语b2026002李四9288

学号姓名数学英语b2026002李四9288

学号姓名数学英语a2026001张三85784修改数据

定位后赋值修改基于replace()方法,进行值替换data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])df['数学']=df['数学']+3#所有数学成绩+3df.loc[df['姓名']=='张三','英语']=95#将张三的英语成绩改为95print(df)df['姓名'].replace('张三','张伟',inplace=True)print(df)8运行结果

学号姓名数学英语02026001张三889512026002李四958822026003王五7990

学号姓名数学英语02026001张伟889512026002李四958822026003王五7990数据修改|基于map()方法的映射转换

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])grade_map={88:'良好',90:'优秀',}df['英语']=df['英语'].map(grade_map)#使用字典映射#使用函数映射#df['数学等级']=df['数学'].map(lambdax:'优秀'ifx>=90else'良好')print(df)运行结果9学号姓名数学数学等级英语02026001张三85良好NaN12026002李四92优秀良好22026003王五76良好优秀数据修改|基于applymap()方法

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])df[['数学','英语']]=df[['数学','英语']].applymap(lambdax:x+5ifx<=95else100)print(df)运行结果9学号姓名数学英语02026001张三908312026002李四1009322026003王五8195applymap用于对DataFrame中的每一个元素进行处理。

数据修改|新增列、删除行列

9直接赋值可以在原数据表中追加一列如前面例子中“数学等级”这一列。df.insert()可以在指定位置插入一列,语法:DataFrame.insert(loc,column,value)loc表示新增列位于DataFrame中的位置,column是新增列的列索引名,value是新增列的数值列表。drop()方法能删除行列,调用时必须指定axis参数来决定删除的方向,axis=1时删除列;axis=0时删除行,如:#删除“数学等级”列,inplace=True表示直接修改原表df.drop(['数学等级’],axis=1,inplace=True)数据修改|行、列标签修改

9rename()方法直接覆盖修改索引重置与设置(reset_index、set_index)df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])#将列名'姓名'修改为'name','成绩'修改为'math'df.rename(columns={'姓名':'name','数学':'math'},inplace=True)print(df)#也可以用来修改行索引df.rename(index={0:'第一行'},inplace=True)print(df)df.columns=['id','name','math','English']df.index=list('abc')print(df)df.set_index('id',inplace=True)print(df)运行结果学号namemath英语02026001张三857812026002李四968822026003王五7690

学号namemath英语第一行2026001张三857812026002李四968822026003王五7690idnamemathEnglisha2026001张三8578b2026002李四9688c2026003王五7690namemathEnglishid2026001张三85782026002李四96882026003王五7690基于apply()方法的数据处理

apply函数可以将自定义的Python函数应用于数据的行或列,进行数据处理deflevel_check(row):ifrow['数学']>=85androw['英语']>=85:return'全优'return'普通'

df['综合评定']=df.apply(level_check,axis=1)print(df)运行结果学号姓名数学英语综合评定02026001张三8578普通12026002李四9688全优22026003王五7690普通11数据清洗与预处理原始数据往往是脏的,比如存在缺失值、重复数据、格式不统一或异常值等问题;数据清洗与预处理的目标是确保数据的完整性、唯一性和一致性。常见的数据清洗和预处理包括:缺失值处理重复值处理数据类型转换异常值与数据规范化缺失值处理

isna()标记缺失值;dropna()删除;fillna()可用指定值填补。df=pd.DataFrame({'姓名':['张三','李四','王五'],'数学':[85,np.nan,76],'英语':[78,88,np.nan]})print(df)#用本列前一个非缺失值填充df.fillna(method='ffill',inplace=True)print(df)运行结果姓名数学英语0张三85.078.01李四NaN88.02王五76.0NaN

姓名数学英语0张三85.078.01李四85.088.02王五76.088.012重复值处理

duplicated()检测重复行用法:df.duplicated(subset=None,keep='first’)返回与原DataFrame长度相同的布尔型Series,判断每一行是否重复:True表示该行是重复的,False表示该行是唯一的,或是该重复组中被保留的那一个。keep:决定保留谁(重复记录只有一条对应返回结果为False)12drop_duplicates()几乎与duplicated()的参数几乎一致,直接删除重复值。异常值和数据规范化

异常值条件筛选可以用于处理异常值,只保留正常范围的数据。clip()方法可以将数据限制在合理区间内,超出部分直接“截断”到边界值。如:

df['分数']=df['分数'].clip(0,100)12数据规范化将数据按一定规则转换到可比的、统一的范围或形式pandas提供str访问器可以批量文本格式混乱的问题,比如str.strip(),str.lower()等数据统计分析常用统计函数分组运算聚合函数排序与名次常用统计函数

一键描述性统计describe():一次性返回数值列的计数、均值、标准差及四分位数基本统计函数:mean()、sum()、min()、max()、median()、std()等等value_counts()函数:统计Series中各值出现的次数,是数据分析最常用的工具之一15s=pd.Series(['苹果','香蕉','苹果','橘子','香蕉','苹果'])print(s.value_counts())运行结果苹果3香蕉2橘子1dtype:int64分组计算各班平均分

分组运算是数据分析的核心思想之一,可以理解为“先分组,再计算”。groupby()函数用于分组,最常见的用法: df.groupby(['列名1','列名2',…])groupby返回一个分组对象,这个对象本身意义不大,更像一个暂存容器,等待下一步聚合计算指令。df=pd.DataFrame({'姓名':['张三','李四','王五','赵六'],'班级':['一班','一班','二班','二班'],'数学':[85,92,76,88],'英语':[78,88,90,85]})grouped=df.groupby('班级')print(grouped)print(grouped[['数学','英语']].mean())运行结果15<pandas.core.groupby.generic.DataFrameGroupByobjectat0x000001E5C7DC1520>

数学英语班级一班88.583.0二班82.087.5聚合函数

前面的例子中groupby后直接使用mean()函数只能进行单一运算,agg()函数则提供了极大的灵活性,允许一次执行多个运算。#场景:查看每个班级成绩的最高分、最低分和平均分res=df.groupby('班级')[['数学','英语']].agg(['max','min','mean'])print(res)#统计各数学的平均分、最高分,以及“英语”的平均分,最低分mapping={'数学':['mean','max'],'英语':['mean','min']}res=df.groupby('班级').agg(mapping)print(res)运行结果数学英语

maxminmeanmaxminmean班级一班928588.5887883.0二班887682.0908587.5

数学英语

meanmaxmeanmin班级一班88.59283.078二班82.08887.58516排序与排名

排序:sort_values()和sort_index()前者根据一列或多列的值进行升序或降序排列,而后者则按照索引排序。排名:rank()函数为每条记录计算名次 rank(method='average',ascending=True,axis=0,na_option='keep',pct=False)

其中method是rank函数的核心参数,决定如何处理并列情况df=pd.DataFrame({'Score':[88,92,92,75,95]})#计算常规名次(跳跃式)df['Rank']=df['Score'].rank(method='min',ascending=False)#计算百分比排名(常用于评估击败了多少对手)df['Percentile']=df['Score'].rank(pct=True)print(df)运行结果ScoreRankPercentile0884.00.41922.00.72922.00.73755.00.24951.01.016数据合并与拼接

concat面向轴拼接,可把同结构的表沿行追加。merge按键匹配,把来自不同表的字段组合起来。df1=pd.DataFrame({'学号':['001','002','003'],'姓名':['张三','李四','王五']})df2=pd.DataFrame({'学号':['001','002','004'],'数学':[85,92,78]})print(pd.merge(df1,df2,on='学号',how='inner'))运行结果学号姓名数学0001张三851002李四9217应用案例:学生成绩分析原始数据:student_info.csv学生信息(学号,班级,性别)scores.csv成绩(学号,数学,英语)任务:计算总分按照班级、性别分组统计数据找出每个班的最高分读取数据、合并数据

#1.读取数据student_info=pd.read_csv('student_info.csv')#学生信息表scores=pd.read_csv('scores.csv')#成绩表print("===学生信息表示例===")print(student_info.head())print("\n===成绩表示例===")print(scores.head())#2.数据合并#按学号合并两张表,保留student_info所有学生df=pd.merge(student_info,scores,on='学号',how='left')print("\n===合并后的数据===")print(df.head())17数据清洗

#3.数据清洗#3.1处理缺失值:用列均值填充df['数学'].fillna(df['数学']

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论