Python财务数据分析与应用(微课版)课件 09-1文本数据处理_第1页
Python财务数据分析与应用(微课版)课件 09-1文本数据处理_第2页
Python财务数据分析与应用(微课版)课件 09-1文本数据处理_第3页
Python财务数据分析与应用(微课版)课件 09-1文本数据处理_第4页
Python财务数据分析与应用(微课版)课件 09-1文本数据处理_第5页
已阅读5页,还剩36页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

文本数据处理9-1TextDataProcessing内容概述1本章学习目标财务数据分析财务数据分析(1)掌握Series数据类型特征和转化;(5)利用str对象处理财务文本数据。(4)掌握文本数据的拆分、合并、匹配、提取和替换;(2)熟悉str对象的属性和方法;(3)熟悉正则表达式基础语法;目录CONTENTS财务数据分析财务数据分析9.1文本数据处理

1Pandas数据类型综述

2str对象

3正则表达式基础

4文本数据处理的5类操作

【财务应用与实践】上市公司基本信息文本数据处理

Pandas数据类型综述PartOne01财务数据分析财务数据分析财务数据分析财务数据分析Pandas数据类型Pandas类型(dtype)Python类型(type)说明objectstr字符串,存储文本数据等int64int整数float64float浮点数boolboolTrue/False值datetime64NA日期时间的值timedelta[ns]NA日期时间的差categoryNA统计中分类变量财务数据分析财务数据分析数据类型转换astype()函数是pandas中用于转换数据类型的方法。它可以将DataFrame或Series的数据类型转换为指定的类型。语法格式:DataFrame.astype(dtype,copy=True,errors='raise')Series.astype(dtype,copy=True,errors='raise')errors:类型:{'raise','ignore'},默认为'raise'作用:指定在转换期间如何处理错误。'raise':如果发生错误,则引发异常。'ignore':忽略错误,保留原始数据。财务数据分析财务数据分析分类数据category类型在处理具有固定类别或需要特定排序的数据时非常有用,特别是在数据分析和处理中,可以提高数据的可读性、内存效率和操作便利性。属性和方法说明举例catcat对象df['员工'].catcat.categoriesIndex类型类别的本身df['员工'].cat.categoriescat.ordered是否有序df['员工'].cat.categoriescat.codes序列的类别会被赋予唯一的整数编号df['员工'].cat.codesstr对象PartTwo02财务数据分析财务数据分析财务数据分析财务数据分析Python字符串简单重申一下有关字符串的相关概念:字符串的长度:字符串中字符的数目n称为字符串的长度;空字符串:零个字符构成的串,长度为0,可以表示为"";子串:字符串中任意个连续的字符组成的子序列;字符串的前缀:起始于位置为0、长度为k的子串称为「前缀」;字符串的后缀:终止于字符串末尾位置(n-1),长度为k的子串称为「后缀」;字符串之间的比较:通过组成字符串的字符之间的字符编码来决定的。而字符编码指的是字符在对应字符集中的序号。财务数据分析财务数据分析str对象属性和方法Pandas通过定义在Index或Series上的str属性,来处理类型为object或string的文本数据1)字母型函数字符串函数中有关字母型的概念是针对英文字符串而言的。upper(),lower(),title(),capitalize()和swapcase()

这5个函数主要用于字母的大小写转化。s=pd.Series(['industry(工业)','CN','ascale','FinancialApp'])财务数据分析财务数据分析str对象属性和方法2)pd.to_numeric()函数pd.to_numeric()函数能够对字符格式的数值进行快速转换和筛选。s=pd.Series(['10','2.1','2e5','<>'])财务数据分析财务数据分析str对象属性和方法3)统计型函数count

()和

len()函数的作用分别是返回出现正则模式的次数和字符串的长度。s=pd.Series(['**','B***','Ab$'])财务数据分析财务数据分析str对象属性和方法4)格式型函数格式型函数第一类函数用于数据清洗,空格等字符消除,分别代表去除两侧空格strip()、右侧空格rstrip()和左侧空格lstrip()。my_index=pd.Index(['列A','列B','列C'])my_code=pd.Series([1,323,600618]).astype('string')正则表达式基础PartThere03财务数据分析财务数据分析财务数据分析财务数据分析正则表达式概述正则表达式是一种文本模式,包括普通字符(例如,a-z之间的字母)和特殊字符(元字符),描述匹配字符串的特定模式,用来查找、替换、验证和提取文本数据等操作。简单地说,正则表达式是一个特殊的字符序列,其用于检查一个字符串是否与某种模式匹配。通过使用正则表达式可以做到:数据验证。通过测试字符串,得到需要的字符串模式。如电话号是有模式的数字组成的固定位数的字符串;匹配替换。基于模式匹配从提取子字符串,进而进行后续操作;替换文本。可以使用正则表达式识别文档中的特定文本,删除或者替换文本。财务数据分析财务数据分析正则表达式语法1)正则表达式的构造正则表达式是由普通字符和特殊字符(称为“元字符”)组成的文字模式(pattern)财务数据分析财务数据分析正则表达式语法1)正则表达式的构造正则表达式是由普通字符和特殊字符(称为“元字符”)组成的文字模式(pattern)(1)普通字符普通字符包括没有被指定为元字符的所有可打印和不可打印字符。财务数据分析财务数据分析正则表达式语法1)正则表达式的构造正则表达式是由普通字符和特殊字符(称为“元字符”)组成的文字模式(pattern)(2)元字符在正则表达式中,通常使用一些特殊的字符来描述模式,这些特殊的字符称为元字符。常用的元字符包括:.[]*+?{}()|\^$财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(1)【.】元字符元字符点【.】匹配除换行符【\n】之外的任何单字符。(2)匹配元字符像点【.】、【\】等是元字符。要匹配它们,需要请使用【\.】和【\\】财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(3)限定符限定符用来指定正则表达式的一个给定组件必须出现多少次才能满足匹配。限定符有

*

、

+

、

?、

{n}、

{n,}

、或

{n,m}

共6种。s='Apple苹果!\nanApple\np'财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(4)字符集和否定字符集字符集也称为字符类,是匹配方括号中包含的任意字符。分两种情况:①[],匹配方括号中包含的任意字符。②[^],否定字符类,匹配方括号中不包含的任意字符。财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(4)字符集和否定字符集字符集也称为字符类,是匹配方括号中包含的任意字符。分两种情况:①[],匹配方括号中包含的任意字符。②[^],否定字符类,匹配方括号中不包含的任意字符。财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(5)字符组字符组是一组写在圆括号内的子模式

(…)。如(xyz),按照确切的顺序匹配字符xyz。还可以使用元字符【|】,表示“或”关系财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(6)定位符在正则表达式中,使用定位符检查匹配符号是否是起始符号或结尾符号。插入符号【^】符号用于检查匹配字符是否是输入字符串的第一个字符;$】符号用于检查匹配字符是否是输入字符串的最后一个字符财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(7)断言在使用正则表达式时,有时我们需要捕获的内容前后必须是特定内容,但又不捕获这些特定内容的时候,需要带有断言正则表达式。断言是非捕获组内容。财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(7)断言①正向先行断言。正向先行断言格式:

x(?=y)②负向先行断言。负向先行断言格式:

x(?!y)③正向后行断言。正向后行断言格式:

(?<=y)x④负向后行断言。负向后行断言格式:

(?<!y)x财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(8)修饰符修饰符也称为标记,正则表达式的修饰符用于指定额外的匹配策略。修饰符不写在正则表达式里,位于表达式之外,语法格式:/pattern/flags财务数据分析财务数据分析正则表达式语法2)正则表达式基础语法(9)使用反向引用在正则表达式中,\n

(n为整数)可以用来引用前面捕获组中匹配的内容。例如匹配重复的单词:‘\b(\w+)\b\s+\文本数据处理的5类操作PartFour04财务数据分析财务数据分析财务数据分析财务数据分析拆分split()函数按照能够匹配的子串将Series/Index分割后返回列表或Series/DataFrame,语法格式:财务数据分析财务数据分析合并合并操作有2个函数,分别是

str.join()和str.cat()

。1)str.join()函数

str.join()表示用某个连接符把

Series

中的字符串列表连接起来,如果列表中出现了非字符串元素则返回缺失值。s.str.join(sep)只有1个参数sep,为合并所需的分隔符字符串2)str.cat()函数str.cat()按照给定分隔符合并Series/Index,语法格式:财务数据分析财务数据分析匹配1)str.contains()函数str.contains()返回了每个字符串是否包含正则模式的布尔序列,语法格式:2)str.startswith()和str.endswith()函数str.startswith()和str.endswith()返回了每个字符串以给定模式为开始和结束的布尔序列,他们都不支持正则表达式。财务数据分析财务数据分析匹配3)str.match()函数如果需要用正则表达式来检测开始或结束字符串的模式,可以使用

str.match()

,其返回了每个字符串起始处是否符合给定正则模式的布尔序列,语法格式:财务数据分析财务数据分析提取str.extract()函数提取操作,是一种返回具体元素操作,首先是匹配操作,再根据匹配的结果提取捕获组内容并返回语法格式:str.extractall()不同于str.extract()只匹配一次,其会把所有符合条件的模式全部匹配出来。提取的多个结果,以多级索引的方式存储。str.findall()的功能类似于str.extractall(),区别在于前者把结果存入列表中,而后者处理为多级索引,每个行只对应一组匹配,而不是把所有匹配组合构成列表。财务数据分析财务数据分析替换Series/Dataframe的str.replace()和replace()并不是一个函数,在使用字符串替换时应当使用前者。

1)replace()函数replace()函数是Series/Dataframe某一个或匹配的值的整个值的替换,而str.replace不是改变值的部分。Series/Dataframe的replace()函数语法格式:财务数据分析财务数据分析提取2)str.replace()函数Series/Dataframe的str.replace()函数某一个或匹配的值的部分值的替换,语法格式:财务数据分析财务数据分析flags参数flags参数是用来指定正则表达式操作的额外选项。下面列出了常用的flags及其用法。re.I/re.IGNORECASE:忽略大小写re.M/re.MULTILINE:多行匹配re.S/re.DOTALL:让.可以匹配包括\n在内的任意字符re.U/re.UNICODE:使用Unicode字符

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论