《数据分析》课件-任务3.7 读写数据的操作

任务3.7读写数据的操作Python数据分析学习目标及重难点学习目标：读写数据的操作学习重点：读写数据的操作目录学习内容1.读写文本文件2.读写非文本文件01读写文本文件1.读写文本文件在对数据进行分析时，通常不会将需要分析的数据直接写入到程序中，这样不仅造成程序代码臃肿，而且可用率很低。常用的方法是将需要分析的数据存储到本地中，之后再对存储文件进行读取。针对不同的存储文件，Pandas读取数据的方式是不同的。接下来，本节将针对常用存储格式文件的读写进行介绍。CSV文件是一种纯文本文件，可以使用任何文本编辑器进行编辑，它支持追加模式，节省内存开销。因为CSV文件具有诸多的优点，所以在很多时候会将数据保存到CSV文件中。Pandas中提供了read_csv()函数与to_csv()方法，分别用于读取CSV文件和写人CSV文件关于他们的具体介绍如下:1.读写文本文件1.通过to_csv()方法将数据写入CSV文件中to_csv()方法的功能是将数据写入到CSV文件中，其语法格式如下：上述方法中常用参数表示的含义如下:(1)path_or_buf:文件路径。(2)index:布尔值，默认为True。若设为False，则将不会显示索引。(3)sep:分隔符，默认用“.”隔开。1.读写文本文件如果指定的路径下文件不存在，则会新建一个文件来保存数据:如果文件已经存在，则会将文件中的内容进行覆盖。为了能够让大家更好地理解o_csv0方法的使用，接下来，通过一段示例代码来演示如何将DataFrame对象中的数据写人到CSV文件中，具体代码如下。1.读写文本文件上述示例中，创建了一个3行2列的对象，然后通过_csv()方法将对象中的数据写人到E盘指定的位置。为了提示程序执行结束，可以在末尾打印一句话“写人完毕”，提示程序是否执行完成。代码执行成功后，会在E盘目录中生成一个csv文件。使用Excel工具打开csv文件，可以看到写入的数据。2.通过read_csv()函数读取CSV文件的数据read_csv()函数的作用是将CSV文件的数据读取出来，并转换成DataFrame对象。read_csv()函数的语法格式如下。1.读写文本文件上述函数中常用参数表示的含义如下:(1)filepath_or_buffer:表示文件路径，可以为URL字符串。(2)sep:指定使用的分隔符，如果不指定默认用“，”分隔。(3)header:指定行数用来作为列名，如果读取的文件中没有列名，则默认为0，否则设置为None(4)names:用于结果的列名列表。如果文件不包含标题行，则应该将该参数设置为None(5)index_col:用作行索引的列编号或者列名，如果给定一个序列，则表示有多个行索引。1.读写文本文件需要注意的是，在读取文件时，如果传入的是文件的路径，而不是文件名，则会出现报错,具体的解决方法是先切换到该文件的目录下，使用os模块获取该文件的文件名。02读写非文本文件2.读写非文本文件1.读写excel文件Excel文件也是比较常见的用于存储数据的方式，它里面的数据均是以二维表格的形式显示的，可以对数据进行统计、分析等操作。Excel的文件扩展名有xs和xlsx两种。Pandas中提供了对Excel文件进行读写操作的方法，分别为to_excel()方法和read_excel()函数，关于它们的操作具体如下。(1)使用to_excel()方法写入EXCEL文件to_excel()方法的功能是将DataFrame对象写人到Excel工作表中，该方法的语法格式如下:2.读写非文本文件(1)excel_writer:表示读取的文件路径。(2)sheet_name:表示工作表的名称，可以接收字符串，默认为“Sheet1”(3)na_rep:表示缺失数据。(4)index:表示是否写行索引，默认为True。2.读写非文本文件(2)使用read_excel()函数读取excel文件read_excel（）函数的作用是将Exeel文件中的数据读取出来，并转换成DataFrame对象，其语法格式如下:2.读写非文本文件上述函数中常用参数表示的含义如下:(1)i:接收字符串，表示路径对象。(2)sheet_name:指定要读取的工作表，可接收字符串或int类型，字符串指工作表名称int类型指工作表的索引。(3)header:用于解析DataFrame的列标签。如果传入一个整数列表，则这些行会合并为个Multindex对象。(4)index_col:用作行索引的列编号或者列名，如果给定一个序列，则表示有多个行索引。2.读写非文本文件2、读取HTML表格数据在浏览网页时，有些数据会在HTML网页中以表格的形式进行展示，对于这部分数据，我们可以使用Pandas中的read_html()函数进行读取，并返回一个包含多个DataFrame对象的列表。read_html()函数的语法格式如下:2.读写非文本文件上述函数中常用参数表示的含义如下:(1)i:表示路径对象。(2)header:表示指定列标题所在的行。(3)index_col:表示指定行标题对应的列。(4)attrs:默认为None，用于表示表格的属性值。2.读写非文本文件3.读写数据库的数据大多数情况下，海量的数据是使用数据库进行存储的，这主要是依赖于数据库的数据结构化、数据共享性、独立性等特点。因此,在实际生产环境中,绝大多数的数据都是存储在数据库中Pandas支持MySOL、Oracle、SQLite等主流数据库的读写操作。为了高效地对数据库中的数据进行读取，这里需要引入SQLAlchemy。SQLAIchemy是使用Pvthon编写的一款开源软件，它提供的SOL工具包和对象映射工具能够高效地访问数据库。在使用SQLAIchemy时需要使用相应的连接工具包，比如MySOL需要安装mysqlconnector，Oracle则需要安装cx_oracle。2.读写非文本文件注意:在连接MySQL数据库时，这里使用的是mysqlconnector驱动，如果当前的Python环境中没有该模块，则需要使用pipinstallmysql-connector命令安装该模块。下面以read_sql()函数和to_sql()方法为例，分别大家介绍如何读写数据库中的数据，具体内容如下。(1)使用read_sql()函数读取数据read_sql()函数既可以读取整张数据表，又可以执行SQL语句，其语法格式如下:2.读写非文本文件上述函数中常用参数表示的含义如下:(1)sql:表示被执行的SQL语句。(2)con:接收数据库连接，表示数据库的连接信息。(3)index_col:默认为None，如果传人一个列表，则表示为层次化索引。(4)coerce_float:将非字符串、非数字对象的值转换为浮点数类型。(5)params:传递给执行方法的参数列表，如params={'name:'value}。(6)columns:接收list表示读取数据的列名，默认为None。如果发现数据中存在空值，则会使用NaN进行补全。2.读写非文本文件(2)使用to_sql()方法将数据写入到数据库中to_sql()方法的功能是将Series或DataFrame对象以数据表的形式写入到数据库中，其语法格式如下:上述方法中，部分参数所表示的含义如下所示:(1)name:表示数据库表的名称。(2)con:表示数据库的连接信息。2.读写非文本文件(3)if_exists:可以取值为fail、replace或append，默认为fail。每个取值代表的含义如下:fail:如果表存在，则不执行写人操作。replace:如果表存在，则