《大数据采集技术》课件-项目3：校园消费数据存储

大数据，大智慧，大未来项目3：3.1校园消费数据存储项目描述项目2介绍了校园消费数据采集的方法，并将采集到的数据分别保存于二维列表、列表字典组合以及dataframe数据框中，本项目将介绍二维列表数据保存为csv文件和mysql数据库，列表字典组合保存为csv文件，以及dataframe数据保存为csv文件和excel文件的方法。数据格式csv文件excel文件mysql数据库二维列表形式√

√列表字典组合形式√

dataframe形式√√任务分解项目3校园消费数据存储任务3.3字典列表组合保存为csv文件csv任务3.4dataframe保存为csv文件pandas任务3.1二维列表保存为csv文件open任务3.5dataframe保存为excel文件

任务3.2二维列表保存为mysql数据库pymysql0102030405大数据，大智慧，大未来3.2二维列表保存为MySQL数据库任务描述本任务将介绍如何使用pymysql第三方库，将二维列表数据保存于mysql数据据。在完成本任务之前，如果电脑上还没有安装mysql，请参照本项目附录进行安装，并创建数据库myCrawl，并在该数据库中创建数据表，然后再执行保存操作。壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录知识储备第一环节pymysql知识点3.2pymysqlpymysql是一个python连接操作mysql数据的一个模块。对于数据库的操作，我们一般是这样的操作：（1）连接数据库（2）数据库的操作（增删改查）（3）关闭数据库连接知识点3.2pymysql知识点3.2pymysqlconnect()方法返回要给数据库连接对象，参数可以传入很多，常用的参数有：host、port、user、password、database、charset。

host：mysql服务器地址

port：mysql服务器连接端口，默认值为3306

user：用户名

password：密码

database：数据库名称

charset：编码方式，推荐使用"utf8mb4"执行完sql操作后，必须使用close()关闭,close()数据库连接对象的一个方法，用于关闭数据库连接。

技能小练技能小练第二环节技能2：pymysql小练要求（1）创建数据库myCrawl，往数据表tb_zhifubao插入如下记录；（2）查询tb_zhifubao表，显示所有字段值。交易时间交易号订单号支付渠道业务类型门店名称餐别会员姓名会员编号应收金额实收金额是否分账子收款商户号分账状态2022-03-1508:36:432022031522001414811403915340220315083644426789支付宝收款教工食堂--王海圳20091631301.501.50否----任务实施第三环节子任务划分定义函数，使用pymysql第三方库将二维列表保存为musql数据库函数定义创建数据库和数据表创建数据库创建数据表函数调用及验证调用函数，将数据保存为mysql数据库查看数据库，验证结果任务小结第四环节任务小结通过知识储备我们掌握了pymysql第三方库的用法，理解了使用pymysql第三方库将数据保存到mysql数据库，并查询显示其中数据，在任务实施阶段，我们使用pymysql将以二维列表保存的消费数据存储为mysql数据库，为后续数据分析做准备。大数据，大智慧，大未来3.3字典列表组合保存为CSV文件任务描述在任务2.4.2中，将采集到的消费数据保存为列表字典组合，如图所示。本任务将介绍如何使用csv标准库，把列表字典组合数据保存为csv文件。壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录知识储备第一环节CSV知识点3.3csvCSV，Comma-SeparatedValues，中文名为逗号分隔值，其文件以纯文本形式存储表格数据（数字和文本）。CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。csv文件可以用excel或者记事本打开。csv库常用的对象：

csv.reader：从csv文件读取数据，返回list

csv.writer：往csv文件写入数据，需要传入list

csv.DictReader：从csv文件读取数据，返回dict

csv.DictWriter：往csv文件写入数据，需要传入dict

csv.Dialect:指定csv文件的解析格式，可以利用它自定义csv格式

技能小练技能小练第二环节技能3：csv小练要求通过csv将一个学生的信息保存于csv文件，学号：2303430103，姓名：包嘉琪。任务实施第三环节子任务划分调用函数，将字典列表组合保存为csv文件打开csv文件，验证结果函数调用及验证函数定义定义函数，使用csv标准库将字典列表组合保存为csv文件。任务小结第四环节任务小结通过知识储备我们掌握了csv标准库的用法，理解了使用csv标准库将字典列表组合数据保存到csv文件，并查看其中数据，在任务实施阶段，我们使用csv将以字典列表组合保存的消费数据存储为csv文件，为后续数据分析做准备。大数据，大智慧，大未来3.4dataframe保存为CSV文件任务描述在任务2.4.3中，将采集到的消费数据保存为dataframe数据框，如图所示。本任务将介绍如何使用pandas库，保存数据到csv文件。壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录知识储备第一环节pandas知识点3.4pandaspandas是基于NumPy

的一种工具，该工具是为解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。Pandas包含以下数据结构：

Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。

Time-Series：以时间为索引的Series。

DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。

Panel：三维的数组，可以理解为DataFrame的容器。

Panel4D：是像Panel一样的4维数据容器。

PanelND：拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。

技能小练知识点3.4pandaspandas.DataFrame.to_csv(path_or_buf=None,sep=",",na_rep="",float_format=None,columns=None,header=True,index=True,index_label=None,mode="w",encoding=None,compression="infer",quoting=None,quotechar='""',line_terminator=None,chunksize=None,date_format=None,doublequote=True,escapechar=None,decimal=".")知识点3.4pandas重要参数：

path_or_buf:指定导出的CSV文件路径，或者指定一个缓冲区对象，例如StringIO。

sep：指定分隔符，默认为逗号（,）。可以根据需要更改为其他字符，例如制表符（\t）。

header：是否写入列名，默认为True。

index：是否写入行索引，默认为True。

encoding：指定文件编码。常见的编码格式有utf-8和gbk。

compression：指定压缩格式，例如infer，gzip，bz2，或xz。可以有效减少文件体积。

quoting：控制是否使用引号包裹字段，0表示不使用，1表示使用最小数量的引号，2表示为所有字段使用引号。技能小练第二环节技能4：pandas小练要求分别定义2个数据框，每个数据框记录4个学生信息，包含学生学号、姓名，通过concat方法，将这两个数据框在水平方向和垂直方向分别进行连接。任务实施第三环节任务小结第四环节任务小结通过知识储备我们掌握了pandas数据框存储数据以及进行数据框的连接操作，掌握.to_csv方法，在任务实施阶段，我们使用.to_csv将以dataframe数据框保存的消费数据存储为csv文件，为后续数据分析做准备。大数据，大智慧，大未来3.5dataframe保存为Excel文件任务描述在任务2.4.3中，将采集到的消费数据保存为dataframe数据框，如图所示。本任务将介绍如何使用pandas库，保存数据到Excel文件。壹知识储备Knowledgereserve贰技能小练Skillpractice叁任务实施Taskimplementation肆任务小结TasksummaryCONTENTS目录知识储备第一环节pandas知识点3.4pandaspandas.DataFrame.to_excel(excel_writer,sheet_name='Sheet1',na_rep='',float_format=None,columns=None,header=True,index=True,index_label=None,startrow=0,startcol=0,engine=None,merge_cells=True,encoding=None,inf_rep='inf',verbose=True,freeze_panes=None)知识点3.4pandas

excel_writer：文件路径或现有的ExcelWriter。如果我们创建的ExcelWriter对象的文件名已经存在，会删除原文件，创建新的文件。

sheet_name：指包含DataFrame的工作表的名称。

na_repr：缺少数据时候的表示形式。

float_format：可选参数,用于格式化浮点数字符串。

columns：要写入的列。

header：写出列名。如果给出了字符串列表,则假定它是列名的别名。不需要列名时参数设置为false即可。

index：写入索引。index_label：引用索引列的列标签。如果未指定,并且标头和索引为True,则使用索引名称。如果DataFrame使用MultiIndex,则应给出一个序列。知识点3.4pandas

startrow：默认值0。它指向转储DataFrame的左上单元格行。

startcol：默认值0。它指向转储DataFrame的左上方单元格列。

engine：可选参数,用于写入要使用的引擎,openpyxl或xlsxwriter。

merge_cells：返