大数据财务分析课件 2.3多表数据采集

大数据财务分析爱岗敬业诚实守信坚持准则提高技能廉洁自律客观公正参与管理强化服务项目二数据采集任务三多表数据采集爱岗敬业诚实守信一、DataFrame1.DataFrameDataFrame是二维数据结构，相当于Excel表格，每列值数据类型可以不同。DataFrame既有行索引，也有列索引，常用于表达二维数据。DataFrame是最常用的Pandas数据类型，也是财务数据在Python中的最佳存储方式。1）DataFrame的创建DataFrame由器同名函数创建，语法如下：Pd.DataFrame(data,columns=[序列]，index=[序列]）若不传入columns和index参数，则默认为自动索引（从0开始）通常以二维数据创建DataFrame廉洁自律客观公正一、DataFrame2.DataFrame的简单运算DataFrame可以直接提取出行列数据进行加减乘除等运算。df[‘资产负债率’]=df[‘负债总额’]/df[‘资产总额‘]坚持准则提高技能一、DataFrame3.DataFrame的基本函数DataFrame的操作函数有许多。①rename()函数rename()函数：对行索引及列重命名，修改列名传入columns参数、修改行索引传入index参数。rename()函数适合用于修改个别索引或列名，如需修改全部行列索引名，可直接对df.columns、df.index属性重新赋值，但需注意的是，使用该方法必须对所有行索引或列索引进行修改。参与管理强化服务一、DataFrame3.DataFrame的基本函数②insert（）函数insert（）函数：将列插入DataFrame中的指定位置。Insert()函数语法如下：DataFrame.insert(loc,column,value,allow_duplicates=False)loc:int,插入列的位置，表示第几列，插入第一列为loc=0Column:插入列的列名Value:插入的值，可选（int,Series,数组）allow_duplicates：是否允许列名重复，默认为False，如果列名已经存在则报错，设置为True表示允许列名重复。爱岗敬业诚实守信一、DataFrame3.DataFrame的基本函数③drop()函数labels:单个标签或标签列表axis:{0或’index’,1或‘column’}，是从索引还是列中删除标签，默认0，从行索引中删除index：单个标签或标签列表:index=labels等效于labels,axis=0columns:单个标签或标签列表：columns=labels等效于labels,axis=1Inplace:默认为False，返回新的DataFrame，True表示直接在原数据上删除。二、文件的读取廉洁自律客观公正Excel文件的读取在实际工作中，人们经营使用Excel进行数据处理和保存。作为功能强大的Python,它也可以从Excel中读取数据，并为其所用。

Excel文件的读取：Pandas读取Excel文件使用read_excel()函数。三、任务实战坚持准则提高技能任务1：从上交所XBRL教学专用仿真网站采集上市公司的报表数据，了解数据采集的Python代码，理解爬虫的基本原理和步骤。任务要求：利用大数据技术，采集浦发银行于招商银行2015-2016年资产负债表和利润表数据。操作步骤：1.确认数据源2.通过Python代码，采集所需数据3.保存采集到的数据信息参与管理强化服务三、任务实战任务2：从上交所XBRL教学专用仿真网站采集上市公司的报表数据，了解数据采集的Python代码，理解爬虫的基本原理和步骤。任务要求：利用大数据技术，采集美克家居、柳钢股份、三一重工、贵州茅台2019-2020年利润表、现金流量表数据。操作步