《大数据技术基础与财务应用》课件 项目六任务三 集成财务报表数据

Python在财务中的应用字符串类型及其操作字符串类型及其操作集成财务报表数据集成财务报表数据小家电上市公司行业数据全部清洗完成之后，为了能实现批量计算财务指标数据，进行报表分析，周会计准备将所有小家电上市公司的资产负债表、利润表以及现金流量表合并成一份大合并报表。资产负债表利润表现金流量表大合并报表集成财务报表数据表任务三

数据集成任务实施导入pandas库、numpy库，准备代码环境读取股票代码文件创建存储三大报表的空表格for循环读取小家电行业每家公司的资产负债表、利润表和现金流量表对所有报表截取前7列数据保存合并后的大报表到文件在所有报表的第一列添加公司名称合并所有公司的三大报表任务实施流程任务实施导入pandas库、numpy库，准备代码环境创建存储三大报表的空表格在所有报表的第一列添加公司名称读取股票代码文件for循环读取小家电行业每家公司的资产负债表、利润表和现金流量表对所有报表截取前7列数据246135合并所有公司的三大报表7任务三数据集成保存合并后的大报表到文件8数据清洗任务实施相关知识点数据集成数据连接数据合并merge函数join函数concat函数append函数集成财务报表数据素养小课堂这种集成并不仅仅体现在我们做数据处理、数据分析的过程当中，在我们的生活当中以及我们国家的发展中，这一点也体现得非常的突出。比如一带一路、中国与东盟各国的合作等等。“水涨荷花高”“独行快，众行远”“一棵树挡不住寒风”“大河有水小河满，小河有水大河满”这些说的都是一个道理，只有合作共赢才能办大事、办好事、办长久之事。集成财务报表数据表数据横向连接字符串类型及其操作分析数据往往来源于不同渠道，在进行数据分析时经常需要融合多方信息，比如分析财务指标时通常涉及资产负债表、利润表数据和现金流量表，那么在Pandas中，如何将多个表格的数据合并或者连接在一起呢？表数据横向连接数据横向连接数据的集成，根据连接的方向不同，可以分成横向连接和纵向连接。表pandas提供了多种连接、合并的方法包括merge()函数、concat()函数、join()函数、append()函数这些函数均适用于不同DataFrame的合并，但适用的场景有所不同merge()函数：具有表连接功能，类似于Excel中的vlookup函数，可以根据一个或多个键(列值)将不同DataFrame连接起来。merge()函数应用场景：两个DataFrame存在相同的键，根据键整合到一张表中。数据连接函数包括merge()函数和join()函数数据横向连接数据横向连接表merge()函数的语法格式如图所示数据横向连接merge()函数的参数参数说明left、right两个不同的DataFramehow连接方式，有inner、outer、left、right，默认为inner内连接on用于连接的列索引名称，左右两个DataFrame中必须同时存在，如果没有指定且left_index和right_index为False，则以两个DataFrame列名交集作为连接键left_on左侧DataFrame中用于连接键的列名，该参数在左右列名不同但代表的含义相同时非常有用right_on右侧DataFrame中用于连接键的列名left_index默认False，设置为True代表使用左侧DataFrame中的行索引作为连接键right_index默认False，设置为True代表使用右侧DataFrame中的行索引作为连接键sort默认为False，是否将合并的数据进行排序，设置为False可以提高性能suffixes字符串值组成的元组，两个表存在除主键之外的相同列名时，在列名后面附加的后缀名称用以区分数据来源于哪个表，默认为('_x','_y')copy默认为True，设置为False，可以在某些特殊情况下避免将数据复制到结果数据结构中。indicator默认为False，是否显示每行数据的来源validate自动检查其合并键中是否有意外的重复项数据筛选与查询'接下来，我们以数据集成数据源，为同学们演示左连接、右连接、内连接、外连接四种不同方式的数据连接操作。资产负债表数据筛选与查询'利润表数据连接的另外一个函数是join()函数，连接另一个DataFrame的列(横向连接)，与merge()函数功能类似，区别在于两者适用的场景有所不同。join()函数适用场景：无重复列名的两个DataFrame基于行索引进行列拼接。表数据横向连接join()函数语法格式如图所示数据横向连接join()函数的参数参数说明other连接的DataFrameon指定左表中用于连接的列名，右边必须有相同的列（需设置为索引）how连接方式，有inner、outer、left、right，默认为left左连接lsuffix两表列名重复时，左表的使用的后缀rsuffix两表列名重复时，右表的使用的后缀sort默认为True，将合并的数据进行排序，设置为False可以提高性能一二三小结与反思本节重难点理解横向连接和纵向连接横向连接中不同的连接方式，左连接、右连接、内连接、外连接的区别以及连接原理掌握merge()函数和join()函数小结与反思

课后思考：同学们可以使用上述数据集成数据源，尝试用join()函数做四种连接，并思考和merge()函数有哪些不同。集成财务报表数据表数据纵向连接字符串类型及其操作表数据纵向连接资产负债表利润表数据表的纵向连接，也叫做数据纵向合并。pandas提供了concat()函数和append()函数，用于实现表格的简单拼接。concat()函数：沿特定轴连接两个或两个以上的DataFrame，既可实现纵向合并也可实现横向合并，行列索引均可重复。concat()函数适用场景：两个或多个DataFrame进行横向(列拼接)或纵向合并(行拼接)。表数据纵向连接数据横向连接表concat()函数的语法格式如图所示表数据纵向连接concat()函数的参数参数说明objs连接对象axis轴向，0代表纵向合并(行拼接)，1代表横向合并(列拼接)，默认是0join连接方式，有inner(交集)、outer(并集)，默认为'outer'ignore_index是否重建索引，默认Falsekeys传递键作为最外层级来构建层次结构索引，默认Nonelevels生成层次索引的级别，默认Nonenames生成层次索引的名称，默认Noneverify_integrity检测新的串联轴是否包含重复项，默认为Falsesort将合并的数据进行排序，设置为False可以提高性能，默认为Truecopy是否复制，默认为True表数据纵向连接默认axis=0，将表格进行纵向合并(行拼接)，拼接后的表格，行列索引均进行如下操作：表axis=1，将表格进行纵向合并(行拼接)，拼接后的表格，行列索引均进行如下操作：（1）index=index(df1)+index(df2)→直接累加（2）columns=columns(df1)∪columns(df2)→累加去重（1）columns=columns(df1)+columns(df2)→直接累加（2）index=index(df1)∪index(df2)→累加去重表数据纵向连接表在数据集成的任务实施中，我们看到通过代码实施表数据纵向连接append()函数：向DataFrame对象中添加新的行(纵向合并)，如果添加的列名不在DataFrame对象中，将会被当作新的列进行添加。append()函数适用场景：两个DataFrame纵向连接，是concat(axis=0)的简略形式。数据纵向连接表append()函数语法格式如图所示：这里要注意，和concat()函数不同，append函数前是接数据表名，而不是pandas库名。数据纵向连接append()函数的参数参数说明other需要追加的DataFrameignore_index是否重建索引，默认为Falseverify_integrity具有重复项的索引是否抛出异常，默认为Falsesort默认为True，将合并的数据进行排序一二三小结与反思本节重难点掌握数据表的纵向连接学会使用concat(