《大数据技术基础与财务应用》课件 项目六任务一 获取财务报表数据

Python在财务中的应用字符串类型及其操作获取财务报表数据字符串类型及其操作江西绿色家电有限责任公司的周会计，准备利用Python语言工具爬取小家电行业数据，并且将江西绿色家电有限责任公司的财务报表数据和同行业数据进行对比分析，实现智能化的财务报表分析。'任务解读任务实施步骤从科云大数据中心获取小家电行业上市公司股票代码列表。0102获取财务报表数据利用小家电上市公司股票代码列表数据，批量获取该行业所有上市公司资产负债表、利润表、现金流量表数据，并且将数据存储在处在行业数据文件夹当中。获取财务报表数据这个任务，我们可以分成两个步骤展开第一步，从科云大数据中心获取小家电行业上市公司股票代码列表。任务实施步骤表任务实施流程任务实施1-1观察科云大数据中心-板块模式-行业板块数据和网络地址爬取小家电行业列表数据读取上市公司代码与名称，存储为字典并输出导入模板，准备代码环境观察小家电行业列表数据，将数据转化为列表，并存储为DataFrame格式将公司代码数据存储为DataFrame格式并保存至excel表格中246135任务实施1-1观察科云大数据中心-板块模式-行业板块数据和网络地址导入模板，准备代码环境爬取小家电行业列表数据观察小家电行业列表数据，将数据转化为列表，并存储为DataFrame格式将公司代码数据存储为DataFrame格式并保存至excel表格中读取上市公司代码与名称，存储为字典并输出表任务实施1-2在科云大数据中心搜索任意一家小家电上市公司代码，观察其财务报表的网络地址并总结规律利用pandas读取小家电行业所有上市公司资产负债表并保存利用for循环读取上市公司代码和名称利用pandas读取小家电行业所有上市公司利润表并保存利用pandas读取小家电行业所有上市公司现金流量表并保存第二步，利用股票代码列表去读取所有上市公司的资产负债表、利润表和现金流量表。任务实施流程任务实施1-2在科云大数据中心搜索任意一家小家电上市公司代码，观察其财务报表的网络地址并总结规律利用pandas读取小家电行业所有上市公司资产负债表并保存利用pandas读取小家电行业所有上市公司现金流量表并保存利用for循环读取上市公司代码和名称利用pandas读取小家电行业所有上市公司利润表并保存25134任务相关知识点本任务涉及知识点任务实施涉及的知识点pandas库的认识掌握pandas库如何对文件进行读取和保存操作案例导入在本任务实施过程中，同学们除了需要学习并掌握以上知识点，还要注意开展数据处理活动应当遵守《中华人民共和国数据安全法》，诚实守信，履行数据安全保护义务，防范信息泄露，保护数据安全。素养小课堂网络爬虫的含义网络数据的爬取，即网络爬虫，是一种按照一定规则，自动抓取网络信息的程序。可以将网络爬虫理解为在网络上爬行的一只蜘蛛，互联网就像一张大网，爬虫便是在这张网上爬来爬去的蜘蛛，如果遇到猎物(即所需的资源)，就会将其抓取下来。所以爬虫的目的在于将目标网页数据下载至本地，以便于进行后续的数据分析。网络爬虫定义网络爬虫的原理爬虫就是模拟用户浏览网页的操作，通过模拟浏览器向网站发送请求，获取资源后提取有用的数据并保存。网络爬虫原理网络爬虫的基本流程网络爬虫基本流程表发送请求表获取响应内容表解析内容表保存数据网络爬虫的基本流程两者作用相同示例如下网络爬虫基本流程URL（UniformResourceLocator）统一资源定位符：也就是网址,是对互联网上资源位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。HTTP协议超文本传输协议：互联网上应用最为广泛的一种网络协议，所有网页文件都必须遵守这个标准，设计HTTP最初的目的是提供一种发布和接收HTML页面的方法。字符串定义及其运算字符串常用函数字符串格式化网络爬虫的基本流程网络爬虫基本流程一个网页对应一个唯一的URL，网页中加载的图片、视频、文件也同样对应一个唯一的URL，在一个HTML页面中可能存在多个URL，想要获取一个页面内所有URL链接，则需在爬取网页后，利用python解析库对爬取的页面进行解析，提取所有URL。网络爬虫操作实例网络爬虫操作实例利用Pandas库中的read_json()爬取科云大数据中心的数据；'通过read_html()从新浪财经网站爬取海澜之家的利润表数据。一二三小结与反思本节重难点理解网络爬虫的基本原理了解常用的网络爬虫专业词汇掌握简单网页如何用pd.read_html()或者pd.read_json()爬取数据小结与反思

课后思考：很多网站是动态渲染的，就难以通过pd.read_html()或者pd.read_json()直接获取。同学们思考下这种情况下，该如何爬取网络数据呢？获取财务报表数据认识Pandas字符串类型及其操作获取财务报表数据认识Pandas字符串类型及其操作提纲OUTLINEpandas简介DataFrame数据结构pandas数据类型小结与反思导入pandas模块Series数据结构pandas简介Pandas在英文译为“熊猫”，但是在Python中，Pandas是一个扩展程序库，可以把它理解为数据工具箱，用于数据分析。Pandas的优点在于，它纳入了大量数据库和数据模型，提供了高效地操作大型数据集所需的工具。因此，使用它处理数据会更加简单、便捷。pandas简介Pandas是基于NumPy的一种工具，最初是作为金融数据分析而开发出来的。而NumPy是Python语言的第三方库，是一个很重要、使用很多的科学计算包。Pandas与NumPy两者之间的区别在于其作用不同，简单来说，Pandas是专门为处理表格和混杂数据而设计的，而NumPy更适合处理统一的数值数组数据。pandas简介pandas简介表导入pandas模块导入pandas模块Pandas引入规则：importpandasaspd输入上述代码，后续调用pandas相关的函数时，直接在其前加上“pd.”就可以了，比如上节中的pd.read_html()、pd.read_json()pandas数据类型一维数据结构，能够保存任何数据类型（整数、浮点数、字符串等），相当于excel表中的一列seriesDataFramepandas数据类型二维数据结构，相当于excel表格，DataFrame是最常用的Pandas数据类型，也是财务数据在Python中的最佳存储方式。pandas数据类型表Series数据结构Series数据结构Series类型可由Python列表、字典、NumPy数组等数据类型创建，Series数据类型使用其同名函数创建。Series是一种一维数据结构，类似于Python列表，由一组数据及与之相关的数据索引组成，每个元素带有一个自动索引(索引从0开始，也称为原始索引)，除自动索引外，还可以自定义索引，自定义索引可以是数字或字符串(自定义索引可重复)。DataFrame数据结构DataFrame数据结构表DataFrame是一个表格型的数据类型，每列值数据类型可以不同，DataFrame既有行索引，也有列索引，常用于表达二维数据。DataFrame数据结构DataFrame的创建DataFrame由其同名函数创建，语法如下：pd.DataFrame(data,columns=[序列],index=[序列])通常以二维数据创建DataFrame数据结构DataFrame具有index、columns、values、dtypes属性，这些属性分别表示数据表的行索引、列索引、二维数组数据以及各部分的属性。DataFrame的属性表DataFrame的属性DataFrame数据结构属性说明实例结果indexDataFrame的行索引属性df.indexRangeIndex(start=0,stop=4,step=1)columnsDataFrame的列索引属性df.columnsIndex(['code','name'],dtype='object')valuesDataFrame的numpy原生二维数组数据df.values[['688169'‘石头科技’][‘605555’’德昌股份’][‘301332’’德尔玛’][‘603486’’科沃斯’][‘300272’’开能健康’]]dtypessizeshapendimDataFrame具有ndarray数组的部分属性df.dtypescodeobjectnameobjectdtype:objectDataFrame数据结构DataFrame与Series的相互转化DataFrame单独取一列或一行就是一个Series可以通过pd.DataFrame()函数将Series数据转化为DataFrame数据类型一二三小结与反思本节重难点了解了pandas的两种数据类型掌握如何创建Series数据和DataFrame数据掌握两种数据类型如何相互转化小结与反思

课后思考：请同学们结合本节内容思考一下，Series数据和DataFrame数据创建函数小写和大写有没有区别呢？获取财务报表数据Pandas文件操作字符串类型及其操作提纲OUTLINE读取excel文件写入excel文件字符串定义及其运算字符串常用函数字符串格式化读取excel文件读取excel文件pandas支持将数据写入单个或多个Excel工作表，使用函数to_excel()，它的参数和读取文件的参数类似。写入单个工作表语法规则如图读取excel文件写入excel文件写入单个工作表表参数参数说明实例excel_writer文件路径r'E:\python课程\作业\教材案例编写\写入文件.xlsx'sheet_name导出的excel表名1、sheet_name='Sheet1'：默认表名为'Sheet1'2、sheet_name='表名'：自定义表名index是否输出行索引1、index=True：默认输出；2、index=None：不输出写入excel文件接下来我们再来了解下写入多个工作表，它不是多个表的简单累加，相对比较复杂语法规则如图：写入多个工作表写入excel文件表写入多个工作表参数说明with适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭等mode值为”w”或”a”。当mode=”w”时，当前文件的内容会被写入的内容覆盖；当mode=”a”时，会在原有的Excel文件中追加写入的内容。如果参数sheet_name使用了跟已有sheet相同的名称，那么系统会自动添加一个序号作为后缀engine当操作的E