12-Python数据分析项目实战-项目二

项目二、天气后报网气温信息的获取与可视化分析

【项目概要】本项目使用requests库和BeautifulSoup库获取了天气后报网“北京市2021年12个月中每月的最高最低气温和月平均最高温度和最低温度，并使用DataFrame对获取的温度信息进行数据的聚合与分组运算，将数据结果使用柱形图和折线图相结合的方式进行可视化分析。requests库和BeautifulSoup库是爬虫程序常用的两个库，可以用于一般网页信息的爬取。【项目概要】使用requests库获取网页的HTML标签使用BeautifulSoup库对页面进行解析Matplotlib库的使用Matplotlib库pyplot模块的使用bar()函数的使用plot()函数的使用【技术分析】本项目首先使用requests库对天气后报网中北京市2021年12个月的温度信息分别进行获取，将获取到的信息保存到12个csv格式的文件中，在JupyterNotebook中对12个月的信息进行了合并，对所有的数据进行了去文本字符、分割等处理，接着使用数据的聚合与分组计算出每个月的最高最低温度以及月平均温度，最后使用Matplotlib库的bar()函数和plot()函数对获取的信息进行了柱状图和折线图的可视化展示。【技术分析】1、requests库requests库是第三方库，作用是请求网站并获取网页数据，最常用的方法是get()方法，用来进行http请求，图所示代码可以将京东主页的HTML标签信息获取到本地。

【技术分析】2、BeautifulSoup库BeautifulSoup库一个可以从HTML或XML标签中获取文本数据的Python第三方库，语法格式如下：mySoup=BeautifulSoup(“标签”,“解析器”）解析器名称优势劣势Python标准解析器（html.parser）Python的内置标准库执行速度适中Python早些版本文档容错能力差lxml解析器速度快文档容错能力强需要安装C语言库html5lib解析器最好的容错性以浏览器的方式解析文档生成HTML5格式的文档速度慢【技术分析】2、BeautifulSoup库本项目中BeautifulSoup库用的方法有find()方法、find_all()方法和select()方法。find()方法返回第一个满足条件的标签，只返回一个元素。find_all()方法返回满足条件的所有的标签，返回多个元素。如果需要通过标签名查找标签使用soup.select(‘title’)；如果通过类名查找使用soup.select(’.sister’)；如果通过id名查找使用soup.select(’#link1’)【技术分析】3、Pandas库的concat()函数Pandas是基于NumPy的一种工具，该工具是为解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。Pandas库的concat()函数可以沿着一条轴将多个对象进行堆叠，类似于数据库中表的合并，其语法和常用参数含义如下：【技术分析】3、Pandas库的concat()函数语法：concat(objs,axis=0,join=‘outer‘,join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True):参数含义：objs：参与连接的对象的组合。axis：连接的轴向，可以是0或1，默认0，0表示按行连接（行增加连接），1表示按列连接（列增加连接）。join：连接的方式，inner表示内连接，outer表示外连接，默认使用外连接。【技术分析】4、数据的聚合与分组运算对数据集进行分组并对各组应用一个函数，通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby()方法，能以一种自然的方式对数据集进行切片、切块、摘要等操作。【技术分析】4、数据的聚合与分组运算对数据进行分组操作的过程可以概括为三步：（1）按照键值（key）或者分组变量将数据分组。（2）对于每组应用我们的函数，可以是python自带函数，可以是我们自己编写的函数。（3）将函数计算后的结果聚合。【技术分析】4、Matplotlib库Matplotlib是一个Python的2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。通过Matplotlib开发者可以仅需要几行代码，便可以生成直方图，功率谱，条形图，错误图，散点图等。【技术分析】4、Matplotlib库要使用Matplotlib绘图，要导入pyplot模块，该模块包含的主要函数有：（1）figure()函数：调整画布的大小（2）xticks()和yticks()函数：用来设置x轴和y轴的刻度信息（3）xlabel()、ylabel()和title()函数：设置x轴和y轴的标签信息和图像的标题（4）text()函数：在绘制的图片任何地方添加描述信息（5）savefig()函数：保存绘制好的图片（6）show()函数：显示图片【技术分析】6、bar()函数Matplotlib库中绘制柱状图的函数为bar()，其语法和参数含义如下：语法：bar(x,height,width=0.8,bottom=None,*,align='center',**kwargs)参数含义：x:标量型，指定x的坐标height：指定柱形图的高度，一般就是我们需要展示的数据的大小width：标量型，指定柱形图的宽度，一般0.8即可bottom：标量或标量类数组型，指定y坐标的起始高度align：指定对齐方式，可选{‘center’,‘edge’}【技术分析】7、plot()函数Matplotlib库中绘制折线图的函数为plot()，其语法和参数含义如下：语法：plt.plot(x,y,format_string,**kwargs)参数含义：

x：X轴数据，列表或数组，可选

y：Y轴数据，列表或数组

format_string：控制曲线的格式字符串，可选，其中要说明的是format_string，包含的主要类型有颜色字符：'b','k'等，风格字符：'-','--'等，标记字符：每个数据点的标志方式,'.',