网页数据源获取

网页数据源获取网络爬虫概述网络爬虫（又称为网络蜘蛛、网络机器人等），是一种按照一定的规则，自动抓取网络信息的程序或者脚本。网络爬虫的基本原理是用户通过网址（URL）向服务器发送访问请求（HTTP请求），服务器在收到客户的请求以后，验证请求的有效性，然后向客户端发送响应内容（Response），客户端接收并将内容展示出来。网络爬虫类似于模拟用户浏览网页的操作，通过模拟浏览器向网站发送请求，再获得相关资源后，从中提取有用的数据并进行保存。网络爬虫的一般工作流程如图1所示。图1网络爬虫的基本流程URLURL（UniformResourceLocator）是统一资源定位符，是对互联网上得到资源的位置和访问方法的一种简洁表示，URL具有全球唯一性。URL的一般语法格式为：协议+IP地址（域名）+端口号+路径+参数+查询+信息片段，例如:http://www.*****.com/***，其中http为传输协议，www.*****.com为域名，/***为路径。中联集团教育科技有限公司的URL如图2所示。图2中联集团教育科技有限公司URLHTTP协议1.HTTP协议的含义HTTP（HyperTextTransferProtocol，超文本传输协议）是用于从网络传输超文本数据到本地浏览器的传输协议，它能够保证高效而准确地传送超文本书档。HTTP请求是目前互联网上应用最为广泛的一种网络请求方式，常见的是在网络浏览器中输入一个网址，在访问网页时，服务器把网页传送给浏览器，实际上就是把网页的HTML代码发送给浏览器，从而让浏览器显示出来，浏览器和服务器之间的传输协议即是HTTP协议。HTTP协议2.HTTP请求过程在浏览器中输入一个URL，按回车键后，在浏览器中观察页面内容，其中的过程是浏览器向网站所在服务器发送一个Request（请求），网站服务器接收到Request后进行处理和解析，然后返回对应的Response（响应），传回浏览器，Response中包含页面的源代码等内容，浏览器再对其进行解析便会将网页呈现出来，如图3所示。图3请求响应模型HTTP协议3.RequestRequest由客户端向服务端发出，是一个功能强大的网络请求库，可以请求网站获取网页上的数据。Request的引入规则为：importrequests。可以将Request划分为以下4部分内容：RequestMethod：请求方法。RequestURL：请求URL地址。RequestHeaders：请求标头。RequestBody：请求体。一般承载的内容是POST请求中的表单数据，而对于GET请求，RequestBody则为空。HTTP协议4.ResponseResponse对象包含爬虫返回的内容，由服务端返回给客户端。Response可以划分为以下3部分：ResponseStatusCode：请求返回状态码。200表示连接成功，404或其他表示失败。ResponseHeaders：响应标头。ResponseBody：响应体。响应的正文数据都包含在响应体中。在执行网络爬虫程序中，主要解析的内容就是ResponseBody，通过ResponseBody可以得到网页的源代码、JSON数据等，然后提取其中的内容。HTTP协议5.示例在中联教学平台中打开JupyterNotebook工具，新建一个Python文件，在代码编辑区域中输入如下代码：importrequests#导入爬虫的request库，不然调用不了爬虫的函数response=requests.get("/")#生成一个response对象response.encoding=response.apparent_encoding#设置编码格式pri