《数据采集技术与应用》课件-3.1-2 http请求格式

http请求数据采集技术与应用内容/contentHTTP和HTTPS协议0102总结与思考03HTTP请求HTTP和HTTPS协议HTTP协议全称为超文本传输协议（HyperTextTransferProtocol），它用于将Web服务器的超文本资源传送到浏览器中。HTTP协议能够高效、准确地传送超文本资源，但浏览器与Web服务器的连接是一种一次性连接，它限制每次连接只能处理一个请求。这意味着每个请求都是独立的，服务器返回本次请求的应答后便立即关闭连接，下次请求再重新建立连接。对于网络爬虫来说，它采集的页面通常使用的是HTTP协议和HTTPS协议。HTTP和HTTPS协议HTTPS协议全称为超文本传输安全协议（HyperTextTransferProtocolSecure），该协议在HTTP协议基础上添加了安全套接字协议（SecureSocketsLayer，SSL），数据在传输过程中主要通过数字证书、加密算法、非对称密钥等技术完成互联网数据传输加密，实现互联网传输安全保护。对于网络爬虫来说，它采集的页面通常使用的是HTTP协议和HTTPS协议。HTTP请求浏览器向Web服务器发送的信息是一个HTTP请求，每个HTTP请求由请求行、请求头部、空行以及请求数据（有的也称为请求体）这4个部分组成。HTTP请求

请求行GET/item/Python/407313HTTP/1.1请求行的内容具体如下。在请求行中，GET表示向服务器请求网络资源时所使用的请求方法，/item/Python/407313表示请求的URL地址，HTTP/1.1表示使用的HTTP版本。HTTP请求

请求行常用的请求方法包括GET和POST，其中GET用于请求服务器发送某个资源，POST用于向服务器提交表单或上传文件，表单数据或文件的数据会包含在请求体中。请求方法GET和POST的区别主要体现两个方面。GET请求方法通过请求参数传输数据，最多只能传输2KB的数据；POST请求方法通过实体内容传输数据，可以传输的数据大小没有限制。传输数据大小GET请求方法的参数信息会在URL中明文显示，安全性比较低；POST请求方法传递的参数会隐藏在实体内容中，用户看不到，安全性更高。安全性HTTP请求

请求头请求行紧挨的部分就是若干个请求头信息，请求头主要用于说明服务器要使用的附加信息。Host用于指定被请求资源的服务器主机名和端口号。User-Agent用于标识客户端身份，通常页面会根据不同的User-Agent信息自动做出适配，甚至返回不同的响应内容。Accept用于指定浏览器或其他客户端可以接受的MIME文件类型，服务器可以根据该字段判断并返回适当的文件格式。Referer用于标识当前请求页面的来源页面地址，即表示当前页面是通过此来源页面里的链接进入的。HTTP请求

请求头请求行紧挨的部分就是若干个请求头信息，请求头主要用于说明服务器要使用的附加信息。Accept-Charse用于指定浏览器可以接受的字符集类型。Cookie用于在浏览器中寄存的小型数据体，它可以记载和服务器相关的用户信息，也可以用来实现模