《商务数据分析》 课件 2-3网络请求响应流程

BusinessDataAnalysis商务数据分析网络请求响应流程HTTP请求响应过程输入怎么就出现了百度界面？这个过程是浏览器向网站所在的服务器发送了一个HTTP请求，获得了服务器的响应。HTTP请求响应过程HTTP请求响应过程HTTP请求响应过程客户端输入URL域名解析发送HTTP请求与服务器建立连接服务器响应HTTP请求返回页面源代码客户端浏览器解析网页源代码对页面进行渲染URL统一资源定位符（UniformResourceLocator）是一种WWW上资源位置的唯一识别方法。URL例如：URLURL的一般由4部分组成，语法格式为(带方括号[]的为可选项，可省略)：protocol://hostname[:port]/path/[;parameters][?query]#fragmentURLProtocol（协议）指定使用的传输协议，数据采集中最常遇到的是HTTP/HTTPS协议。Hostname（主机名）是指存放资源的服务器的域名系统(DNS)主机名或IP地址。Port（端口号）各种传输协议都有默认的端口号，如http协议的默认端口为80。如果输入时省略，则使用默认端口号。Path（路径）由零或多个“/”符号隔开的字符串，一般用来表示主机上的一个目录或文件地址。Parameters（参数）这是用于指定特殊参数的可选项。Query（查询）可选，用于给动态网页传递参数，可有多个参数，用“&”符号隔开，每个参数的名和值用“=”符号隔开。Fragment（信息片断）用于指定网络资源中的片断。例如一个网页中有多个名词解释，可使用fragment直接定位到某一名词解释。域名解析发给谁？服务器1服务器2服务器n……？？？？？？我们访问网页常用的方式是在浏览器中输入URL例如域名解析服务器地址：IP域名解析（DNS）域名解析（DNS)是把域名URL指向网站空间IP，让人们通过注册的域名可以方便地访问到网站的一种服务。请求HTTP请求报文请求行请求头部空行请求数据请求以请求简书中某文为例：https:///p/5dd5993f981b请求请求行分为三个部分：请求方法、请求地址URL和HTTP协议版本。例如，GET/p/5dd5993f981bHTTP/1.1序号方法描述1GET请求指定的页面信息，并返回实体主体。2HEAD类似于GET请求，只不过返回的响应中没有具体的内容，用于获取报头3POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。4PUT从客户端向服务器传送的数据取代指定的文档的内容。5DELETE请求服务器删除指定的页面。6CONNECTHTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。7OPTIONS允许客户端查看服务器的性能。8TRACE回显服务器收到的请求，主要用于测试或诊断。9PATCH是对PUT方法的补充，用来对已知资源进行局部更新。请求请求行分为三个部分：请求方法、请求地址URL和HTTP协议版本。例如，GET/p/5dd5993f981bHTTP/1.1序号方法描述1GET请求指定的页面信息，并返回实体主体。2HEAD类似于GET请求，只不过返回的响应中没有具体的内容，用于获取报头3POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。4PUT从客户端向服务器传送的数据取代指定的文档的内容。5DELETE请求服务器删除指定的页面。6CONNECTHTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。7OPTIONS允许客户端查看服务器的性能。8TRACE回显服务器收到的请求，主要用于测试或诊断。9PATCH是对PUT方法的补充，用来对已知资源进行局部更新。请求GET方法当客户端要从服务器中读取文档时，当点击网页上的链接或者通过在浏览器的地址栏输入网址来浏览网页的，使用的都是GET方式。请求GET方法URL定位的资源响应报文的数据部分请求GET方法URL定位的资源响应报文的数据部分客户端请求GET方法搜索PythonGET请求请求GET方法/Search?keyword=python要搜索的关键词请求GET方法/Search?keyword=python&enc=utf-8传输数据分隔请求GET方法不同的浏览器对地址的字符限制也有所不同，一般最多只能识别1024个字符，所以如果需要传送大量数据的时候，也不适合使用GET方式。请求POST方法将请求参数封装在HTTP请求数据中，以名称/值的形式出现，POST方式对传送的数据大小没有限制，而且也不会显示在URL中。请求请求头Accept：请求报头域，用于指定客户端可接受哪些类型的信息。Accept-Language：指定客户端可接受的语言类型。Accept-Encoding：指定客户端可接受的内容编码。Host：用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。请求必须包含此内容。Cookie：这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据。相关内容将在下文详细展开。Referrer：此内容用来标志性这个请求是从哪个页面发过来的，服务器可以拿到这一信息并做相应的处理。User-Agent：简称UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器，而不加则可能被识别为爬虫。Content-Type：也叫互联网媒体类型或者MIME类型，在HTTP协议消息头中，它用来表示具体请求中的媒体类型信息。例如，text/html代表HTML格式，更多关系可查看/commons/

。用来说明服务器要使用的附加信息。请求请求数据请求数据一般承载的内容是POST请求中的表单数据，对于GET请求的请求数据为空。注意：当RequestHeaders中指定Content-Type为application/x-www-form-urlencoded，会以表单数据的形式提交。京东登录页抓包响应客户端浏览器：

你要的网页内容，发送给你!响应HTTP响应报文响应以请求简书中某文为例：/p/5dd5993f981b响应状态行由3部分组成，分别为：协议版本、状态码、状态码描述。状态类型状态码和状态信息含义1xx信息100Continue服务器收到了客户端的请求行和头部信息，告诉客户端继续发送数据部分。客户端通常要先发送Expect：100-continue头部字段告诉服务器自己还有数据要发送2xx成功200OK请求成功3xx重定向301MovedPermanently资源被转移，请求将被重定向302Found通知客户端资源能在其他地方找到，但需要使用GET方法来获得他304NotModified表示被申请的资源没有更新，和之前获得的相同307TemporaryRedirect通知客户端资源能在其他地方找到。与302不同的是，客户端可以使用和原始请求相同的请求方法来访问目标资源。4xx客户端错误400BadRequest通用客户请求错误401Unauthorized请求需要认证信息403Forbidden访问被服务器禁止，通常是由于客户端没有权限访问该资源404NotFound资源没有找到407ProxyAuthenticationRequired客户端需要先获得代理服务器的认证5xx服务器错误500InternalServerError通用服务器错误503ServiceUnavailable暂时无法访问服务器响应状态行由3部分组成，分别为：协议版本、状态码、状态码描述。状态类型状态码和状态信息含义1xx信息100Continue服务器收到了客户端的请求行和头部信息，告诉客户端继续发送数据部分。客户端通常要先发送Expect：100-continue头部字段告诉服务器自己还有数据要发送2xx成功200OK请求成功3xx重定向301MovedPermanently资源被转移，请求将被重定向302Found通知客户端资源能在其他地方找到，但需要使用GET方法来获得他304NotModified表示被申请的资源没有更新，和之前获得的相同307TemporaryRedirect通知客户端资源能在其他地方找到。与302不同的是，客户端可以使用和原始请求相同的请求方法来访问目标资源。4xx客户端错误400BadRequest通用客户请求错误401Unauthorized请求需要认证信息403Forbidden访问被服务器禁止，通常是由于客户端没有权限访问该资源404NotFound资源没有找到407ProxyAuthenticationRequired客户端需要先获得代理服务器的认证5xx服务器错误500InternalServerError通用服务器错误503ServiceUnavailable暂时无法访问服务器响应状态行由3部分组成，分别为：协议版本、状态码、状态码描述。状态类型状态码和状态信息含义1xx信息100Continue服务器收到了客户端的请求行和头部信息，告诉客户端继续发送数据部分。客户端通常要先发送Expect：100-continue头部字段告诉服务器自己还有数据要发送2xx成功200OK请求成功3xx重定向301MovedPermanently资源被转移，请求将被重定向302Found通知客户端资源能在其他地方找到，但需要使用GET方法来获得他304NotModified表示被申请的资源没有更新，和之前获得的相同307TemporaryRedirect通知客户端资源能在其他地方找到。与302不同的是，客户端可以使用和原始请求相同的请求方法来访问目标资源。4xx客户端错误400BadRequest通用客户请求错误401Unauthorized请求需要认证信息403Forbidden访问被服务器禁止，通常是由于客户端没有权限访问该资源404NotFound资源没有找到407ProxyAuthenticationRequired客户端需要先获得代理服务器的认证5xx服务器错误500InternalServerError通用服务器错误503ServiceUnavailable暂时无法访问服务器响应状态行由3部分组成，分别为：协议版本、状态码、状态码描述。状态类型状态码和状态信息含义1xx信息100Continue服务器收到了客户端的请求行和头部信息，告诉客户端继续发送数据部分。客户端通常要先发送Expect：100-continue头部字段告诉服务器自己还有数据要发送2xx成功200OK请求成功3xx重定向301MovedPermanently资源被转移，请求将被重定向302Found通知客户端资源能在其他地方找到，但需要使用GET方法来获得他304NotModified表示被申请的资源没有更新，和之前获得的相同307TemporaryRedirect通知客户端资源能在其他地方找到。与302不同的是，客户端可以使用和原始请求相同的请求方法来访问目标资源。4xx客户端错误400BadRequest通用客户请求错误401Unauthorized请求需要认证信息403Forbidden访问被服务器禁止，通常是由于客户端没有权限访问该资源404NotFound资源没有找到407ProxyAuthenticationRequired客户端需要先获得代理服务器的认证5xx服务器错误500InternalServerError通用服务器错误503ServiceUnavailable暂时无法访问服务器响应响应头Data：标识响应产生的时间。Content-Encoding：指定响应内容的编码Server：包含服务器的信息，比如名称、版本号等。Cont