版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
项目五
Requests请求模块库任务1网页请求任务2发送请求方法任务3复杂网络请求任务4异常处理任务1网页请求任务引入虽然发送请求的模块库众多,但小白经过在学习群调查,发现有三分之二的人使用Requests库。可见,Requests库肯定有可取之处,但事实还是需要自己去验证。那么,Requests库中如何发送网页请求?如何获取响应数据?知识准备requests库的作用是模拟浏览器发送请求。浏览器发送请求流程如图所示,requests发送请求流程如图所示。浏览器发送请求流程图requests发送请求流程图一、标准的HTTP请求在Python中,Requests库用来发出标准的HTTP请求,其中,request函数构造一个请求,支持不同方法发送HTTP请求,其调用格式如下:requests.request(method,url,**kwargs)参数说明如下:method:请求方法URL:网页链接,也就是网址**kwargs:用于参数属性设置的字段,指定13个字段来实现非简单请求的功能,具体参数说明见表。kwargs参数说明案例——访问豆瓣电影网豆瓣电影排行榜网址为/chart,如图所示,通过Requests函数发送HTTP请求,获取响应数据。二、返回响应消息使用request库中的函数发送请求,返回的是包含服务器资源的响应消息Response对象,该对象中包含从服务器返回的所有的相关资源。根据返回响应的组成,提供函数返回指定的响应数据:查看请求地址:r.url查看响应头:r.request.headers查看请求头:r.headers案例——查看响应消息使用GET请求方法访问未来40天天气预报网页,如图所示,返回响应消息。1.字符串形式网页本身是由字符串组成,因此,字符串是最常用的格式。在requests中,r.text输出HTTP响应内容的字符串形式,即url对应的页面内容。案例——返回字符串响应数据使用GET方法访问网页,当请求发送后,服务器会给浏览器返回需要的信息,返回信息包括状态行、响应头部、空行、响应数据,输出字符串格式响应数据。HTML文档结构一般包括标记(Html)、头部(Head)、主体(Body)三部分。标记<html></html>:说明该文件是用超文本标记语言来描述的,它是文件的开头,而</html>则表示该文件的结尾,它们是超文本标记语言文件的开始标记和结尾标记。头部<head></head>:表示头部信息的开始和结尾。头部中包含的标记是页面的标题、序言、说明等内容,它本身不作为内容来显示,但影响网页显示的效果。主体<body></body>:网页中显示的实际内容均包含在这2个正文标记符之间。正文标记符又称为实体标记。Response对象属性函数可以实现将网页解析为不同的数据格式,方法见表:2.解码信息urllib库提供了专门的函数来对请求的参数进行转码,requests库发送请求实现获取页面,返回Requests响应消息时,能够自动将响应转码为Unicode。案例——定义响应数据编码格式使用POST、GET方法访问网页,定义字符编码格式,输出字符串格式响应数据。案例——设置网页响应数据格式使用POST方法访问豆瓣电影排行榜网页,输出不同格式的响应数据。三、JSON格式数据JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。结构化的数据一般都是类似JSON格式的字符串,直接解析JSON数据,提取JSON的关键字段即可。1.创建JSON文件JSON可以将JavaScript对象中表示的一组数据转换为字符串,然后就可以在函数之间轻松地传递这个字符串,或者在异步应用程序中将字符串从Web客户机传递给服务器端程序。2.python编码为jsonJSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯,在json的编码过程,是从python类型向json类型的转化过程,具体的转化对照见表:案例——创建json文件JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,易于人阅读和编写。同时也易于机器解析和生成,同时也易于机器解析和生成。3.json解码为python在json中,json.loads函数用于将json格式的数据转换为字典,即将字符串转化为字典。从json到python的类型转化时,参数变化对照表如表:案例——json数据的编码与解码将Python中定义的字典格式数据编码为json数据,再将json数据解码为字典格式数据。任务2发送请求方法任务引入通过查阅资料,小白了解了网页发送请求方法的种类和工作原理。那么,使用Requests如何定义发送网页请求的方法?不同的请求方法有什么区别?知识准备常见的网页请求的方式分为两种:GET:最常见的方式,一般用于获取或者查询资源信息,也是大多数网站使用的方式,响应速度快。POST:相比GET方式,多了以表单形式上传参数的功能,因此除查询信息外,还可以修改信息。一、发送GET请求方法GET方法可以用来传输一些可以公开的参数信息,解析也比较方便,如百度的搜索的关键词。1.发送params请求数据params参数用于指定追加在url后面的查询参数,该参数是字典或字节序列格式案例——搜索Autocad图书网页石家庄三维书屋文化传播有限公司网址为/,在站内搜索图书→Autocad,显示搜索结果网页,如图所示,网址为/md/searchm?c=3&q=Autocad在该网址发送HTTP请求。2.发送fields请求数据对于GET、HEAD和DELETE请求,在request函数中定义一个字典类型数据,作为fields参数传入请求,定义的数据用来设置url参数。案例——发送带url参数的请求使用GET方法发送请求时,置fields参数用于添加url参数,二、发送POST请求发送post请求方法也叫提交表单,提交的数据会附在正文上,一般请求正文的长度是没有限制的,可以用来提交金融网站一个用户的敏感信息。1.发送data请求常见的form表单可以直接使用请求参数data进行报文提交,一般使用post方法。案例——发送data提交表单数据以post方式发送请求,访问/post,通过设置data和aprams参数,实现增加url和表单资源的效果。2.发送Json请求json参数设置的是Json数据,提交Json数据,更新的是数据data案例——发送Json提交表单数据以post方式发送请求,访问/post,提交Json数据。3.发送body请求在发起请求时,可以通过定义body参数并定义headers的Content-Type参数来发送一个已经过编译的JSON数据。(1)定义headers(2)body参数body参数为字典格式的json数据.案例——发送body提交表单数据发送数据{'Python':'sanweishuwu'},利用urllib3库中的http.request函数发起请求。4.设置fields参数在urllib3库中,fields参数用于指定上传的数据,上传的数据可以是字典格式的数据,也可以是包含字典格式数据的文件。案例——发送field提交表单数据对于PUT和POST请求(request),urllib3会自动将字典类型的field参数编码成表格类型form,作为请求的请求正文发送。三、其他请求方法Http的请求方法代表了客户端想对服务器进行的操作,HTTP请求方法中,GET,HEAD是从服务器获取信息到本地,PUT,POST,PATCH,DELETE是从本地向服务器提交信息,具体方法见表。在requests中,requests.request中的method的参数指定的请求方式与requests.get等方法达到的效果相同任务3复杂网络请求任务引入了解了Requests的基本功能和使用方法后,小白明白了相对于简单的HTML请求,利用request函数中的不同参数进行数据传递等复杂的网络请求功能,而且生成的代码更稳定、更易于后期维护。于是摩拳擦掌,开始着手定义参数,要编写面对不同情况的代码,需要了解,可设置的参数的种类与含义。知识准备简单请求是默认不发送Cookie和HTTP等认证信息的请求,复杂网络请求是发送请求时,在请求数据中添加参数,定义数据的类型、长度、编码等信息,实现服务器认证代理、请求内容、定制头等功能。一、复杂请求头发送HTTP时,定制头部信息,可以隐藏爬虫信息,模拟浏览器的头部信息。在发送请求时,一般使用headers参数定义请求头。案例——发送定制请求头信息使用POST请求方法访问测试网页,定义请求头参数,修改浏览器、添加请求头来源、定义响应的数据格式与编码格式。二、上传文件客户端浏览器向服务端发送HTTP请求时有一类特殊的请求,就是上传文件。发送其他值时,可能是以字节为单位的,上传文件时,可能是以KB或MB为单位的,因为在发送的文件尺寸通常比较大,所以上传的文件内容会使用multipart/form-data格式进行编码。下面介绍上传文件步骤:使用fields关键字参数指定一个描述上传文件的HTTP请求头字段通过元组指定相关属性,如,上传文件名,文件类型等。案例——上传二进制数据发送POST请求,通过定义field参数,上传图所示的文件。三、cookies验证为了获取登录之后的页面,必须发送带有cookies的请求,此时为了确保账号安全应该尽量降低数据采集速度。案例——输出cookies信息登录百度网站,输出字符串格式与字典格式的cookies信息。四、会话保持会话(session)保持是指在负载均衡器上的一种机制,可以识别客户端与服务器之间交互过程的关连性,在作负载均衡的同时还保证一系列相关连的访问请求都会分配到一台机器上。比如使用session成功的登录了某个网站,则在再次使用该session对象登陆该网站的其他网页都会默认使用该session之前使用的cookie等参数。案例——通过session对象和requests发送get请求session对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。通过session对象发送对象关闭后保存cookie,requests发送get请求后,不保存cookie。任务4异常处理任务引入小白在进行发送请求时,因为不同的原因,经常会遇到警告信息。有些是语法错误,可以很快进行修改,还有一些是运行失败异常,需要根据具体原因进行修改,但警告信息中不会清晰的显示错误原因。为了快速得到正确的程序,使用函数分类这些异常。那么?如何进行异常处理?Python包含哪些异常?知识准备异常是一个事件,该事件会在程序执行过程中发生,影响了程序的正常执行。—般情况下,在Python无法正常处理程序时就会发生一个异常。异常是Python对象,表示一个错误。当Python脚本发生异常时需要捕获处理它,否则程序会终止执行。捕捉异常一般使用try/except语句与异常处理模块(urllib.error模块、request.exceptions模块),保证程序不会终止。一、try/except语句try/except这种结构在程序调试时很有用,因此在这里我们简单介绍一下这种分支结构.(1)try-excep结构(2)try-excep-else结构(3)嵌套循环二、urllib异常处理模块urllib的error模块定义了由request模块产生的异常,如果运行出现问题,request模块显示error模块中定义的异常(1)URLErrorURLError表示打开一个不存在的页面,由request模块产生的异常都可以通过捕获这个类来处理。(2)HTTPErrorHTTPError是URLError的子类,专门用来处理HTTP请求错误,比如认证请求失败等,HTTPError有三个属性。code:返回HTTPStatusCode,即状态码,比如404网页不存在,500服务器内部错误等等。reason:返回错误的原因。headers:返回头信息RequestHeaders。案例——处理URLError异常URLError是HTTPError的父类,所以可以先选择捕获子类的错误,再去捕获父类的错误;先捕获HTTPError,再获取它的错误状态码、原因、Headers等详细信息。案例——处理urllib异常如果是非HTTPError,再捕获URLError异常,输出错误原因,最后用else来处理正常的逻辑。三、urllib3异常处理模块网络请求方式通常分为两种,分别是HTTP请求和HTTPS请求,HTTPS是一种在HTTP的基础上加了SSL/TLS层(安全套接层)的安全的超文本传输协议。默认情况下,urllib3不进行HTTPS请求验证,即不认证服务器的证书。但系统强制验证https的安全证书,如果没有通过是不能通过请求的。在urllib3中,disable_warnings函数用来禁用各种警告。发送请求时虽然添加忽略验证的参数,但是依然会给出醒目的Warning:InsecureRequestWarning。若要在HTTPS请求之前进行服务器验证,还需要在客户端安装根证书。四、request异常处理模块1.常见异常错误在用Python的requests模块进行爬虫时,遇到网络的各种变化,可能会导致请求过程发生各种未知的错误导致程序中断,request.exceptions模块定义各种异常错误,见表。案例——处理request响应错误2.证书验证错误任何网站都是需要安装SSL
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中八年级科学教学设计:土壤成分探究与核心素养培育
- 初中九年级物理分子热运动中考复习课教案
- 小学四年级信息技术教案:记录数据讲诀窍的实践教学策略
- 高中一年级心理健康教育“探析青春情愫涵养交往智慧”教学设计
- 七年级英语Unit 4 Time to Celebrate写作教学设计
- 高中三年级英语高考听力综合特训(十五)教学设计
- 初中九年级数学教学设计:反比例函数图象性质的中考复习策略与实施
- 高考物理一轮复习“抛体运动”复习课教学设计
- 小学三年级综合实践活动《水结冰了》项目式学习教学设计
- 高中英语艺考生百日冲关亮点词汇教学设计
- 客户支持需求升级通知函7篇
- 2026年下半年幼儿教师资格证《综合素质》真题及答案(完整版)
- 2026秋苏教版六年级数学上册期中考试综合质量检测拔高卷一(含解析)
- 国投集团招录笔试真题2026
- 聚焦学习贯彻二十届五中全会课件
- 全国消防宣传月主题活动课件
- 小学三年级道德与法治“关心体贴老师”教学设计
- 2026年《中国慢性阻塞性肺疾病诊疗指南(2026版)》
- 2026-2030锦纶纤维行业市场发展分析及发展趋势与投资研究报告
- 2026年六盘水市钟山区法检系统书记员招聘考试参考试题及答案详解
- 2026年浙江省绍兴市社区工作者招聘笔试备考题库及答案详解
评论
0/150
提交评论