《数据采集技术》课件-使用 urllib 实现数据传输

使用urllib爬取网页传递数据的方法通过url传递数据给服务器传递数据的方式主要分为：get()post()传递数据的方法通过url传递数据给服务器传递数据的方式主要分为：get()post()直接使用url访问，在url中包含了所有参数。传递数据的方法通过url传递数据给服务器传递数据的方式主要分为：get()post()不会在url中显示所有的参数。Contents素养目标培养良好的信息素养和道德意识技能目标熟悉urllib库中处理get和post请求的方法知识目标掌握urllib库中处理get和post请求的原理URL编码转换当传递的URL中包含中文或者其它特殊字符（如空格等）时，需要使用urllib.parse库中的urlencode方法将URL进行编码。“key:value”键值对转换成“key=value”字符串importurllib.parsedata={'a':'数据采集','b':'技术'}result=urllib.parse.urlencode(data)print(result)转码a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&b=%E6%8A%80%E6%9C%AFURL编码转换importurllib.parseresult=urllib.parse.unquote('a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86')print(result)解码使用的是url.parse库的unquote方法a=数据采集处理GET请求GET请求一般用于向服务器获取数据处理GET请求“？”后面的字符串就包含了要查询的关键字“数据采集”。使用Fiddler查看HTTP请求发现有个GET请求的格式如下：/s?wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86处理GET请求importurllib.requestimporturllib.parse#引入urllib的库url='/s'word={"wd":"数据采集"}word=urllib.parse.urlencode(word)new_url=url+"?"+word#定义参数urlheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#定义参数headersrequest=urllib.request.Request(new_url,headers=headers)#构建requestresponse=urllib.request.urlopen(request)#模拟浏览器向服务器发起请求获取响应html=response.read().decode('utf-8')print(html)示例返回一个HTTPResponse类型的对象处理GET请求返回结果处理POST请求发送http请求时urlopen方法必须设置data参数，data参数以字典的形式存放数据。如果以post方式发送请求处理POST请求当访问有道词典翻译网站进行词语翻译时不管输入什么内容一直都不变URL处理POST请求通过使用Fiddler观察，发现该网站向服务器发送的是POST请求。处理POST请求当使用有道词典翻译“Python”时，返回的结果是一个JSON字符串。处理POST请求importurllib.request#POST请求的目标URL，通过Fiddler获取url="/jsonapi_s?doctype=json&jsonversion=4"headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#打开Fiddler请求窗口，点击WebForms选项查看数据体formdata={"q":"ilovepython",'le':'en'}data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))request=urllib.request.Request(url,data=data,headers=headers)response=urllib.request.urlopen(request)print(response.read().decode('utf-8'))示例本讲小结1url编码转换2urllib库处理get请求3urllib库处理post请求本讲小结1url编码转换2urllib库处理get请求