《数据采集技术》课件-Urllib-error-与-parse-处理模块

项目二

动态网页数据采集目录Content1使用Requests库完成“浪潮云说”网页数据采集2使用Urllib模块完成“新闻动态”网页数据采集项目导言零

在实际的开发中，所需数据是各种各样的，虽然在网络上有许多开源的数据集，但开源的数据集不一定符合我们的项目需求，因此项目需要的数据集需要主动获取。数据采集是数据分析必不可少的一环，这个时候学会数据采集的方法就显得尤为重要，本项目将使用Python相关http请求库完成网页数据的采集。学习目标零知识目标了解Urllib和Requests库相关概念熟悉Urllib和Requests库的方法掌握Urllib库中request模块使用精通动态网页数据采集的方法技能目标具备Urllib库相关模块的使用能力具备安装Requests库的能力具备使用Requests库完成网页数据采集的能力具备精通网页数据采集的能力素养目标具备善于发现和总结问题能力具备较强的学习能力和适应能力具备较强的沟通表达能力任务1：使用Urllib模块完成“新闻动态”网页数据采集壹request模块任务技能urlopen()、Request()、urlretrieve()error模块URLError、HTTPErrorparse模块urlparse()、urljoin()、quote()、unquote()任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹2error模块在Urllib中，为了避免发送请求时出现访问不到服务器、访问被禁止等错误，Urllib提供了一个用于定义异常的error模块。目前，error模块包含了两个常用方法。方法描述URLError网络地址异常HTTPErrorhttp错误异常任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹（1）URLError在error模块中，URLError提供了多个URL地址相关的异常，如URL地址错误、网络错误等，并且在触发异常后，可通过“reason”属性查看引发异常的原因。URLError的语法格式：from

urllib

import

errortry:......except

error.URLErrorase:e.reason......任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹（2）HTTPErrorHTTPError与URLError基本相同，不同之处在于HTTPError除了“reason”属性外，还存在一些其他属性。HTTPError属性属性描述code状态码reason错误原因headers响应头任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹3parse模块在Urllib中，parse模块主要用于对指定的URL进行操作，如解析URL、合并URL等。parse模块常用方法方法描述urlparse()URL的解析urljoin()URL的拼接quote()编码unquote()解码任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹（1）urlparse()urlparse()方法用于将接收的URL路径解析成协议、域名、路径、参数、查询条件以及锚点等六个部分，并以元组的格式返回，在使用时urlparse()方法接收三个参数。参数描述urlURL地址scheme默认协议allow_fragments是否忽略锚点urlparse()方法参数任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹urlparse()的语法格式：fromurllibimportparseparse.urlparse(urlstring,scheme='',allow_fragments=True)urlparse()方法返回结果包含字段字段描述scheme协议netloc域名path路径params参数query查询条件fragment锚点任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹（2）urljoin()urljoin()方法用于URL路径的连接，在使用时会接收两个路径参数，之后会连接两个URL路径，连接时会使用第一个参数补齐第二个参数的缺失部分，当两个参数均为完整路径时，则以第二个为主。urljoin()的语法格式：fromurllibimportparseparse.urljoin(url1,url2)任务2-1：使用Urllib模块完成“新闻动态”网页数据采集壹（3）quote()、unquote()quote()和unquote()方法是一对功能相对的方法，其中，quote()方法用于对URL路径中包含的中文