python爬虫urllib中的异常模块处理

第python爬虫urllib中的异常模块处理目录urllib中的异常处理url的组成部分URLErrorHTTPError简介Urllib.error模块异常处理

urllib中的异常处理

在我们写爬虫程序时，若出现url中的错误，那么我们就无法爬取我们想要的内容，对此，我们引入了urllib中的异常处理。

url的组成部分

URL由6个部分组成：eg：

/swd=易烊千玺

协议（http/https）主机（）端口号（80/443）路径（s）参数（wd=易烊千玺）锚点

常见的端口号：

http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

URLError

通常来说，URLError报错通常为url地址中主机部分的错误：

实例：

url='1/'

运行结果：

urllib.error.URLError:urlopenerror[Errno11001]getaddrinfofailed

HTTPError

这个异常的通常是url地址中参数或是路径的错误。

实例：

url='/p/3388cf148dba1'

运行结果：

urllib.error.HTTPError:HTTPError404:NotFound

简介

HTTPError类是URLError类的子类导入的包urllib.error.HTTPError/urllib.error.URLErrorhttp错误：http错误是针对浏览器无法连接到服务器而增加的出来的错误提示，引导并告诉浏览者该页是出了什么问题。通过urllib发送请求的时候，有可能会发送失败，这个时候如果想让你的代码更健壮，可以通过try-except进行捕获异常。

Urllib.error模块

urllib.error模块为urllib.request所引发的异常定义了异常类，基础异常类是URLError。

urllib.error包含了两个方法，URLError和HTTPError。

URLError是OSError的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常）。

HTTPError是URLError的一个子类，用于处理特殊HTTP错误例如作为认证请求的时候，包含的属性code为HTTP的状态码，reason为引发异常的原因，headers为导致HTTPError的特定HTTP请求的HTTP响应头。

异常处理

用tryexcept语句块捕获并处理异常，其基本语法结构如下所示：

try:可能产生异常的代码块

except[(Error1,Error2,)[ase]]:处理异常的代码块1

except[(Error3,Error4,)[ase]]:处理异常的代码块2

except[Exception]:处理其它异常

实例：

原url=/p/3388cf148dba

源码：

importurllib.request

importurllib.error

url='1/p/3388cf148dba'

#url的组成eg：/swd=易烊千玺

#1.协议（http/https）2.主机（）3.端口号（80/443）4.路径（s）5.参数（wd=易烊千玺）6.锚点

#常见的端口号

#http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/98.0.4758.102Safari/537.36'

request=urllib.request.Request(url=url,headers=headers)

response=urllib.request.urlopen(request)

content=response.read().decode('utf8')

print(content)

excepturllib.error.HTTPError:

print('HTTP异常，请稍后！')

excepturllib.error.URLError:

print('URL异常，请稍后！')

1.URLError

url=1/p/3388cf148dba

运行结果：

2.HTTPError

url=/p/3388cf148dba111

运行结果：

由于HTTPRError