数据采集技术 课件 项目2 获取网页源代码

获取网页源代码——数据采集技术获取网页源代码

介绍requests.get()010203知识点解决获取的源代码乱码问题

介绍requests.get()01

介绍requests.get()参数各参数的描述：

①

url必须。请求的网址;②

params可选。字典，要作为查询字符串发送的元组或字节的列表。默认None;③

allow_redirects可选。用于启用/禁用重定向的布尔值。默认True(允许重定向);④

auth可选。用于启用某种HTTP身份验证的元组。默认None;⑤

cert可选。指定证书文件或密钥的字符串或元组。默认None;⑥

cookies可选。发送到指定网址的Cookie字典。默认None;⑦

headers可选。发送到指定网址的HTTP标头字典。默认None;⑧

proxies可选。URL代理协议字典。默认None;⑨

stream可选。如果响应应立即下载(False)或流式传输(True)的布尔指示。默认False;⑩

timeout可选。一个数字或一个元组，指示等待客户端建立连接和/或发送响应的秒数。

默认值None表示请求将继续，直到连接关闭;⑪

verify可选。用于验证服务器TLS证书的布尔值或字符串指示。默认True。其中url和headers为两个常用参数，url参数一般需要传输url地址，也可以传输本地网址文件的index文件路径，headers参数需要User-Agent的相关信息。

获取网页源代码02

获取网页源代码而针对本项目的网页静态数据采集需求，只需要发送requests.get()请求即可满足需求，既简单高效又避免了不必要的复杂性。代码如下：importrequests#目标网页的URLurl='/szjc/ECONOMY/Index.html'#设置User-Agentheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)\AppleWebKit/537.36(KHTML,likeGecko)Chrome/89.0.4389.82Safari/537.36'}#发送GET请求获取网页内容response=requests.get(url=url,headers=headers)

获取网页源代码Response对象的相关属性描述如下：status_code：该属性用于获取HTTP请求的返回状态码，是一个非常重要的属性。200：表示请求成功text：以Unicode字符串形式返回响应内容，这是获取网页文本内容的常用方式。content：以字节串（bytes）形式返回响应内容，适用于处理二进制数据。headers：返回一个包含响应头部信息的类似字典的对象。json()：用于将JSON格式的响应内容解析为Python字典或列表。ok：返回一个布尔值，表示请求是否成功。url：获取请求的最终URL。encoding：从HTTP头部中猜测的响应内容编码方式。apparent_encoding：从内容中分析出的响应内容编码方式，是encoding属性的备选方案。因此，Response对象名为response，因此可通过text属性获取响应内容，即网页源代码信息，代码如下：#发送GET请求获取网页内容response=requests.get(url=url,headers=headers)html_content=response.text

获取网页源代码response=requests.get(url,headers=headers)#检查请求是否成功ifresponse.status_code==200:#获取响应的文本内容html_content=response.textprint("获取响应的文本内容:",html_content)else:print(f"请求失败，状态码:{respon