Python3程序设计(第3版) 课件 第12章 爬取数据_第1页
Python3程序设计(第3版) 课件 第12章 爬取数据_第2页
Python3程序设计(第3版) 课件 第12章 爬取数据_第3页
Python3程序设计(第3版) 课件 第12章 爬取数据_第4页
Python3程序设计(第3版) 课件 第12章 爬取数据_第5页
已阅读5页,还剩14页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本章内容章节目录爬取网页就是通过程序下载网页,分析网页中的不同元素,从中提取有用数据的过程。即:把URL地址中指定的资源从网络流中读取出来,保存到本地。爬取与分析网页中的数据爬取网页的urllib库和requests库解析网页的bs4库网页爬取技术的应用12.1爬取网页的urllib库和requests库爬取网页的基础知识

1.HTTP协议用户浏览网页的过程是浏览器与Web服务器请求应答的过程。浏览器与服务器之间的通信的基础是HTTP协议。HTTP协议是一个无状态的协议,同浏览器的一次请求和上次请求没有对应关系。爬取与分析网页中的数据

2.HTTP工作过程(1)浏览器与服务器建立连接。(2)服务器接到请求后,给予相应的响应信息。(3)浏览器接收服务器所返回的信息,解析并显示网页。12.1爬取网页的urllib库和requests库爬取网页的基础知识

3.网络爬虫也叫网络蜘蛛(webspider),spider就是一只网上的蜘蛛,它是搜索引擎抓取系统的重要组成部分。网络爬虫的主要目的是将互联网的网页下载到本地从而保存文件或备份文件。Web站点上的每个资源都有唯一的地址,该地址称为URL。

爬取与分析网页中的数据

protocol://hostname[:port]/path网络爬虫就是根据URL来获取网页信息的。网络爬虫应用分为两个步骤:连接网络并获取网页内容(urllib或requests);对获得的网页内容进行处理(beautifulsoup4)。12.1.2urllib库urllib库提供系列函数或方法,用于获取网页信息或下载网页。urllib.request模块urllib.error模块urllib.parse模块urllib.robotparser模块使用urllib库获取网页信息

urllib.request.urlopen()函数可以打开一个页面,读取并打印信息。

urllib.request.urlopen(url,data[,proxies])urlopen()函数返回response对象。爬取与分析网页中的数据response对象的方法readline()、readlines()、fileno()、close()等方法。info()方法:返回一个httplib.HTTPMessage对象。

getcode()方法:返回HTTP状态码。如果是HTTP请求,200表示请求成功完成,404表示网址未找到。geturl():返回请求的url。例12-1抓取人邮教育网首页的前384字节内容.12.1.3requests库1.requests库概述

处理HTTP请求的第三方库,建立在urllib3库基础上,是对urllib3库的再封装。requests库用于URL获取、自动内容解码、文件分块上传、流数据下载等功能。2.requests库解析requests库的requests.get()方法功能是网络爬虫和信息提交。res=requests.get(url[,timeout=n,headers=header])函数返回一个response对象。爬取与分析网页中的数据下面的代码测试requests.get()方法和requests.head()方法的返回值类型。

>>>importrequests>>>r=requests.get("http://")>>>type(r)<class'requests.models.Response'>>>>r2=requests.head("http://")>>>type(r2)<class'requests.models.Response'>12.1.3requests库1.requests库概述

处理HTTP请求的第三方库,建立在urllib3库基础上,是对urllib3库的再封装。requests库用于URL获取、自动内容解码、文件分块上传、流数据下载等功能。2.requests库解析requests库的requests.get()方法功能是网络爬虫和信息提交。res=requests.get(url[,timeout=n,headers=header])函数返回一个response对象。爬取与分析网页中的数据参数url采用HTTP或HTTPS方式访问,可选参数timeout用于设定请求超时时间。参数headers是一个字典,是要发送到服务器的HTTP头,格式是{User-Agent:values}。User-Agent值values的主要作用是将爬虫代码伪装成某类浏览器,当爬虫代码向网站服务器发送请求时,看起来更像是正常用户的请求,从而降低被服务器封禁的风险。不同浏览器的User-Agent值不同。12.1.3requests库爬取与分析网页中的数据下面的代码测试requests.get()方法和requests.head()方法的返回值类型。

>>>importrequests>>>r=requests.get("")>>>type(r)<class'requests.models.Response'>>>>r2=requests.head("")>>>type(r2)<class'requests.models.Response'>requests.get()返回的response对象代表响应。response对象的主要属性如下。

status_code:返回HTTP请求的状态,200表示连接成功,404表示失败。

text:HTTP响应内容的字符串形式,即url对应的页面内容。

encoding:HTTP响应内容的编码方式。

content:HTTP响应内容的二进制形式。Response对象提供了两个方法。json():如果HTTP响应内容包含JSON格式数据,则该方法解析JSON数据。

raise_for_status():如果status_code值不是200,则产生异常。12.1.3requests库爬取与分析网页中的数据12.2解析网页的beautifulsoup4库beautifulsoup4库也称bs4库为或BeautifulSoup库.用于网页分析的第三方库,用来快速转换被抓取的网页。bs4将网页转换为一颗DOM树。爬取与分析网页中的数据bs4提供一些简单的方法以及类Python语法来查找、定位、修改一棵转换后的DOM树,还能自动将送进来的文档转换为Unicode编码。例12-4使用bs4库访问网页元素。12.2.1bs4库概述(3)基于URL地址res=urllib.request.urlopen(url)html=res.read().decode("utf-8")soup=BeautifulSoup(html,"html.parser")爬取与分析网页中的数据创建BeautifulSoup对象的3种方法(1)基于字符串soup=BeautifulSoup("str","html.parser")(2)基于本地文件soup=BeautifulSoup(open(“index.html"),"html.parser")12.2.2bs4库中的对象Beautifulsoup库将HTML文档转换成一个树形结构,每个结点都是对象,可以归纳为:Tag、NavigableString、BeautifulSoup、Comment等4种类型。Tag对象,HTML中的一个标签。NavigableString对象,用于操纵标签内部的文字,标签的string属性返回NavigableString对象。爬取与分析网页中的数据BeautifulSoup对象,表示的是一个文档的全部内容,很多时候可以把它看作是一个特殊的Tag。Comment对象,是一个特殊类型的NavigableSting对象,它的内容不包括注释符号12.2.3使用bs4库解析文档树1.遍历文档树(1)获取直接子结点contents属性和children属性获取Tag的直接子结点。(2)获取所有有子结点descendants属性可以对所有Tag的子结点进行递归循环,需要遍历获取其中的内容。(3)获取结点内容string属性返回标签中的内容。爬取与分析网页中的数据(4)获取多项内容strings属性用于获取多个内容,需要遍历获取。(5)父结点parent属性用于获取父结点。(6)兄弟结点next_sibling属性用于获取当前结点的下一个兄弟结点,previous_sibling则与之相反,如果结点不存在,则返回None。12.2.3使用bs4库解析文档树2.搜索文档树find_all()方法,搜索当前Tag的所有子结点。find_all(name,attrs,recursive,text,**kwargs)name:名字为name的标签。

attrs:按照Tag标签属性值检索,采用字典形式。

recursive:如果只想搜索Tag的直接子结点,可以使用参数recursive=False。

text:通过text参数可以搜索文本字符中内容。

limit:限制返回结果的数量。爬取与分析网页中的数据3.用CSS选择器筛选元素CSS的选择器用于选择网页元素,分为标签选择器、类选择器和id选择器3种。在CSS中,标签名不加任何修饰,类名前面需要加点(.)标识,id名前加#号来标识。在bs4库中,使用soup.select()方法来筛选元素返回类型是列表网页爬取技术的应用爬取单一网页的信息Python爬取指定URL的网页页面,首先需要分析页面的结构。标题、链接、时间等信息(即HTML元素和属性的描述)。以爬取“东北新闻网”的国内新闻页面为例,说明网页爬取的过程。爬取与分析网页中的数据爬取页面前的准备用GoogleChrome浏览器打开要爬取的页面,进入网页,打开“开发者工具”窗口。使用选择工具选择网页元素。过程使用requests库爬取网页使用bs4库解析网页例12-5使用requests库和bs4库爬取网页。程序结构程序功能爬取与分析网页中的数据defgetHTMLText(url)defgetResults(url)defsaveResToFile(lst)main使用requests库读取网页使用BeautifulSoup解析网页保存或打印爬取内容主控程序(url地址入口)爬取多个网页的信息爬取的信息可能需要来自多个页面。在这种情况下,用户可对爬取信息设置条件限制,例如设置爬取关键词,或者检索某一时间段的信息等。爬取“东北新闻网”国内新闻的前5个页面为例,说明网页爬取的过程。关键技术分析网址的规律。打开要爬取网页的首页页面,观察浏览器的地址栏,URL地址可以看做包括两部分,前面是网页的路径描述,后面是网页文件名/network/international/guoneinews/list/indexHome.shtml/network/international/guoneinews/list/index17186.shtml/network/international/guoneinews/list/index17185.shtml/network/international/guoneinews/list/index17184.shtml爬取与分析网页中的数据爬取多个网页的信息除第1页外,其他各个网页的地址是有规律的,可以通过计算得到,然后再参考爬取单一网页的办法来获得信息。爬取“东北新闻网”国内新

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论