版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
爬虫框架-scrapy框架初探复习Scrpay框架创建爬虫程序的基本步骤及命令?1、创建爬虫项目
scrapystartproject爬虫项目名【路径】2、创建爬虫文件
scrapygenspider爬虫文件名域名3、设置爬取数据项item.pyscrapy.Field()4、编写爬虫文件中的解析函数parseresponse.xpath()和response.css()5、运行爬虫的命令
scrapycrawl爬虫文件名1、了解Scrapy构架中的核心组件的作用2、能描述在scrapy框架中爬取对象的数据流动过程3、理解scrapy中get与post对应的函数思想4、能学会利用scrapy实现网页的多页爬取教学难点:利用requests方法重写start_requests()函数教学目标1Scrapy请求原理爬虫框架-scrapy框架初探Scrapy架构原理23
案例精讲-贝壳新房Scrapy架构原理Scrapy框架组件之间是到底是如何协同工作?下图是Scrapy框架的组成结构,并从数据流的角度揭示Scrapy的工作原理。Scrapy主要包括以下组件:引擎(ScrapyEngine):处理整个系统的数据流处理、触发事务,是整个框架的核心;项目(Item):定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象;调度器(Scheduler):用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回。可想像成一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是什么,同时去除重复的网址;下载器(Downloader):用于下载网页内容,并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的);蜘蛛(Spiders):蜘蛛是主要干活的。用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。Scrapy架构原理项目管道(Pipeline):负责处理蜘蛛从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据;下载器中间件(DownloaderMiddlewares):位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应;蜘蛛中间件(SpiderMiddlewares):介于Scrapy引擎和蜘蛛之间的框架,主要工作是处理蜘蛛的响应输入和请求输出;调度中间件(SchedulerMiddewares):介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。Scrapy架构原理Scrapy主要包括以下组件:Scrapy架构原理Scrapy架构原理组件描述类型Engine引擎,框架的核心,其他所有组件在其控制下协同工作内部组件Scheduler调度器,负责对
Spider提交的下载请求进行调度内部组件Downloader下载器,负责下载页面(发送
HTTP请求/接收
HTTP响应)内部组件Spider爬虫,负责提取页面中的数据,并产生对新页面的下载请求用户实现MiddleWare中间件,负责对
Request对象和
Response对象进行处理可选组件ItemPipeline数据管道,负责对爬取到的数据进行处理可选组件表scrapy核心组件及其作用Scrapy架构原理对于用户来说,Spider是最核心的组件,Scrapy爬虫开发是围绕实现Spider展开的。Requests和Response是HTTP协议中HTTP请求和HTTP响应,在Scrapy框架中定义了相应的Request类和Response类。Items表示Spider从页面中爬取的一项数据。Scrapy架构原理Scrapy框架的组成结构,并从数据流的角度揭示Scrapy的工作原理。Scrapy简介以及安装各种对象在框架中的流动过程:当SPIDER要爬取某URL地址的页面时,需使用该URL构造一个Requests对象,提交给ENGINE。如上图序号①所示。Requests对象随后进入SCHEDULER调度器按某种算法进行排队,之后的某个时刻SCHEDULER调度器将其出队,送往DOWNLOADER下载器组件。如上图序号②、③、④所示。DOWNLOADER下载器根据Requests对象中的URL地址发送一次HTTP请求到网站服务器,之后用服务器返回的HTTP响应构造出一个Response对象,其中包含页面的HTML文本。如上图序号⑤所示。Response对象最终会被递送给SPIDER的页面解析函数(构造Request对象时指定)进行处理,页面解析函数从页面中提取数据,封装成Items后提交给PIPELINES组件进行处理,最终可能由Exporter以某种数据格式写入文件(CSV、json等);另一方面页面解析函数还从页面中提取链接url,构造出新的Requests对象提交给Engine引擎。如上图序号⑥、⑦、⑧所示。1Scrapy请求原理爬虫框架-scrapy框架初探Scrapy架构原理23
案例精讲-贝壳新房Scrapy请求原理爬虫文件中请求的发送没有手动实现,但是在parse函数中还是获取到了响应数据,这是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests(self)这个方法,该方法就可以对start_urls列表中url发起请求。我们可以查看Scrapy源码来进行验证。在PyCharm中打开Spiders文件夹中的任意爬虫文件,移动到类定义行,按住“CTRL”键,鼠标移动到括号中的scrapy.Spider,出现蓝色提示,鼠标点击,可以跳转到Scrapy框架的源代码中,查看定义。如图所示。Spider源文件打开后,在58行可以看到以下源码。Scrapy请求原理在底部可以看到for循环遍历了start_urls列表,然后使用Request方法发送Get请求。那为什么Scrapy框架要将start_urls设计为列表类型?Scrapy框架是个异步高并发的框架,可以同时发送多个请求,并发请求的数量可以在Settings.py文件的CONCURRENT_REQUESTS参数进行配置,缺省情况下可开启32个请求,具体开启的请求数量和电脑硬件有关。可以使用列表推导式为参数Start_urls赋值,让可以实现简单分页功能了。如果有特殊要求(需要发送请求时携带cookies)可以通过重写defstart_requests(self)来实现请求发送。Scrapy请求原理上页Request方法只是指定了url地址、未将请求加入到去重队列中(可以重复发送相同的请求)。其实Request方法有很多参数来应对各种复杂情况。Request方法的语法格式如下:class
scrapy.Request(url,[callback,method='GET',headers,body,cookies,meta,encoding='utf-8',priority=0,dont_filter=False,errback,flags])参数说明url:为请求发送的url地址,必选,其余参数都时可选。callback:回调函数,用于接收请求后的返回信息,若没指定,则默认为parse()函数method:http请求的方式GET、POST、PUT等,必须为大写,默认为GET请求。headers:请求头信息,一般在settings中设置即可。body:请求体,str类型,一般不需要设置Scrapy请求原理cookies:请求的cookie,dict或list类型,字典类型如cookies={'name1':'value1','name2':'value2'}列表类型如cookies=[{'name':'Zarten','value':'mynameisZarten']meta:元数据,用于页面之间传递数据,字典类型,可使用response.meta接收数据。encoding:请求的编码方式,默认为'utf-8'priority:指定请求的优先级,int类型,数字越大优先级越高,可以为负数,默认为0dont_filter:强制不过滤。默认为False,若设置为True,这次请求将不会过滤(不会加入到去重队列中),可以多次执行相同的请求。errback:抛出错误的回调函数,错误包括404,超时,DNS错误等scrapy.Request方法常用于分页以及网站详情页爬取。常用参数有url、callback、method、cookies、meta。Scrapy请求原理案例1:以Scrapy官方推荐网站为例讲解scrapy.Request的基本方法。网站quotes.toscrape的内容为名人名言,任务是爬取网站的所有名人名言和作者。页面如图所示。Scrapy请求原理案例1:以Scrapy官方推荐网站为例讲解scrapy.Request的基本方法。网站quotes.toscrape的内容为名人名言,任务是爬取网站的所有名人名言和作者。1、每句名人名言包裹在class为quote的div中。根据class一次获取所有的数据行,然后在逐行提取名人名言和作者信息。2、这个案例的难点在于分页功能。页脚部分有“Next”按钮,点击后浏览器的url地址发生变化,增加参数/page/页码。但是数据有多少页不清楚,无法使用列表推导式为start_urls赋值,从而实现分页。这种情况我们只能查看分页按钮的html结构。从上图发现“Next”按钮下A标签的href属性就是分页时需要传递的参数。不停点击下一页按钮到最后一页时,“Next”按钮不再显示。Scrapy请求原理案例1:网站quotes.toscrape的内容为名人名言,任务是爬取网站的所有名人名言和作者。【实现步骤】1、创建爬虫项目scrapydemo
scrapystartprojectscrapydemo2、创建爬虫文件
,爬虫文件名quote,域名。3、创建数据容器,在spiders同级目录中找到items.py文件Scrapy请求原理案例1:网站quotes.toscrape的内容为名人名言,任务是爬取网站的所有名人名言和作者。【实现步骤】4、在spiders文件夹中找到quote.py爬虫文件,编写解析函数。Scrapy请求原理Scrapy除了可以发送get请求外,也可以发送post请求。Post请求的使用频率并不高,典型应用为模拟登录,有些网站对爬虫不友好,必须用户登录后才能进行数据爬取。scrapy.FormRequest主要用于发送post请求。基本语法格式如下:
scrapy.FormRequest(url,method,formdata,callback)参数说明1、url:目标网站url地址,必输项2、method:get或post请求,缺省为post请求3、formdata:post请求参数,字典类型4、callback:回调函数,用于接收请求后的返回信息,若没指定,则默认为parse()函数Scrapy请求原理以网站的登录为例来进行讲解,登录的url地址/login。只需要输入用户名和密码即可实现登录,此模拟网站登录名和密码可以任意输入。结合浏览器开发者工具,拦截网站请求后发现,点击login按钮post请求url地址和get请求获取的页面地址一致。如图所示。Scrapy快速入门分析出目标地址和参数后,实现思路是使用FormRequest发送Post请求模拟登录,请求发送完成后使用XPath表达式验证页面中是否出现logout链接,如果出现logout链接表示登录成功。为了简化流程,创建爬虫项目以及生成爬虫模板的步骤省略,我们可以直接拷贝任何一个spider模板文件,然后进行修改,文件名scrapyPost.py,最后使用runspider命令执行即可。参考代码如下:importscrapy
classLoginSpider(scrapy.Spider):
name='login'
allowed_domains=['']
start_urls=['/login']
#根据scrapy请求的基本原理,重写start_requests请求发送
defstart_requests(self):
forurlinself.start_urls:
data={
"username":"123",#用户名和密码可以是任意字符
"password":"123"
}#发送post请求,formdata为提交的数据,callback回调函数使用默认parse
yieldscrapy.FormRequest(url,formdata=data)
#登录后,解析页面是否出现logout链接
defparse(self,response):
print("start")#查找是否出现logout标签文本
status=response.xpath("//*[@class='col-md-4']//a/text()").get()
print(status)
1Scrapy请求原理爬虫框架-scrapy框架初探Scrapy架构原理23
案例精讲-贝壳新房案例精讲-贝壳新房【任务描述】贝壳新房案例要求爬取某个城市挂牌出售的全部楼盘信息。爬取信息包括楼盘名称、地址、每平米均价、总房价。目标网站url地址为/loupan。案例精讲-贝壳新房【任务描述】贝壳新房案例要求爬取某个城市挂牌出售的全部楼盘信息。爬取信息包括楼盘名称、地址、每平米均价、总房价。【任务分析】1、使用浏览器开发者工具分析页面HTML结构,页面的HTML结构看起稍显复杂,但使用的标签依然是ul和li。如图所示。选择使用XPath表达式结合二次查找法进行数据提取。可以确定每行数据的XPath表达式为//ul[@class='resblock-list-wrapper']/li。案例精讲-贝壳新房【任务描述】贝壳新房案例要求爬取某个城市挂牌出售的全部楼盘信息。爬取信息包括楼盘名称、地址、每平米均价、总房价。【任务分析】2、除了页面结构外,分页也是我们必须要考虑的问题。切换分页按钮观察url地址的变化,可以找出分页的规律为增加了pg参数,格式为“/loupan/pg页码”。同时必须要关注第一页的规则,验证/loupan/pg1是否能够正常显示信息,通过验证发现首页适合此规律。如果不能正常显示,首页需要单独处理。案例精讲-贝壳新房【任务描述】贝壳新房案例要求爬取某个城市挂牌出售的全部楼盘信息。爬取信息包括楼盘名称、地址、每平米均价、总房价。【任务实现】入门案例中已经讲解了使用Scrapy框架编写爬虫的五个基本步骤,包括创建爬虫项目、生成爬虫模板、定义数据容器、编写数据解析函数、运行爬虫。1、创建爬虫项目
首先,需要在当前目录下创建Scrapy框架爬虫项目,cmd命令行或Pycharm下terninal下输入“scrapystartprojecthouse”。2、生成爬虫模板文件
创建爬虫项目后,生成爬虫模板文件。使用cd命令进入项目目录house,然后使用scrapygenspider生成爬虫模板文件。其中参数shells为自定义的爬虫名称,为贝壳网站的重庆地区url地址。案例精讲-贝壳新房【任务描述】贝壳新房案例要求爬取某个城市挂牌出售的全部楼盘信息。爬取信息包括楼盘名称、地址、每平米均价、总房价。【任务实现】入门案例中已经讲解了使用Scrapy框架编写爬虫的五个基本步骤,包括创建爬虫项目、生成爬虫模板、定义数据容器、编写数据解析函数、运行爬虫。3、定义数据容器
在编写正式的爬虫前需要先定义存储数据的容器,用来约定数据的列名,类型为统一的Scrapy.Field()。在
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 质量管理风险评估指引
- 智慧物业智能管理平台及智慧安防平台建设方案
- 建筑混凝土浇筑质量控制与检查指引
- 事业单位文秘岗2026面试全真模拟专业面试试卷及答案
- 初中数学教资面试试讲2026高频考题题库及解析
- 事业单位计算机岗面试经典考题专项考题题库及解析
- 事业单位计算机岗2026经典考题题库及答案
- 2026小学科学教资面试试讲历年真题题库及解析
- 2026年外汇结算催办函(6篇范文)
- 协调场地使用计划的函4篇
- 2024河南水利与环境职业学院招聘笔试真题及参考答案详解
- 2026年钢琴考级乐理模拟试题(含答案)
- 机动车检测站引车员考试题库及答案
- 污水管网工程施工组织设计方案
- 2026年国家安全教育大学生读本-全套课件(共11章)
- 2026年内蒙古包头市辅警人员招聘考试题库及答案
- 大皖传媒中心(安徽商报社)2026年公开招聘工作人员笔试参考题库及答案解析
- 建筑登高车专项施工方案(完-整版)
- 高盛-变革中的中国:中企出海浩荡征程从边缘市场走向核心腹地(摘要)-20260914
- 2026年道德与法治六年级上册第4课《我是中国公民》教案设计
- 铁路桥梁施工质量安全监控要点培训
评论
0/150
提交评论