版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、4.3.1 建立Web网站4.3.1 建立Web网站这个网站有一个网页,返回基本计算机教材,flask程序如下:import flaskapp=flask.Flask(_name_)app.route(/)def index(): html= Python程序设计 James 清华大学出版社 Java程序设计 Robert 人民邮电出版社 MySQL数据库 Steven 高等教育出版社 return htmlif _name_=_main_: app.run()4.3.2 编写数据项目类4.3.2 编写数据项目类程序要爬取的数据是多本教材,每本教材有名称与作者,因此要建立一个教材的类,类中包含
2、教材名称title、作者author与出版社publisher。在我们的scrapy框架中有的c:exampledemodemo目录下有一个文件items.py就是用来设计数据项目类的,打开这个文件,改造文件成如下形式:import scrapyclass BookItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() author=scrapy.Field() publisher=scrapy.Field()其中BookItem是我们设计的教材项目类,这个类必须从scrapy
3、.Item类继承,在类中定义教材的字段项目,每个字段项目都是一个scrapy.Field对象,这里定义了3个字段项目,用来存储教材名称title、作者author、出版社publisher。如果item是一个BooItem的对象,那么可以通过itemtitle、itemauthor、itempublisher来获取与设置各个字段的值,例如:item=BookItem()itemtitle=Python程序设计itemauthor=Jamesitempublisher=清华大学出版社print(itemtitle)print(itemauthor)print(itempublisher)4.3.
4、3 编写爬虫程序mySpider4.3.3 编写爬虫程序mySpider数据的项目设计好后就可以编写爬虫程序如下:import scrapyfrom demo.items import BookItemclass MySpider(scrapy.Spider): name = mySpider start_urls=:5000 def parse(self, response): try: data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book) for book in
5、 books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text().extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item except Exception as err: print(err)这个程序访问:5000的网站,得到的网页包含教材信息,程序过程如下:(1) from demo.items import
6、 BookItem从demo文件夹的items.py文件中引入BookItem类的定义。(2) data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book)得到网站数据并建立Selector对象,搜索到所有的节点的元素。(3) for book in books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text(
7、).extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item对于每个节点,在它下面搜索到节点,取出它的文本即教材名称,其中注意使用book.xpath(./title/text()搜索到下面的节点的文本,一定不能缺少./的部分,它表示从当前节点往下搜索。同样道理搜索、节点的文本,它们组成一个BookItem对象,这个对象通过语句:yield item向上一级调用函数返回,接下来scrapy会把这个对象推送给与items.py同目录下的pipelines.py文件中的数据管道执
8、行类取处理数据。4.3.4 编写数据管道处理类4.3.4 编写数据管道处理类在我们的scrapy框架中有的c:exampledemodemo目录下有一个文件pipelines.py就是用来数据管道处理类文件,打开这个文件可以看到一个默认的管道类,修改并设计数据管道类如下:class BookPipeline(object): count=0 def process_item(self, item, spider): BookPipeline.count+=1 try: if BookPipeline.count=1: fobj=open(books.txt,wt) else: fobj=ope
9、n(books.txt,at) print(itemtitle, itemauthor, itempublisher) fobj.write(itemtitle+,+itemauthor+,+itempublisher+n) fobj.close() except Exception as err: print(err) return item这个类我们命名为BookPipeline,它继承自object类,类中最重要的函数是process_item函数,scrapy爬取数据开始时会建立一个BookPipeline类对象,然后每爬取一个数据类BookItem项目item,mySpider程序会
10、把这个对象推送给BookPipeline对象,同时调用process_item函数一次。process_item函数的参数中的item就是推送来的数据,于是我们就可以在这个函数中保存爬取的数据了。注意scrapy要求process_item函数最后返回这个item对象。在我们这个程序中采用文件存储爬取的数据,BookPipeline类中先定义一个类成员count=0,用它来记录process_item调用的次数。如果是第一次调用(count=1)那么就使用语句fobj=open(books.txt,wt)新建立一个books.txt的文件,然后把item的数据写到文件中。如果不是第一次调用(c
11、ount1),就使用语句fobj=open(books.txt,at)打开已经存在的文件books.txt,把item的数据追加到文件中。这样我们反复执行爬虫程序的过程保证每次清除掉上次的数据,记录本次爬取的数据。4.3.5 设置scrapy的配置文件我们说mySpider爬虫程序执行后每爬取一个item项目都会推送到BookPipelines类并调用的process_item函数,那么scrapy怎么样知道要这样做呢?前提是我们必须设置这样一个通道。在demo文件夹中有一个settings.py的设置文件,打开这个文件可以看到很多设置项目,大部分是用#注释的语句,找到语句ITEM_PIPLI
12、NES的项目,把它设置成如下形式:# Configure item pipelines# See /en/latest/topics/item-pipeline.htmlITEM_PIPELINES = demo.pipelines.BookPipeline: 300,其中ITEM_PIPLINES是一个字典,把关键字改成demo.pipelines.BookPipeline,而BookPipelines就是我们在pipelines.py文件中设计的数据管道类的名称,后面的300是一个默认的整数,实际上它可以不是300,它可以是任何整数。这样设置后就连通了爬虫程序mySpider数据管道处理程序pipelines.py的通道,scrapy工作时会把mySpider爬虫程序通过yield返回的每项数据推送给pipelines.py程序的BoolPipeline类,并执行process_item函数,这样就
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 规范性文件应当规范
- 中学庆元旦班级联欢实施方案
- 初中生物教师学期工作总结
- 突出个性的学生评语
- 大一班上学期各领域的目标计划
- 公司领导视察的工作简报
- 你哪方面缺乏安全感
- 产品品质保证书
- 电脑主机产生噪音的原因及解决办法
- 经济类的合同
- 学习贯彻《关于银行业保险业做好金融“五篇大文章”的指导意见》
- 2024年深圳市光明区初三中考模拟卷含答案
- 建筑工地大气污染防治措施方案
- 拍卖师考试试题预测五
- 2023-2024学年人教版数学八年级下册期中复习试卷1 (第16、17、18章)
- 2024年04月内蒙古呼伦贝尔职业技术学院引进人才40人笔试历年(难与易错考点)高频考题后附答案详解
- 火箭创意设计说明
- GB∕T 38955-2020 城市轨道交通车辆用炭滑板
- 八年级物理下册优学1+1
- 研发项目管理(RDPM)方法简介
- 油液在线监测传感器技术.doc
评论
0/150
提交评论