数据采集技术 课件 任务5.3 制作爬虫及永久存储数据

制作爬虫及永久存储数据

——数据采集技术

创建爬虫01020304知识点抓取网页数据解析网页数据永久存储数据创建爬虫01

创建爬虫在数据采集的过程中，创建爬虫是至关重要的第一步。首先，我们需要为爬虫赋予一个独一无二的名称，这个名称不仅方便我们在项目中识别和管理该爬虫，也是整个爬虫项目的标识。创建爬虫的命令格式如下。scrapygenspider爬虫名称"爬取域"例如，在命令行窗口中切换当前的目录为子目录mySpider/spiders，创建一个名称为rdyc、爬取域为的爬虫。scrapygenspiderrdyc“”接下来，我们在rdyc.py文件中对刚刚生成的RdycSpider类进行修改，为爬虫指定要抓取的初始URL。然后修改parse()方法，在该方法中将response中的内容写入到本地的book_info.txt文件中，具体代码如下。importscrapy

classItcastSpider(scrapy.Spider):name='itcast'#爬虫名称

allowed_domains=['']#爬虫允许爬取的范围

start_urls=['/szjc/Index.html']#爬虫的起始url列表

defparse(self,response):"""

用于解析网页数据，并返回抽取的数据

:paramresponse:相应的数据

:return:"""withopen('book_info.txt','w',encoding='utf-8')asf:#text属性，以字符串的形式返回网页源代码

f.write(response.text)#pass抓取网页数据02确定初始URL后，就可以运行爬虫了。在Scrapy框架中，我们可以通过命令行启动爬虫，运行爬虫的命令格式如下。

抓取网页数据scrapycrawl爬虫名称scrapycrawlmyspider例如，在命令行窗口中切换当前目录为itcast.py文件所在的目录，运行爬虫itcast，命令如下。解析网页数据03

解析网页数据根据以上两步，我们已经成功获取到了网页源代码，紧接着我们可以从源代码中提取目标数据。在提取目标数据前，我们需要分析源代码，了解目标对象的路径表达式，之后编写以下代码。importscrapyfrom..itemsimportRdycSpiderItem

#导入rdyc_spider/items.py中定义的RdycSpiderItem类

classItcastSpider(scrapy.Spider):name='itcast'#爬虫名称

allowed_domains=['']#爬虫允许爬取的范围

start_urls=['/szjc/Index.html']#爬虫的起始url列表

defparse(self,response):"""

用于解析网页数据，并返回抽取的数据

:paramresponse:相应的数据

:return:"""items=[]#存储所有书籍的信息

foreachinresponse.xpath("//div[@class='wukuang']"):#创建MyspiderItem类的对象

item=RdycSpiderItem()#使用XPath的路径表达式选取节点

title=each.xpath("p[1]/a/text()")author=each.xpath("p[2]")isbn=each.xpath("p[3]")#将每本书籍的信息封装成RdycSpiderItem类的对象

item["title"]=titleitem["author"]=authoritem["isbn"]=isbnprint(item)永久存储数据04

永久存储数据永久存储数据是使用Scrapy框架的最后一步操作，主要是对获取的目标数据进行永久性存储。Scrapy中主要有4种方式简单保存数据，这4种方式都是在运行爬虫的命令后面加上-o选项，通过该选项输出指定格式的文件。#输出JSON格式，默认为Unicode编码scrapycrawlitcast-oteachers.json#输出JSONLines格式，默认为Unicode编码scrapycrawl