数据采集技术 课件 任务5.2 编写Spider脚本任务

编写spider脚本任务

——数据采集技术

项目采集目标01020304知识点使用Scrapy的Item类封装数据编写spider脚本任务字段验证项目采集目标01

项目采集目标项目采集的目标数据是数字教材_人大芸窗数字教材(/szjc/Index.html)中课程推荐的教材名称、作者、ISBN号码，具体如下图所示。使用Scrapy的Item类封装数据02我们一般需要定义一个继承自scrapy.Item的子类，并在该子类中添加类型为scrapy.Filed的类属性。每个类属性代表要采集的数据字段，如我们提到的教材名称、作者、ISBN号码都对应一个字段。在Pycharm中打开rdyc_spider目录下的items.py文件，可以看到Scrapy框架已经在items.py文件中自动生成了继承自scrapy.Item的RdycSpiderItem类，初始代码如下：

使用Scrapy的Item类封装数据#Defineherethemodelsforyourscrapeditems

#

#Seedocumentationin:

#/en/latest/topics/items.html

importscrapy

classRdycSpiderItem(scrapy.Item):

#definethefieldsforyouritemherelike:

#name=scrapy.Field()

pass编写spider脚本任务03

修改RdycSpiderItem类Spider是Scrapy中用于定义爬取行为的核心组件，此时开始编写spider脚本任务，只需在RdycSpiderItem类中添加三个属性，分别为title、author、isbn，分别代表教材的名称、作者及ISBN号码。修改后的RdycSpiderItem类的代码如下：#Defineherethemodelsforyourscrapeditems

#

#Seedocumentationin:

#/en/latest/topics/items.html

importscrapy

classRdycSpiderItem(scrapy.Item):

#definethefieldsforyouritemherelike:

#name=scrapy.Field()

#教材名称

title=scrapy.Field()

#教材作者

author=scrapy.Field()

#ISBN号码

isbn=scrapy.Field()

#pass字段验证04

字段验证添加完这三个字段后，爬虫程序只能爬取这三个字段的数据。如果字段名称写错了或者写了额外的字段，程序会报错。我们可以通过以下方式进行验证：在PyCharm中，右击rdyc_spider目录下的items.py文件，选择“打开于终端”，输入python进入Python交互环境。

字段验证正确输入字段：当输入正确的教材名称，例如《朝花夕拾》，如果代码没有问题，不会显示任何错误信息。这表明程序能够正常处理我们定义的字段数据。

字段验证写错字段：若将title字段写成tite，程序会输出KeyError错误进行提示。这是因为在RdycSpiderItem类中并没有定义tite这个字段，程序无法识别该字段，从而抛出错误。增加额外字段：如果增加额外字段，如year字段，同样会输出KeyError