数据采集技术 课件 任务5.7 项目实战

项目实战

基于Scrapy爬取人大芸窗数字教材网站的平台功能特色

——数据采集技术

基于Scrapy爬取人大芸窗数字教材网站的平台功能特色目标网站：人大芸窗数字教材网站（/xtts.html）采集数据：内容特点。数据存储：将数据进行存储保存。合法合规：遵守目标网站的robots.txt协议，不采集用户隐私数据。步骤1：安装必要的工具。创建项目：打开终端，运行以下命令安装Scrapy模块。pipinstallscrapy==2.5.0步骤2：分析目标网站查看robots.txt文件，了解网站爬取规则，分析课程列表页和详情页的URL结构。步骤3：创建Scrapy项目scrapystartproject项目名称，项目名称自定义，这里取名myspider。scrapystartprojectmyspider执行完成后，在我们的项目文件里就生成了这个myspider文件夹，项目的目录结构如图

所示：步骤4：创建爬虫在命令行窗口中切换当前的目录为子目录myspider/spiders，创建一个名称为newrdyc、爬取域为

的爬虫。执行命令：scrapygenspidernewrdyc“”步骤5：编写爬虫代码创建好爬虫后，编辑爬虫代码。定义数据模型（items.py）：在PyCharm中打开myspider/spiders目录，可以看创建的items.py。接下来，在myspiders目录下的items.py文件类中，添加需要抓取的信息，代码如下所示：importscrapyclassMyspiderItem(scrapy.Item):#definethefieldsforyouritemherelike:#name=scrapy.Field()feature=scrapy.Field()content=scrapy.Field()编写爬虫逻辑（spiders/newrdyc.py）:首先对刚刚生成的NewrdycSpider类进行修改，为爬虫指定要抓取的初始URL，具体代码如下。importscrapyfrom..itemsimportMyspiderItemclassNewrdycSpider(scrapy.Spider):name='newrdyc'allowed_domains=['']start_urls=['/xtts.html']然后修改parse()方法，首先从网页中提取需要采集的目标，具体代码如下：importscrapyfrom..itemsimportMyspiderItemclassNewrdycSpider(scrapy.Spider):name='newrdyc'allowed_domains=['']start_urls=['/xtts.html']defparse(self,response):foreachinresponse.xpath(“//div[@class='service-box']”):#创建MyspiderItem类的对象item=MyspiderItem()#使用XPath的路径表达式选取节点feature=each.xpath(“h3”)content=each.xpath(“p”)#将需要采集的信息封装成MySpiderItem类的对象item[“feature”]=featureitem[“content”]=cont