大数据采集与预处理技术（微课版）课件 4.2图书信息数据采集-scrapy-redis

大数据采集与预处理技术*

*项目二图书信息数据采集与预处理序号软件配置要求1scrapy最新版本2Scrapy-redis最新版本一、项目目标：1、完成图书信息数据分布式采集环境安装配置；2、完成图书信息数据采集程序设计和数据采集；3、完成图书信息数据预处理清洗。4、完成图书信息数据文本标注。二、环境要求：任务一分布式采集环境安装配置一、任务目标1、掌握Scrapy和Scrapy-redis组件的安装配置方法；2、了解Scrapy的工作机制和常见程序编写；3、会使用Scrapy-redis编写数据抓取程序；4、掌握常见的自然语言公开数据集获取方法；5、编写分布式爬虫程序完成图书信息数据采集。二、Scrapy-redis爬虫框架1、简介Scrapy-Redis是一个Scrapy的扩展，用于实现分布式爬虫。允许多个爬虫实例共享请求和数据，适合大规模数据抓取。特性如下：①分布式请求管理：Scrapy-Redis使用Redis作为请求队列，多个爬虫可以同时从同一个Redis队列中获取请求，提高了爬取效率。②数据去重：它提供了基于Redis的去重机制，确保每个请求只被处理一次，避免重复抓取相同页面。③数据存储：Scrapy-Redis可以将抓取到的数据存储在Redis中，方便后续处理和分析。④易于集成：通过简单的配置，Scrapy-Redis可以与现有的Scrapy项目无缝集成，支持常用的Scrapy组件。2、安装pipinstallscrapy-redis3、连接Scrapy和redis启用scrapy-redis可以在可以在scrapy项目settings.py文件中配置Redis连接，并启用相关中间件。如下示例：#settings.py#定义scrapy-redis设置SCHEDULER="scrapy_redis.scheduler.Scheduler"DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"#启用redis访问队列排队功能SCHEDULER_PERSIST=True#定义链接Redis时的host和接口（可选配置）REDIS_HOST='localhost'REDIS_PORT=6379#定义item管道ITEM_PIPELINES={'myproject.pipelines.MyprojectPipeline':300,'scrapy_redis.pipelines.RedisPipeline':400,}#设置Redis管道REDIS_ITEMS_KEY='myproject:items'4、继承RedisSpider创建爬虫时，继承自RedisSpider。如下示例：fromscrapy_redis.spidersimportRedisSpider #导入RedisSpiderclassMySpider(RedisSpider):name='myspider'redis_key='myspider:start_urls'defparse(self,response): ….. #解析逻辑5、使用Redis发送URL启动redis软件（需要手动安装该软件），通过命令向Redis添加起始URL来启动爬虫，多个爬虫实例可以同时从Redis中抓取数据。需要手动将起始URL推入Redis，命令如下所示：redis-clilpushexample_spider:start_urls/latest?subcat=%E5%85%A8%E9%83%A86、中文处理注意如果输入的值存在中文可能存在乱码，这是因为redis和windows命令窗口编码不一致问题导致的，例如如果需要输入如下键值：

lpushdouban_books:start_urls/latest?subcat=全部实际显示：lpushdouban_books:start_urls/latest?subcat=ﾡￋﾵ通用的解决方法是在cmd命令窗口输入“chcp65001”，然后再打开redis-cli.exe，输入示例如下：redis-cli.exe--rawlpushdouban_books:start_urls/latest?subcat=全部虽然这种输入可以解决显示问题，但是实际测试发现中文“小说”值输入仍有问题。可以通过把中文转换为URL的UTF-8编码格式输入（“全部”对应的URLUTF-8编码值是%E5%85%A8%E9%83%A8）：

lpushdouban_books:start_urls/latest?subcat==%E5%85%A8%E9%83%A87、项目运行

1）运行

程序完成配置后，可以在项目目录下运行爬虫，命令和运行scrapy项目一致，命令如下所示：scrapycrawlexample_spider

2）分布式爬取

如果需要分布式爬虫，可以在多台机器或多个终端同时运行相同的爬虫实例，爬虫将共享同一个Redis队列，从而实现分布式爬取。