《数据采集技术》课件-Scrapy框架基础认知

项目四

基于框架实现动态网页数据采集与存储目录Content1使用Scrapy框架完成新闻公告页面数据采集与存储项目导言零

Scrapy是Python的一个应用Twisted异步处理的第三方应用程序框架，用户只需要定制开发几个模块即可实现一个爬虫，用来快速爬取网站并从页面中抓取网页内容以及各种图片。学习目标零知识目标了解Scrapy相关概念熟悉Scrapy框架的设置掌握文本解析与内容存储精通内存存储逻辑技能目标具备项目创建的能力具备使用Scrapy操作命令创建Scrapy项目的能力具备解析网页中文本的能力具备网页数据采集能力素养目标具有较好的团队精神具有高度的责任感具备很强的学习和沟通能力具有清晰思路、较强的逻辑思维能力Scrapy框架基础认知壹任务技能Scrapy简介及安装Scrapy简介、Scrapy安装、Scrapy项目结构、Scrapy项目构建流程Scrapy操作指令在操作系统的任何位置均可以使用的全局命令应用于Scrapy项目中的项目命令字段定义及Scrapy设置自定义字段、项目设置、通用参数设置文本解析XPath选择器、CSS选择器内容存储文件存储、管道存储优势核心说明异步高效基于Twisted异步框架，非阻塞IO，可同时处理大量请求，爬取速度远超同步爬虫模块化设计引擎、调度器、下载器等组件独立，可灵活配置/替换（如换用不同存储方式）强大解析能力内置XPath、CSS选择器，直接提取网页文本/属性，无需额外集成第三方解析库自动去重调度器（Scheduler）内部维护请求指纹（fingerprint），避免重复爬取同一URL可扩展性强支持集成Redis（分布式爬取）、MongoDB/MySQL（数据存储）、Selenium（动态页）中间件机制通过下载中间件实现代理IP、User-Agent伪装、Cookie管理，突破反爬虫限制Scrapy是Python生态下的异步爬虫框架，专为“高效爬取网页结构化数据”设计，可用于新闻采集、数据挖掘、监控等场景，尤其适合中大型项目（多爬虫管理、复杂抓取流程）。其核心优势源于“模块化”和“异步机制”，具体如下：Scrapy框架基础认知壹（1）Scrapy简介Scrapy框架基础认知壹（2）Scrapy安装Scrapy属于Python的第三方框架，可以使用pip安装、wheel安装和源码安装等安装方式，并且在通过pip方式安装Scrapy时，会自动安装lxml、pyOpenSSL、Twisted、PyWin32等相关的依赖库。打开cmd命令窗口，输入“pipinstallscrapy”进入Python的交互式命令行，通过import引入Scrapy进行安装验证Step1Step2Scrapy框架基础认知壹（2）Scrapy安装第一步：先检查Python环境（前置准备，避免后续报错）（1）明确Scrapy支持的Python版本“Scrapy不支持Python3.6及以下版本，推荐用Python3.8-3.11——如果你的Python版本太老，先升级（Windows用‘python-mpipinstall--upgradepip’。”（2）“查看Python版本”的命令Windows：打开CMD，输入“python--version”；“如果显示‘Python3.9.7’这类，就没问题；如果显示‘Python2.7.x’，说明用了默认的Python2，要切换到Python3。”Scrapy框架基础认知壹（2）Scrapy安装第二步：分系统安装Scrapy（1）Windows系统步骤1：以“管理员身份”打开CMD（右键CMD，选“以管理员身份运行”——避免权限不足，导致依赖库安装失败）；步骤2：输入“pipinstallscrapy”——这里要提醒“如果出现‘Twisted安装失败’的报错，别慌，是Windows缺少编译环境”；补充“Twisted安装失败的解决方案”：①去Pythonlibs网站下载对应Python版本的Twistedwheel文件（比如Python3.964位，下载“Twisted-22.10.0-cp39-cp39-win_amd64.whl”）；②用“pipinstall下载路径\Twisted-xxx.whl”先装Twisted，再重新“pipinstallscrapy”。Scrapy框架基础认知壹（2）Scrapy安装

第三步：环境验证——不止“importscrapy”，多做一步确认（1）基础验证：进入Python交互环境Windows：CMD输入“python”，进入后输入“importscrapy”，无报错则成功；（2）进阶验证：查看Scrapy版本+测试命令退出Python交互环境（输入“exit()”），在终端/CMD输入“scrapyversion”——显示“Scrapy2.11.0”（或其他版本号），说明安装成功；再输入“scrapy-h”——显示Scrapy的命令列表（startproject、genspider等），说明命令行可用，后续能正常创建项目。Scrapy框架基础认知壹（2）Scrapy安装报错类型可能原因解决方案Twisted安装失败（Windows）缺少C++编译环境用wheel文件安装：先下对应版本Twisted.whl，再pipinstall文件名“Nomodulenamedscrapy”Python环境混乱