Python网络爬虫技术项目化教程 -习题答案 项目五-七参考答案

项目五【思考与练习】参考答案一、选择题1．Ajax技术的核心优势是（B）A．刷新整个网页获取数据 B．异步通信实现页面局部更新C．仅支持XML格式数据传输 D．依赖服务器端渲染页面答案解析：Ajax的核心优势在于异步通信，无需刷新整个页面即可更新局部内容。2．Selenium定位元素时，效率最高的方法是（C）A．XPath定位 B．CSS选择器定位C．ID定位 D．Class定位答案解析：ID定位速度最快，因为ID在HTML中通常是唯一的。3．关于Selenium的浏览器驱动配置，正确的是（B）A．所有浏览器驱动均可通用B．ChromeDriver需与浏览器版本完全匹配C．驱动路径只能通过环境变量配置D.Firefox浏览器无需驱动答案解析：ChromeDriver版本必须与Chrome浏览器版本匹配。4．反爬策略中，用于模拟真实用户行为的是（D）A．使用固定请求间隔 B．禁用浏览器CookiesC．单IP高频请求 D．随机化滚动速度与延迟答案解析：模拟真实用户浏览行为，如随机滚动和延迟，有助于避免反爬机制。二、简答题1．什么是Ajax技术？它与传统网页加载模式的核心区别是什么？Ajax技术定义：Ajax（AsynchronousJavaScriptandXML）即异步JavaScript和XML，是用于创建交互性更强的Web应用程序的技术，核心是无需刷新整个网页，通过异步方式与服务器进行数据交互，实现页面局部内容动态更新。核心区别：传统网页加载需刷新整个页面获取新数据，效率低且有等待感；Ajax无需整体刷新，仅局部更新，提升用户体验与网页性能。2．动态网页爬取的主要挑战有哪些？传统requests库为何无法直接获取动态内容？主要挑战：动态内容通过JavaScript异步加载，数据不直接存在于初始HTML源代码；网站可能设置反爬机制（如IP限制、请求频率限制等）；请求参数可能加密，需逆向分析；需模拟用户交互（如滚动、点击）触发数据加载。requests库局限：仅能获取网页初始加载的HTML代码，无法执行JavaScript，无法捕获页面加载完成后通过Ajax请求获取的动态数据。3．列举至少3种Selenium元素定位方法，并说明其适用场景。id定位（find_element(By.ID,‘XX’)）：适用于元素有唯一id属性的场景，定位速度最快、准确性高，常见于表单输入框、按钮等核心交互元素name定位（find_element(By.NAME,‘XX’)）：适用于表单字段（如输入框、单选框）等有明确name属性的元素，需注意name可能不唯一。CSS选择器定位（find_element(By.CSS_SELECTOR,‘XX’)）：定位灵活、性能高，支持组合选择器，适用于各类元素，尤其适合复杂结构下精准定位。三、操作题使用Selenium框架编写一个爬虫程序，从BOSS直聘网站采集Python开发相关的职位信息。具体任务如下：模拟浏览器登录（可使用Cookie或扫码），搜索“Python开发”职位，选择城市为“北京”，爬取前10页职位信息，包括：职位名称、薪资范围、公司名称、工作经验要求、学历要求、职位详情URL，同时处理分页逻辑，能自动翻页，最后将爬取的数据去重并存储为JSON文件。见配套代码

项目六【思考与练习】参考答案四、选择题1．关于Scrapy框架的核心组件，下列说法错误的是（B）A．Engine（引擎）负责协调组件间通信，调度请求与响应循环。B．Scheduler（调度器）仅支持FIFO队列管理请求，不支持优先级调度。C．Downloader（下载器）基于Twisted异步库实现高并发请求。D．ItemPipeline（项目管道）用于数据清洗、验证和持久化存储。答案解析：调度器支持多种队列方式，包括优先级调度。2．在Scrapy数据流中，响应（Response）从下载器传递到爬虫（Spider）的路径是（A）A．下载器→引擎→爬虫中间件→爬虫B．下载器→爬虫中间件→引擎→爬虫C．下载器→调度器→引擎→爬虫D．下载器→引擎→调度器→爬虫答案解析：响应从下载器经引擎、爬虫中间件传递到爬虫。3．创建Scrapy项目的正确命令是（B）A．scrapygenspider项目名称 B．scrapystartproject项目名称C．scrapynewproject项目名称 D．scrapycreate项目名称答案解析：创建Scrapy项目的正确命令。4．在Scrapy中，用于定义数据存储结构（如字段名）的文件是（C）A．settings.py B．middlewares.pyC．items.py D．pipelines.py答案解析：items.py用于定义数据存储结构，即Item类。五、简答题1．Scrapy框架的核心组件有哪些？请分别简述其主要功能。ScrapyEngine（引擎）：框架核心，协调各组件通信，调度请求与响应循环，控制爬取生命周期。Scheduler（调度器）：管理请求队列，支持优先级调度与请求去重，按规则向引擎返回待处理请求。Downloader（下载器）：执行网络请求，获取响应并封装为Response对象返回给引擎，支持代理、Cookie等高级功能。Spider（爬虫）：自定义爬取逻辑，解析响应数据，提取Item与新请求。ItemPipeline（项目管道）：处理爬虫提取的Item，进行清洗、验证、存储（如文件、数据库）。Middleware（中间件）：包括下载中间件和爬虫中间件，拦截请求与响应，实现反爬、请求优化等功能。2．简述Scrapy中数据流的执行流程（可结合框架架构图说明）。引擎向调度器发送初始请求；调度器将请求排队后返回给引擎；引擎通过下载中间件将请求发送给下载器；下载器发起网络请求，获取响应后通过下载中间件返回给引擎；引擎通过爬虫中间件将响应发送给爬虫；爬虫解析响应，提取Item和新请求，返回给引擎；引擎将Item发送给项目管道，将新请求发送给调度器，重复上述流程；调度器无更多请求时，爬取结束。3．如何创建一个Scrapy项目？请写出具体命令和步骤，并说明生成的项目目录中items.py和spiders/的作用。安装Scrapy：pipinstallscrapy；创建项目：scrapystartproject项目名称（如scrapystartprojectzhihu_hot）；进入项目目录：cd项目名称；创建爬虫：scrapygenspider爬虫名称目标域名（如scrapygenspiderzhihu_spider）。items.py作用：定义结构化数据模型，明确定义待爬取数据的字段（如标题、链接），确保数据存储规范。spiders/目录作用：存储所有自定义爬虫代码，每个爬虫文件对应一个爬取任务，包含起始URL、解析规则等逻辑。六、操作题编写一个Scrapy爬虫，爬取知乎热榜的热门话题数据。需获取以下信息：话题标题、话题链接、热度数值、话题摘要（前30个字符）以及发布时间。要求：使用Scrapy框架编写爬虫，确保能爬取完整的热榜页面（需处理分页或动态加载）。实现数据清洗，去除无用字符（如HTML标签、特殊符号）。将结果存储为CSV文件，包含上述字段。添加异常处理机制，确保爬虫在遇到网络错误或页面结构变化时能稳定运行。设置合理的爬取策略（如请求头、延迟、重试机制）以避免被反爬。见配套代码

项目七【思考与练习】参考答案七、选择题1．在代理IP池的组成结构中，负责定期检测代理IP可用性和响应速度的模块是（B）A．资源层 B．控制层 C．服务层 D．调度层答案解析：控制层负责代理IP的质量监控与管理，包括定期检测可用性和响应速度。2．以下哪个工具是用于识别验证码的开源OCR库（C）A．Pillow B．pytesseract C．Tesseract D．OpenCV答案解析：Tesseract是开源的OCR库，用于识别验证码中的文本。3．在aiohttp中，用于限制并发请求数量的组件是（A）A．asyncio.Semaphore B．asyncio.gatherC．aiohttp.ClientSession D．aiohttp.ClientTimeout答案解析：Semaphore用于限制并发请求数量，控制爬虫对服务器的压力。4．使用aiohttp发送异步请求时，用于封装HTTP会话的核心类是（B）A．asyncio.Task B．ClientSessionC．BeautifulSoup D．Semaphore答案解析：ClientSession是aiohttp中用于管理HTTP会话的核心类。八、简答题1．什么是代理IP池？其核心工作原理包括哪些环节？代理IP池定义：集中管理大量代理IP资源的基础设施，通过动态调度为爬虫提供高可用代理服务，分散请求来源，规避IP封锁。核心工作原理：资源层：从免费网站、付费服务、自建节点获取代理IP，存储并分类；控制层：定期检测代理可用性、响应速度、匿名性，剔除失效IP，补充新IP；服务层：按调度策略（随机、地域优先等）分配代理，转发爬虫请求，自动切换失效代理。2．在Python中，使用Tesseract识别验证码的基本步骤是什么？安装Tesseract：下载对应系统版本的Tesseract-OCR，配置环境变量（Path添加安装目录，新建TESSDATA_PREFIX指向tessdata路径）；安装依赖库：pipinstallpillowpytesseract；图像预处理（可选）：使用Pillow进行灰度化、二值化、去噪等操作，提升识别准确率；调用Tesseract识别：通过pytesseract.image_to_string()方法读取图片文本。3．简述异步爬虫相比同步爬虫的核心优势，并说明aiohttp在其中的作用。核心优势：异步爬虫在等待网络响应时不阻塞，可并发处理多个请求，大幅提升I/O密集型任务的效率，相比同步爬虫能在更短时间内完成大量请求。aiohttp作用：基于asyncio实现的异步HTTP客户端库，提供非阻塞的HTTP请求接口，支持并发控制、超时设置、异常处理