2025年Python二级考试专项训练卷：网络爬虫与数据抓取

2025年Python二级考试专项训练卷：网络爬虫与数据抓取考试时间：______分钟总分：______分姓名：______一、选择题（每题2分，共20分）1.在使用Python进行网络请求时，处理HTTPS请求需要确保（）。A.服务器支持HTTP/1.1协议B.必须使用SSL证书C.请求头中包含`X-Request-Id`字段D.使用`requests`库的`verify=False`参数2.下列哪个库通常被认为是Python中最常用的网页数据解析库之一？A.`lxml`B.`selenium`C.`pandas`D.`numpy`3.当需要从HTML文档中提取所有包含特定类名`"item"`的`<div>`标签时，使用CSS选择器应写为？A.`div.item`B.`div>>.item`C.`//div[@class='item']`D.`.item`4.如果一个网页内容是通过JavaScript动态加载生成的，使用`requests`库直接获取该网页的HTML源代码通常无法得到期望的结果，原因是？A.服务器设置了robots.txt规则B.请求头中的User-Agent被服务器拒绝C.网页内容依赖于浏览器端的JavaScript执行环境D.`requests`库版本过旧5.在编写网络爬虫时，为了避免因频繁请求而被服务器封禁，常用的方法之一是？A.使用代理IP池B.在请求头中设置`Referer`为随机值C.忽略HTTP响应头中的`Cache-Control`指令D.不设置请求头6.下列哪个HTTP状态码表示请求成功，服务器已返回所需资源？A.301B.404C.200D.5037.在使用`BeautifulSoup`解析HTML时，如果需要根据标签的属性值进行筛选，例如选择所有`<a>`标签中`href`属性以`"http"`开头的链接，应使用？A.`soup.find_all('a',href=True)`B.`soup.find_all('a',string=lambdax:x.startswith('http'))`C.`soup.find_all('a',attrs={'href':lambdax:x.startswith('http')})`D.`soup.select('a[href^="http"]')`8.以下关于`Scrapy`框架的说法，错误的是？A.`Scrapy`是一个开源的、强大的网络爬虫框架B.`Scrapy`内置了数据库支持C.`Scrapy`项目通常包含`items.py`,`spiders`,`pipelines`等关键组件D.`Scrapy`可以方便地处理需要登录才能访问的网站9.将抓取到的数据存储为JSON格式的主要优点之一是？A.人类可读性好B.节省存储空间C.便于在Web前后端数据交换D.数据结构固定，不易出错10.在网络爬虫开发过程中，编写代码时故意添加`time.sleep()`函数调用的主要目的是？A.加快爬取速度B.防止程序崩溃C.设置请求间隔，模拟正常用户访问，降低被反爬虫机制识别的风险D.处理网络延迟二、填空题（每空2分，共20分）1.在Python中，发送HTTPGET请求最常用的库是______。2.使用`BeautifulSoup`创建解析对象后，若要查找页面上所有的`<p>`标签，应调用对象的______方法。3.当使用`requests`库发送POST请求，并将数据以表单形式提交时，应使用`data`或`json`参数，其中`data`适用于______格式的数据。4.如果一个网页的URL是`/items?id=123&category=books`，其中`id=123`和`category=books`是查询参数，使用`requests`库发送GET请求时，应将它们放在______参数中。5.CSS选择器中，`#id`用于选择具有特定ID的元素，`.class`用于选择具有特定______的元素。6.如果网站使用了JavaScript框架（如React,Vue）渲染页面，爬虫直接获取的HTML源码通常是空的或未完成的，这时可以考虑使用______工具来模拟浏览器环境。7.在Scrapy框架中，用于定义爬虫需要抓取数据的结构的模块是______。8.网络爬虫在访问网站前，通常会先查看该网站的______文件，以了解哪些页面允许被爬取。9.将抓取到的字典类型数据转换为JSON字符串，在Python中可以使用______库的`dumps()`函数。10.为了提高爬虫的健壮性，处理网络请求时，应该添加异常处理机制，捕获如______、连接超时等可能发生的错误。三、简答题（每题5分，共15分）1.简述使用`requests`库发送一个简单的HTTPGET请求并获取响应基本步骤。2.解释一下什么是反爬虫机制？请列举至少两种常见的反爬虫技术，并说明其中一种的基本应对思路。3.假设你需要抓取一个电商网站商品列表页面的商品名称和价格。该页面使用了JavaScript分页，即点击“下一页”按钮时，通过JavaScript加载新的商品数据。请简述你会如何设计爬取策略来处理这种分页情况（不需要写代码，只需描述思路）。四、编程题（共25分）请编写Python代码，完成以下任务：1.使用`requests`库发送HTTPGET请求，访问`/get`。2.在请求头中添加自定义的User-Agent字段，值为`"MyPythonCrawler/1.0"`。3.查看响应状态码，并打印响应文本内容。4.假设你需要从响应的JSON数据中提取`origin`字段的值，请使用Python的`json`库解析响应内容，并打印出`origin`字段的值。5.请将`origin`字段的值存储到一个名为`origin_ip.txt`的文本文件中，文件内容只包含IP地址，无需任何其他文字。试卷答案一、选择题1.B解析：HTTPS协议需要通过SSL/TLS加密传输，确保数据安全。虽然`verify=False`可以忽略证书验证，但这不直接处理HTTPS请求本身，且不安全。A是协议版本，C和D是请求头字段，与HTTPS核心需求无关。2.A解析：`lxml`是一个高效的XML和HTML解析库，常与`requests`结合使用进行网页数据提取。`BeautifulSoup`也是一个常用库，但`lxml`因其性能更受青睐。`selenium`用于自动化浏览器操作，`pandas`和`numpy`是数据分析库。3.A解析：CSS选择器中，`div.item`直接选择所有属于`item`类的`<div>`元素。B是后代选择器，C是XPath表达式，D选择类名为`item`的元素，但通常不加`div`。4.C解析：动态加载的网页内容由浏览器端JavaScript执行生成，`requests`库只获取初始HTML框架，无法执行JavaScript，因此无法直接获取动态生成的内容。5.A解析：使用代理IP池可以轮流使用不同IP地址发送请求，使服务器难以识别并追踪到单一爬虫来源，是应对IP封禁的有效方法。B、D效果有限，C是忽略缓存指令，与反爬虫无关。6.C解析：HTTP状态码200表示“OK”，即请求成功，服务器正常返回了请求的资源。301是永久重定向，404是未找到资源，503是服务不可用。7.D解析：`soup.select('a[href^="http"]')`是使用CSS选择器，其中`[href^="http"]`表示选择`href`属性值以`http`开头的`<a>`标签。A只查找所有`<a>`标签。B使用字符串匹配。C使用属性查找的lambda函数方式。8.B解析：`Scrapy`框架本身不内置数据库支持，它提供了数据管道（pipelines）的接口，允许开发者自定义数据存储逻辑（如存入数据库、写入文件等），但具体实现需要自己完成。9.C解析：JSON（JavaScriptObjectNotation）格式轻量、易读、易于机器解析和生成，广泛用于Web前后端数据交互。A虽然可读，但不如JSON结构化。B不一定，取决于数据复杂度。D与格式无关。10.C解析：`time.sleep()`用于在两次请求之间暂停指定时间，模拟人类用户的正常访问节奏，减少因请求过于频繁而被服务器判定为爬虫并拒绝访问的风险。二、填空题1.requests解析：`requests`是Python社区广泛使用的标准HTTP库，用于发送各种HTTP请求。2.find_all解析：`BeautifulSoup`对象的`find_all()`方法用于查找所有符合指定条件的标签。3.form-data解析：在使用`requests`发送POST请求时，`data`参数适用于传递表单数据（form-data），通常是键值对形式。`json`参数适用于传递JSON格式的数据。4.params解析：`requests`库发送GET请求时，URL查询参数应放在`params`参数中，库会自动将其编码并附加到URL后面。5.class解析：CSS选择器中，`.`用于选择具有特定类（class）属性的元素，`#`用于选择具有特定ID的元素。6.selenium/playwright解析：当页面内容由JavaScript动态渲染时，可以使用`selenium`或`playwright`等浏览器自动化工具，它们可以模拟真实浏览器环境加载和执行JavaScript。7.items解析：在Scrapy项目中，`items.py`文件用于定义爬虫需要采集的数据结构，通常是一个包含字段名称和字段类型的`Item`类。8.robots.txt解析：`robots.txt`是网站根目录下一个文本文件，用于告诉网络爬虫哪些页面可以抓取，哪些页面禁止抓取，是爬虫开发中必须遵守的规范。9.json解析：Python标准库中的`json`模块提供了`dumps()`函数，用于将Python字典等数据结构序列化为JSON格式的字符串。10.连接错误/连接超时解析：在网络请求过程中，可能遇到网络连接中断、服务器拒绝连接（如403Forbidden）、请求超时等情况，这些都是常见的异常，需要通过异常处理机制来捕获和处理。三、简答题1.解析思路：a.导入`requests`库。b.使用`requests.get()`函数，传入目标URL作为参数。c.将`requests.get()`函数的返回值（`Response`对象）赋给一个变量。d.调用`Response`对象的`.status_code`属性获取HTTP状态码。e.调用`Response`对象的`.text`属性获取响应的文本内容。f.调用`Response`对象的`.json()`方法（如果响应内容是JSON格式）来解析JSON数据。g.使用`try...except`语句处理可能出现的请求异常（如`ConnectionError`,`Timeout`等）。2.解析思路：a.反爬虫机制是指网站为了限制或阻止未经授权的爬虫程序访问其服务器和资源而采取的技术或策略。b.常见的反爬虫技术：-用户代理（User-Agent）检测：检查请求头中的User-Agent字段是否为浏览器标识，非浏览器标识的请求可能被拒绝。-IP封禁：对来自同一IP地址的频繁或异常请求进行限制或封禁。-验证码（CAPTCHA）：要求用户输入图片或文字验证码，验证其为人类而非程序。-动态加载/JavaScript渲染：页面内容由JavaScript动态生成，直接爬取HTML源码为空或无效。c.应对思路示例（以IP封禁为例）：-使用代理IP池：准备多个不同的代理服务器IP，在发送请求时轮换使用不同的IP。-设置请求头：模拟真实浏览器环境，设置正常的User-Agent、Referer等请求头字段。-控制请求频率：在请求之间加入延时（如`time.sleep()`），降低请求速度。-使用随机用户代理：从预设列表中随机选择User-Agent发送。3.解析思路：a.分析JavaScript分页机制：首先需要弄清楚“下一页”按钮点击后，新数据是如何获取的。是通过Ajax请求从服务器获取JSON数据，还是通过改变URL参数重新加载整个页面？b.如果是Ajax请求获取数据：-分析网络请求：使用浏览器开发者工具（F12）的“网络”（Network）面板，在点击“下一页”时，找到获取新数据的Ajax请求（通常是`GET`或`POST`请求）。-获取关键信息：记录下该Ajax请求的URL、请求参数（可能包含页码信息）以及请求头。-编写爬虫逻辑：编写一个循环，初始时发送请求获取第一页数据，解析成功后，更新页码参数，模拟点击“下一页”发送Ajax请求获取下一页数据，直至没有更多数据（如服务器返回空列表或特定提示）。c.如果是改变URL参数重新加载：-分析URL模式：观察URL参数在点击“下一页”后是如何变化的，通常是添加或修改`page`、`offset`等参数。-编写爬虫逻辑：编写一个循环，从第一页开始，构造包含当前页码参数的URL，发送GET请求获取页面内容，解析成功后，提取下一页的页码，更新URL，继续循环，直至无法获取新页面。四、编程题```pythonimportrequestsimportjson#1.发送HTTPGET请求url="/get"headers={"User-Agent":