2025年全国计算机二级Python爬虫基础试题详解及解题技巧

2025年全国计算机二级Python爬虫基础试题详解及解题技巧考试时间：______分钟总分：______分姓名：______一、选择题1.在Python中使用`requests`库发送HTTPGET请求时，用于传递查询参数的参数是？A.headersB.dataC.paramsD.cookies2.下列哪个库主要用于解析HTML和XML文档，并从中提取数据？A.NumPyB.PandasC.MatplotlibD.BeautifulSoup3.在使用`BeautifulSoup`对象查找所有`<a>`标签时，应使用哪个方法？A.`find()`B.`find_all()`C.`select()`D.`select_one()`4.当网络请求超时时，`requests`库会抛出哪个异常（或其子异常）？A.`ConnectionError`B.`TimeoutError`C.`HTTPError`D.`KeyError`5.在网络爬虫开发中，`robots.txt`文件主要用于什么目的？A.存储网站用户数据B.规定爬虫可以抓取的页面范围C.提供网站地图D.定义网页的加载样式6.下列哪个HTTP方法通常用于提交表单数据或上传文件？A.GETB.POSTC.PUTD.DELETE7.从网页`<ahref="/path/to/page.html">Link</a>`中提取绝对URL"/path/to/page.html"，最直接有效的方法是？A.使用正则表达式B.使用`BeautifulSoup`的`get()`方法C.使用`BeautifulSoup`的`attr`属性D.使用`urllib.parse.urljoin()`函数8.对于需要频繁访问同一网站且请求间有时间间隔的场景，使用`requests.Session()`对象的主要好处是？A.提高每次请求的响应速度B.自动处理Cookies和HeadersC.隐藏真实的用户代理D.减少代码编写量9.如果需要解析一个结构复杂且嵌套深的HTML文档，哪个解析器的性能通常更好？A.`BeautifulSoup`配合`html.parser`B.`BeautifulSoup`配合`lxml`C.`lxml.etree`直接解析D.两者性能差异不大10.在编写爬虫时，不遵守网站的`robots.txt`协议可能导致什么后果？A.网站封禁爬虫IPB.请求被浏览器拒绝C.抛出`URLError`异常D.爬取的数据不准确二、填空题1.要使用`requests`库发送一个带用户代理（User-Agent）的HTTPGET请求，需要在`headers`参数中设置一个字典，键名为`User-Agent`，键值为具体的用户代理字符串，例如`'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.110Safari/537.3'`。2.假设使用`BeautifulSoup`解析了一个HTML页面，`soup`是`BeautifulSoup`对象，要找到页面中第一个`<h1>`标签的内容，可以使用表达式`soup.find('h1').text`或`soup.find('h1').get_text()`。3.正则表达式`r'\d{4}-\d{2}-\d{2}'`用于匹配标准的日期格式，如`"2023-10-27"`。4.在使用`requests.get(url)`获取网页内容时，如果需要设置超时时间（例如10秒），可以在调用时传递`timeout=10`参数。5.如果要从`response=requests.get(url)`获取的响应对象中提取HTTP状态码，可以使用`response.status_code`属性。6.当使用`urllib.request`或`requests`库访问需要登录才能访问的页面时，通常需要发送一个包含用户凭证（如Cookies或授权令牌）的请求。如果使用`requests`，可以在后续请求中使用`cookies`参数传递一个字典。7.如果要从`<td>Item<b>Widget</b></td>`这样的HTML片段中提取`"Widget"`，可以使用`BeautifulSoup`的`find()`或`find_all()`结合CSS选择器`.b`或标签名`'b'`，然后调用`.get_text()`或`.string`属性。8.在编写网络爬虫时，处理分页通常需要分析页面URL的变化规律或页面中导航链接的结构，以便构造并访问后续的页面。9.将爬取到的数据保存为JSON格式，可以使用Python内置的`json`库，调用`json.dumps()`函数将Python对象转换为JSON字符串，再使用文件操作写入文件。10.除了User-Agent，常用的反爬虫策略还包括使用代理IP池轮换IP、设置请求间隔（如`time.sleep()`）、识别并处理验证码等。三、简答题1.简述使用`requests`库发送一个HTTPGET请求的基本步骤，并说明需要关注的关键参数（如`url`,`headers`,`params`,`timeout`）。2.解释`BeautifulSoup`对象是如何工作的？它在解析HTML文档时主要提供了哪些核心功能（如查找、筛选、遍历）？3.什么是`robots.txt`？爬虫开发者应该如何检查目标网站的`robots.txt`文件？遵守`robots.txt`协议对爬虫开发有什么意义？4.列举至少三种常见的反爬虫机制，并简要说明其中一种机制的基本原理及常见的应对方法。5.假设你需要编写一个爬虫，抓取某个新闻网站首页上所有新闻的标题和链接。请描述你会如何分析网页结构，以及会使用哪些`requests`和`BeautifulSoup`的功能来实现这一目标。四、编程题假设你需要编写一个Python爬虫，抓取某电商平台（例如：假设的``）首页上展示的第一页商品信息。每条商品信息包含：商品名称、商品价格、商品图片链接。要求将这些信息保存到一个名为`products.csv`的CSV文件中，文件格式如下：```商品名称,商品价格,商品图片链接商品1,￥99.00,/images/product1.jpg商品2,￥199.50,/images/product2.jpg...```请编写完成此任务的Python代码。你需要处理至少3个商品的信息。注意考虑使用适当的库（如`requests`,`BeautifulSoup`）进行网页请求和解析，并使用Python内置的`csv`库进行数据保存。代码中应包含必要的错误处理（如请求失败、解析异常等）。假设商品信息可以通过解析首页的特定HTML结构（例如，商品名称在`<divclass="product-name">`标签内，价格在`<spanclass="price">`标签内，图片链接在`<img>`标签的`src`属性内）获取。试卷答案一、选择题1.C解析：`requests`库发送GET请求时，查询参数通过`params`参数传递，该参数需要一个字典，`requests`会自动将其编码并附加在URL后面。2.D解析：`BeautifulSoup`是Python的一个库，专门用于从HTML或XML文件中提取数据，它提供方便的接口来遍历、搜索、修改解析树。3.B解析：`BeautifulSoup`的`find_all()`方法用于查找文档中所有匹配的标签，而`find()`只查找第一个匹配的标签。查找所有`<a>`标签应使用`find_all('a')`。4.B解析：`requests`库在遇到连接超时（即请求超过了设定的`timeout`时间仍未得到响应）时会抛出`TimeoutError`异常。5.B解析：`robots.txt`文件是一个文本文件，部署在网站的根目录下，用于告诉网络爬虫哪些页面可以抓取，哪些页面禁止抓取。6.B解析：HTTP协议中，`POST`方法通常用于在服务器上创建或更新资源，适合提交表单数据或上传文件，而`GET`方法主要用于获取资源。7.D解析：`urllib.parse.urljoin()`函数可以将基础URL和相对URL合并为一个完整的绝对URL。这是处理网页中相对链接转换为绝对链接的标准方法。8.B解析：`requests.Session()`对象可以跨请求保持某些参数（如Cookies、Headers），这对于需要维持会话状态的交互式网站爬取非常有用。9.C解析：`lxml`库是纯Python编写的，但底层使用C语言实现，因此其解析速度远快于`BeautifulSoup`（即使是配合`lxml`的解析器），尤其是在处理大型或复杂的HTML文档时。10.A解析：爬虫如果无视`robots.txt`协议中的规则，特别是`Disallow`指令，可能会被网站管理员认为是恶意行为，从而导致网站封禁爬虫的IP地址。二、填空题1.headers解析：在`requests`的`headers`参数中设置请求头信息，包括User-Agent，可以向服务器表明请求来源。2.find,get_text解析：`find('h1')`用于查找第一个`<h1>`标签，`.text`或`.get_text()`用于获取该标签内部的所有文本内容。3.\d{4}-\d{2}-\d{2}解析：这是一个正则表达式，`\d`匹配数字，`{4}`、`{2}`指定匹配次数，`-`匹配字面意义上的短横线，用于精确匹配格式为YYYY-MM-DD的日期。4.timeout解析：`timeout`参数在`requests.get()`等请求方法中用于设置连接超时和读取超时的时间（秒）。5.status_code解析：`response.status_code`属性存储了HTTP响应的状态码，如`200`表示成功，`404`表示未找到等。6.cookies解析：在`requests`库中，如果需要携带Cookies进行请求，可以在`cookies`参数中传递一个字典，`requests`会自动处理Cookie的发送。7.find,get_text,attr[src]解析：可以使用`find()`或`find_all()`结合CSS选择器`.b`或标签`'b'`找到`<b>`标签，然后调用`.get_text()`获取文本。或者直接找到`<img>`标签，再通过`.attr['src']`获取`src`属性的值。8.分析URL规律或导航链接结构解析：处理分页通常需要观察目标网站如何生成后续页面的URL，可能是通过在URL中添加页码参数（如`?page=2`），或者通过分析页面中的“下一页”链接的HTML结构来构造。9.json.dumps,文件操作解析：使用`json.dumps()`将Python数据结构（如字典、列表）转换为JSON格式的字符串，然后通过Python的文件操作（如`withopen('products.csv','w',newline='',encoding='utf-8')asf:`）将字符串写入文件。10.代理IP池轮换IP,请求间隔,验证码解析：常见的反爬虫策略包括：使用代理服务器隐藏真实IP；在请求之间加入延时（如`time.sleep()`）；网站部署验证码（图形验证码、短信验证码等）来阻止自动化访问。三、简答题1.使用`requests`库发送HTTPGET请求的基本步骤：a.导入`requests`模块。b.使用`requests.get(url,params={},headers={})`函数发起请求。`url`是目标网页的地址；`params`是一个字典，包含要发送的查询参数；`headers`是一个字典，包含要发送的请求头信息，如User-Agent。c.等待服务器响应，将响应对象存储在变量中（如`response`）。d.检查响应状态码（如`response.status_code`），确保请求成功（如200）。e.使用`response.text`获取响应的文本内容（HTML），或`response.content`获取原始字节内容。f.处理获取到的数据（如解析HTML）。关键参数：`url`是必须的，指定请求目标；`params`用于GET请求的查询参数；`headers`用于自定义请求头，如User-Agent；`timeout`用于设置请求超时时间，防止卡死。2.`BeautifulSoup`对象的工作原理：`BeautifulSoup`对象在创建时，会接收HTML或XML内容以及一个解析器（如`html.parser`,`lxml`,`html5lib`）。它将这些内容转换成一个解析树（通常是DOM树或类似结构），使得可以方便地通过标签名、属性、文本内容等方式来查找和操作节点。核心功能：a.查找与筛选：使用`find()`,`find_all()`,`select()`等方法根据标签名、属性（如`class_`,`id`）、CSS选择器等查找节点。b.遍历：可以通过节点的`.parent`,`.children`,`.next_sibling`,`.previous_sibling`等属性访问其父节点、子节点、兄弟节点。c.提取：通过`.text`或`.string`属性获取节点包含的文本，通过`.attr`字典访问节点的属性值。3.`robots.txt`：`robots.txt`是一个文本文件，部署在网站的根目录下（如`/robots.txt`）。它用于通过`User-agent`指令指定哪些爬虫（User-agent）可以或不可以访问网站上的哪些路径（DisallowedURLs）。它是一个约定，并非强制性的法律文件，网站可以通过`robotsexclusionprotocol`来告知爬虫其访问意愿。爬虫开发者如何检查：可以使用`requests.get('http://目标网站域名/robots.txt')`来获取该文件的文本内容，也可以使用浏览器直接访问（如`/robots.txt`）。分析文件内容，特别是`Disallow`行，了解网站的爬虫政策。意义：遵守`robots.txt`协议可以避免与网站管理员发生冲突，尊重网站的意愿，使得爬虫行为更合规、更友好，减少被网站屏蔽或封禁的风险。4.常见的反爬虫机制及原理与应对：a.User-Agent检测：原理是检查HTTP请求头中的`User-Agent`字段是否为已知的爬虫库标识或随机User-Agent列表中的项。应对：使用`requests`的`headers`参数设置常见的浏览器User-Agent；使用代理IP池，模拟不同用户的环境。b.请求频率限制（速率限制）：原理是检测短时间内来自同一IP的请求量是否过大，超过阈值则拒绝服务或返回错误信息。应对：在请求之间加入延时（`time.sleep()`）；使用更少的请求频率；使用分布式爬虫，分散请求来源。c.验证码：原理是显示一个图片、滑块或其他形式的挑战，需要人工识别或完成操作，以此区分人类用户和自动化脚本。应对：简单验证码可手动识别；复杂验证码可能需要使用OCR技术、第三方打码平台或跳过需要人工干预的页面。5.抓取新闻首页商品信息的描述：a.分析网页结构：使用浏览器开发者工具（F12）打开新闻首页，检查商品信息是如何呈现的。找到商品名称、价格、图片链接分别位于哪些HTML标签中，并观察这些标签是否有唯一的类名（class）或ID，或者它们在页面结构中的位置关系。例如，假设发现商品名称在`<divclass="product-name">`内，价格在`<spanclass="price">`内，图片在`<imgsrc="...">`的`src`属性。b.编写代码：i.导入`requests`和`BeautifulSoup`库。ii.发起GET请求获取首页HTML内容，设置合适的User-Agent等请求头。iii.使用`BeautifulSoup`解析获取到的HTML内容。iv.使用`find_all()`或`select()`等方法结合CSS选择器，根据分析出的结构定位到所有商品信息的容器（如包含名称、价格、图片的父标签）。v.遍历每个商品容器，使用`.find()`或`.select_one()`获取名称、价格、图片链接。vi.提取所需信息（如`.text`,`.get_text()`,`.attr['src']`）。vii.使用`csv`库，创建`csv.writer`对象，打开`products.csv`文件。viii.写入表头。ix.遍历提取到的商品信息，写入每条商品的名称、价格、图片链接到CSV文件。x.关闭文件。四、编程题```pythonimportrequestsfrombs4importBeautifulSoupimportcsvimporttime#定义目标网站首页URLbase_url=''#定义请求头，模拟浏览器行为headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.110Safari/537.3'}#尝试发送请求获取首页内容try:response=requests.get(base_url,headers=headers,timeout=10)response.raise_for_status()#检查请求是否成功exceptrequests.RequestExceptionase:print(f"请求首页失败:{e}")exit()#使用BeautifulSoup解析HTML内容soup=BeautifulSoup(response.text,'lxml')#假设网站使用lxml解析器或html.parser#假设商品信息包含在class为'product-item'的div标签中products=[]product_list=soup.find_all('div',class_='product-item')count=0foriteminproduct_list[:3]:#假设只处理前3个商品，实际需要根据页面结构确定try:#假设商品名称在class为'product-name'的div内name_div=item.find('div',class_='product-name')name=name_div.text.strip()ifname_divelse'未知名称'#假设价格在class为'price'的span内，格式可能为'￥99.00'price_span=item.find('span',class_='price')price=price_span.text.strip()ifprice_spanelse'未知价格'#去除价格前的货币符号，如果需要#price=price.re