2025年全国计算机二级Python爬虫实战案例试题集

2025年全国计算机二级Python爬虫实战案例试题集考试时间：______分钟总分：______分姓名：______试题一请编写Python代码，使用`requests`库发送GET请求到"/todos/1"，获取响应内容，并将其存储在变量`response_data`中。要求在请求头中设置`User-Agent`为`"Python-requests/2.28.1"`。试题二假设你已经使用`requests`库获取了某个HTML页面内容，存储在变量`html_content`中。该页面的部分结构如下：```html<divclass="product"><h2class="product-title">ProductTitle</h2><pclass="product-price">$99.99</p></div><divclass="product"><h2class="product-title">AnotherProductTitle</h2><pclass="product-price">$199.99</p></div>```请使用`BeautifulSoup`库（假设已导入并初始化为`soup`），编写代码提取所有`<h2class="product-title">`标签内的文本，并将这些文本存储在一个列表`product_titles`中。试题三继续使用试题二中的`html_content`和`soup`对象。请编写代码，提取所有`<pclass="product-price">`标签内的价格文本（即包含`$`符号的部分），并将其转换为浮点数列表`product_prices`。注意处理可能存在的空值或非数字字符。试题四假设试题二和试题三已经成功执行，得到了`product_titles`和`product_prices`两个列表。请编写Python代码，将这两个列表中的数据按顺序写入一个名为`products.csv`的CSV文件中，文件的第一行作为表头，分别为`Title`和`Price`。试题五请编写一个Python函数，名为`fetch_and_parse`。该函数接收一个URL字符串作为参数。函数内部应执行以下操作：1.使用`requests`库发送GET请求获取URL对应页面的内容。2.使用`BeautifulSoup`库解析获取到的HTML内容。3.找到页面中所有的`<a>`标签，提取其`href`属性值（即链接地址）。4.将所有提取到的链接地址存储在一个列表中，并返回该列表。5.要求：函数内部需包含基本的异常处理（如网络请求失败）。试题六请编写Python代码，调用在试题五中定义的`fetch_and_parse`函数，传入URL""。将函数返回的所有链接地址列表存储在变量`links_list`中。然后，遍历`links_list`中的每个链接，打印出链接文本（即`<a>`标签内的内容，如果存在的话）和链接地址。试题七请编写Python代码，使用`requests`库向"/post"发送POST请求。请求的数据为JSON格式，内容为`{"name":"John","age":30}`。需要设置合适的请求头（Content-Type为`application/json`）。获取响应内容并存储在变量`post_response`中。试卷答案试题一答案```pythonimportrequestsresponse_data=requests.get("/todos/1",headers={"User-Agent":"Python-requests/2.28.1"})```试题一解析使用`requests.get()`函数发送GET请求。URL是目标网页地址。`headers`参数用于设置请求头，这里按要求设置了`User-Agent`。函数执行成功后，响应对象被赋值给`response_data`变量。试题二答案```pythonproduct_titles=soup.find_all("h2",class_="product-title")titles_text=[title.get_text()fortitleinproduct_titles]```试题二解析使用`soup.find_all()`方法查找所有满足条件的`<h2>`标签。`class_="product-title"`是CSS类选择器。`find_all()`返回一个标签对象列表。遍历这个列表，使用`get_text()`方法获取每个标签内的文本内容，并将这些文本放入列表`product_titles`中。试题三答案```pythonproduct_prices=[]forprice_taginsoup.find_all("p",class_="product-price"):text=price_tag.get_text()try:price=float(text.replace('$',''))product_prices.append(price)except(ValueError,AttributeError):pass#忽略无法转换为浮点数或不存在文本的标签```试题三解析同样使用`soup.find_all()`查找所有`<pclass="product-price">`标签。遍历返回的标签对象列表，对每个标签调用`get_text()`获取其文本。尝试使用`replace('$','')`移除美元符号，然后使用`float()`尝试将字符串转换为浮点数。使用`try...except`结构捕获并处理可能出现的`ValueError`（转换失败）和`AttributeError`（标签文本不存在）。成功转换的价格被添加到列表`product_prices`中。试题四答案```pythonwithopen('products.csv','w',newline='',encoding='utf-8')ascsvfile:writer=csv.writer(csvfile)writer.writerow(['Title','Price'])#写入表头fortitle,priceinzip(product_titles,product_prices):writer.writerow([title,price])#写入数据行```试题四解析使用`open()`函数以写入模式（`'w'`）打开文件`products.csv`，设置`newline=''`避免在行间插入额外空行，`encoding='utf-8'`确保支持中文等字符。创建`csv.writer`对象。使用`writer.writerow()`先写入表头列表`['Title','Price']`。然后使用`zip()`函数将`product_titles`和`product_prices`两个列表按索引一一对应，遍历每一对数据，写入一行。试题五答案```pythondeffetch_and_parse(url):try:response=requests.get(url)response.raise_for_status()#检查请求是否成功soup=BeautifulSoup(response.text,'html.parser')links=soup.find_all('a')hrefs=[link.get('href')forlinkinlinksiflink.get('href')]returnhrefsexceptrequests.RequestExceptionase:print(f"Errorfetching{url}:{e}")return[]#发生请求异常，返回空列表```试题五解析定义函数`fetch_and_parse`，参数为`url`。使用`try...except`结构捕获异常。内部使用`requests.get()`发送GET请求。`response.raise_for_status()`会在HTTP状态码表示错误时抛出异常。使用`BeautifulSoup`解析响应内容`response.text`。`find_all('a')`查找所有`<a>`标签。列表推导式遍历标签列表，使用`link.get('href')`获取每个标签的`href`属性值。`iflink.get('href')`确保只添加非空的`href`。函数成功时返回包含所有链接的列表，异常时打印错误信息并返回空列表。试题六答案```pythonlinks_list=fetch_and_parse("")forlink,textinzip(links_list,soup.find_all('a',href=links_list)):print(text.get_text(),link)```试题六解析首先调用`fetch_and_parse`函数，传入目标URL，将返回的链接列表赋值给`links_list`。然后再次使用`soup.find_all('a',href=links_list)`，这次是传入之前获取到的链接列表作为参数，这样可以精确地找到对应这些链接的`<a>`标签对象。遍历这些标签对象，使用`zip()`同时获取标签对象本身和对应的链接地址（来自`links_list`），使用`text.get_text()`获取标签内的文本，然后打印文本和链接地址。试题七答案```pythonimportrequestsimportjsondata={"name":"John","age":30}headers={"Content-Type":"application/json"}response=requests.post("/post",json=data,headers=headers)post_response=response.json()#或response.text，取决于响应格式```试题七解析使用`requests.post()`函数发送POST请求。第一个参数是URL。第二个参数`json=data`，`