2025年全国计算机二级Python爬虫高级编程挑战试题

2025年全国计算机二级Python爬虫高级编程挑战试题考试时间：______分钟总分：______分姓名：______请根据以下要求完成编程任务：任务背景：假设你需要开发一个简单的网络爬虫，用于从指定的新闻网站抓取最新的科技新闻标题和链接。该网站的结构如下：-网页的URL为`/news/technology`。-新闻列表位于一个id为`news-list`的`<ul>`标签内。-每个新闻项是一个`<li>`标签，包含一个新闻标题（`<a>`标签内的文本）和一个新闻链接（`<a>`标签的`href`属性）。任务要求：1.使用Python编写代码，完成对上述指定URL的网页抓取。2.解析网页内容，提取出所有新闻标题和对应的链接。3.将提取出的新闻标题和链接存储在一个列表中，每个元素是一个包含标题和链接的字典。4.最后，打印出所有新闻标题和链接。提示：-可以使用`requests`库进行网页请求。-可以使用`BeautifulSoup`库进行网页解析。-注意处理可能的异常，如网络请求失败或网页解析错误。```python#你的代码将从此处开始#你的代码将在此处结束```请将上述代码补充完整，以实现指定的功能。试卷答案```pythonimportrequestsfrombs4importBeautifulSoupdefcrawl_technology_news():url='/news/technology'try:response=requests.get(url)response.raise_for_status()#检查请求是否成功exceptrequests.RequestExceptionase:print(f"网络请求错误:{e}")returntry:soup=BeautifulSoup(response.text,'html.parser')news_list=soup.find(id='news-list')ifnotnews_list:print("未找到新闻列表")returnnews_data=[]forliinnews_list.find_all('li'):a_tag=li.find('a')ifa_tag:title=a_tag.get_text(strip=True)link=a_tag['href']news_data.append({'title':title,'link':link})fornewsinnews_data:print(f"标题:{news['title']},链接:{news['link']}")exceptExceptionase:print(f"网页解析错误:{e}")#调用函数执行爬取crawl_technology_news()```解析：1.导入库：-`requests`用于发送网络请求。-`BeautifulSoup`用于解析HTML内容。2.定义函数：-`crawl_technology_news()`函数封装整个爬虫逻辑。3.发送网络请求：-使用`requests.get(url)`发送GET请求。-`response.raise_for_status()`检查请求是否成功，如果失败会抛出异常。4.异常处理：-捕获`requests.RequestException`异常，处理网络请求错误。-捕获`Exception`异常，处理网页解析错误。5.解析网页内容：-使用`BeautifulSoup(response.text,'html.parser')`解析网页内容。-使用`soup.find(id='news-list')`找到id为`news-list`的`ul`标签。-使用`news_list.find_all('li')`找到所有`li`标签。6.提取新闻标题和链接：-遍历每个`li`标签，使用`li.find('a')`找到`a`标签。-使用`a_tag.get_text(strip=True)`获取新闻标题，`strip=True`去除多余空白。-