Python网络爬虫岗位笔试真题及详细答案解析

Python网络爬虫岗位笔试真题及详细答案解析考试说明：本套试题适配Python爬虫初级、中级岗位招聘笔试，涵盖爬虫基础、请求库使用、解析技巧、反爬应对、数据存储、爬虫规范等核心考点，题型贴合企业真实面试笔试场景，难度由浅入深，所有答案解析侧重实操落地，无理论空话。考试时长：90分钟满分：100分一、单项选择题（每题3分，共30分）1.下列模块中，专门用于发送HTTP网络请求，是Python爬虫最基础的请求库的是（）A.pandasB.requestsC.matplotlibD.numpy答案：B解析：requests是Python主流的HTTP请求库，用于发送get、post等请求，是爬虫核心基础库；pandas用于数据处理，matplotlib用于绘图，numpy用于数值计算，均与网络请求无关。2.在requests库中，用于获取网页响应纯文本内容的属性是（）A.response.textB.response.contentC.response.json()D.response.headers答案：A解析：response.text返回字符串格式的网页文本内容，适合解析HTML、网页文字；response.content返回二进制字节数据，适合下载图片、视频、文件；json()方法用于解析json格式接口数据；headers为响应头信息。3.爬取网页时出现403状态码，代表的含义是（）A.页面不存在B.服务器内部错误C.禁止访问（权限不足）D.请求超时答案：C解析：403是服务器拒绝请求，大概率是网站开启了基础反爬，识别到异常访问、无请求头、高频请求等；404代表页面不存在，500代表服务器内部错误，408代表请求超时。4.使用xpath解析网页数据时，获取标签内文本内容的语法是（）A.@textB.text()C.get_text()D.extract()答案：B解析：xpath语法中，text()用于获取标签文本内容，@属性名用于获取标签属性值；get_text()是bs4库的方法，extract()用于提取节点数据，不属于xpath语法。5.下列请求头参数中，最基础、用于伪装浏览器绕过简易反爬的参数是（）A.User-AgentB.CookieC.RefererD.Host答案：A解析：User-Agent用于标识客户端身份，默认的requests请求会携带空或默认标识，极易被网站拦截，是爬虫伪装必备的基础参数；Cookie用于维持登录状态，Referer标识请求来源，均为进阶反爬参数。6.针对动态渲染网页（JS加载数据），普通requests无法直接获取数据，下列工具适合处理该场景的是（）A.csvB.seleniumC.openpyxlD.time答案：B解析：selenium可以模拟真实浏览器运行、加载JS代码，解决动态网页数据抓取问题；csv、openpyxl用于数据文件存储，time用于设置延时休眠。7.在爬虫开发中，time.sleep(2)的主要作用是（）A.加速爬虫运行B.降低请求频率，规避高频反爬C.修复代码报错D.解析动态数据答案：B解析：sleep()方法用于设置请求延时，暂停程序运行指定秒数，模拟人工浏览节奏，避免短时间高频请求触发网站反爬机制，导致IP封禁。8.使用bs4解析HTML节点，获取标签属性值的方法是（）A.attr()B.get()C.find()D.select()答案：B解析：bs4中通过标签对象.get("属性名")获取属性值；find()、select()用于查找定位标签节点，attr()非bs4标准取值方法。9.下列状态码中，代表请求成功的是（）A.200B.302C.404D.502答案：A解析：200为HTTP请求成功状态码；302代表临时重定向，404页面不存在，502网关错误。10.爬虫抓取数据后，下列文件格式适合存储结构化表格数据的是（）A.txtB.csvC.mp4D.png答案：B解析：csv是通用结构化表格格式，可直接用Excel打开，适合存储爬虫抓取的列表、表格类数据；txt为纯文本，无法结构化存储，mp4、png为媒体文件格式。二、填空题（每题3分，共15分）1.requests库发送带参数的GET请求时，自定义请求参数需要使用______参数。答案：params解析：GET请求的查询参数通过params字典传入，requests会自动拼接至URL末尾，无需手动拼接字符串。2.解析网页时，______方法可以匹配HTML中所有符合条件的节点，而不是单个节点。答案：find_all解析：bs4中find()仅返回第一个匹配节点，find_all()返回所有匹配节点的列表，是批量提取数据的核心方法。3.模拟浏览器登录状态、维持会话请求，需要使用requests库的______对象。答案：Session解析：Session对象可以自动保存、携带Cookie，实现多次请求会话保持，适合需要登录验证的页面抓取。4.xpath语法中，______符号代表匹配任意层级的节点。答案：//解析：//为全局匹配，可匹配页面任意位置的目标节点；/为绝对路径匹配，仅匹配当前层级下的直接子节点。5.爬虫开发中，______技术可以隐藏本机真实IP，解决IP封禁、高频限流问题。答案：代理IP解析：通过代理IP转发网络请求，替换请求IP地址，规避网站对单IP的访问限制，是爬虫进阶必备反爬手段。三、简答题（每题7分，共21分）1.简述GET请求和POST请求的核心区别，以及爬虫场景下的适用场景。参考答案：

1.参数传递方式不同：GET请求参数拼接在URL地址中，公开可见；POST请求参数放在请求体中，隐藏传输。

2.数据大小限制不同：GET请求有URL长度限制，无法传输大量数据；POST无明显数据大小限制。

3.缓存特性不同：GET请求会被浏览器缓存，重复请求速度更快；POST请求默认不缓存。

4.爬虫适用场景：常规数据查询、页面抓取、参数简单的请求用GET；登录提交、表单提交、批量数据查询、敏感数据请求用POST。

2.简述网站常见的基础反爬机制，以及对应的基础解决思路。参考答案：

1.User-Agent校验：服务器识别非法客户端请求，直接拦截。解决：请求头携带合法浏览器User-Agent伪装。

2.高频IP限流/封禁：短时间同一IP请求次数过多，触发拦截。解决：添加随机延时、使用代理IP轮换请求。

3.Cookie会话校验：需要登录后才能访问数据页面。解决：携带登录后的Cookie，或使用Session维持会话。

4.简单Referer校验：校验请求来源页面。解决：请求头添加合法Referer参数。

3.简述静态网页和动态网页的爬虫抓取区别。参考答案：

1.静态网页：页面数据直接写在HTML源码中，网络请求返回的源码可直接看到完整数据。抓取方式：使用requests请求页面，通过bs4、xpath直接解析源码即可提取数据，速度快、代码简单。

2.动态网页：页面初始源码无有效数据，数据通过JS异步加载、接口请求渲染生成。抓取方式：普通requests无法获取数据，需要通过selenium模拟浏览器加载页面，或抓包分析后台API接口，直接请求接口获取JSON数据。

四、编程实操题（共34分）1.基础编程：使用requests库发送GET请求，爬取指定静态页面，打印网页状态码和网页前500个文本内容（16分）答题要求：代码完整可运行，添加浏览器请求头、异常捕获、请求延时，保证代码稳定性。参考答案代码：python

importrequests

importtime

#配置请求头，伪装浏览器

headers={

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/Safari/537.36"

}

#目标网址，可自行替换

url=""

defget_page_data():

try:

#添加请求延时，规避高频访问

time.sleep(1)

#发送GET请求

response=requests.get(url,headers=headers,timeout=10)

#设置编码，解决乱码问题

response.encoding="utf-8"

#打印状态码

print("请求状态码：",response.status_code)

#打印前500个文本内容

print("网页部分内容：",response.text[:500])

exceptExceptionase:

print("请求失败，错误信息：",str(e))

if__name__=="__main__":

get_page_data()代码解析：通过自定义请求头规避基础反爬，添加超时参数防止请求卡死，异常捕获保证程序不报错中断，设置编码解决中文乱码，延时函数模拟人工浏览，适配常规静态页面抓取场景。2.进阶编程：使用bs4解析网页，提取页面中所有a标签的链接和文本内容，并保存至本地txt文件（18分）答题要求：基于上一题请求结果，批量解析数据，去重无效链接，数据本地存储，代码简洁规范。参考答案代码：python

importrequests

importtime

frombs4importBeautifulSoup

headers={

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/Safari/537.36"

}

url=""

defparse_and_save_data():

try:

time.sleep(1)

response=requests.get(url,headers=headers,timeout=10)

response.encoding="utf-8"

#解析网页

soup=BeautifulSoup(response.text,"html.parser")

#查找所有a标签

a_list=soup.find_all("a")

#打开文件，批量写入数据

withopen("链接数据.txt","w",encoding="utf-8")asf:

foraina_list:

#获取链接和文本，去除空数据

link=a.get("href","")

text=a.get_text().strip()

iflinkandtext:

f.write(f"链接：{link}，文本：{text}\n")

print("数据提取完成，已保存至本地文件！")

exceptExceptionase:

print("程序执行失败：",str(e))

if__name__=="__main__":

parse_and_save_data()代码解析：通过BeautifulSoup解析HTML源码，批量匹配所有a标签，过滤空链接、空文本的无效数据，采用with语句打开文件可自动关闭文件，避免资源占用，最终实现数据自动化提