2026年ABC爬虫笔试题及答案

2026年ABC爬虫笔试题及答案

一、单项选择题(总共10题，每题2分)1.以下关于HTTP请求方法的描述，正确的是（）A.GET请求的参数在请求体中B.POST请求不能传查询字符串C.GET请求的参数可见于URLD.POST请求比GET请求更安全且无长度限制2.Scrapy框架中负责生成初始请求的核心组件是（）A.EngineB.SpiderC.SchedulerD.Downloader3.反爬机制中，检查User-Agent的目的是（）A.识别是否为浏览器请求B.验证用户登录状态C.限制请求频率D.检测代理IP4.要使用XPath选择HTML中第一个<div>标签，正确的表达式是（）A./div[1]B.//div[0]C./div[0]D.//div[1]5.以下用于Python异步HTTP请求的库是（）A.RequestsB.ScrapyC.aiohttpD.Selenium6.关于robots协议，以下说法正确的是（）A.网站必须强制遵守B.爬虫必须强制遵守C.是网站与爬虫的约定，自愿遵守D.用于限制爬虫的请求频率7.Cookie在爬虫中的主要作用是（）A.加速请求速度B.保持用户会话状态C.加密请求数据D.隐藏真实IP8.以下哪种代理IP类型能完全隐藏客户端真实IP（）A.透明代理B.匿名代理C.高匿代理D.反向代理9.用于解析HTML文档并提取数据的Python库是（）A.reB.BeautifulSoupC.pandasD.numpy10.Selenium中定位id为“username”的元素，正确的方法是（）A.find_element(By.ID,"username")B.find_by_id("username")C.find_element_id("username")D.get_element("username")二、填空题(总共10题，每题2分)1.Scrapy框架中，Spider类通过______方法生成初始请求。2.使用Requests库发送GET请求时，查询字符串参数通过______参数传递。3.正则表达式中，______符号可以关闭贪婪匹配模式。4.要使用XPath选择所有class属性为“content”的<div>标签，表达式是______。5.Selenium中，显式等待需要使用______类配合expected_conditions。6.代理IP的常见格式是______。7.robots协议的配置文件通常位于网站的______目录下，文件名为robots.txt。8.Cookie是存储在______端的小型文本文件。9.Python异步爬虫中，通过______函数获取事件循环对象。10.将Python字典写入JSON文件时，常用______函数。三、判断题(总共10题，每题2分)1.爬虫必须严格遵守robots协议，否则属于非法行为。（）2.POST请求比GET请求更安全，因为其参数不会出现在URL中。（）3.Scrapy框架是基于异步IO实现的，适合高并发爬取。（）4.正则表达式可以解析所有类型的HTML文档，且效率最高。（）5.Selenium可以模拟浏览器的点击、输入等操作，常用于处理动态渲染页面。（）6.使用代理IP可以完全避免被网站封禁的风险。（）7.Cookie和Session都是存储在客户端的会话跟踪技术。（）8.BeautifulSoup库可以解析XML格式的文档。（）9.异步爬虫的并发数越高，爬取速度一定越快。（）10.JSON格式只能存储字符串类型的数据。（）四、简答题(总共4题，每题5分)1.请简述常见的反爬策略及对应的反反爬方法。2.请说明Scrapy框架的核心工作流程。3.请对比Requests库和Selenium库的主要区别及适用场景。4.请简述爬虫数据清洗的常见步骤。五、讨论题(总共4题，每题5分)1.请结合实际案例，讨论爬虫过程中需要注意的伦理问题。2.请分析反爬与反反爬之间的博弈关系，并说明如何在效率与合规之间平衡。3.请谈谈异步爬虫的优势与挑战，并举例说明其适用场景。4.请根据数据的结构和需求，讨论爬虫数据存储方式的选择策略。答案一、单项选择题答案1.C2.B3.A4.D5.C6.C7.B8.C9.B10.A二、填空题答案1.start_requests2.params3.?4.//div[@class="content"]5.WebDriverWait6.协议://IP地址:端口7.根8.客户9.asyncio.get_event_loop()10.json.dump()三、判断题答案1.×2.√3.√4.×5.√6.×7.×8.√9.×10.×四、简答题答案1.常见反爬策略及反反爬方法：①User-Agent检测：网站通过请求头中的User-Agent判断是否为浏览器，反反爬可使用UA池随机切换；②IP限制：网站限制同一IP请求频率，反反爬用代理IP池轮换；③验证码：网站要求输入验证码，反反爬用OCR或打码平台识别；④动态渲染：网站用JS生成内容，反反爬用Selenium模拟浏览器；⑤Cookie验证：网站通过Cookie跟踪会话，反反爬保持Cookie或模拟登录获取。2.Scrapy核心流程：①Spider通过start_requests生成初始请求；②Engine将请求送Scheduler调度；③Scheduler将请求送Downloader下载；④Downloader返回响应给Spider，Spider解析响应提取Item或新请求；⑤Item送Pipeline清洗、存储；⑥新请求回Engine重复流程，直到无请求。3.Requests与Selenium区别：①Requests是HTTP库，处理静态页面，速度快、资源少；Selenium是自动化工具，模拟浏览器，处理动态页面，速度慢、资源多。②适用场景：Requests用于爬取静态内容（如新闻文本）；Selenium用于动态页面（如需要登录、点击的SPA）。4.数据清洗步骤：①去重：删除重复数据（如重复URL）；②去无效值：处理空值、None（如替换为默认值或删除）；③格式转换：将数据转标准格式（如日期字符串转datetime）；④提取关键信息：从文本中取手机号、标题等；⑤去冗余：删除HTML标签、广告等无用内容。五、讨论题答案1.爬虫伦理问题：①尊重robots协议：如某爬虫爬取博客时忽略robots禁止目录，导致服务器压力过大，应遵守协议避免影响网站；②不爬隐私数据：如爬取社交网站用户手机号用于非法用途，违反《个人信息保护法》，应避免；③控制请求频率：如高频率请求电商网站导致响应慢，应控制频率避免干扰；④遵守服务条款：如爬取论坛帖子用于商业，违反条款，应合规。2.反爬与反反爬博弈：反爬是网站保护资源（如IP限制、验证码），反反爬是爬虫获取数据（如代理、Selenium）。平衡效率与合规：合规上遵守robots、不爬隐私、控频率；效率上用合理反反爬（如代理池），不恶意攻击。如爬电商商品时，用代理轮换但控频率，既高效又不违规。3.异步爬虫优势：①高并发：事件循环处理多IO，无需等待，提升爬取速度；②资源省：单线程处理多请求，减少线程切换开销。挑战：调试难（非线性执行）、并发控制（过高易被封）、依赖兼容（需异步库如aiohttp）。适用场景：IO密集型任务（如爬大量新闻网页，每个请求等待时间长）。4.数据存储选择策略：①文本/CSV：小量结构化数据（如新闻标题），易读但查询难；②JSON：非结构化数据