Java爬虫面试题及详细答案（实战向）

Java爬虫面试题及详细答案（实战向）一、Java爬虫基础面试题1、日常开发中，Java做爬虫常用的框架和工具类有哪些？各自的适用场景？参考答案：我工作中主要使用四类工具，各司其职，覆盖不同爬虫场景：第一，HttpClient（Apache）。这是最基础的HTTP请求工具，支持GET、POST、文件上传、请求头自定义、超时配置、连接池管理。适合轻量级爬虫、自定义请求逻辑、需要精细控制请求参数的场景，稳定性极强，企业项目使用率最高。第二，Jsoup。专门用于HTML文档解析，语法和jQuery类似，上手简单，支持DOM选择器、标签过滤、数据清洗。只擅长解析静态HTML，不支持JS渲染，适合爬取静态网页、快速提取页面文本、链接、图片地址等数据。第三，Selenium/Playwright。浏览器自动化工具，可以模拟真实浏览器加载页面、执行JS、处理动态渲染数据。适合爬取Vue、React等前后端分离的动态网页、需要登录、滑动验证、页面懒加载的场景。缺点是性能较低、资源占用高。第四，WebMagic。Java开源爬虫框架，基于HttpClient和Jsoup封装，内置多线程、任务调度、去重、持久化功能，开箱即用。适合快速开发中小型爬虫项目，不用从零搭建基础架构。补充：大规模分布式爬虫会用Gecco等框架，适配集群任务分发。2、HttpClient为什么要用连接池？直接创建CloseableHttpClient有什么问题？参考答案：如果每次请求都newCloseableHttpClient，会频繁创建、销毁TCP连接和Socket资源，造成严重的性能开销，频繁GC，并发量大时会出现端口占用、连接超时、请求阻塞的问题。连接池的核心优势：1、复用TCP连接，减少三次握手、四次挥手的网络开销；2、统一管理最大连接数、单个路由最大连接数，避免请求打爆服务器；3、支持超时、重试、空闲连接清理，提升爬虫稳定性；4、适配多线程并发场景，是企业级爬虫的标准写法。3、Jsoup解析和正则提取网页数据，你更推荐哪种？为什么？参考答案：优先用Jsoup，仅特殊纯文本规则场景用正则。原因：1、HTML结构是树形DOM结构，Jsoup基于DOM解析，精准匹配标签、class、id、属性，不会因为文本换行、空格、格式微调导致解析失败；2、正则适合匹配无结构的纯文本，HTML标签嵌套复杂、格式多变，正则极易写出漏洞，维护成本极高，容易漏数据、错数据；3、Jsoup自带数据清洗、容错处理，能兼容不规范的HTML页面，稳定性远高于正则。唯一例外：页面是纯文本接口、无DOM结构，需要提取固定规则的数字、编码、链接时，会用正则辅助提取。二、动态爬虫与浏览器渲染面试题1、静态爬虫抓不到Vue/React动态数据的原因是什么？怎么解决？参考答案：核心原因：静态爬虫（HttpClient+Jsoup）只能获取浏览器初次返回的HTML源码，而Vue、React页面的数据是通过前端AJAX/fetch请求接口、JS渲染生成的，源码中只有空的DOM节点，没有真实数据，所以解析不到内容。日常两种解决方案：方案一：接口逆向（首选）抓包分析前端网络请求，找到后端真实的数据接口，直接调用接口获取JSON数据。速度快、资源消耗低、稳定性最高，是生产环境最优方案。方案二：浏览器渲染爬取使用Selenium、Playwright模拟真实浏览器，等待页面JS加载完成、数据渲染完毕后，再获取页面源码解析数据。适合接口加密、参数复杂、逆向成本极高的场景，缺点是爬取速度慢。2、Selenium爬虫速度慢、资源占用高，你是怎么优化的？参考答案：我在项目中做过5点针对性优化，大幅提升爬虫效率：1、关闭浏览器无用配置：关闭图片加载、JS弹窗、视频播放、浏览器GPU渲染、密码保存提示，减少资源消耗；2、使用无头模式：后台运行浏览器，不启动可视化界面，节省内存和CPU；3、精准等待替代强制休眠：不用Thread.sleep，使用显式等待，等待指定元素加载完成再执行下一步，减少无效等待时间；4、浏览器复用：同一个任务复用浏览器实例和页面，不频繁创建、关闭浏览器；5、按需逆向接口：能逆向接口的绝不使用浏览器渲染，从根源提升速度。三、反爬处理核心面试题（高频）1、爬虫最常见的反爬手段有哪些？对应的Java解决方案？参考答案：日常遇到的主流反爬和对应处理方案如下：1、UA校验反爬：服务器校验请求头User-Agent，空UA、非法UA直接拦截。

解决：请求头模拟真实浏览器UA、Referer、Host，补齐完整请求头。2、IP封禁/限流：单IP短时间请求过多，直接封禁IP。

解决：配置代理IP池，轮询切换IP；控制请求频率，添加随机休眠。3、Cookie登录校验：未登录、无有效Cookie无法访问数据。

解决：程序模拟登录，自动获取Cookie并持久化，后续请求携带有效Cookie。4、验证码反爬（图形、滑块）

解决：简单图形码可对接识别接口；滑块验证码使用自动化模拟人工滑动轨迹，或接入第三方打码平台。5、接口参数加密、签名校验：请求参数、token、sign加密，随意篡改失效。

解决：前端JS逆向，破解加密算法，Java复现签名逻辑，生成合法参数。6、频率校验、行为校验：请求间隔固定、无人工操作轨迹判定为爬虫。

解决：设置随机请求间隔、模拟鼠标滑动、页面滚动、随机停留时间。2、代理IP池在爬虫中的作用？Java中如何实现代理调用？参考答案：代理IP池核心作用：解决单IP请求频率限制、IP封禁问题，实现高并发爬取。Java实现方式：1、维护一个可用代理IP列表，包含IP、端口、过期时间；2、每次发送HTTP请求前，随机抽取一个可用代理；3、通过HttpClient配置Proxy参数，绑定代理发起请求；4、增加代理有效性校验，请求失败自动剔除失效IP，补充新代理，保证池子可用性。实操中会做代理权重分配、失败重试、自动刷新，保证爬虫稳定运行。3、爬虫请求失败常见原因有哪些？你是怎么处理重试机制的？参考答案：常见失败原因：网络波动、超时、IP临时限流、服务器5xx错误、请求参数失效、Cookie过期。我的重试策略（生产通用方案）：1、区分异常类型：网络异常、服务端错误自动重试，404、参数错误不重试；2、限制重试次数，一般设置3次重试，避免死循环；3、采用递增重试间隔，第一次1秒、第二次3秒、第三次5秒，避免高频重试加重服务器压力；4、重试失败后记录失败任务，落地日志和数据库，后续定时补爬，保证数据不丢失。四、爬虫去重与数据持久化面试题1、Java爬虫常用的去重方案？各自优缺点和适用场景？参考答案：1、HashSet去重（本地内存）

优点：实现简单、速度快；缺点：重启程序数据清空，只适合单机短期爬虫。2、数据库唯一索引去重

将URL或数据唯一字段设置唯一索引，插入重复数据自动报错拦截。优点：持久化、稳定；缺点：并发量大时数据库压力高，速度慢。3、RedisSet/BitMap去重（主流）

将爬取过的URL存入Redis，每次爬取前判断是否存在。

优点：高性能、支持分布式、重启不丢失、适配高并发；

BitMap更节省内存，适合海量URL去重，是企业分布式爬虫首选。4、布隆过滤器去重

占用内存极小，海量数据去重效率极高，存在极低误判率，适合允许微小误差的海量爬虫场景。2、爬取的数据如何保证不重复、不遗漏？参考答案：1、爬取前置去重：所有URL进入任务队列前，通过Redis判断是否已爬取，拦截重复任务；2、数据落地去重：入库字段加唯一索引，双重兜底；3、失败任务持久化：爬取失败、解析异常的任务单独存储，定时重试补爬；4、全量校验机制：定时比对数据库数据和源站数据，查漏补缺；5、任务分片管理：对爬取任务做分片编号，记录已完成分片，避免漏爬。五、多线程与分布式爬虫面试题1、Java爬虫多线程怎么实现？为什么不建议用无限线程？参考答案：实际开发中使用线程池（ThreadPoolExecutor）实现多线程爬虫，自定义核心线程数、最大线程数、队列、拒绝策略。不建议创建无限线程的原因：1、线程创建会占用内存、CPU资源，无限线程会导致内存溢出、服务器宕机；2、无限制并发会导致请求频率过高，直接被目标网站封IP；3、线程不可控，任务堆积、异常无法统一管理，爬虫稳定性极差。标准做法：根据服务器配置和目标网站限流规则，设置合理线程数，配合代理池、请求休眠控制并发。2、分布式爬虫和单机爬虫的区别？分布式核心解决什么问题？参考答案：单机爬虫的瓶颈：线程数有限、单IP极易被封、爬取速度慢、任务无法拆分、服务重启中断任务。分布式爬虫核心：将爬取任务拆分，多台服务器协同爬取，统一任务调度、统一去重、统一数据落地。核心解决4个问题：1、突破单机并发限制，大幅提升爬取效率；2、多节点多IP，规避IP封禁问题；3、任务去中心化，单节点故障不影响整体爬虫运行；4、适配海量数据、全站爬取场景。常规技术组合：SpringBoot+Redis（去重+任务队列）+Mysql/ES（数据存储）+代理池。六、爬虫项目实战与避坑面试题（压轴）1、你做过的爬虫项目中，遇到过最大的问题是什么？怎么解决的？参考答案：项目中遇到最典型的问题是目标网站高频限流+接口参数动态加密，单机爬取效率极低，数据缺失严重。我做了整套优化方案：1、放弃低效的浏览器渲染爬取，逆向前端JS，复现sign签名、时间戳加密算法，实现纯接口请求，速度提升10倍以上；2、搭建动态代理IP池，自动检测失效IP并替换，多IP轮询请求，解决限流封禁问题；3、基于Redis实现分布式任务队列，拆分爬取任务，多服务节点并发执行；4、优化重试和补爬机制，区分网络异常、权限异常、限流异常，针对性处理，保证数据完整；最终解决了数据缺失、爬取慢、频繁封IP的问题，爬虫稳定性和效率大幅提升。2、爬虫开发有哪些规范和注意事项？如何规避合规风险？参考答案：技术层面规范：1、严格控制请求频率，不高频轰炸目标服务器，避免造成对方服务瘫痪；2、模拟正常用户行为，合规请求，不恶意破解高危加密接口、不越权爬取隐私数据；3、做好异常日志、任务记录，方便问题追溯。合规层面：1、遵守网站robots协议，不爬取禁止访问的路径和数据