2026年《大数据采集》期末考试复习题库(含答案)

2026年《大数据采集》期末考试复习题库(含答案)一、单项选择题（每题2分，共30分）1.以下哪项不属于大数据采集的核心目标？A.确保数据的完整性B.降低数据存储成本C.保持数据的时效性D.提升数据的一致性答案：B2.结构化数据与非结构化数据的主要区别在于？A.数据产生的时间B.数据是否具有预定义的格式和模型C.数据的存储介质D.数据的传输协议答案：B3.以下哪种工具常用于分布式日志采集？A.ApacheKafkaB.ApacheFlumeC.ApacheHBaseD.ApacheSpark答案：B4.网络爬虫在采集网页数据时，需重点关注的约束条件是？A.网站的Robots协议B.网页的HTML版本C.服务器的操作系统D.浏览器的兼容性答案：A5.传感器数据采集的典型特点不包括？A.高频性B.低延迟性C.强结构性D.环境依赖性答案：C6.ETL流程中“T”指的是？A.抽取（Extract）B.转换（Transform）C.加载（Load）D.传输（Transfer）答案：B7.实时数据采集与批量数据采集的关键差异在于？A.数据来源的类型B.数据处理的延迟要求C.数据存储的介质D.数据采集的设备答案：B8.以下哪种技术可用于解决数据采集中的“重复数据”问题？A.哈希去重B.加密传输C.压缩存储D.负载均衡答案：A9.物联网（IoT）场景中，边缘计算在数据采集中的主要作用是？A.减少云端计算压力B.提升数据传输速率C.降低传感器功耗D.增强数据安全性答案：A10.日志数据采集中，“埋点”技术主要用于？A.定位服务器故障B.记录用户行为轨迹C.监控网络流量D.分析数据库性能答案：B11.以下哪项属于非结构化数据采集工具？A.SqoopB.FlumeC.NutchD.Kafka答案：C12.数据采集过程中，“数据时效性”主要指？A.数据覆盖的时间范围B.数据从产生到可用的时间间隔C.数据的更新频率D.数据的历史保留时长答案：B13.分布式采集框架（如Flink）的核心优势是？A.简化单节点配置B.提升单点采集速率C.增强系统容错性和扩展性D.降低数据传输延迟答案：C14.隐私计算技术在数据采集中的主要应用是？A.加密传输过程B.在不泄露原始数据的前提下实现数据可用C.压缩数据体积D.验证数据来源真实性答案：B15.以下哪种场景最适合使用增量采集策略？A.首次采集全量用户信息B.每日更新用户登录日志C.采集一次性的问卷调查数据D.抓取历史新闻存档答案：B二、判断题（每题1分，共10分。正确填“√”，错误填“×”）1.非结构化数据无法被计算机识别和处理。（）答案：×（非结构化数据需通过解析或转换后可被处理）2.ApacheKafka主要用于数据的实时消息队列传输，而非直接存储。（）答案：√3.网络爬虫可以无限制地采集所有公开网页数据。（）答案：×（需遵守Robots协议和网站反爬策略）4.Flume的Channel组件用于临时存储采集到的数据，确保数据不丢失。（）答案：√5.数据去重应在数据采集完成后进行，不能在采集过程中处理。（）答案：×（可在采集阶段通过哈希或指纹技术实时去重）6.传感器数据因受环境干扰，通常需要进行噪声过滤预处理。（）答案：√7.日志采集的主要目的是记录系统运行状态，与用户行为无关。（）答案：×（用户行为日志是重要采集对象）8.实时数据采集要求延迟严格控制在秒级甚至毫秒级。（）答案：√9.数据清洗属于数据采集阶段的核心任务。（）答案：×（数据清洗通常属于数据预处理阶段）10.隐私计算技术会破坏数据的原始格式，导致数据不可用。（）答案：×（隐私计算目标是“数据可用不可见”）三、简答题（每题5分，共40分）1.简述大数据采集的核心目标及其实现思路。答案：核心目标包括：①完整性（确保采集数据无缺失）、②准确性（减少错误或偏差）、③时效性（降低数据从产生到可用的延迟）、④一致性（统一不同来源数据的格式和标准）。实现思路：通过设计合理的采集策略（如全量/增量采集）、选择适配的工具（如Flume用于日志、Sqoop用于关系型数据库）、结合数据校验（如哈希校验、模式匹配）和容错机制（如重试、备份）保障目标达成。2.对比ETL与ELT流程的主要区别，并说明ELT的适用场景。答案：ETL（抽取-转换-加载）强调在加载前完成数据转换，适合计算资源集中、数据量较小的场景；ELT（抽取-加载-转换）将转换移至存储后进行（如在数据仓库中完成），依赖分布式计算能力处理海量数据。ELT适用于大数据场景（如PB级数据），可利用存储系统的并行计算能力提升效率。3.说明ApacheKafka在实时数据采集中的作用，并列举其核心组件。答案：Kafka作为高吞吐量的分布式消息队列，主要用于缓存实时产生的数据流（如用户点击、传感器数据），解耦数据生产者（如日志服务器）和消费者（如实时计算引擎），确保数据不丢失并支持多消费者订阅。核心组件包括：Broker（服务器节点）、Topic（消息类别）、Partition（主题分区）、Producer（生产者）、Consumer（消费者）。4.设计网络爬虫时需考虑哪些关键问题？请列举至少4项。答案：①反爬策略应对（如控制请求频率、模拟浏览器头信息）；②动态页面处理（如解析JavaScript渲染内容）；③数据去重（通过URL指纹或哈希避免重复抓取）；④遵守Robots协议（尊重网站爬取规则）；⑤异常处理（如网络超时重试、页面404识别）。5.传感器数据采集的主要挑战有哪些？如何应对？答案：挑战包括：①高频数据带来的存储压力（如工业传感器每秒千次采样）；②噪声干扰导致数据准确性下降（如温度传感器受电磁干扰）；③低功耗设备的网络限制（如物联网设备电池容量有限）。应对措施：采用边缘计算进行本地聚合（减少传输量）、部署滤波算法（如卡尔曼滤波）去噪、优化传输协议（如使用LoRa低功耗广域网）。6.日志数据主要分为哪几类？采集时需关注哪些要点？答案：日志类型：①系统日志（如Linux的/var/log）、②应用日志（如Tomcat的catalina.log）、③用户行为日志（如电商点击流）、④安全日志（如防火墙访问记录）。采集要点：统一日志格式（如JSON、CSV）、设置合理的采集频率（避免漏采或冗余）、确保日志时间戳准确性（用于时序分析）、加密敏感日志（如用户ID）。7.设计实时数据采集系统时，需考虑哪些架构设计要素？答案：①低延迟：采用内存计算或边缘节点预处理；②高并发：分布式部署采集节点（如Flume的Agent集群）；③容错性：实现数据重试机制（如Kafka的消息持久化）、节点故障自动切换；④可扩展性：支持动态添加采集源或调整处理逻辑；⑤数据一致性：通过事务或幂等设计避免重复或丢失。8.数据质量评估的主要维度有哪些？如何在采集阶段提升数据质量？答案：评估维度：完整性（是否有缺失字段）、准确性（与真实值的偏差）、一致性（格式是否统一）、时效性（是否及时采集）、唯一性（是否有重复记录）。采集阶段提升措施：设置必填字段校验规则、通过正则表达式验证格式（如手机号）、实时去重（如布隆过滤器）、监控采集延迟（如设置超时阈值）。四、综合应用题（每题10分，共20分）1.某电商平台需采集用户行为数据（包括页面浏览、商品点击、加购、下单），请设计一套完整的采集方案，要求说明：①数据来源；②采集工具选择；③关键技术点（如反爬、去重、实时性保障）。答案：①数据来源：Web端（PC/移动端浏览器）、App端（iOS/Android）、H5页面。②采集工具：前端通过JavaScript埋点（如GoogleAnalytics或自主开发SDK）收集行为数据，后端使用Kafka作为消息队列缓存，Flume将数据从Kafka传输至HDFS或HBase存储，实时处理使用Flink进行清洗和聚合。③关键技术点：反爬（前端埋点非爬虫，无需应对网站反爬，但需防篡改，如对埋点代码混淆加密）；去重（为每个行为事件提供唯一ID，通过Redis缓存已处理ID）；实时性（设置Kafka的linger.ms为10ms，降低消息发送延迟；Flink采用事件时间窗口处理）。2.某智能工厂部署了1000台工业传感器（采集温度、压力、振动频率），需设计传感器数据采集方案。要求：①分析传感器数据特点；②选择适配的采集架构；③说明如何应对高频数据的存储与传输压力。答案：①数据特点：高频（每秒100-1000次采样）、多维度（温度/压力等）、时序性强（需保留时间戳）、含噪声（工业环境干扰）。②采集架构：采用