(2025年)《大数据采集》期末考试复习题库(含答案)

(2025年)《大数据采集》期末考试复习题库(含答案)一、单项选择题（每题2分，共30分）1.以下哪项不属于大数据采集的核心目标？A.提升数据多样性B.确保数据实时性C.降低存储成本D.保障数据完整性答案：C2.关于Flume的Channel组件，正确的描述是？A.负责数据的发送和接收B.临时存储采集到的数据C.定义数据的过滤规则D.实现跨集群数据传输答案：B3.以下哪种场景更适合使用Kafka进行数据采集？A.关系型数据库到Hadoop的批量迁移B.电商网站实时用户点击流收集C.历史日志文件的一次性导入D.传感器设备静态配置信息采集答案：B4.非结构化数据采集的关键挑战是？A.数据格式不统一B.传输延迟过高C.存储成本过大D.访问权限复杂答案：A5.数据采集过程中，“脏数据”主要指？A.加密后无法解析的数据B.格式错误或逻辑矛盾的数据C.超出存储容量限制的数据D.未授权访问产生的数据答案：B6.以下哪项属于主动式数据采集方式？A.接收应用系统主动发送的API请求数据B.定时从数据库拉取增量日志C.监听网络端口获取实时消息D.爬取公开网页的静态内容答案：D7.隐私计算技术在数据采集中的主要作用是？A.提升数据传输速度B.在不泄露原始数据的前提下完成计算C.压缩数据存储体积D.自动识别敏感信息字段答案：B8.关于Sqoop的使用场景，正确的是？A.实时采集Kafka消息队列数据B.将Hive表数据导出到MySQLC.解析Nginx日志提供结构化记录D.监控服务器CPU使用率并存储答案：B9.数据采集的“完整性”指标主要关注？A.数据是否反映真实业务场景B.关键字段是否存在缺失C.同一数据在不同系统的一致性D.数据更新频率是否符合需求答案：B10.边缘计算在大数据采集中的优势是？A.降低中心服务器计算压力B.提升数据加密强度C.简化数据清洗流程D.扩大数据采集范围答案：A11.以下哪种工具更适合采集社交媒体的UGC内容？A.FlumeB.ScrapyC.SqoopD.Logstash答案：B12.数据采集频率的确定需要重点考虑？A.数据存储介质的寿命B.业务需求的实时性要求C.数据采集工具的品牌D.网络带宽的理论峰值答案：B13.关于日志采集的“一致性”，正确的理解是？A.日志格式在不同设备上完全相同B.同一事件在不同日志中的记录无矛盾C.日志文件的大小保持固定D.日志采集时间间隔严格一致答案：B14.以下哪项不属于数据采集前的预处理步骤？A.数据去重B.定义采集字段C.确定传输协议D.配置权限验证答案：A15.区块链技术在数据采集中的应用主要解决？A.数据实时性问题B.数据可追溯性问题C.数据存储成本问题D.数据多样性问题答案：B二、多项选择题（每题3分，共15分，少选得1分，错选不得分）1.大数据采集的主要特点包括？A.数据源多样性B.实时性要求高C.数据量规模大D.结构化程度统一答案：ABC2.Flume的核心组件包括？A.SourceB.ChannelC.SinkD.Topic答案：ABC3.数据采集过程中可能出现的质量问题有？A.字段值缺失B.时间戳错误C.冗余重复记录D.数据类型不匹配答案：ABCD4.以下属于实时数据采集工具的有？A.KafkaB.FlumeC.SqoopD.Logstash答案：ABD5.隐私保护技术在数据采集中的应用包括？A.数据脱敏B.匿名化处理C.差分隐私D.全量加密传输答案：ABC三、判断题（每题2分，共10分）1.大数据采集仅针对结构化数据。（）答案：×2.Kafka的Topic用于标识不同类别的数据流。（）答案：√3.数据采集的“准确性”是指数据与实际业务场景的匹配程度。（）答案：√4.Sqoop可以实现HBase与关系型数据库之间的数据迁移。（）答案：√5.非结构化数据无需预处理即可直接存储。（）答案：×四、简答题（每题6分，共30分）1.简述大数据采集与传统数据采集的主要区别。答案：传统数据采集通常针对结构化数据，规模较小，实时性要求低，依赖人工配置；大数据采集需处理结构化、半结构化、非结构化多类型数据，数据量呈指数级增长，强调实时/准实时采集能力，依赖自动化工具（如Flume、Kafka），需考虑分布式架构和容错设计。2.列举三种常见的日志采集工具，并说明各自适用场景。答案：（1）Flume：适合企业级日志集中采集，支持多源聚合和多级转发，用于服务器集群日志收集；（2）Filebeat：轻量级日志采集器，适合边缘设备或轻量服务器的日志采集；（3）Logstash：功能全面，支持日志解析、转换和丰富，适合需要复杂预处理的日志场景。3.数据采集过程中如何处理传输延迟问题？答案：（1）采用消息队列（如Kafka）缓冲数据，避免发送方与接收方速率不匹配；（2）优化网络带宽，使用压缩传输（如Snappy压缩）；（3）设置合理的批量发送大小，平衡延迟与吞吐量；（4）部署边缘采集节点，减少数据长距离传输。4.简述数据清洗在采集流程中的作用及主要步骤。答案：作用：去除“脏数据”，提升数据质量，为后续分析提供可靠基础。步骤：（1）识别错误数据（缺失、重复、格式错误）；（2）修正或删除错误记录；（3）标准化数据格式（如统一时间戳格式）；（4）验证清洗后数据的完整性和一致性。5.隐私计算技术（如联邦学习）在数据采集中的应用逻辑是什么？答案：联邦学习允许不同机构在不共享原始数据的前提下，通过交换模型参数或中间结果协同训练模型。在数据采集中，可避免直接传输敏感数据，仅采集加密后的特征值或模型更新信息，既满足分析需求又保护数据隐私。五、论述题（每题10分，共20分）1.设计一个电商平台用户行为数据采集方案，需包含数据源、工具选择、流程设计、质量控制和隐私保护措施。答案：（1）数据源：前端（App/H5页面点击、滑动、搜索）、后端（订单提交、支付结果）、客服（咨询记录）、设备（iOS/Android设备信息）。（2）工具选择：前端使用埋点SDK（如GrowingIO）采集行为事件；实时数据流通过Kafka消息队列缓冲；日志文件用Filebeat收集服务器日志；关系型数据库（如MySQL订单表）通过Canal获取增量变更；最终数据存储至HDFS/HBase。（3）流程设计：埋点数据→SDK实时发送→KafkaTopic→Flink实时清洗→HBase实时存储；服务器日志→Filebeat→Logstash解析→Elasticsearch分析存储；数据库增量→Canal→Kafka→Sqoop批量导入Hive。（4）质量控制：埋点前进行测试验证（确保事件触发准确）；Kafka设置消息确认机制（避免丢失）；Logstash配置字段校验规则（如时间戳必须为ISO格式）；定期抽样检查数据完整性（关键事件如“加入购物车”的转化率是否合理）。（5）隐私保护：用户ID采用MD5哈希处理（去标识化）；敏感信息（如手机号）脱敏（显示前3位后4位）；埋点数据传输使用TLS加密；设置数据访问权限（仅分析人员可查看脱敏后数据）。2.分析在以下三种场景中应如何选择数据采集工具，并说明理由：（1）某视频平台需要实时采集用户播放行为（如播放、暂停、拖动）；（2）某银行需要将核心系统Oracle数据库的历史交易数据迁移至Hadoop；（3）某舆情监控系统需要爬取微博、抖音等平台的公开用户评论。答案：（1）场景1选择Kafka+Flume组合：用户播放行为是高频实时数据流（每秒数万条），Kafka作为消息队列可缓冲突发流量，保证数据不丢失；Flume负责从各应用服务器收集日志并转发至Kafka，支持高吞吐量和容错。（2）场景2选择Sqoop：Oracle与Hadoop均为结构化存储，Sqoop专为关系型数据库与Hadoop生态迁移设计，支持批量导入（--batch参数）和增量导入（--incremental），可高效处理历史数据迁移，同时支持数据类型映射（如OracleDATE转HiveTIMESTAMP）。（3）场景3选择Scrapy+BeautifulSoup：微博、抖音评论属于非结构化网页数据，Scrapy是专业的Python爬虫框架，支持自动翻页、请求限速（避免被封）；BeautifulSoup用于解析HTML/JSON，提取评论内容、用户ID等字段；配合Selenium处理动态加载内容（如需要登录的场景）。六、案例分析题（15分）某物流企业在使用Flume采集运输车辆GPS定位数据时，出现数据丢失和延迟过高的问题。经排查，采集流程为：车载终端→FlumeSource（Netcat）→Channel（MemoryChannel）→Sink（HDFS）。请分析可能的原因，并提出优化方案。答案：可能原因：（1）MemoryChannel容量限制：内存通道存储量有限，当车载终端发送速率超过Sink写入HDFS的速率时，数据会被丢弃（MemoryChannel默认容量100）。（2）网络不稳定：Netcat基于TCP传输，车载终端在移动过程中可能断网，导致部分数据未成功发送至Flume。（3）HDFS写入延迟：Sink写入HDFS时需创建文件、申请Block，高并发下写入速度慢，导致Channel积压。（4）无容错机制：MemoryChannel不持久化，Flume进程重启会丢失未处理数据。优化方案：（1）更换Channel类型：使用FileChannel替代MemoryChannel，数据存储在磁盘，支持持久化，避免进程重启导致的数据丢失。（2）调整Source配置：为NetcatSource增加超时重连机制（设置socket.timeout参数），车载终端断网恢复后自动重传未发送数据。（3）优化Sink参数：配置HDFSSink的batchSize（如设置为1000），减少文件频繁创建；启用r