(2026年)《大数据采集》期末考试复习题库(含答案)

(2026年)《大数据采集》期末考试复习题库(含答案)一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项的字母填在括号内）1.在Flume数据采集流程中，用于将事件从Channel传递到Sink的组件是（）A.Source  B.Channel  C.Sink  D.Interceptor答案：C2.下列哪一项不是KafkaProducer发送消息时必须指定的参数（）A.topic  B.key  C.value  D.partition答案：B3.使用Scrapy框架爬取动态渲染页面时，通常需要集成的中间件是（）A.RetryMiddleware  B.RotateUserAgentMiddlewareC.SeleniumMiddleware  D.HttpProxyMiddleware答案：C4.在HDFS写入数据过程中，客户端首先请求与哪类节点建立连接（）A.NameNode  B.SecondaryNameNode  C.DataNode  D.JobTracker答案：A5.当使用Sqoop将MySQL数据导入Hive分区表时，必须显式指定的参数是（）A.--split-by  B.--hive-partition-key  C.--map-column-java  D.--null-string答案：B6.下列HTTP状态码中，表示“请求频率超限”的是（）A.202  B.301  C.429  D.503答案：C7.在SparkStreaming中，DStream的窗口操作默认的滑动间隔必须是（）A.批间隔的整数倍  B.1秒  C.窗口长度的整数倍  D.任意值答案：A8.使用Pythonrequests库时，要关闭SSL证书验证，需设置参数（）A.verify=False  B.cert=None  C.allow_redirects=False  D.stream=True答案：A9.在Canal架构中，负责伪装成MySQLSlave的模块是（）A.CanalServer  B.CanalAdapter  C.CanalAdmin  D.MetaManager答案：A10.下列哪项不是数据血缘（DataLineage）元数据应记录的信息（）A.字段转换逻辑  B.数据所有者电话  C.上游表名  D.下游任务ID答案：B11.使用FlinkCDC读取MySQLBinlog时，如需捕获删除事件，必须开启MySQL的（）A.GTID  B.Row-basedReplication  C.Statement-basedReplication  D.Semi-syncReplication答案：B12.在Nifi流程中，用于实现流文件优先级排序的处理器是（）A.PrioritizeProcessors  B.UpdateAttribute  C.RouteOnAttribute  D.MergeContent答案：A13.下列哪项不是网络爬虫遵循的Robots协议中“Disallow”字段的作用（）A.禁止访问路径  B.限制爬虫速率  C.屏蔽敏感目录  D.降低被反爬风险答案：B14.使用Logstash采集日志时，将字段类型由string转为date应使用的过滤器是（）A.mutate  B.date  C.grok  D.ruby答案：B15.在数据埋点体系中，用于标识一次用户会话的字段通常称为（）A.UID  B.SID  C.TID  D.DID答案：B16.下列关于WebSocket数据采集的描述，正确的是（）A.基于请求-响应模型  B.服务端可主动推送数据C.默认使用UDP传输  D.无法跨域答案：B17.在Hive中，通过“MSCKREPAIRTABLE”命令可自动同步（）A.分区元数据  B.列类型  C.表注释  D.桶信息答案：A18.使用ApacheAtlas进行元数据治理时，血缘关系通过哪类API暴露给第三方（）A.Entity  B.Lineage  C.Search  D.Admin答案：B19.在数据质量评估指标中，“同一主键在源系统出现多次”属于（）A.完整性问题  B.一致性问题  C.唯一性问题  D.及时性问题答案：C20.下列哪项不是常见反爬策略（）A.字体反爬  B.动态参数签名  C.降低HTTPKeep-alive超时  D.增加Cookie过期时间答案：D二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，请将所有正确选项的字母填在括号内，漏选、错选均不得分）21.以下哪些属于FlinkKafkaSource的启动模式（）A.earliest-offset  B.latest-offset  C.group-offsets  D.timestamp答案：ABCD22.使用Scrapy-Redis实现分布式爬取时，需要改写的组件包括（）A.SCHEDULER  B.DUPEFILTER_CLASS  C.ITEM_PIPELINES  D.DOWNLOADER_MIDDLEWARES答案：ABC23.在数据湖Iceberg中，支持通过以下哪些方式实现增量读取（）A.SnapshotID  B.TimeTravel  C.StreamingAppend  D.MergeInto答案：ABC24.以下哪些HTTP头部字段可用于实现爬虫反反爬（）A.Accept-Language  B.Referer  C.X-Forwarded-For  D.ETag答案：ABC25.关于HDFSShort-CircuitLocalReads机制，正确的有（）A.减少DataNode与客户端间Socket传输  B.需要libhadoop.soC.需配置dfs.client.read.shortcircuit=true  D.仅适用于写操作答案：ABC26.使用Logstash采集多行日志（如Java异常栈）时，可使用的编解码器包括（）A.multiline  B.json_lines  C.plain  D.rubydebug答案：AC27.以下哪些属于数据治理中“主数据管理（MDM）”的核心要素（）A.唯一标识  B.黄金记录  C.数据清洗  D.数据脱敏答案：ABC28.在Canal1.1.5中，以下哪些数据格式可作为Client消费端输出（）A.protobuf  B.json  C.avro  D.xml答案：AB29.使用Spark读取HiveORC表时，以下哪些操作会触发全表扫描（）A.selectcount()  B.selectwherept='2026'A.selectcount()  B.selectwherept='2026'C.selectcol1,col2wherecol1>100  D.describeformatted答案：AC30.以下哪些属于GDPR对个人数据采集的合法性基础（）A.数据主体同意  B.合同履行需要  C.法律义务  D.数据控制者合法利益答案：ABCD三、填空题（每空1分，共20分。请在横线上填写正确答案）31.在Kafka2.8之后，如不使用Zookeeper，需依赖的新组件名称是__KRaft__。32.使用Python的concurrent.futures模块实现高并发爬虫时，常用线程池类为__ThreadPoolExecutor__。33.在HDFS中，默认块大小为128MB，若文件大小为600MB，则占用__5__个块。34.Sqoop导入Oracle数据时，如需将NUMBER(10,2)映射为Hive的decimal类型，应加参数__--map-column-hivecol_name=decimal(10,2)__。35.FlinkSQL中，用于声明Kafka连接表的Connector属性关键字为__'connector'='kafka'__。36.浏览器调试面板中，查看WebSocket帧的菜单名称为__Network__→__WS__。37.在Nifi表达式语言中，获取流文件属性“filename”的函数为__${filename}__。38.使用Scrapy导出CSV文件，需在settings.py中启用feedexporter并设置__FEEDS={'output.csv':{'format':'csv'}}__。39.数据质量维度中，英文缩写“DQ”代表的完整拼写为__DataQuality__。40.在MySQL8.0中，开启BinlogRow格式的系统变量为__binlog_format=ROW__。41.使用AtlasHook同步Hive元数据时，需在hive-site.xml配置__atlas.hook.hive.synchronous=false__以降低延迟。42.在Logstash配置中，输出到Elasticsearch并指定索引别名的参数为__index=>"alias_name"__。43.数据脱敏算法“SHA-256”属于__不可逆加密（或单向散列）__类型。44.使用FlinkCDC读取PostgreSQL，需提前安装的逻辑解码插件名称为__wal2json__或__decoderbufs__。45.在数据仓库分层模型中，字母缩写“ODS”代表的层级为__OperationalDataStore__。46.使用Pythonrequests上传文件，需构造的字段类型为__files={'field':('name',open('file','rb'),'mime')}__。47.在HDFSFederation架构中，提供块池隔离的组件为__BlockPool__。48.使用KafkaMirrorMaker2.0跨集群同步时，内部使用的Topic命名前缀为__mm2-__。49.在Hive中，查看表分区的SQL命令为__SHOWPARTITIONStable_name__。50.使用SparkStructuredStreaming读取Kafka，设置startingOffsets为“earliest”表示__从最早偏移量开始消费__。四、判断题（每题1分，共10分。正确请写“√”，错误写“×”）51.Flume的MemoryChannel在Agent崩溃时能保证零数据丢失。  答案：×52.WebSocket协议默认使用443端口进行加密传输。  答案：√53.KafkaProducer的acks参数设为0时，吞吐量最高但可能丢数据。  答案：√54.HDFS的ErasureCoding机制比三副本策略更节省存储但修复代价高。  答案：√55.Scrapy默认采用异步非阻塞I/O，底层依赖gevent库。  答案：×56.FlinkCheckpoint机制仅支持精确一次（Exactly-Once）语义。  答案：×57.在数据治理中，数据Owner对数据质量负最终责任。  答案：√58.使用CanalAdapter可将MySQL变更直接写入Elasticsearch。  答案：√59.Hive的ACID事务表必须采用ORC格式且分桶。  答案：√60.GDPR规定数据主体拥有“被遗忘权”，可要求企业删除其全部个人数据。  答案：√五、简答题（共30分）61.（封闭型，6分）简述KafkaConsumerRebalance的触发条件及分区分配策略。答案：触发条件：1.消费者组内成员加入或离开；2.Topic分区数变更；3.订阅Topic变更。分配策略：RangeAssignor（按Topic维度均分）、RoundRobinAssignor（全局轮询）、StickyAssignor（保持上次分配尽量不变）、CooperativeSticky（增量协作式）。62.（开放型，6分）请给出在反爬强度极高的电商网站中，保证商品库存数据实时性的三种采集方案，并对比其优缺点。答案：方案1.官方API对接，优点：合规、高实时；缺点：需商务授权、字段受限。方案2.服务端WebSocket推送，优点：毫秒级；缺点：需破解私有协议、高成本。方案3.RPA+浏览器集群，优点：绕过大部分前端混淆；缺点：资源消耗大、维护复杂。（评分参考：方案合理、对比维度全面、言之成理即可满分）63.（封闭型，6分）说明HDFS写入管道（Pipeline）在DataNode故障时的恢复流程。答案：1.客户端检测到DN故障；2.立即关闭输出流；3.向NameNode申请新的DN替换；4.将已确认的数据块传输给新DN；5.剩余数据沿修复后的Pipeline继续写入；6.完成后NameNode更新块映射。64.（开放型，6分）某金融公司需将核心交易Oracle库中的500张表实时同步到Kafka，要求延迟<1秒，请设计一套端到端架构并说明关键参数。答案：架构：Oracle→OGG（GoldenGate）→KafkaConnect→Kafka。关键参数：OGGExtract参数EOFDELAYCSECS=100，KafkaConnect使用JDBCSourceConnector，tasks.max=20，erval.ms=500，topic命名规则${table}_full，开启幂等producer，acks=all，retries=Integer.MAX_VALUE，enable.idempotence=true。65.（封闭型，6分）列举FlinkSQL读取Kafka时导致“脏数据”常见的四类原因，并给出对应解决配置。答案：1.消息缺字段：设置'fail-on-missing-field'=false；2.字段类型不匹配：设置'ignore-parse-errors'=true；3.时间戳格式非法：自定义TimestampFormat='yyyy-MM-ddHH:mm:ss'；4.脏字符导致JSON解析失败：启用'json.ignore-parse-errors'=true并配置脏数据侧输出。六、应用题（共50分）66.（计算类，10分）某日志文件大小为3.6GB，采用Flume采集，单个Event平均1KB，MemoryChannel容量设为100000Event，Sink为HDFS，滚动大小128MB，滚动间隔600s，请计算：(1)在不丢失数据的前提下，Channel最多可缓存多少MB？(2)当Sink速率为80MB/s时，写满一个128MB文件需要多少秒？(3)若Source速率为100MB/s，持续写入10分钟，总数据量能否被Channel容纳？若不能，需如何调整？答案：(1)100000×1KB=100MB。(2)128/80=1.6s。(3)10分钟Source写入6000MB，Channel仅100MB，无法容纳；需增大Channel容量至≥6000MB或增加Sink并发度降低反压。67.（分析类，15分）给出某电商App埋点日志样例：{"event":"add_cart","uid":"U123","sku":"S456","ts":1672531200000,"ip":"","ua":"Mozilla/5.0…"}要求：(1)写出使用SparkStructuredStreaming消费Kafka该Topic，解析JSON并统计每10秒窗口、每SKU加购次数的完整代码（Scala或Java）。(2)说明如何将该结果写入MySQL并保证Exactly-Once语义。答案：(1)```scalavalspark=SparkSession.builder.appName("AddCart").getOrCreate()importspark.implicits._valdf=spark.readStream.format("kafka").option("kafka.bootstrap.servers","broker:9092").option("subscribe","addcart").load()valparsed=df.selectExpr("cast(valueasstring)asjson").select(from_json($"json",schema).as("data")).select("data.").select("data.")valwindowed=parsed.withWatermark("ts","10seconds").groupBy(window("t.count()valquery=windowed.writeStream.outputMode("update").foreachBatch{(batchDF,_)=>batchDF.write.format("jdbc").option("url","jdbc:mysql://mysql:3306/result").option("dbtable","addcart_stats").option("user","root").option("password","**").option("password","**").mode("append").save()}.option("checkpointLocation","/checkpoints/addcart").start().awaitTermination()```(2)利用foreachBatch+MySQL幂等主键（window_start,window_end,sku）实现幂等写入；checkpoint保证故障恢复后从上次位置继续，从而实现端到端Exactly-Once。68.（综合类，25分）某省政务大数据局计划整合全省社保、公安、税务、医保四部门数据，构建“一人一档”主题库。请完成：(1)设计跨部门数据采集总体架构图（文字描述即可），要求包含数据源、采集通道、消息中间件、实时处理、离线处理、主数据管理、数据质量、数据服务八大部分。(2)针对社保Oracle库历史数据3TB、日增量8GB，公安MongoDB数据日增量200GB，税务CSV文件日落地500GB，医保KafkaTopic日吞吐1.2TB，分别给出采集技术选型、并发度、网络带宽估算及存储周期策略。(3)给出主数据匹配规则（以身份证号为主键），说明如何基于Spark图计算解决“一