2026年高职大数据技术(数据维护保养)试题及答案

2026年高职大数据技术(数据维护保养)试题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，当NameNode检测到某个DataNode的心跳超时，其默认触发副本补全的间隔是A.30s B.60s C.200s D.300s答案：C1.2某MySQL8.0实例使用InnoDB，参数innodb_flush_log_at_trx_commit=2，则宕机后可能丢失的数据范围是A.0s B.1s C.最近一次提交事务 D.1个OS页答案：B1.3在Kafka2.8无ZooKeeper模式下，负责主题分区的Leader选举的组件是A.BrokerController B.KRaftQuorum C.Partitioner D.Coordinator答案：B1.4对Parquet文件进行列式压缩时，默认对STRING类型采用的编码方式是A.RLE B.Dictionary C.Delta D.Plain答案：B1.5当Spark3.4以local模式运行，spark.sql.adaptive.enabled=true，下列行为不会触发AQE动态合并分区的是A.上游map产生2000个小文件 B.下游shuffleread80MB/分区 C.存在数据倾斜 D.使用bucket表答案：D1.6在Elasticsearch8.5中，将冷数据从SSD迁移到机械盘的ILM动作名称是A.warm B.cold C.freeze D.shrink答案：B1.7某数据仓库采用星型模型，事实表约5亿行，最合理的分区粒度是A.小时 B.天 C.周 D.月答案：B1.8在Linuxext4文件系统上，对4KB随机写延迟影响最大的参数是A.noatime B.commit C.barrier D.uid答案：C1.9使用Flink1.17进行端到端Exactly-Once时，必须同时开启的两个功能是A.Checkpoint+TwoPhaseCommit B.Checkpoint+Savepoint C.Savepoint+DynamicTable D.Watermark+Retraction答案：A1.10在数据治理元模型中，负责记录“字段级血缘”的实体是A.BusinessTerm B.DataElement C.LineageEdge D.Dataset答案：C2.多项选择题（每题3分，共15分；多选少选均不得分）2.1以下哪些Linux命令组合可无损将一张2TBMyISAM表在线迁移到另一块磁盘A.rsync+flushtableswithreadlockB.cp+innodb_fast_shutdown=0C.xtrabackup--tables-regexD.mydumper--rows+myloader答案：ACD2.2关于Hive3.0的ACID事务表，正确的有A.必须开启txnmanager=DbTxnManagerB.支持UPDATE、DELETEC.ORC是唯一的底层格式D.支持并发读写答案：ABD2.3下列属于数据质量维度“及时性”指标的有A.业务时间戳与入库时间差 B.调度延迟 C.数据新鲜度得分 D.重复率答案：ABC2.4在PostgreSQL15中，可对B-tree索引进行并发重建的命令有A.REINDEXINDEXCONCURRENTLY B.CREATEINDEXCONCURRENTLY C.REINDEXDATABASECONCURRENTLY D.VACUUMFULL答案：ABC2.5使用SparkStructuredStreaming消费Kafka时，可用来实现幂等写入MySQL的选项有A.insertignore B.replaceinto C.onduplicatekeyupdate D.mergeinto答案：ABCD3.填空题（每空2分，共20分）3.1HDFS副本放置策略中，如果副本系数为3，则第2副本优先放在__________节点，第3副本放在__________节点。答案：不同机架；与第1副本同机架的另一节点3.2MySQL8.0的redolog默认文件名为__________与__________。答案：ib_logfile0；ib_logfile13.3在Kafka中，__________参数控制Leader允许Follower落后最大消息字节数，超过则踢出ISR。答案：replica.lag.max.messages（旧版）或replica.lag.time.max.ms（新版）3.4SparkSQL中，将Dataset转为执行计划的入口类是__________。答案：SparkSession3.5Elasticsearch集群中，__________线程池负责处理聚合请求，默认大小=__________。答案：search；min(5,(availableProcessors3)/2)+1答案：search；min(5,(availableProcessors3)/2)+13.6Linux下查看NVMe盘健康度的命令是__________。答案：nvmesmart-log/dev/nvme0n13.7数据治理常用指标“数据成本占比”=__________/__________。答案：数据存储与计算总成本；企业年度IT总支出4.判断改错题（每题2分，共10分；先判断对错，若错则给出正确表述）4.1HDFS的Balancer进程默认阈值为10%，即任何DataNode磁盘使用率与集群平均差值超过10%时触发。答案：对4.2MySQL的binlog_format=statement时，所有触发器产生的变更也会以row格式写入。答案：错；正确：触发器内部语句仍以statement格式记录，除非设置binlog_format=row。4.3Flink的Checkpoint超时时间必须小于重启策略的延迟间隔。答案：对4.4Parquet文件一旦写入，其schema不能再变更。答案：错；正确：可通过mergeSchema选项追加不同schema文件。4.5Elasticsearch的Master节点必须同时充当Coordinating节点。答案：错；正确：可独立部署仅Master角色节点。5.简答题（封闭型，每题6分，共18分）5.1描述HDFSDataNode“磁盘卷失败”检测流程，并指出管理员应如何替换损坏磁盘而不中断写操作。答案：DataNode定期扫描volumes，若读取/write失败则标记volumefailed，向NameNode汇报；NameNode降低该DN块副本权重。管理员：1.在DataNode配置中exclude该卷路径；2.重启DataNode；3.物理替换磁盘并格式化；4.重新include卷路径；5.重启DataNode触发块扫描；6.使用Balancer或hdfsdfsadmin-triggerBlockReport加速副本均衡。全程NameNode维持副本数≥2，写操作不中断。5.2列举MySQL8.0中“在线回收undo表空间”的三步核心流程，并说明涉及的新参数。答案：1.设置innodb_undo_log_truncate=ON；2.当undo表空间大小超过innodb_max_undo_log_size时，标记为可截断；3.后台purge线程释放回滚段后，InnoDB创建新的undo表空间文件并删除旧文件。参数：innodb_undo_tablespaces、innodb_max_undo_log_size、innodb_undo_log_truncate。5.3说明KafkaProducer实现幂等的内部机制，并指出该机制对partition的并发限制。答案：开启enable.idempotence=true后，Producer为每个PID+Partition维护<sequencenumber,batch>映射；Broker端检测重复sequence并拒绝。限制：幂等模式下，每个Partition同一时刻只能有一个活跃PID，因此并发度=1，需用事务API跨partition。6.简答题（开放型，每题8分，共16分）6.1某电商公司“订单明细”表每日新增1亿行，采用MySQL+Hive双写架构。近期出现凌晨Hive数据延迟3小时，MySQL正常。请给出系统级排查思路与优化方案。答案：排查：1.检查Sqoop/DataX任务日志，定位map/reduce失败或YARN资源不足；2.监控HiveMetastore连接池、HDFS写入吞吐；3.核对MySQLbinlog消费延迟；4.检查网络带宽及交换机丢包；5.核对NameNodeRPC队列。优化：1.将导入改为增量+并行，按自增ID分片；2.调整YARN队列资源，使用动态资源池；3.启用ORC+ZSTD压缩，降低写入量；4.采用FlinkCDC替代T+1，实现分钟级同步；5.对Hive表分区改为按小时，减少重试代价；6.设置SLA告警阈值<30min。6.2讨论在多云环境中，跨区域复制Elasticsearch索引所面临的“一致性、成本、延迟”三难权衡，并提出可落地的折中架构。答案：一致性：采用CCR（CrossClusterReplication）follower模式，默认最终一致；若需强一致需双写+全局checkpoint，延迟高。成本：跨区带宽单价高，压缩可降低30–50%，但增加CPU；冷数据可用快照+对象存储复制，节省60%成本。延迟：物理距离>2000km时RTT>30ms，写入吞吐下降40%。折中架构：1.热数据区：双活集群+CCR，同步索引仅保留最近7天；2.温数据区：每日快照至对象存储，通过生命周期管理异步restore到对端；3.查询层：智能路由，最近24小时查本地，其余查对端；4.网络：专线+压缩+HTTP/2；5.一致性校验：每小时对比索引doc_count与checksum，差异>1%触发全量重建。7.应用题（计算类，10分）7.1某Spark3.4任务读取Parquet800GB（未压缩），字段共60列，其中20列为INT，20列为DOUBLE，20列为STRING（平均长度40Byte）。已知Parquet采用SNAPPY压缩，压缩率0.3；集群单Executor给4vCore、16GBRAM，HDFS副本数3，网络带宽10Gb/s。估算：（1）逻辑输入量；（2）估算所需Executor数，使任务在10min内完成，假设CPU-bound，单核吞吐1GB/min。答案：（1）逻辑输入量=800GB×0.3=240GB。（2）总CPU需求=240GB÷1GB/min=240核；单Executor4核→240/4=60Executor；考虑10%冗余，取66Executor。8.应用题（分析类，12分）8.1给出某支付系统MySQL8.0主从结构：主库写QPS8k，事务平均大小4KB，从库延迟突增至20s。提供诊断命令清单，并分析三种典型原因及对应解决措施。答案：诊断：1.showslavestatus\G看Seconds_Behind_Master、SQL_Delay、Relay_Log_Pos；2.pt-heartbeat--check；3.showopentableswherein_use>0；4.top/mpstat看IOWAIT；5.iostat-x1看磁盘%util；6.showengineinnodbstatus\G看LRU刷新。原因A：从库磁盘瓶颈，%util>90%，解决：升级为NVMe，调大innodb_io_capacity=2000。原因B：单线程SQL线程，存在热点更新，解决：开启binlog_transaction_dependency_tracking=WRITESET，提高并行度；或升级5.7→8.0，使用logical_clock。原因C：大事务，Relay_Log中单个事务>500MB，解决：拆分业务批量，限单事务<10MB；临时加从库并行workers=16。9.应用题（综合类，15分）9.1设计“车联网”实时数据维护保养方案：背景：100万辆车，每车30s上报一次，包大小3KB，需保存90天；查询需求：最近1小时热数据<200ms返回，90天历史可离线。要求：给出总存储量估算、技术选型、分层架构图（文字描述）、数据生命周期策略、容灾级别与RPO/RTO。答案：存储量：100万×3KB×2×60×24×90≈777TB（含HDFS副本3，压缩率0.2→实际155TB）。技术：热数据Kafka+Flink+Elasticsearch（热索引7天，SSD，20节点，3主分片+1副本）；温数据ClickHouse（SATA，40节点，按vehicle_id+hour分区）；冷数据OSS+Parquet。分层：车载终端→5G→网关→KafkaTopic:car_raw→Flink清洗→Elasticsearch索引:car_hot_YYYYmmddHH→小时快照→ClickHouse表:car_warm→每日merge→OSS/car_cold/year=/month=/day=/。生命周期：热7天→温83天→冷归档；ILM：热索引设置max_age=7d，warm迁移至SATA，cold压缩ZSTD，delete=90d。容灾：双活机