2024云南大数据运维岗招聘笔试题及逐题答案解析

2024云南大数据运维岗招聘笔试题及逐题答案解析

一、单项选择题（每题2分，共20分）1.在Hadoop集群中，负责元数据持久化与快速恢复的组件是A.NodeManager B.ResourceManager C.NameNode D.DataNode2.下列哪条Linux命令可一次性找出/var/log下7天内修改过且大于100M的普通文件A.find/var/log-mtime-7-size+100M-typefB.ls-lh/var/log--time=7--size=+100MC.du-ah/var/log|awk'$1>100'D.grep-R“100M”/var/log3.Kafka中保证消息顺序性的最小粒度单元是A.broker B.topic C.partition D.consumergroup4.对Spark任务进行动态资源分配时，必须开启的外部shuffle服务部署在A.Driver B.Worker C.NodeManager D.ResourceManager5.使用rsync进行增量同步时，若要删除源端已不存在的文件，需添加的参数是A.-z B.-a C.--delete D.-P6.在Prometheus告警规则中，用于抑制同一组告警持续轰炸的通知策略对象称为A.route B.inhibit_rule C.receiver D.group7.HDFS默认副本数为3，若某文件大小为192MB，块大小128MB，则实际占用磁盘空间约为A.192MB B.384MB C.576MB D.768MB8.对ClickHouse进行离线数据导入时，性能最佳的表引擎是A.MergeTree B.Memory C.Log D.Distributed9.在YARN容量调度器中，支持动态抢占资源的队列属性是A.maximum-capacity B.user-limit-factor C.enable-inter-queue-preemption D.queue-state10.当Flume的channel使用memory类型时，防止Agent宕机丢数据的最佳实践是A.增大batchSize B.开启checkpoint C.配置backupDir D.改用filechannel二、填空题（每题2分，共20分）11.在Linux中，查看当前系统所有TCP监听端口对应的进程PID，应联合使用的两条命令是________和________。12.HBase中，用于实现行级事务的原子性检查机制称为________。13.对MySQL全库做逻辑备份时，mysqldump默认添加的锁级别是________锁。14.在Elasticsearch集群里，默认主节点选举的超时时间配置项为________。15.通过Flink实现端到端exactly-once语义，Source端需支持________，Sink端需支持________。16.使用Ansible批量修改/etc/hosts，应选用的核心模块名称是________。17.在Kerberos认证体系中，存放客户端票据的默认缓存文件环境变量是________。18.对Kafka集群进行分区重平衡时，官方推荐的运维脚本是________。19.在ZooKeeper的znode中，临时节点在客户端会话失效后会被________。20.当Linux系统打开文件句柄数达到上限时，可通过________命令临时增大当前shell的限制。三、判断题（每题2分，共20分，正确打“√”，错误打“×”）21.Hadoop3开始支持HDFS纠删码，可在同等容错下降低50%存储开销。22.Spark的RDD一旦触发cache()就立即物化到磁盘。23.在Linux软RAID中，RAID10必须先做镜像再做条带。24.Grafana的变量模板支持一次性查询多个数据源。25.使用scp复制大量小文件时，速度通常优于tar+ssh管道。26.HiveonTez执行引擎相比MR，可减少中间结果落盘次数。27.对ClickHouse执行ALTERTABLEUPDATE语句会立即重写整个分区数据。28.Airflow的调度时间以DAG文件中start_date为准，与系统时区无关。29.在YARN的FIFO调度器中，短任务必然优先于长任务执行。30.通过systemd启动的进程，其默认最大文件描述符由/etc/security/limits.conf控制。四、简答题（每题5分，共20分）31.描述一次HDFSDataNode磁盘损坏的完整应急处理流程，要求涵盖检测、隔离、数据恢复、验证四步。32.说明KafkaConsumerRebalance的触发条件及Coordinator在其中的作用。33.列举三种常用的Linux系统资源限制维度，并给出对应的查看命令。34.简述使用Prometheus+Alertmanager实现告警收敛的两种策略及其适用场景。五、讨论题（每题5分，共20分）35.结合云南本地政务云实践，讨论多机房Hadoop集群跨城容灾的RPO与RTO设计权衡。36.对比Flink与SparkStructuredStreaming在Exactly-Once语义实现上的差异，并给出在运维视角下的监控重点。37.当省级日志总量达到每天200TB、保留15天时，请从成本、性能、可维护性三方面评估自建ELK与购买商业SaaS的优劣。38.针对少数民族地区网络不稳定场景，设计一套边缘计算节点与中心Kafka集群的断网续传方案，需说明本地缓存、压缩、回传限速、冲突解决机制。答案与解析一、单项选择题1C 2A 3C 4B 5C 6B 7C 8A 9C 10D二、填空题11ss-lntp netstat-lntp12checkAndPut13全局读（FLUSHTABLESWITHREADLOCK）14discovery.zen.ping_timeout15可重放分区（如Kafka可指定offset） 两阶段提交（幂等+事务）16lineinfile17KRB5CCNAME18kafka-reassign-partitions.sh19自动删除20ulimit-n三、判断题21√ 22× 23√ 24√ 25× 26√ 27× 28× 29× 30×四、简答题（要点示例，每题约200字）31.1检测：ClouderaManager或自定义脚本监控DataNode失连与磁盘错误告警；2隔离：在hdfs-site.xml中把损坏目录加入dfs.datanode.data.dir.exclude，滚动重启该节点；3数据恢复：触发HDFSunder-replicatedblock监控，自动选择剩余副本进行复制，若副本不足则优先从离线镜像或快照恢复；4验证：使用hdfsfsck检查副本数与校验和，确保所有块健康后移除隔离目录，更新监控白名单。32.触发条件：consumer组内成员增减、订阅topic列表变化、partition数量变化；Coordinator作用：由Kafka内部topic__consumer_offsets所在broker担任，负责收集组成员心跳，计算分区分配方案，下发assignment并驱动rebalance协议，保证同一时刻同一partition仅被组内一个consumer消费。33.维度与命令：1最大进程数ulimit-u/etc/security/limits.confnproc；2最大文件句柄数ulimit-n/proc/sys/fs/file-max；3最大内存锁定ulimit-l/memlock；4最大core文件大小ulimit-c；5最大栈大小ulimit-s；6最大打开文件数lsof|wc-l。34.策略：1分组抑制，通过Alertmanagergroup_by把同类告警合并为一条通知，适合瞬时风暴；2静默规则，在维护窗口设置silence，屏蔽已知告警，适合计划变更；3抑制规则，利用inhibit_rule让高等级告警抑制低等级，适合级联故障；4逐步升级，根据repeat_interval与receiver路由实现先邮件后短信，适合不同响应阶段。五、讨论题（参考要点，每题约200字）35.云南多地震带，机房间距需大于80km；RPO通过异步JournalNode与离线快照结合，设5分钟级增量；RTO借助HDFS联邦+DistCp预暖数据，目标30分钟内切换；成本与带宽权衡，采用ErasureCoding降低跨城流量40%，并部署QoS保障关键业务。36.Flink基于Changelog+TwoPhaseCommit，依赖checkpoint屏障对齐，监控重点为checkpoint时长与失败率；Spark依赖微批offset提交+幂等写，监控为batchprocessingtime与sinkcommitlag；运维上Flink需关注状态后端大小，Spark需关注Driver内存与checkpoint清理。37.自建：硬件一次性投入约1200万，15天需3PB裸容量，三副本+压缩后1PB，电费年150万，需7人团队；S