2023云南大数据公司内部员工笔试复习题附答案

2023云南大数据公司内部员工笔试复习题附答案

一、单项选择题（每题2分，共20分）1.在Hadoop生态中，负责集群资源管理与任务调度的核心组件是A.Hive B.YARN C.HBase D.Flume2.下列哪项技术最常被用来解决“数据倾斜”导致的Reduce端长尾问题A.增加Map数 B.两阶段聚合（Combiner） C.提高副本因子 D.使用Snappy压缩3.在Kafka0.10之后，消费者偏移量默认保存在哪个内部topicA.__consumer_offsets B.__offset_manager C.__meta D.__commit_log4.若一张Hive表以ORC格式存储并开启事务，以下哪种操作无法通过SQL直接完成A.UPDATE B.DELETE C.INSERTOVERWRITEDIRECTORY D.MERGE5.Spark中，以下哪一类操作会触发Job的提交A.map B.filter C.reduceByKey D.persist6.在Flink的Checkpoint机制里，用于在故障恢复时保证“恰好一次”语义的屏障是A.RecordBarrier B.CheckpointBarrier C.Watermark D.LatencyMarker7.使用HBaseRowKey设计时，为避免热点应优先采用A.哈希前缀 B.时间戳前缀 C.自增ID D.固定长度字符串8.在数据仓库分层理论中，DWD层的主要职责是A.原始数据落盘 B.明细数据清洗与规范化 C.宽表汇总 D.应用主题集市9.根据《个人信息保护法》，处理敏感个人信息应当取得个人的A.口头同意 B.书面同意 C.单独同意 D.默示同意10.在Linux中，查看某进程打开文件句柄数的命令是A.lsof-p B.netstat-anp C.iostat-x D.top-H二、填空题（每题2分，共20分）11.Hadoop3.x默认的块大小为________MB。12.SparkSQL的默认元数据库是________。13.在MySQL8.0中，支持原子DDL的默认存储引擎是________。14.若Elasticsearch集群出现“脑裂”，应首先检查参数________的值是否过低。15.FlinkCEP库中，模式序列的“宽松连续”使用________关键词描述。16.数据治理元数据的三类核心元数据分别为业务元数据、技术元数据与________元数据。17.根据CAP理论，HBase在分区故障时优先保证________性。18.Linux下，将文件描述符2重定向到文件描述符1的符号写法为________。19.在Pythonpandas中，将DataFrame行索引重置为默认整型索引的方法是________。20.依据《数据安全法》，重要数据出境应通过________评估。三、判断题（每题2分，共20分，正确打“√”，错误打“×”）21.HiveonTez的执行计划可在YARN的WebUI中直接查看。22.KafkaProducer的acks=0配置可保证消息“至少一次”投递。23.在SparkStreaming中，DStream的转换是懒执行的。24.HBase的MOB特性用于存储小于1KB的小对象。25.数据血缘属于技术元数据的范畴。26.Linux的crontab中，字段“/5”表示每5小时执行一次。27.Flink的Savepoint必须依赖Checkpoint开启。28.使用Parquet格式能显著降低存储成本并支持谓词下推。29.在数据仓库中，星型模型比雪花模型查询冗余度更高。30.对JSON数据使用gzip压缩后，ORC仍可通过切分实现并行读。四、简答题（每题5分，共20分）31.简述HadoopNameNode高可用（HA）架构中ZKFC的作用。32.说明Spark广播变量与累加器的区别，并给出各自典型应用场景。33.列举并解释Flink的三种时间语义，指出窗口计算中最常用的一种及其原因。34.数据质量评估常从哪六个维度展开？请给出每个维度的一句核心定义。五、讨论题（每题5分，共20分）35.公司日增日志20TB，需保留30天，原使用HDFS三副本存储，成本激增。请从存储格式、冷热度分层、副本策略、压缩算法四方面给出降本方案，并评估潜在风险。36.实时数仓需支持秒级UV计算，但上游Kafkatopic分区数仅20，QPS峰值500万。请讨论分区扩容、KeyBy策略、Flink并行度、Redis去重四层优化思路，并权衡“精确一次”与“近似去重”的业务取舍。37.某业务库使用MySQL5.7，单表行数8亿，每日增量500万，慢查询频发。请从分库分表、冷热归档、索引优化、只读实例四角度提出改进路径，并说明对在线事务的影响。38.集团拟构建数据资产目录，需打通Hive、Kafka、Oracle、MongoDB四系统元数据。请讨论自研、ApacheAtlas、DataHub三种方案的采集适配性、实时性、权限集成难点，并给出落地建议。答案与解析一、单项选择题1.B 2.B 3.A 4.C 5.C 6.B 7.A 8.B 9.C 10.A二、填空题11.12812.Derby13.InnoDB14.discovery.zen.minimum_master_nodes15.followedBy16.管理（或操作）17.一致18.2>&119.reset_index20.安全（或出境安全）三、判断题21.√ 22.× 23.√ 24.× 25.√ 26.× 27.× 28.√ 29.× 30.×四、简答题（每题约200字）31.ZKFC（ZKFailoverController）是独立进程，负责监控NameNode健康状态并向ZooKeeper写入活性信息；当主NameNode故障，ZKFC触发ZNode锁释放，备节点抢锁后提升为Active，实现秒级切换，同时调用NN的fencing方法确保原主已退出，防止脑裂。32.广播变量将只读数据集分发到各Executor内存，避免多次序列化传输，适用于维度表关联；累加器是只写变量，由Driver统一汇总，常用于调试级计数或安全聚合。广播变量节省网络IO，累加器保证分布式累加正确性。33.三种时间语义：ProcessingTime（处理时刻）、EventTime（事件自身时间）、IngestionTime（进入Flink时刻）。窗口计算最常用EventTime，因业务需按真实发生时间统计，配合Watermark可处理乱序，保证结果准确。34.完整性：数据不缺失程度；准确性：数据与真实世界一致程度；及时性：数据在需求时限内可用；一致性：跨系统数据无矛盾；唯一性：同一对象无重复记录；有效性：数据符合格式与业务规则。五、讨论题（每题约200字）35.存储格式改为ORC+ZSTD，压缩率提升50%；冷数据迁ErasureCoding，副本由3降至1.5；7天后转冷存，30天后转对象存储低频访问；风险：EC恢复带宽高、冷取回延迟大，需预留网络余量并建立备份额外校验。36.分区按用户哈希扩至200，消除单分区热点；KeyBy使用“用户ID+随机前缀”两阶段聚合，并行度设为400；Redis使用BloomFilter近似去重，内存降90%；若广告计费场景，可夜间离线校准，权衡后接受1%误差。37.按用户ID取模分32库64表，缩小索引高度；3个月前数据迁至历史库，采用Tokudb压缩；联合索引覆盖查询列，去掉冗余单列索引；只读实例承担报表，延迟5秒可接受；事务影响：分库后需中间件支持分布式事务，归档后热点更新范围