2022年云南大数据行业社招跳槽专属笔试题及答案

2022年云南大数据行业社招跳槽专属笔试题及答案

一、单项选择题，(总共10题，每题2分)1.在Hadoop3.x中，默认的块大小从128MB调整为A.64MBB.256MBC.512MBD.1GB2.Spark任务提交参数spark.sql.shuffle.partitions的默认值是A.100B.200C.400D.与vcore数相同3.下列哪种压缩格式支持原生splitA.GzipB.Bzip2C.LZOD.Snappy4.在Kafka0.10之后，Consumer的offset不再存储于A.ZooKeeperB.__consumer_offsetsC.本地文件D.Broker内存5.Flink的Checkpoint机制中，Exactly-once语义依赖的核心技术是A.幂等写B.两阶段提交C.异步快照D.事件时间6.HBase中用于实现二级索引的协处理器接口是A.ObserverB.EndpointC.WALObserverD.RegionObserver7.在Hive3.x中，默认的执行引擎是A.MapReduceB.TezC.SparkD.LLAP8.使用Scala编写SparkStreaming时，DStream的transform操作返回类型是A.RDD[T]B.DStream[T]C.Dataset[T]D.DataFrame9.在数据仓库分层理论中，DWD层的主要职责是A.原始数据保留B.轻度汇总C.明细数据清洗D.维度建模10.根据《个人信息保护法》，处理敏感个人信息应当取得A.口头同意B.明示同意C.默示同意D.无需同意二、填空题，(总共10题，每题2分)11.Hadoop的NameNode元数据持久化文件名为_______。12.Spark中，RDD的五大特征之一的“可分区”英文是_______。13.Kafka的ISR列表中，副本滞后超过_______秒将被踢出。14.Flink的StateBackend默认配置为_______。15.Hive的元数据存储在_______数据库中。16.HDFS的副本放置策略中，第一副本放在_______节点。17.在数据质量维度里，指“同一指标在不同系统取值相同”的维度叫_______。18.使用Python调用Spark时，对应的包名是_______。19.在阿里云MaxCompute中，一次SQL计算任务最小计费单位为_______GB小时。20.根据国标GB/T35273，个人信息保存期限应为实现目的所需的_______时间。三、判断题，(总共10题，每题2分)21.Spark的广播变量只能在Driver端修改。22.HBase的Region一旦分裂，旧Region会立即被删除。23.Kafka的Producer发送消息时，若acks=0则一定不会重复。24.Flink的CEP库支持在事件时间上匹配模式。25.Hive的分区字段可以作为SELECT的返回列。26.在HDFS中，DataNode通过长连接向NameNode发送心跳。27.数据血缘属于元数据管理的核心内容。28.SparkSQL的窗口函数执行前必须先进行distributeby。29.使用Parquet格式能够显著降低Namenode内存压力。30.《数据安全法》要求重要数据出境必须通过安全评估。四、简答题，(总共4题，每题5分)31.简述Spark的宽窄依赖区别，并说明其在容错中的作用。32.说明Kafka如何实现高吞吐量的顺序写磁盘。33.列举三种常见的数据倾斜场景，并给出HiveSQL层面的通用优化思路。34.描述Flink的EventTime与Watermark机制如何保障窗口计算的准确性。五、讨论题，(总共4题，每题5分)35.结合云南旅游客流实时统计场景，讨论FlinkCEP如何识别“游客在同一景区停留超4小时”的异常行为，并给出状态存储与恢复策略。36.某国企计划将离线数仓从HiveonMR迁移到SparkonYarn，请评估迁移风险、资源成本与回退方案。37.云南跨境数据流动频繁，试论述如何在合规前提下建立数据出境安全网关，技术选型与治理流程如何设计。38.对比DeltaLake、Hudi、Iceberg三种数据湖格式，结合云南高原农业时序数据特点，给出选型建议并说明理由。答案与解析一、单项选择题1.B2.B3.B4.A5.B6.A7.B8.B9.C10.B二、填空题11.fsimage12.partitioned13.replica.lag.time.max.ms=3014.RocksDBStateBackend15.MySQL/PostgreSQL（答其一即可）16.本地写入/客户端所在节点17.一致性18.pyspark19.0.0120.最短三、判断题21.√22.×23.×24.√25.√26.×27.√28.×29.√30.√四、简答题31.窄依赖指父RDD每个分区最多被一个子分区依赖，宽依赖指多个子分区依赖同一父分区。容错时，窄依赖只需重算丢失的父分区，宽依赖需重算整个父分区，因此宽窄依赖决定了重算粒度与代价。32.Kafka采用顺序追加写日志文件，避免磁盘随机寻址；通过页缓存与sendfile零拷贝机制减少内核态切换；批量压缩与批量发送降低网络包数量，从而实现高吞吐。33.场景：大表join空值key、groupby热点key、countdistinct无过滤。优化：过滤空值随机加盐再聚合、热点key两阶段聚合、改写countdistinct为子查询先分组再求和。34.EventTime以事件自带时间戳为准，Watermark随数据流入推进，表示“小于该时间的数据已到达”。窗口触发时若watermark超过窗口结束时间即计算，迟到数据通过allowedLateness侧输出，保障准确。五、讨论题35.使用CEP.pattern定义“进入景区事件后，在4小时内未离开”模式，采用循环模式times(1)后跟条件where停留时长>4h。状态用ValueState保存首次进入时间，开启RocksDB增量快照，checkpoint每30秒异步上传OSS，故障时从最新checkpoint恢复状态。36.风险：UDF兼容性、SQL语法差异、小文件爆炸；成本：内存型队列需1.5倍资源，Yarn动态资源池调优；回退：保留双跑链路30天，通过灰度流量开关比对结果一致性，差异超1%自动回滚。37.网关采用API网关+数据脱敏+流量镜像三重架构，技术选型WSO2+ApacheRanger+自研敏感识别引擎，治理流程：业务部门申请→数据安全小组评估→网信办备案→网关策略下发→流量审计日志留存3年，敏感数据先匿名化再出境。