【2026】年大数据工程技术人员职业技能鉴定题库及解析(附答案与解释)

一、单选题(只有一个正确答案)C.替换为0B.延迟高解析：NameNode需要维护文件系统的元数据(文件名、权限、数据块位置等),HDFS2.x/3.x中每个数据块在NameNode内存中都会占用固定空间(如150字节),因此块数量直接决定内存需求。解析：Sqoop是专门用于在Hadoop(HDFS、Hive)和结构化数据存储(如15.SparkSQL中，用于注册临时视图的SQL类似于哪种数据库功能?A.外部表解析：数据质量通常关注准确性、完整性、一致性、唯一性、A.Combiner的排序(分区排序)和Reduce端的归并排序。解析：Flink从1.10版本开始推荐使用统一的DataStreamAPI,DataSet逐渐被淘汰，专门用于处理有界数据(批处理),DataStream专门用于处理无界数据 (流处理)。24.数据仓库分层架构中，ODS层(操作数据层)的主要特点是?解析：SparkContext负责连接Spark集群，创建RDD(弹性分布式数据集),并C.删除数据D.Broker不需要确认31.在Storm实时计算中，负责接32.数据湖通常基于什么技术构建?A.分区列表B.依赖关系C.分区器(可选)解析：离线数仓处理周期较长(如每天、每小时),适合用于T+1模式的报表分A.任务进度丢失C.容错性解析：虽然Kafka3.x后引入了KRaft模式移除了ZooKeeper,但在传统的或分区数或对倾斜key加随机前缀(盐值)是解决该问题的核心手段。47.负责调度Spark作业、提交任务、申请资源(如YARNApplicationMaster)的进程是?C.脏读A.越短越好一起(如加前缀),可以利用HBase的LSM-Tree和布隆过滤器加速查询。53.在NoSQL数据库中，用于存储文档(如JSON)的典型数据库54.Kafka生产者配置中，acks参数设为“1”代表什么含义?解析：Oozie是一个用于管理Hadoop作业(如MapReduce,Pig,Hive)的工作A.适合复杂的Join操作解析：ClickHouse基于列式存储，非常适合OLAP(联机分析处理)场景，其查范式?B.逐行处理解析：业务规则校验关注的是数据的业务逻辑合理性(如年龄必须在0-120之间),而格式和类型检查属于数据结构校验。本数(默认3)时会发生什么?D.需要硬件配置过高性受限于批处理的调度延迟(通常在几百毫秒)。67.数据脱敏的主要目的是?手机号),以满足合规要求和保护隐私。效解析：事实表存储度量值，维度表存储描述信息(如时间、地点、产品)。一个维71.Kafka消费者组中，如果消费组内有3个Consumer,有5个Partition,将会发生什么?A.其中2个Partition会有3个Consumer消费C.每个Partition对应1个Consumer,多余的Consumer会处于空闲状态A.分类的相关性(如购物篮分析)。A.执行任务B.创建新文件(追加)C.报错盖，需使用`-f参数强制覆盖，或`-n`参数显示拒绝。二、多选题(有2个以上正确答案)解析：大数据平台选型需兼顾数据规模、性能、授权模式(开2.关于HadoopHDFS(Hadoop分布式文件系统)的特性，下列说法正确的是?储(B正确),设计为流式数据访问(不适合随机读写的A、D正确);读写(C错误)。A.去重 A.ODS层(明细层)B.DWD层(明细宽层)C.DWS层(服务层/汇总层)D.ADS层(应用层)DWD(明细数据)->DWS(服务数据)->ADS(应用数据)的层级，以确保数式(D错误)。Reducer(聚合结果)和Driver(配置程序并提交任务)。仅使用Mapper无法完8.大数据技术的“5V”特性指什么?A.列式存储C.键值存储工作节点，非Master(D错误)。A.键值存储C.列族存储系型数据库属于传统的SQL数据库，不属于NoSQL(D错误)。A.算子内部定义了State量点(D错误)。A.使用hdfsdfs-ls查看HDFS目录B.使用hdfsdfs-mkdir创建目录D.使用hdfsdfs-rm删除文件K8s之上(D错误)。整(CD错误)。能范围(D错误)。A.源转换解析：ETL映射流程通常包括从数据源抽取数据(源转换)、对数换(源质量转换)、以及加载到目标存储(目标转换)。连接池是技术底层的连接解析：数据湖允许存储原始数据(结构化、半结构化、非结构A.存储算子状态信息，以便容错恢复。资源回收由JVM或运行时环境管理(C错误),代码编写通过缓冲机制应对突发流量(削峰填谷)。消息队列通常无法 (D错误)。A.存储数据字典C.减少Shuffle过程的数据量据传输量。压缩不涉及加密(D错误)。解析：NoSQL数据库通常具有高扩展性(分片)、高可用性和灵活的数据模型。36.使用Python进行大数据处理(如P理的范畴(D错误)。40.以下哪些场景适合使用NoSQL数据库?A.分布式文件系统(如HDFS)B.NoSQL数据库(如HBase,MongoDB)D.对象存储服务(如S3,MinlO)C.作业调度任务调度逻辑主要由ApplicationMaster负责。选 (窄依赖或宽依赖);4.存储级别，用于决定RDD数据在内存或磁盘中的存储方解析：在Hive建表语句中：转换算子(Transformations):如map、filter、flatMap、reduceByKey、updateStateByKey;2.行动算子(Actions):如reduce、count、foreach。迟高但可靠性强；Spark内存计算显著提升了迭A.删除缺失值B.缺失值填充(均值、中位数、众数)C.插值法行或列(A);用统计值填充(B,如均值填充);或者使用插值算法(C)进行推A.NetcatSource56.在使用Hive进行分区裁剪时，有效的条件是?句中明确指定了分区列的条件(如`date='2023-01-01'),并且分区列的类型、解析：Hive的元数据(如表结构、分区信息等)默认存储在Derby嵌入式数据库解析：在Flume架构中，Source负责接收外部数据(如日志文件、网络端口),24.Spark的累加器(Accumulator)主要用于在分布式环境下实现全局变量的累加