2026年湖南省数字技术应用能力水平考试（大数据基础知识及应用）自测试题及答案

2026年湖南省数字技术应用能力水平考试（大数据基础知识及应用）自测试题及答案一、单项选择题1.大数据区别于传统数据的最显著特征之一是“4V”特性，其中强调数据价值密度低，但整体价值巨大的“V”是（）。A.VolumeB.VelocityC.VarietyD.Value答案：D解析：大数据的“4V”特征通常指：Volume（数据体量大）、Velocity（处理速度快）、Variety（数据类型多样）、Value（价值密度低但商业价值高）。题目中描述的是价值特性，因此正确答案是D。2.在Hadoop生态系统中，负责资源管理和作业调度的核心组件是（）。A.HDFSB.MapReduceC.YARND.Hive答案：C解析：YARN（YetAnotherResourceNegotiator）是Hadoop2.0引入的资源管理框架，负责集群资源的管理和调度。HDFS是分布式文件系统，MapReduce是计算模型（在YARN上运行），Hive是数据仓库工具。3.以下哪种数据库类型最适用于处理高并发、低延迟的在线事务处理（OLTP）场景，且通常属于NoSQL数据库范畴？（）A.列式数据库B.文档数据库C.图数据库D.键值数据库答案：D解析：键值数据库（如Redis）具有极高的读写性能，数据结构简单，非常适合缓存、会话存储等高并发、低延迟的OLTP场景。文档数据库（如MongoDB）也常用于此类场景，但键值数据库在纯粹的性能上通常更具优势。列式数据库（如HBase）和图数据库（如Neo4j）各有其特定的适用场景。4.关于数据仓库与数据库的区别，以下描述错误的是（）。A.数据仓库通常面向分析主题，数据库面向事务处理B.数据仓库的数据是历史、集成的，数据库的数据是当前、操作型的C.数据仓库的数据更新频率通常高于操作型数据库D.数据仓库的查询通常更复杂，涉及大量历史数据答案：C解析：数据仓库的数据是周期性从各操作型系统抽取、转换、加载（ETL）而来，用于支持分析决策，其数据更新频率（如每天、每周）远低于支持日常业务的操作型数据库（可能实时更新）。5.在数据预处理中，用于发现并处理数据集中由于输入错误或测量误差导致的明显偏离其他观测值的极端值，这个过程称为（）。A.数据清洗B.数据集成C.数据归约D.数据变换答案：A解析：数据清洗是数据预处理的关键步骤，旨在处理缺失值、噪声数据（包括异常值）、不一致数据等，以提高数据质量。处理异常值是数据清洗的典型任务。6.以下关于MapReduce编程模型的描述，正确的是（）。A.Reduce任务必须在所有Map任务完成后才能开始B.Map阶段的输入和输出键值对类型必须一致C.Shuffle过程负责将同一个Key的中间结果传输到同一个ReducerD.一个MapReduce作业只能有一个Reducer答案：C解析：Shuffle过程介于Map和Reduce之间，它对Map输出的中间结果进行分区、排序、合并，并确保具有相同Key的数据被发送到同一个Reducer进行处理，这是MapReduce模型的核心机制之一。A项错误，存在优化如“推测执行”和“shufflefetch”可重叠；B项错误，类型通常不同；D项错误，Reducer数量可配置。7.假设有一个Hive表`user_logs(user_idINT,actionSTRING,log_timeTIMESTAMP)`，要统计2023年每天的用户活跃数（以user_id去重），以下HQL语句正确的是（）。A.`SELECTDATE(log_time),COUNT(user_id)FROMuser_logsWHEREYEAR(log_time)=2023GROUPBYDATE(log_time);`B.`SELECTDATE(log_time),COUNT(DISTINCTuser_id)FROMuser_logsWHEREYEAR(log_time)=2023GROUPBYDATE(log_time);`C.`SELECTDAY(log_time),COUNT(user_id)FROMuser_logsWHEREYEAR(log_time)=2023GROUPBYlog_time;`D.`SELECTDATE(log_time),SUM(DISTINCTuser_id)FROMuser_logsWHEREYEAR(log_time)=2023GROUPBYDATE(log_time);`答案：B解析：统计每天的去重用户数，需要使用`COUNT(DISTINCTuser_id)`，并按日期`DATE(log_time)`进行分组。A项未去重，C项分组和选择字段不匹配且未去重，D项`SUM(DISTINCT)`对数值型ID求和无意义。8.在Spark中，一个不可变的、可分区的元素集合，并且可以并行操作的数据抽象是（）。A.DataFrameB.DataSetC.RDDD.DStream答案：C解析：RDD（ResilientDistributedDataset，弹性分布式数据集）是Spark最核心的基本数据抽象，它正是一个不可变、可分区、内部元素可并行计算的容错性集合。DataFrame和DataSet是建立在RDD之上的更高级抽象。DStream是用于流处理的数据抽象。9.关于数据湖与数据仓库的对比，以下说法正确的是（）。A.数据湖存储原始格式数据，数据仓库存储经过清洗转换的结构化数据B.数据湖的模式是“写入时定义”，数据仓库的模式是“读取时定义”C.数据湖主要服务于预定义的报表和BI分析，数据仓库支持探索性分析和机器学习D.数据湖的数据质量通常高于数据仓库答案：A解析：数据湖的核心特点是存储原始、未经加工的数据（包括结构化、半结构化、非结构化），而数据仓库存储的是经过ETL处理、建模后的结构化数据，服务于特定的分析主题。B项说反了，数据湖是“读取时定义”模式，数据仓库是“写入时定义”模式。C项说反了，数据仓库服务于预定义分析，数据湖支持探索性分析。D项错误，数据湖因存储原始数据，质量层次不齐。10.以下哪种技术主要用于实现不同数据源之间数据的实时、增量同步？（）A.SqoopB.FlumeC.KafkaD.Canal答案：D解析：Canal是阿里巴巴开源的一个基于数据库增量日志解析，提供增量数据订阅和消费的中间件，主要用于MySQL数据库的实时增量数据同步。Sqoop用于Hadoop与关系数据库间的批量数据迁移。Flume用于日志类数据的采集和聚合。Kafka是分布式消息队列，常用于数据管道，但其本身不直接解析数据库日志。二、多项选择题1.以下哪些属于大数据技术栈中数据采集的常用工具或组件？（）A.ApacheFlumeB.ApacheSqoopC.ApacheKafkaD.ApacheHBaseE.Logstash答案：A、B、C、E解析：Flume用于日志采集；Sqoop用于关系数据库与Hadoop间批量数据传输；Kafka作为高吞吐消息队列，常作为数据管道用于采集和缓冲；Logstash是ELK栈中的数据收集和解析引擎。HBase是分布式列式数据库，属于存储层，不属于数据采集工具。2.关于HDFS架构的描述，正确的有（）。A.NameNode负责管理文件系统的命名空间和客户端对文件的访问B.DataNode负责存储实际的数据块，并定期向NameNode发送心跳和块报告C.一个文件被分割成多个块，这些块默认会复制多份存储在不同的DataNode上以实现容错D.SecondaryNameNode的主要目的是作为NameNode的热备份，以防其失效E.HDFS适合大量小文件的存储答案：A、B、C解析：D项错误，SecondaryNameNode的主要作用是定期合并FsImage和EditLog，减少NameNode启动时间，并在紧急情况下提供元数据恢复的辅助，但它不是热备（热备是StandbyNameNode，在HA架构中）。E项错误，HDFS因NameNode内存限制，不适合存储海量小文件。3.下列对数据挖掘算法与应用场景的匹配，合理的有（）。A.K-Means算法：客户分群B.Apriori算法：商品推荐（关联规则）C.决策树算法：信用风险评估D.线性回归算法：图像识别E.主成分分析（PCA）：数据降维与可视化答案：A、B、C、E解析：A项，K-Means是经典聚类算法，用于客户细分。B项，Apriori是经典关联规则挖掘算法。C项，决策树及其集成算法（如随机森林）常用于分类问题，如信用评估。D项，线性回归主要用于连续数值预测，图像识别主要使用深度学习（CNN等）。E项，PCA是经典的无监督降维方法。4.在数据治理的范畴内，通常包含以下哪些关键领域？（）A.数据质量管理B.元数据管理C.数据安全管理D.主数据管理E.数据生命周期管理答案：A、B、C、D、E解析：数据治理是一个综合性的管理体系，旨在确保数据的可用性、一致性、完整性、安全性和可靠性。其关键领域通常涵盖以上所有选项：数据质量、元数据、数据安全、主数据（核心业务实体数据的一致性管理）以及数据从创建到归档销毁的全生命周期管理。5.关于流处理与批处理的区别，以下描述正确的有（）。A.批处理处理有界数据，流处理处理无界数据B.批处理延迟通常在分钟到小时级，流处理延迟在秒到毫秒级C.ApacheStorm、ApacheFlink是典型的流处理框架，而ApacheHadoopMapReduce是典型的批处理框架D.流处理无法保证数据的精确一次（Exactly-Once）语义E.Lambda架构结合了批处理层和流处理层来平衡延迟和准确性答案：A、B、C、E解析：A、B、C项准确描述了两者在数据边界、延迟和代表性框架上的差异。D项错误，现代流处理框架如ApacheFlink、ApacheSparkStreaming（微批）通过检查点（Checkpoint）等机制可以实现Exactly-Once语义。E项正确，Lambda架构是经典的双层架构模式。三、判断题1.NoSQL数据库的“NoSQL”意味着它完全不支持SQL查询语言。（）答案：错误解析：“NoSQL”最初指“NotOnlySQL”，强调其超越传统关系模型的能力。如今许多NoSQL数据库（如Hive的HQL，Cassandra的CQL，MongoDB的查询语法）都提供了类SQL的查询语言以降低学习成本。2.数据中台是企业级的数据能力复用平台，其核心目标是通过数据服务化，避免数据孤岛和重复建设。（）答案：正确解析：数据中台的核心思想是构建统一的数据资产层和服务层，将数据能力抽象成可复用的服务，赋能前台业务快速创新，同时解决数据烟囱、重复开发等问题。3.在Spark中，Transformation操作（如map、filter）会立即触发计算并返回结果。（）答案：错误解析：Spark的Transformation操作是惰性求值（LazyEvaluation）的，它们只是定义了新的RDD依赖关系，并不会立即执行。只有当遇到Action操作（如count、collect）时，才会触发实际的计算作业。4.数据可视化中，饼图适合用于比较多个类别在整体中的占比情况。（）答案：正确解析：饼图是一种经典的可视化图表，用于显示一个数据系列中各项的大小与各项总和的比例关系。但需注意，当类别过多或占比接近时，饼图可能不是最佳选择。5.OLAP（联机分析处理）操作主要包括对数据的增、删、改、查。（）答案：错误解析：增、删、改、查是OLTP（联机事务处理）的主要操作。OLAP操作主要面向复杂分析查询，核心操作是“钻取”、“上卷”、“切片”、“切块”、“旋转”等多维分析操作。四、填空题1.在大数据领域，将大规模数据集分布在多台机器上并行计算，并通过网络进行协作的计算机集群，通常被称为______。答案：分布式计算集群2.在数据建模中，描述“一个客户可以下多个订单，但一个订单只属于一个客户”这种关系，属于______关系。答案：一对多（或1:N）3.ETL过程中，将来自不同数据源的数据格式进行统一，解决数据不一致性问题的步骤是______。答案：数据转换（Transformation）4.在HBase中，数据按______和列族进行组织，并通过其进行全局排序和索引。答案：行键（RowKey）5.Spark作业提交后，最终在集群的______上以任务（Task）的形式执行。答案：工作节点（WorkerNode）或执行器（Executor）五、简答题1.简述CAP定理，并分别说明HBase和Cassandra在设计上更侧重于满足哪两个特性。答案：CAP定理指出，对于一个分布式计算系统，不可能同时完全满足一致性（Consistency，所有节点访问同一份最新数据副本）、可用性（Availability，每次请求都能获得非错误响应）、分区容错性（Partitiontolerance，系统在任意网络分区下仍能继续运行）这三个特性，最多只能同时满足其中两项。HBase：基于HDFS，是一个CP系统。它优先保证强一致性和分区容错性。当网络发生分区时，为了保证数据的一致性，可能会牺牲部分可用性（例如，部分节点不可用）。Cassandra：是一个AP系统。它优先保证高可用性和分区容错性。通过最终一致性模型和可调节的一致性级别，在网络分区发生时仍能提供高可用服务，但可能暂时返回非最新的数据。2.请描述数据仓库中星型模型和雪花型模型的主要区别及各自的优缺点。答案：主要区别：星型模型由一个事实表和多个维度表直接连接组成，维度表是非规范化的（可能存在数据冗余）。雪花型模型是星型模型的扩展，维度表被进一步规范化成多个关联的表，形状像雪花。星型模型优点：查询简单、性能高（连接少）、易于理解和建模。缺点：数据冗余可能较大，维护一致性稍复杂。雪花型模型优点：减少了数据冗余，节省存储空间，规范化结构更符合数据库设计范式。缺点：查询性能相对较低（需要更多表连接），模型更复杂，对用户不友好。3.什么是数据倾斜？在MapReduce或Spark作业中，数据倾斜可能带来什么问题？请列举一种常见的解决思路。答案：数据倾斜：指在分布式计算中，数据被分区后，不同分区分配到的数据量差异巨大，导致大部分计算任务集中在少数几个节点上。问题：1)作业执行时间显著变长，由最慢的任务决定；2)个别节点负载过高，可能导致内存溢出（OOM）或任务失败；3)资源利用率不均，大部分节点空闲。解决思路（举例）：预处理进行数据打散。例如，对导致倾斜的Key进行加盐（Salting）处理，即在原始Key上加上随机前缀，将原本一个Key的大量数据分散到多个不同的新Key上，在后续聚合阶段再去掉前缀进行最终合并。六、综合应用题背景：某电商平台有一个用户行为日志表`click_log`，表结构如下：```user_id:BIGINT--用户IDitem_id:BIGINT--商品IDcategory_id:INT--商品类目IDaction:STRING--行为类型(‘view’,‘cart’,‘buy’)timestamp:BIGINT--行为时间戳（毫秒）province:STRING--用户所在省份```现在需要分析：1.计算每个省份的独立访问用户数（以`user_id`计）和总点击量（`action`为‘view’的记录数）。2.找出被加入购物车（`action`为‘cart’）次数最多的前10个商品类目（`category_id`）。问题1：请写出完成上述两个分析需求的SparkSQL代码（假设已创建SparkSession对象`spark`，并已将数据加载为DataFrame`df`）。答案：```scala//需求1：计算每个省份的独立访问用户数和总点击量valresult1=df.filter($"action"==="view")//筛选浏览行为.groupBy($"province").agg(countDistinct($"user_id").as("unique_visitors"),count("*").as("total_views")).orderBy($"province")result1.show()//需求2：找出被加入购物车次数最多的前10个商品类目valresult2=df.filter($"action"==="cart")//筛选加购行为.groupBy($"category_id").agg(count("*").as("cart_count")).orderBy($"cart_count".desc).limit(10)result2.show()```问题2：在运行上述分析时，如果发现`province`字段存在大量NULL值，可能会对“每个省份的独立访问用户数”统计结果造成什么影响？从数据质量角度，提出两种处理这些NULL值的方法。答案：影响：`province`为NULL的记录将不会被计入任何一个省份的统计中（因为`groupBy`会忽略NULL分组，除非使用`groupingsets`等特殊处理），导致独立访问用户数和总点击量的统计总数少于实际总数，数据不完整。处理方法：1.数据清洗时填充：如果NULL值比例不高且有合理逻辑，可以在ETL或数据清洗阶段进行填充。例如，根据用户IP地址等其他信息推断省份，或将其填充为“未知”（‘UNKNOWN’），使其参与分组。2.分析时特殊处理：在分析SQL/代码中，使用`coalesce`或`ifnull`函数将NULL值替换为一个默认标记（如‘UNKNOWN’），然后进行分组统计。例如：`groupBy(coalesce($"province",lit("UNKNOWN"))