大数据考试试题及答案

大数据考试试题及答案一、单项选择题（共15题，每题1分，共15分）1.下列选项中，不属于大数据通用5V核心特征的是（）A.Volume（大量）B.Velocity（高速）C.Validity（有效性）D.Value（低价值密度）2.Hadoop2.x及以上版本中，HDFS默认的数据块大小为（）A.64MBB.128MBC.256MBD.1GB3.下列NoSQL数据库中，属于列存储类型的是（）A.RedisB.MongoDBC.HBaseD.Neo4j4.大数据处理流程中，数据清洗的核心目标是（）A.提升数据质量，消除数据噪声与不一致问题B.对数据进行降维处理，减少计算量C.将数据转换为可视化格式D.实现数据的分布式存储5.MapReduce计算框架中，负责将相同键的键值对进行分组聚合的阶段是（）A.Map阶段B.Shuffle阶段C.Reduce阶段D.InputFormat阶段6.下列大数据工具中，专门用于分布式日志采集的是（）A.SqoopB.FlumeC.HiveD.Kafka7.下列选项中，不属于传统数据仓库核心特征的是（）A.面向主题B.集成性C.实时更新D.时变性8.CAP定理指出分布式系统无法同时满足三个核心特性，下列选项中不属于CAP三要素的是（）A.一致性B.可用性C.分区容错性D.可扩展性9.Spark计算框架的核心数据抽象是（）A.RDD（弹性分布式数据集）B.DataFrameC.DataSetD.DStream10.下列技术中，不属于数据脱敏常用方法的是（）A.字段遮蔽B.非对称加密C.值替换D.区间泛化11.下列工具中，属于专业大数据可视化分析工具的是（）A.MicrosoftExcelB.TableauC.AdobePhotoshopD.MicrosoftWord12.Hadoop生态中，YARN的核心功能是（）A.分布式数据存储B.分布式资源调度与集群管理C.分布式批量计算D.数据仓库查询13.下列关于流处理技术特点的描述，正确的是（）A.处理有界静态数据集，延迟较高B.仅支持结构化数据处理C.处理无界连续数据流，延迟低D.仅适用于离线分析场景14.下列数据挖掘算法中，属于无监督学习的是（）A.逻辑回归B.决策树C.K-Means聚类D.随机森林15.数据质量评价维度中，反映数据记录与属性无缺失、覆盖范围达标的是（）A.准确性B.完整性C.一致性D.及时性二、多项选择题（共10题，每题2分，共20分）1.下列选项中，属于ApacheHadoop生态系统核心组件的有（）A.HDFSB.MapReduceC.HiveD.SqoopE.MongoDB2.下列场景中，适合采用NoSQL数据库的有（）A.数据模型灵活多变，需频繁调整字段B.高并发读写需求，QPS达万级以上C.强事务一致性需求，涉及多表关联交易D.海量数据存储，需水平扩展存储容量E.复杂多表关联查询，支持SQL标准3.下列方法中，属于大数据分析常用方法的有（）A.统计分析B.机器学习C.数据挖掘D.文本语义分析E.可视化分析4.下列操作中，属于数据清洗核心环节的有（）A.缺失值处理B.异常值检测与修正C.重复数据删除D.数据格式标准化E.特征降维5.与HadoopMapReduce相比，Spark的核心优势包括（）A.基于内存计算，迭代计算效率提升显著B.支持批处理、流处理、SQL查询、图计算等多计算模式C.提供丰富的编程API，支持Java、Python、Scala、R等多语言D.采用DAG有向无环图调度机制，减少磁盘IO开销E.可完全替代HDFS实现分布式存储6.数据脱敏技术的适用场景包括（）A.开发测试环境使用生产数据B.第三方数据共享与开放C.数据分析与挖掘D.敏感数据加密存储E.合规性数据导出7.大数据采集的主要数据源类型包括（）A.业务系统结构化数据B.服务器与应用日志数据C.互联网公开爬取数据D.物联网传感器数据E.人工调研填报数据8.下列关于CAP定理的描述，正确的有（）A.分布式系统无法同时满足一致性、可用性、分区容错性三个特性B.分区容错性是分布式系统的基本前提，通常需在一致性与可用性之间权衡C.强一致性系统必然会牺牲部分可用性D.HBase属于CP类型的分布式系统E.Cassandra属于AP类型的分布式系统9.下列关于数据仓库与OLTP操作型数据库的区别，说法正确的有（）A.数据仓库面向分析决策，OLTP面向日常业务事务处理B.数据仓库存储海量历史数据，OLTP存储当前业务实时数据C.数据仓库多采用星型/雪花模型，OLTP多采用实体关系（ER）模型D.数据仓库支持复杂聚合查询，OLTP支持高频简单增删改查E.数据仓库数据定期批量更新，OLTP数据实时更新10.大数据安全的核心范畴包括（）A.大数据平台基础设施安全B.数据本身的保密性、完整性、可用性C.个人隐私与数据合规管理D.细粒度数据访问权限控制E.大数据应用开发框架选型三、判断题（共10题，每题1分，共10分）1.大数据的价值密度与数据总量呈正相关，数据规模越大，价值密度越高。（）2.HDFS采用主从架构，NameNode负责存储实际数据块，DataNode负责管理文件系统元数据。（）3.NoSQL数据库可完全替代关系型数据库，覆盖所有业务场景需求。（）4.MapReduce的Shuffle阶段发生在Map阶段之后、Reduce阶段之前，核心作用是完成数据的分区、排序与分组。（）5.数据预处理是大数据分析流程的必要环节，其质量直接决定最终分析结果的可靠性。（）6.SparkStreaming是真正的实时流处理引擎，可实现毫秒级的计算延迟。（）7.数据脱敏的核心目标是在保护敏感数据的同时，尽可能保留数据的业务属性与分析价值。（）8.数据仓库具有时变性特征，通常会保留多个时间版本的历史数据以支撑趋势分析。（）9.线性回归算法属于无监督学习方法，主要用于预测连续型输出结果。（）10.大数据伦理问题主要包括数据隐私泄露、算法歧视、数据所有权归属等方面。（）四、简答题（共4题，每题10分，共40分）1.请从数据采集、数据存储、数据计算、数据治理、数据应用五个层面，简述大数据核心技术栈体系及代表性工具。2.请简述HDFS的架构组成及各核心组件的主要功能。3.请简述数据清洗的核心目标及主要操作步骤。4.请简述CAP定理的核心内容，并结合常见分布式系统说明其类型划分。五、案例分析题（共1题，15分）某大型综合电商平台日均产生用户行为日志（浏览、点击、加购、下单等）约20TB，业务系统交易数据约5TB，商品、用户等基础数据约100GB，要求数据保存周期不低于3年。平台需同时支撑两类核心业务：一是T+1更新的离线运营报表与用户画像分析，二是延迟要求1秒以内的实时用户行为分析与个性化推荐场景。请结合上述背景，回答以下问题：（1）请设计适配该平台需求的大数据技术架构方案，说明各层选用的核心组件及选型理由。（2）该平台存储了用户手机号、身份证号、收货地址、支付记录等敏感数据，需在开发测试、数据分析场景中使用生产数据，请设计合理的数据安全与隐私保护方案。参考答案及解析一、单项选择题1.答案：C解析：大数据通用5V特征为Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），Validity（有效性）不属于5V核心特征。2.答案：B解析：Hadoop1.x版本HDFS默认块大小为64MB，2.x及以上版本默认调整为128MB，可通过配置参数dfs.blocksize修改。3.答案：C解析：Redis属于键值型NoSQL，MongoDB属于文档型NoSQL，HBase属于列存储型NoSQL，Neo4j属于图数据库。4.答案：A解析：数据清洗的核心目标是识别并修正数据中的质量问题，包括缺失、异常、重复、格式不一致等，提升数据的准确性、完整性、一致性，为后续分析提供可靠基础。5.答案：B解析：Map阶段负责将输入数据转换为键值对输出；Shuffle阶段负责对Map输出的键值对进行分区、排序、分组，将相同键的数据发送给同一个Reduce任务；Reduce阶段负责对分组后的数据进行聚合计算。6.答案：B解析：Sqoop用于关系型数据库与Hadoop生态之间的结构化数据同步；Flume是分布式日志采集工具，支持多源日志的采集、聚合与传输；Hive是分布式数据仓库工具；Kafka是分布式消息队列，用于数据解耦与削峰填谷。7.答案：C解析：传统数据仓库的核心特征为面向主题、集成性、非易失性、时变性，数据采用批量方式定期更新，而非实时更新，实时数仓是近年的演进方向。8.答案：D解析：CAP定理的三要素为一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance），可扩展性不属于CAP核心要素。9.答案：A解析：RDD（弹性分布式数据集）是Spark的核心数据抽象，提供了分布式内存计算的基础接口；DataFrame、DataSet是基于RDD封装的结构化数据抽象，DStream是SparkStreaming的流数据抽象。10.答案：B解析：数据脱敏是在保留数据格式与业务属性的前提下，对敏感字段进行变形处理，常用方法包括字段遮蔽、值替换、区间泛化、哈希等；非对称加密属于数据加密技术，加密后数据无法直接用于业务分析，不属于脱敏方法。11.答案：B解析：Tableau是专业的商业智能与大数据可视化分析工具，支持多数据源接入、拖拽式分析与交互式可视化；Excel是基础办公表格工具，不支持海量大数据可视化；Photoshop是图像编辑工具，Word是文档编辑工具。12.答案：B解析：YARN（YetAnotherResourceNegotiator）是Hadoop2.x引入的集群资源管理器，负责集群的CPU、内存等资源调度与任务管理，实现了资源调度与计算框架的解耦。13.答案：C解析：流处理针对无界连续数据流进行实时计算，具有低延迟、高吞吐的特点，适用于实时监控、实时推荐等场景；批处理针对有界静态数据集，延迟较高，适用于离线分析。14.答案：C解析：逻辑回归、决策树、随机森林均属于监督学习算法，需要带标签的训练数据；K-Means聚类属于无监督学习算法，无需标签，自动对数据进行分组。15.答案：B解析：准确性指数据与真实值的符合程度；完整性指数据记录与属性无缺失、覆盖范围达标；一致性指不同来源、不同环节的数据口径统一无矛盾；及时性指数据能够在要求的时间内更新可用。二、多项选择题1.答案：ABCD解析：Hadoop生态系统核心组件包括分布式存储HDFS、计算框架MapReduce、资源管理器YARN，以及上层工具Hive（数据仓库）、HBase（列存储数据库）、Sqoop（数据同步）、Flume（日志采集）、Zookeeper（分布式协调）等；MongoDB是独立的NoSQL数据库，不属于Hadoop生态组件。2.答案：ABD解析：NoSQL数据库适用于数据模型灵活、高并发读写、海量数据存储的场景，其劣势为不支持强事务、复杂多表关联查询能力弱，强事务与复杂关联查询场景更适合关系型数据库。3.答案：ABCDE解析：大数据分析方法涵盖统计分析（描述性统计、假设检验等）、机器学习（分类、回归、聚类等）、数据挖掘（关联规则、异常检测等）、文本语义分析（情感分析、主题模型等）、可视化分析（图表、大屏等）等多个维度。4.答案：ABCD解析：数据清洗的核心环节包括缺失值处理、异常值处理、重复值处理、格式与口径统一、逻辑校验等；特征降维属于数据预处理中的特征工程环节，不属于数据清洗范畴。5.答案：ABCD解析：Spark相较于MapReduce的优势包括：基于内存计算，迭代计算效率高；支持批、流、SQL、图计算、机器学习等多模式；提供多语言API，开发效率高；采用DAG调度与流水线执行，减少磁盘IO；Spark是计算框架，不具备分布式存储功能，无法替代HDFS。6.答案：ABCE解析：数据脱敏适用于需要使用敏感数据但又需防止数据泄露的场景，包括开发测试、数据共享、数据分析、合规导出等；敏感数据加密存储属于数据加密技术的应用场景，不属于脱敏适用场景。7.答案：ABCDE解析：大数据采集的数据源覆盖结构化、半结构化、非结构化三类，具体包括业务系统结构化数据、日志数据、互联网公开数据、物联网传感器数据、人工调研数据等。8.答案：ABCDE解析：CAP定理指出分布式系统无法同时满足一致性、可用性、分区容错性，分区容错性是分布式系统的基础，因此需在一致性与可用性之间权衡；HBase、ZooKeeper属于CP类型，优先保证一致性；Cassandra、Eureka属于AP类型，优先保证可用性。9.答案：ABCDE解析：数据仓库与OLTP数据库在定位、数据特征、模型、查询类型、更新方式等方面均存在差异：数据仓库面向分析，存储海量历史数据，采用星型/雪花模型，支持复杂聚合查询，批量更新；OLTP面向业务事务，存储当前实时数据，采用ER模型，支持简单增删改查，实时更新。10.答案：ABCD解析：大数据安全的核心范畴包括平台基础设施安全、数据安全（保密性、完整性、可用性）、隐私保护与合规管理、访问控制、数据审计等；大数据应用开发框架选型属于技术选型范畴，不属于安全核心范畴。三、判断题1.答案：×解析：大数据的价值密度与数据总量呈负相关，数据规模越大，噪声与冗余数据越多，单条数据的价值密度越低，需要通过挖掘算法提取高价值信息。2.答案：×解析：HDFS主从架构中，NameNode为主节点，负责管理文件系统元数据与命名空间；DataNode为从节点，负责存储实际的数据块。3.答案：×解析：NoSQL数据库与关系型数据库各有适用场景，NoSQL在灵活性、扩展性、高并发方面有优势，但关系型数据库在强事务、复杂查询、数据一致性方面更具优势，二者是互补关系，无法完全替代。4.答案：√解析：Shuffle是MapReduce的核心中间阶段，连接Map与Reduce，负责将Map输出的键值对按分区规则分配给对应的Reduce任务，并完成排序、分组操作。5.答案：√解析：大数据分析流程中，数据预处理（含清洗、集成、转换、规约）占整体工作量的60%-80%，数据质量直接决定了分析结果的准确性与可靠性。6.答案：×解析：SparkStreaming采用微批处理模式，将流数据切分为小批次进行计算，延迟通常在秒级；Flink是真正的事件驱动型实时流处理引擎，可实现毫秒级延迟。7.答案：√解析：数据脱敏的核心原则是“可用不可见”，即在不影响业务分析与功能的前提下，隐藏敏感信息，保留数据的业务属性与统计特征。8.答案：√解析：时变性是数据仓库的核心特征之一，数据仓库会保存不同时间点的快照数据，支持历史趋势分析与多周期对比。9.答案：×解析：线性回归属于监督学习算法，需要基于带标签的训练数据学习输入与输出之间的映射关系，用于预测连续型结果。10.答案：√解析：大数据伦理是大数据应用中的重要问题，涵盖数据隐私保护、算法公平性、数据所有权、数据滥用防控等多个维度。四、简答题1.参考答案：大数据核心技术栈围绕数据全生命周期展开，分为五个核心层面：（1）数据采集层：负责多源异构数据的接入与传输，分为离线采集与实时采集两类。代表性工具包括：Sqoop（关系型数据库与Hadoop生态间的结构化数据批量同步）、Flume（分布式日志采集与聚合）、Kafka（分布式消息队列，实现实时数据解耦与削峰填谷）、DataX（异构数据源离线同步）、爬虫工具（Scrapy、PySpider，用于互联网公开数据采集）。（2分）（2）数据存储层：负责海量多类型数据的可靠存储，根据数据类型与访问模式采用不同存储引擎。代表性工具包括：HDFS（分布式文件存储，存储非结构化与半结构化海量数据）、HBase（分布式列存储数据库，支持高并发随机读写）、Hive/SparkSQL（分布式数据仓库，存储结构化分析数据）、Redis（内存键值数据库，存储热点数据与缓存）、MongoDB（文档型数据库，存储半结构化业务数据）、对象存储（MinIO、OSS，存储非结构化文件）。（2分）（3）数据计算层：负责数据的加工、分析与建模，分为批处理、流处理、交互式查询、机器学习四类。代表性工具包括：MapReduce、SparkCore（离线批处理引擎）、Flink、SparkStreaming（流处理引擎，其中Flink为实时流，SparkStreaming为微批）、Presto、Impala（交互式即席查询引擎）、MLlib、TensorFlowOnSpark、PyTorch（机器学习与深度学习框架）。（2分）（4）数据治理层：负责保障数据的质量、安全、合规与可用性。代表性工具包括：ApacheAtlas（元数据管理与数据血缘追踪）、ApacheGriffin（数据质量监控与校验）、ApacheRanger/Sentry（细粒度权限管理）、数据脱敏工具（静态脱敏、动态脱敏）、数据资产管理平台。（2分）（5）数据应用层：面向业务场景实现数据价值落地。代表性技术与工具包括：Tableau、ECharts、Superset（数据可视化与报表）、推荐算法、用户画像、预测分析、异常检测等业务应用。（2分）2.参考答案：HDFS（HadoopDistributedFileSystem）采用主从（Master/Slave）架构，核心组件包括NameNode、SecondaryNameNode、DataNode、Client四部分，各组件功能如下：（1）NameNode：主节点，是HDFS的核心管控节点，全局唯一（HA模式下配置主备两个）。主要功能包括：管理HDFS的命名空间（目录树结构、文件元数据）；维护文件到数据块、数据块到DataNode的映射关系；配置数据副本策略；处理客户端的文件读写、创建、删除等请求；监控DataNode的健康状态。（3分）（2）DataNode：从节点，负责实际数据的存储与读写。主要功能包括：存储数据块（默认每个块大小128MB，默认3副本）；执行客户端发送的数据读写指令；定期向NameNode发送心跳信号与块状态报告，汇报自身存储的数据块信息与节点健康状态；响应NameNode的副本复制、删除等指令。（3分）（3）SecondaryNameNode：辅助管理节点，并非NameNode的热备节点。主要功能是定期合并NameNode的fsimage（元数据镜像文件）与edits（操作日志文件），防止edits文件过大导致NameNode启动缓慢，同时起到元数据备份的作用；HA模式下，合并工作由备用NameNode承担，无需单独部署SecondaryNameNode。（2分）（4）Client：客户端，是用户与HDFS交互的入口。主要功能包括：与NameNode交互，获取文件元数据与数据块位置信息；与DataNode交互，执行数据块的上传与下载；上传文件时负责将大文件切分为固定大小的数据块，下载文件时负责将分散的数据块合并为完整文件。（2分）3.参考答案：数据清洗的核心目标是识别并修正数据源中存在的质量问题，消除噪声、冗余、错误与不一致数据，补全缺失数据，统一数据格式与业务口径，提升数据的准确性、完整性、一致性，为后续分析、建模提供可靠的数据基础。（2分）主要操作步骤如下：（1）数据质量探查：通过统计分析、规则校验等方式，全面排查数据集的质量问题，包括缺失值占比、异常值分布、重复记录比例、格式不一致类型、逻辑矛盾点等，形成数据质量评估报告，明确清洗重点。（1.5分）（2）缺失值处理：根据字段缺失比例与业务重要性选择处理策略：若缺失比例超过30%且业务价值较低，可删除对应字段或记录；若缺失比例较低，可采用均值/中位数/众数填充、业务规则填充、模型预测填充等方式补全；部分支持缺失值的算法可直接保留缺失值。（1.5分）（3）异常值处理：采用3σ原则、箱线图法、聚类法、孤立森林等方法识别异常值，结合业务原因分类处理：若为录入错误或计算错误，修正为正确值；若为极端异常值且不代表真实业务规律，可直接删除；若为真实的业务异常（如大额度促销订单），需保留用于专项分析。（1.5分）（4）重复值处理：基于主键或业务唯一标识识别重复记录，采用去重操作保留唯一有效记录；若为部分字段重复，需结合业务规则判断是否为冗余数据，避免误删有效数据。（1分）（5）格式与口径统一：统一数据的编码格式（如统一为UTF-8）、单位（如金额统一为元、长度统一为米）、时间格式（如统一为YYYY-MM-DDHH:mm:ss）、业务口径（如统一“活跃用户”的判定标准），消除跨系统数据的不一致问题。（1.5分）（6）逻辑校验与复检：基于业务规则校验数据的逻辑合理性（如订单支付时间晚于下单时间、用户年龄在合理区间），修正逻辑矛盾数据；清洗完成后再次开展质量校验，确认所有问题均已整改，输出符合质量要求的数据集。（1分）4.参考答案：CAP定理由计算机科学家EricBrewer于2000年提出，核心内容是：在分布式系统中，不可能同时满足一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）三个核心特性，最多只能同时满足其中两个。（2分）三个核心特性的定义：①一致性：所有节点在同一时间访问到的数据完全一致，数据更新操作完成后，所有节点的数据保持同步。（1分）②可用性：集群中部分节点故障时，集群仍能正常响应客户端的读写请求，服务始终可用，不会出现响应超时或错误。（1分）③分区容错性：分布式系统遇到网络分区（即节点间网络连接断开，形成多个独立分区）故障时，仍能正常对外提供服务。（1分）由于分布式系统的网络故障是不可避免的，分区容错性是分布式系统的基本前提，因此实际应用中通常需要在一致性和可用性之间权衡，分布式系统可分为两类：（1）CP类型系统：优先保证一致性和分区容错性，牺牲部分可用性。当出现网络分区时，为了保证数据一致性，系统会暂停对外提供服务，直到数据同步完成。典型代表包括HBase、ZooKeeper、MongoDB强一致性模式，这类系统适用于对数据一致性要求极高的场景，如金融交易、分布式锁服务。（2.5分）（2）AP类型系统：优先保证可用性和分区容错性，牺牲部分一致性，通常采用最终一致性模型。当出现网络分区时，不同分区的节点仍可独立对外提供服务，数据可能出现短暂不一致，待网络恢复后通过数据同步最终达成一致。典型代表包括Cassandra、RedisCluster、Eureka，这类系统适用于对可用性要求高、允许短暂数据不一致的场景，如电商商品详情页、用户标签查询、服务发现。（2.5分）五、案例分析题参考答案：（1）适配该电商平台需求的大数据技术架构分为五层，各层组件及选型理由如下：①数据采集层：采用“Flume+Kafka+Sqoop+FlinkCDC”的组合方案。（1分）选型理由：Flume负责采集前端、APP、服务端的用户行为日志，支持多源接入、高可靠传输，适配日均20TB的日志采集需求；Kafka作为消息队列，实现日志数据的削峰填谷与业务解耦，同时支撑实时计算与离线计算的双路消费，吞吐量可达百万级QPS；Sqoop负责将MySQL等关系型数据库中的交易、商品、用户等结构化数据批量同步到大数据集群，支持全量与增量同步；FlinkCDC实现业务数据库的变更数据实时捕获，满足实时计算的低延迟数据接入需求。（2分）②数据存储层：采用“HDFS+Hive+HBase+Redis+MinIO”的多引擎存储方案。（1分）选型理由：HDFS作为底层分布式文件存储，存储原始日志、历史归档数据，支持PB级海量数据存储，成本低，3副本机制保障数据可靠性，满足3年数据存储周期要求；Hive构建离线数据仓库，采用分层建模（ODS、DWD、DWS、ADS）存储加工后的结构化数据，支持SQL查询，适配T+1离线报表与用户画像计算；HBase存储实时用户行为明细、用户画像标签等需要低延迟随机查询的数据，列存储架构扩展性好，支持高并发读写；Redis存储热点商品信息、实时计算结果，提供毫秒级查询响应，支撑实时推荐场景；MinIO作为对象存储，存储商品图片、视频等非结构化数据，兼容性好，运维成本低。（2分）③数据计算层：采用“Spark+Flink+Presto”的多模式计算方案。（1分）选型理由：Spark（SparkCore+SparkSQL）作为离线批处理引擎，负责T+1运营报表、