2026年大数据技术概论考试题及答案

2026年大数据技术概论考试题及答案一、单项选择题（每题2分，共40分）1.以下哪项不属于大数据5V特征？A.Volume（大量）B.Velocity（高速）C.Variability（多变性）D.Value（价值）答案：C（注：标准5V为Volume、Velocity、Variety、Veracity、Value，多变性非标准特征）2.某企业需存储PB级非结构化日志数据，最适合的存储方案是？A.MySQL关系型数据库B.HadoopHDFS分布式文件系统C.Redis内存数据库D.OracleRAC集群答案：B（HDFS专为大规模非结构化数据存储设计，支持横向扩展）3.Spark中RDD（弹性分布式数据集）的“弹性”主要体现在？A.自动进行内存与磁盘的切换B.支持多种数据格式的转换C.可以动态调整分区数量D.具备容错性（通过血统机制恢复）答案：D（RDD的弹性核心是通过血统（Lineage）实现容错，而非单纯内存管理）4.关于Flink流处理框架，以下描述错误的是？A.支持事件时间（EventTime）和处理时间（ProcessingTime）B.基于微批处理（Micro-Batch）实现低延迟C.提供状态管理（StateManagement）功能D.可以处理有界流（BoundedStream）和无界流（UnboundedStream）答案：B（Flink是真正的流处理框架，基于事件驱动而非微批处理）5.以下哪种NoSQL数据库适合存储时序数据（如传感器实时采集的温度值）？A.键值存储（Key-Value）：RedisB.列族存储（Column-Family）：HBaseC.文档存储（Document）：MongoDBD.图存储（Graph）：Neo4j答案：B（HBase按列族存储，支持时间戳版本控制，适合时序数据的高效查询）6.数据清洗过程中，处理“年龄字段出现-5”的问题属于？A.缺失值处理B.异常值处理C.重复值处理D.不一致值处理答案：B（-5不符合年龄逻辑范围，属于异常值）7.大数据实时处理场景中，Kafka消息队列的核心作用是？A.提供高并发数据存储B.实现数据的持久化与削峰填谷C.完成实时计算逻辑D.可视化展示处理结果答案：B（Kafka作为流数据管道，主要功能是缓冲和分发实时数据流）8.以下哪项技术属于大数据分析层的典型工具？A.Flume（数据采集）B.Hive（数据仓库）C.HBase（数据存储）D.Sqoop（数据迁移）答案：B（Hive提供类似SQL的查询接口，属于分析层工具）9.联邦学习（FederatedLearning）主要解决的问题是？A.提升分布式计算的效率B.保护数据隐私（避免原始数据传输）C.优化模型训练的收敛速度D.降低硬件资源的消耗答案：B（联邦学习通过本地训练模型、传输模型参数而非原始数据，实现隐私保护）10.数据湖（DataLake）与数据仓库（DataWarehouse）的核心区别是？A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖在存储时不定义模式（Schema-On-Read），数据仓库在存储前定义模式（Schema-On-Write）C.数据湖仅支持批处理，数据仓库支持实时处理D.数据湖成本更高，数据仓库成本更低答案：B（数据湖采用读时模式，灵活性更高；数据仓库采用写时模式，结构更严格）11.以下哪项是HadoopYARN的核心功能？A.分布式文件存储B.资源管理与任务调度C.分布式计算框架D.数据清洗与转换答案：B（YARN负责集群资源（CPU、内存）的分配和任务调度）12.某电商平台需分析“用户从浏览商品到下单的时间间隔”，最适合的分析方法是？A.关联规则挖掘（如Apriori算法）B.聚类分析（如K-means）C.路径分析（PathAnalysis）D.情感分析（SentimentAnalysis）答案：C（路径分析用于追踪用户行为序列中的关键节点和时间间隔）13.关于SparkStreaming的描述，正确的是？A.基于微批处理（Micro-Batch）将流数据切分为小批次处理B.原生支持毫秒级延迟的实时处理C.状态管理需要依赖外部存储（如Redis）D.仅支持Java语言开发答案：A（SparkStreaming通过将流数据划分为时间窗口内的批次处理，属于微批处理）14.以下哪种数据可视化工具支持实时动态图表（如股票行情分时图）？A.Tableau（静态/交互式）B.PowerBI（静态/周期性刷新）C.Grafana（实时监控）D.Excel（静态）答案：C（Grafana专为实时监控设计，支持实时数据流的可视化）15.数据脱敏技术中，“将身份证号的中间几位替换为”属于？15.数据脱敏技术中，“将身份证号的中间几位替换为”属于？A.匿名化（Anonymization）B.泛化（Generalization）C.掩码（Masking）D.加密（Encryption）答案：C（掩码通过替换部分字符隐藏敏感信息，属于脱敏的具体手段）16.以下哪项是Flink的时间窗口类型？A.滑动窗口（SlidingWindow）B.批处理窗口（BatchWindow）C.随机窗口（RandomWindow）D.单层窗口（Single-layerWindow）答案：A（Flink支持时间窗口（TimeWindow）、计数窗口（CountWindow）、滑动窗口、会话窗口等）17.某金融机构需处理每秒10万条交易记录的实时反欺诈，最适合的技术选型是？A.HadoopMapReduce（批处理，延迟高）B.SparkStreaming（微批处理，延迟秒级）C.Flink（事件驱动，毫秒级延迟）D.Hive（交互式查询，延迟分钟级）答案：C（Flink的低延迟特性适合高频实时交易处理）18.以下哪项不属于大数据技术栈中的计算层？A.ApacheStorm（流计算）B.ApachePresto（交互式查询）C.ApacheKafka（消息队列）D.ApacheSpark（统一计算框架）答案：C（Kafka属于数据管道层，负责数据传输与缓冲）19.数据质量评估的核心指标不包括？A.完整性（Completeness）B.一致性（Consistency）C.多样性（Diversity）D.准确性（Accuracy）答案：C（数据质量指标通常包括完整性、一致性、准确性、时效性等，多样性非质量指标）20.关于知识图谱（KnowledgeGraph）的描述，错误的是？A.以实体（Entity）和关系（Relation）为核心B.主要用于自然语言处理（NLP）中的语义理解C.可以通过图数据库（如Neo4j）存储D.仅支持结构化数据的关联答案：D（知识图谱可整合结构化、半结构化、非结构化数据，构建实体间的关联）二、填空题（每题2分，共20分）1.大数据处理的典型流程包括数据采集、________、数据存储、数据处理、数据分析、数据可视化。答案：数据清洗2.HDFS默认的块（Block）大小是________MB（需填写具体数值）。答案：1283.Spark中RDD的持久化（Persistence）策略通过________方法设置（填写方法名）。答案：persist()/cache()（注：cache()是persist(MEMORY_ONLY)的简写）4.Flink流处理中，用于处理乱序事件的机制是________（填写核心组件）。答案：水位线（Watermark）5.列族数据库HBase的底层存储引擎是________（填写分布式键值存储系统）。答案：HFile（或HBase基于HDFS，底层存储为HFile文件）6.数据湖的典型存储格式包括Parquet和________（填写另一种列式存储格式）。答案：ORC（OptimizedRowColumnar）7.Kafka的消息传输语义中，“每条消息至少被处理一次”对应的是________（填写英文缩写）。答案：AT_LEAST_ONCE8.机器学习中，用于处理类别不平衡数据的常用方法包括过采样（Oversampling）和________（填写另一种方法）。答案：欠采样（Undersampling）或调整类别权重（ClassWeighting）9.隐私计算技术中，________通过加密技术实现多方数据联合计算而不泄露原始数据（填写核心技术名称）。答案：多方安全计算（MPC，Multi-PartyComputation）10.实时数据仓库（Real-TimeDataWarehouse）的典型架构模式是________（填写“Lambda架构”或“Kappa架构”）。答案：Kappa架构（Lambda架构需维护批处理和流处理两条链路，Kappa架构通过流处理统一）三、简答题（每题8分，共40分）1.简述Hadoop生态中HDFS、YARN、MapReduce的分工与协作关系。答案：HDFS负责分布式文件存储，将大文件切分为块并冗余存储；YARN（YetAnotherResourceNegotiator）负责集群资源管理（如CPU、内存分配）和任务调度；MapReduce是基于YARN的批处理计算框架，将任务拆分为Map（映射）和Reduce（归约）阶段。协作流程：用户提交MapReduce任务到YARN，YARN为任务分配资源（容器），任务从HDFS读取数据，执行Map和Reduce操作，最终结果写回HDFS。2.对比SparkRDD的持久化（Persistence）与检查点（Checkpoint）机制的区别。答案：持久化（Persistence）通过将RDD缓存到内存或磁盘，利用血统（Lineage）重建丢失分区，适用于多次计算同一RDD的场景，开销较小；检查点（Checkpoint）将RDD数据写入可靠存储（如HDFS），切断血统链，适用于长血统RDD（如迭代计算），可降低故障恢复时间，但存储开销较大。3.说明Flink流处理中时间窗口（TimeWindow）的分类及典型应用场景。答案：Flink的时间窗口分为：①滚动窗口（TumblingWindow）：无重叠，窗口长度固定（如每1小时），适用于按固定周期统计（如每小时订单量）；②滑动窗口（SlidingWindow）：有重叠，窗口长度和滑动间隔可设（如窗口1小时，滑动30分钟），适用于需要更细粒度统计的场景（如30分钟内的实时销售趋势）；③会话窗口（SessionWindow）：基于事件间隔自动划分，适用于用户会话分析（如用户无操作30分钟则会话结束）。4.对比NoSQL数据库与关系型数据库（RDBMS）在数据模型、扩展性、事务支持上的差异。答案：数据模型：NoSQL采用键值、列族、文档、图等灵活模型，无固定模式；RDBMS采用关系模型（二维表），模式严格。扩展性：NoSQL支持横向扩展（ScaleOut），适合海量数据；RDBMS通常纵向扩展（ScaleUp），扩展能力有限。事务支持：NoSQL一般仅支持单键事务（如HBase的单行事务），不支持跨表/跨节点的ACID事务；RDBMS支持强事务（ACID），适合需要严格一致性的场景（如金融交易）。5.列举三种大数据隐私保护技术，并说明其核心原理。答案：①差分隐私（DifferentialPrivacy）：通过添加随机噪声（如拉普拉斯噪声），使得单个数据的加入或删除不影响最终结果的统计特性，保护个体隐私；②同态加密（HomomorphicEncryption）：允许在加密数据上直接进行计算，结果解密后与明文计算一致，避免原始数据泄露；③匿名化（Anonymization）：通过去标识化（如删除姓名、身份证号）和泛化（如将年龄“25岁”泛化为“20-30岁”），使得数据无法关联到具体个体。四、综合应用题（每题15分，共30分）1.某电商平台需构建用户行为分析系统，要求支持以下需求：实时采集用户浏览、点击、加购、下单等行为数据；存储PB级历史数据；分析用户购买路径（如“首页→商品页→加购→下单”的转化漏斗）；提供实时销售看板（如小时级GMV、热门商品排名）。请设计技术方案，包括数据采集、存储、处理、分析、可视化各环节的技术选型及理由。答案：（1）数据采集：使用埋点工具（如GoogleAnalytics或自研JSSDK）在前端页面采集用户行为事件，通过Kafka消息队列实时传输。选择Kafka的理由：高吞吐量（支持每秒百万级事件）、持久化存储（避免数据丢失）、支持多消费者（供实时处理和离线存储使用）。（2）数据存储：①实时数据：Kafka短暂缓存（如保留7天）；②历史数据：HDFS存储原始日志（PB级非结构化数据，HDFS支持横向扩展），HBase存储用户行为明细（按用户ID或事件时间分区，支持快速查询），数据湖（如AWSS3）存储结构化/半结构化数据（Parquet格式，支持Schema-On-Read）。（3）数据处理：①实时处理：Flink处理Kafka数据流，计算小时级GMV、热门商品排名（基于滑动窗口）；②离线处理：Spark处理HDFS历史数据，分析用户购买路径（通过路径挖掘算法，如FPGrowth关联规则）。选择Flink的理由：毫秒级低延迟，支持事件时间和水位线处理乱序数据；选择Spark的理由：批处理效率高，适合复杂关联分析。（4）数据分析：使用Hive构建数据仓库（ODS→DWD→DWS→ADS分层），存储汇总指标（如各环节转化率）；通过SparkMLlib训练用户分群模型（如RFM模型），识别高价值用户。（5）可视化：Grafana展示实时销售看板（支持Kafka数据源直连，动态更新图表）；Tableau制作离线分析报表（如用户路径转化漏斗图）。2.某城市需建设智能交通大数据平台，目标是实时监控交通拥堵状况（如通过摄像头、GPS采集车辆位置）、预测未来1小时各路段车流量、为用户提供最优路径推荐。请设计技术方案，重点说明数据来源、实时处理架构、预测模型选择及路径推荐算法。答案：（1）数据来源：①传感器数据（道路摄像头的视频流、地磁传感器的车辆检测数据）；②移动终端数据（出租车/私家车的GPS定位数据，通过SDK采集）；③外部数据（气象局的实时天气数据，影响