(2025年)大数据HCIA模考试题与参考答案

(2025年)大数据HCIA模考试题与参考答案一、单项选择题（每题2分，共30分）1.以下关于HDFS（HadoopDistributedFileSystem）的描述中，错误的是？A.默认块大小在2025年版本中调整为256MBB.元数据（NameNode）存储文件的位置信息和访问权限C.数据节点（DataNode）负责存储实际数据块并执行读写操作D.HDFS通过多副本机制保证数据可靠性，默认副本数为32.在YARN（YetAnotherResourceNegotiator）架构中，负责为应用程序分配资源并监控其运行状态的组件是？A.NodeManagerB.ResourceManagerC.ApplicationMasterD.Container3.Hive中用于存储元数据（如表结构、分区信息）的默认数据库是？A.MySQLB.PostgreSQLC.DerbyD.HBase4.Spark中，以下哪个操作属于宽依赖（WideDependency）？A.map()B.filter()C.groupByKey()D.flatMap()5.Kafka中，用于标识消息在分区中位置的唯一序号称为？A.OffsetB.PartitionC.TopicD.ConsumerGroup6.以下不属于NoSQL数据库特点的是？A.支持ACID事务B.灵活的模式（Schema-less）C.水平扩展能力D.非关系型数据模型7.数据清洗过程中，处理“年龄字段出现-5”的问题属于？A.缺失值处理B.异常值处理C.重复值处理D.格式不一致处理8.在HBase中，RowKey的设计原则不包括？A.长度越短越好B.散列分布以避免热点C.按时间倒序存储最新数据D.必须包含所有列的信息9.以下哪个工具常用于大数据实时流处理？A.HiveB.SparkSQLC.FlinkD.Pig10.数据仓库（DataWarehouse）的核心特征是？A.支持实时事务处理（OLTP）B.面向主题、集成、非易失、随时间变化C.存储原始未加工的日志数据D.仅支持单表查询11.以下关于ZooKeeper的描述中，正确的是？A.主要用于大数据计算任务调度B.采用Paxos算法实现分布式一致性C.数据存储结构为树形目录D.单点故障会导致整个集群不可用12.机器学习中，用于评估分类模型性能的指标不包括？A.准确率（Accuracy）B.均方误差（MSE）C.精确率（Precision）D.召回率（Recall）13.以下哪项是Hadoop3.x版本相较于2.x版本的主要改进？A.引入YARN资源管理框架B.支持HDFSFederation（联邦）C.实现纠删码（ErasureCoding）以减少存储开销D.推出MapReduce2.014.数据湖（DataLake）与数据仓库的主要区别在于？A.数据湖仅存储结构化数据B.数据仓库支持原始数据直接分析C.数据湖在存储阶段不强制模式（Schema-on-Read）D.数据仓库的存储成本更高15.以下哪个参数是Spark作业调优时用于控制每个任务内存的关键配置？A.spark.executor.memoryB.spark.driver.memoryC.spark.sql.shuffle.partitionsD.spark.executor.cores二、多项选择题（每题3分，共30分。每题至少有2个正确选项，多选、少选、错选均不得分）1.以下属于Hadoop生态系统组件的有？A.HBaseB.FlinkC.ZooKeeperD.Redis2.HDFS的适用场景包括？A.海量数据的批量存储B.低延迟的实时数据访问C.大文件（GB级以上）存储D.多用户并发的小文件读写3.Spark的部署模式包括？A.Local模式B.Standalone模式C.YARN模式D.Kubernetes模式4.Kafka生产者（Producer）的关键配置参数有？A.bootstrap.serversB.group.idC.acksD.mit5.数据清洗的常见方法包括？A.填充缺失值（如均值、中位数）B.标准化（Z-Score）C.删除重复记录D.对异常值进行截断或转换6.以下关于Hive的描述中，正确的有？A.基于Hadoop的数仓工具，将SQL转换为MapReduce任务B.支持事务（ACID）的表需要启用Hive3.x以上版本C.分区（Partition）用于水平分割数据，分桶（Bucket）用于更细粒度的划分D.元数据仅存储表结构，不包含统计信息7.Flink的时间语义包括？A.事件时间（EventTime）B.处理时间（ProcessingTime）C.摄入时间（IngestionTime）D.系统时间（SystemTime）8.数据仓库的分层设计通常包括？A.原始数据层（ODS，OperationalDataStore）B.明细数据层（DWD，DataWarehouseDetail）C.聚合数据层（DWS，DataWarehouseSummary）D.应用数据层（ADS，ApplicationDataService）9.以下关于分布式计算框架的描述中，正确的有？A.MapReduce适合实时性要求高的短任务B.Spark通过RDD的缓存机制优化迭代计算C.Flink基于事件时间窗口处理流数据D.Hive适合交互式查询和低延迟分析10.机器学习中，监督学习的常见算法包括？A.K-means聚类B.逻辑回归（LogisticRegression）C.随机森林（RandomForest）D.主成分分析（PCA）三、判断题（每题1分，共10分。正确填“√”，错误填“×”）1.HDFS不适合存储大量小文件，因为会占用NameNode过多内存。（）2.YARN的NodeManager负责管理集群资源，并为应用程序分配Container。（）3.Hive的外部表（ExternalTable）删除时会同时删除HDFS上的数据。（）4.SparkRDD的转换操作（Transformation）是惰性执行的，行动操作（Action）触发计算。（）5.Kafka的消费者组（ConsumerGroup）中，一个分区只能被组内一个消费者消费。（）6.HBase是列式存储数据库，适合实时读写和随机访问。（）7.数据仓库的ETL（抽取、转换、加载）过程中，转换（Transform）仅包括数据清洗，不涉及业务规则处理。（）8.Flink的Checkpoint机制用于故障恢复，确保Exactly-Once处理语义。（）9.机器学习中，过拟合（Overfitting）的表现是模型在训练集和测试集上的准确率都很低。（）10.2025年大数据场景中，云原生（Cloud-Native）架构（如基于K8s的大数据组件）的应用逐渐普及。（）四、简答题（每题6分，共30分）1.简述HDFS的写数据流程（需包含客户端、NameNode、DataNode的交互步骤）。2.YARN的资源调度机制中，FIFO、容量调度（CapacityScheduler）和公平调度（FairScheduler）的核心区别是什么？3.对比Hive与传统关系型数据库（如MySQL）的主要差异（至少列出4点）。4.说明SparkRDD的持久化（Persistence）策略（如MEMORY_ONLY、MEMORY_AND_DISK）的适用场景及选择依据。5.数据仓库的分层设计中，ODS层与DWD层的主要区别是什么？各自的设计目标是什么？五、综合题（20分）某电商企业需构建一个大数据平台，用于分析用户行为日志（包括页面浏览、商品点击、订单提交等）。请设计一个完整的处理流程，要求包含以下环节：（1）数据采集：说明日志数据的来源及采集工具；（2）数据存储：选择适合的存储组件（需区分实时和离线场景）；（3）数据处理：设计离线批处理和实时流处理的技术方案（如使用的框架、处理逻辑）；（4）数据分析与可视化：列举常用的分析方法和可视化工具。参考答案一、单项选择题1-5：BCCCA6-10：ADDCB11-15：CBCCA二、多项选择题1.ABC2.AC3.ABCD4.AC5.ACD6.ABC7.ABC8.ABCD9.BC10.BC三、判断题1.√2.×3.×4.√5.√6.√7.×8.√9.×10.√四、简答题1.HDFS写数据流程：（1）客户端调用create()方法请求写文件，NameNode检查权限和文件是否存在；（2）NameNode返回可写入的DataNode列表（根据副本策略选择）；（3）客户端将数据分块（默认256MB），通过Pipeline（数据节点链）依次传输数据块；（4）每个DataNode接收数据后向Pipeline上游确认，最终由第一个DataNode向客户端确认；（5）所有块写入完成后，客户端调用complete()通知NameNode更新元数据。2.YARN调度器区别：-FIFO：单队列，任务按提交顺序执行，适合小集群或单用户场景；-容量调度：多队列（分配固定资源），支持队列内FIFO或公平调度，适合多租户资源隔离；-公平调度：动态分配资源，确保任务按权重公平获取资源，适合需要快速响应短任务的场景。3.Hive与传统数据库差异：（1）数据存储：Hive基于HDFS（分布式存储），传统数据库基于本地文件系统；（2）查询延迟：Hive适合离线批处理（分钟级），传统数据库支持实时查询（毫秒级）；（3）事务支持：Hive需3.x+版本支持有限ACID，传统数据库强事务；（4）数据模型：Hive支持半结构化/非结构化数据，传统数据库依赖固定Schema；（5）扩展性：Hive通过横向扩展集群提升性能，传统数据库依赖纵向扩展（硬件升级）。4.Spark持久化策略：-MEMORY_ONLY：仅内存存储，速度最快，适合数据量小且易计算的RDD；-MEMORY_AND_DISK：内存不足时溢写磁盘，适合数据量大但计算成本高的RDD；-DISK_ONLY：仅磁盘存储，适合内存严重不足但需重复使用的RDD；选择依据：根据RDD大小、计算成本、内存资源综合判断（如迭代算法优先选MEMORY_ONLY）。5.ODS与DWD层区别：-ODS（原始数据层）：存储原始日志/业务系统数据（如JSON/CSV），保留原始格式，设计目标是“数据归档”；-DWD（明细数据层）：对ODS数据清洗（去重、补全）、结构化处理（如解析JSON为列），添加公共维度（如用户ID、时间戳），设计目标是“统一数据口径，支持后续加工”。五、综合题（1）数据采集：-来源：Web端（JS埋点）、App端（SDK埋点）、服务器日志（Nginx/Tomcat）；-工具：离线日志通过Flume定时拉取到HDFS；实时日志通过Kafka采集（客户端直接发送到Kafka主题）。（2）数据存储：-离线存储：HDFS（存储历史日志，按日期分区）、Hive（构建数据仓库，存储结构化明细数据）；-实时存储：Kafka（缓存实时数据流，保留7天）、HBase（存储高频查询的用户行为明细，如最近30天数据）。（3）数据处理：-离线批处理：使用SparkSQL/Hive，每日凌晨处理前一日日志；流程包括清洗（过滤无效记录）、关联（用户ID与会员信息表）、聚合（计