2026年大数据概论考试题及答案

2026年大数据概论考试题及答案一、单项选择题（每题2分，共20分）1.下列哪项不属于大数据“4V”特征的扩展维度？A.Volume（规模性）B.Veracity（真实性）C.Variability（多变性）D.Value（价值性）2.HDFS中默认的块大小是？A.32MBB.64MBC.128MBD.256MB3.以下哪种数据库属于列式存储NoSQL数据库？A.RedisB.HBaseC.CassandraD.MongoDB4.Spark的核心抽象是？A.RDD（弹性分布式数据集）B.DataFrame（数据框）C.Dataset（数据集）D.DStream（离散化流）5.数据清洗的主要目的是？A.减少数据存储量B.消除数据中的噪声、缺失和不一致C.提升数据可视化效果D.简化数据查询逻辑6.下列哪项属于流处理框架？A.HadoopMapReduceB.ApacheFlinkC.ApacheHiveD.ApachePig7.数据湖（DataLake）与数据仓库（DataWarehouse）的核心区别是？A.数据湖仅存储结构化数据，数据仓库存储非结构化数据B.数据湖在存储阶段不强制模式，数据仓库在存储前定义模式C.数据湖用于实时分析，数据仓库用于历史分析D.数据湖成本更高，数据仓库成本更低8.联邦学习（FederatedLearning）的主要应用场景是？A.集中式数据训练高精度模型B.跨机构数据联合建模但不共享原始数据C.提升单节点计算效率D.优化数据存储压缩率9.大数据生命周期管理的最后一个阶段是？A.数据采集B.数据归档与销毁C.数据处理D.数据分析10.边缘计算与大数据结合的主要优势是？A.降低数据传输延迟，减少中心节点计算压力B.提升数据存储容量C.简化数据清洗流程D.增强数据加密强度二、填空题（每题2分，共20分）1.大数据技术栈中，HBase基于__________文件系统存储数据。2.数据脱敏的常见方法包括__________（列举一种）。3.ApacheKafka的核心功能是实现__________。4.实时数据处理的典型延迟要求是__________（填写时间范围）。5.数据质量的五大维度包括准确性、完整性、一致性、__________和及时性。6.分布式计算中，__________机制用于解决节点故障导致的任务失败问题。7.隐私计算的典型技术包括__________（列举一种）。8.数据湖通常采用__________（填写存储格式）存储原始数据，如Parquet、ORC。9.机器学习与大数据结合时，特征工程的核心任务是__________。10.大数据伦理问题主要涉及__________、数据滥用和算法偏见。三、简答题（每题8分，共40分）1.简述Hadoop生态中HDFS、YARN和MapReduce的分工与协作关系。2.对比批处理与流处理的适用场景，举例说明二者的典型应用。3.数据清洗过程中，如何处理缺失值？请列举至少3种方法并说明适用条件。4.解释“数据孤岛”的概念及其对大数据应用的影响，提出2种解决方案。5.简述知识图谱在大数据分析中的作用，举例说明其在电商领域的应用。四、应用题（每题10分，共20分）1.某电商平台需分析用户“加购-收藏-下单”行为路径的转化率，要求设计大数据处理流程。需包含数据来源、存储方案、处理技术（如使用Spark或Flink）及关键指标计算逻辑。2.假设需用MapReduce框架统计某文本文件中“有效词”的词频（“有效词”定义为长度≥3且非停用词的单词），请设计Map阶段和Reduce阶段的具体实现步骤（需说明输入输出格式及关键逻辑）。五、论述题（20分）结合当前技术发展，论述大数据在智慧医疗中的应用场景、面临的挑战及应对策略。要求至少涵盖3个应用场景，2个核心挑战，并提出可行的解决措施。答案一、单项选择题1.C（解析：传统4V为Volume、Velocity、Variety、Value，扩展维度包括Veracity，Variability属于部分扩展但非核心）2.C（HDFS默认块大小为128MB，设计目的是减少元数据管理开销）3.C（Cassandra是列式存储NoSQL，HBase为列族存储，Redis为键值存储，MongoDB为文档存储）4.A（RDD是Spark的核心抽象，DataFrame和Dataset是更高层次的API，DStream是SparkStreaming的抽象）5.B（数据清洗的核心是提升数据质量，消除噪声、缺失和不一致）6.B（Flink是流处理框架，MapReduce为批处理，Hive和Pig为数据处理语言）7.B（数据湖存储原始数据，模式延迟绑定；数据仓库需提前定义模式）8.B（联邦学习通过本地训练模型参数交换实现联合建模，不共享原始数据）9.B（大数据生命周期包括采集、存储、处理、分析、归档/销毁）10.A（边缘计算在数据源附近处理数据，降低延迟并减少中心节点压力）二、填空题1.HDFS（HBase基于HDFS存储数据）2.脱敏方法：哈希脱敏、掩码脱敏、泛化处理（任意一种）3.高吞吐量的实时消息队列（Kafka核心是分布式消息队列）4.毫秒级到秒级（实时处理通常要求延迟≤1秒）5.唯一性（数据质量五大维度：准确性、完整性、一致性、唯一性、及时性）6.容错（分布式计算通过容错机制如重试、备份恢复任务）7.联邦学习、安全多方计算、同态加密（任意一种）8.列式存储（数据湖常用Parquet、ORC等列式存储格式）9.从原始数据中提取有效特征（特征工程是连接数据与模型的桥梁）10.隐私泄露（大数据伦理涉及隐私、滥用、算法偏见）三、简答题1.HDFS负责分布式存储，将大文件分块存储并提供高容错；YARN是资源管理框架，负责分配计算资源和任务调度；MapReduce是计算框架，基于YARN资源运行，将任务拆分为Map和Reduce阶段。协作流程：用户提交作业→YARN分配资源→Map阶段处理HDFS数据→中间结果存储→Reduce阶段聚合→结果写回HDFS。2.批处理适用于大规模历史数据处理，延迟较高（分钟到小时级），如日志分析、月度销售统计；流处理适用于实时数据处理，延迟低（毫秒到秒级），如实时推荐、股票行情监控。例如，电商大促期间，批处理用于事后分析用户整体消费趋势，流处理用于实时调整商品页面推荐。3.缺失值处理方法：①删除法（缺失比例＞70%且无规律时）；②均值/中位数填充（数值型数据，分布较均匀）；③回归填充（利用其他变量建立模型预测缺失值，适用于变量间相关性强）；④众数填充（分类型数据）。4.数据孤岛指不同系统/部门数据独立存储，无法共享互通。影响：限制跨域分析，导致资源浪费，降低决策效率。解决方案：①建立企业级数据中台，统一数据标准与接口；②采用联邦数据库技术，通过虚拟视图整合多源数据。5.知识图谱通过实体-关系-属性建模，实现数据关联与语义理解。电商应用：①商品推荐（分析用户-商品-品牌关系，挖掘潜在需求）；②智能搜索（理解用户查询意图，如“夏季轻薄外套”关联材质、季节属性）；③风险防控（识别虚假交易团伙，通过用户-IP-设备关系链检测异常）。四、应用题1.处理流程设计：数据来源：用户行为日志（埋点采集加购、收藏、下单事件，包含用户ID、时间戳、商品ID）；存储方案：实时数据存入Kafka（消息队列），历史数据存入HDFS或HBase（列式存储支持快速查询）；处理技术：使用Flink进行实时流处理（计算分钟级转化率），SparkSQL进行批处理（计算小时/日级转化率）；关键指标：加购→收藏转化率=收藏次数/加购次数×100%；收藏→下单转化率=下单次数/收藏次数×100%；需按用户分组、时间窗口（如1天）聚合统计。2.MapReduce实现步骤：Map阶段：输入为文本行（key=行号，value=文本内容）。将文本分割为单词，过滤长度＜3的单词；加载停用词表（如“the”“and”），过滤停用词；输出键值对（key=有效词，value=1）。Shuffle阶段：按key分组，将相同单词的value列表传递给Reduce。Reduce阶段：输入为（key=有效词，values=[1,1,…]），对values求和得到词频，输出（key=有效词，value=总次数）。五、论述题应用场景：①电子病历分析：通过整合患者就诊记录、检查报告、用药数据，利用机器学习预测疾病风险（如糖尿病并发症）；②医学影像智能诊断：基于大数据训练AI模型，辅助识别肺结节、眼底病变等，提升诊断效率；③公共卫生监测：实时采集区域内发热、传染病报告数据，结合人口流动信息预测疫情传播趋势。核心挑战：①数据隐私与安全：医疗数据包含敏感信息，跨机构共享需严格保护患者隐私；②数据标准化不足：不同医院信息系统异构，术语、编码不统一，影响数据整合质量；③模型可解释性：AI诊