大数据基础真题题库及答案

大数据基础真题题库及答案姓名：__________考号：__________得分：__________满分：100分考试时间：150分钟一、单项选择题（共30小题，每小题1分，共30分）答题说明：每小题备选答案中，只有一个符合题意的正确答案。多选、错选、不选均不得分。1.下列不属于大数据核心特征的是（）A.海量性（Volume）B.高速性（Velocity）C.单一性（Uniqueness）D.价值性（Value）2.大数据的“4V”特征中，“Velocity”指的是（）A.数据体量巨大B.数据处理速度快C.数据类型多样D.数据价值密度低3.下列数据中，不属于非结构化数据的是（）A.文本日志B.图片C.数据库表中的数值D.音频文件4.大数据处理流程的正确顺序是（）A.数据采集→数据存储→数据处理→数据可视化→数据应用B.数据存储→数据采集→数据处理→数据应用→数据可视化C.数据采集→数据处理→数据存储→数据可视化→数据应用D.数据处理→数据采集→数据存储→数据应用→数据可视化5.下列属于大数据采集工具的是（）A.HadoopB.FlumeC.SparkD.Hive6.Hadoop生态系统的核心组件不包括（）A.HDFSB.MapReduceC.YARND.Spark7.HDFS的主要作用是（）A.数据计算B.分布式存储C.任务调度D.数据可视化8.MapReduce编程模型中，“Map”阶段的核心作用是（）A.数据汇总B.数据拆分与处理C.任务调度D.数据存储9.下列关于Spark与MapReduce的说法，正确的是（）A.Spark处理速度比MapReduce慢B.Spark支持内存计算，MapReduce不支持C.Spark不支持批处理，MapReduce支持D.两者都只能处理结构化数据10.下列属于分布式计算框架的是（）A.HDFSB.HBaseC.SparkD.ZooKeeper11.HBase是一种（）数据库A.关系型B.分布式非关系型（列存储）C.单机非关系型D.时序型12.大数据处理中，批处理与流处理的核心区别是（）A.批处理处理数据量大，流处理处理数据量小B.批处理处理静态数据，流处理处理实时动态数据C.批处理速度快，流处理速度慢D.批处理无需存储，流处理需要存储13.下列属于流处理框架的是（）A.MapReduceB.SparkStreamingC.HiveD.HDFS14.Hive的主要作用是（）A.分布式存储B.数据采集C.数据计算D.基于Hadoop的数据仓库工具，支持SQL查询15.大数据中的数据清洗的核心目的是（）A.增加数据量B.去除脏数据、异常数据，提升数据质量C.加密数据D.压缩数据存储空间16.下列不属于数据预处理操作的是（）A.数据清洗B.数据集成C.数据可视化D.数据转换17.ZooKeeper在Hadoop生态系统中的作用是（）A.数据存储B.任务调度C.分布式协调与管理D.数据计算18.大数据价值密度的特点是（）A.价值密度高B.价值密度低，需挖掘提炼C.价值固定不变D.无价值19.下列属于大数据应用场景的是（）A.单机版Excel数据统计B.电商个性化推荐C.本地文件管理D.简单文字处理20.数据湖与数据仓库的核心区别是（）A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖存储原始数据，数据仓库存储经过处理的结构化数据C.数据湖容量小，数据仓库容量大D.数据湖用于计算，数据仓库用于存储21.下列关于Kafka的说法，正确的是（）A.Kafka是分布式存储框架B.Kafka是消息队列，用于高吞吐量的数据传输C.Kafka是计算框架D.Kafka不支持实时数据传输22.大数据安全防护的核心重点是（）A.防止数据丢失B.防止数据泄露、篡改和非法访问C.提高数据处理速度D.增加数据存储容量23.下列属于数据可视化工具的是（）A.HadoopB.SparkC.EChartsD.HBase24.分布式存储的核心优势是（）A.存储容量大、可靠性高、可扩展B.存储速度比单机快C.存储成本高D.只能存储结构化数据25.MapReduce编程模型中，“Reduce”阶段的核心作用是（）A.数据拆分B.数据过滤C.数据汇总与合并D.数据采集26.下列不属于Hadoop生态系统组件的是（）A.HDFSB.SparkC.YARND.MapReduce27.大数据处理中，数据脱敏的目的是（）A.提升数据处理速度B.保护隐私数据，防止敏感信息泄露C.增加数据价值D.压缩数据体积28.下列关于Spark的说法，错误的是（）A.Spark支持批处理和流处理B.Spark基于内存计算，效率高于MapReduceC.Spark不需要依赖HadoopD.Spark可以处理结构化和非结构化数据29.大数据的核心价值体现在（）A.数据体量巨大B.通过数据挖掘提炼有价值的信息，辅助决策C.数据类型多样D.数据处理速度快30.下列属于大数据采集过程中需要注意的问题是（）A.数据处理速度B.数据存储容量C.数据的合法性、完整性和时效性D.数据可视化效果二、填空题（共10小题，每空2分，共20分）答题说明：请在横线处填入合适的内容，使题干完整或表述正确。31.大数据的“4V”特征包括海量性、高速性、多样性和__________。32.Hadoop生态系统中，__________是分布式文件系统，负责海量数据的存储。33.MapReduce编程模型分为__________和Reduce两个核心阶段。34.大数据处理分为批处理、流处理和__________三种主要模式。35.HBase是基于__________的分布式列存储数据库，适用于海量非结构化数据的存储。36.数据预处理的核心操作包括数据清洗、数据集成、数据转换和__________。37.Spark的核心抽象是__________，用于表示分布式数据集。38.大数据安全中，__________是指对敏感数据进行处理，使其无法识别原始信息，保护用户隐私。39.Kafka是一种高吞吐量的__________，常用于大数据流处理中的数据传输。40.数据仓库的核心是__________，用于存储经过清洗、整合的结构化数据，支持决策分析。三、简答题（共5小题，每小题4分，共20分）答题说明：简要回答下列问题，无需展开过多，保证核心要点准确。41.简述大数据的“4V”特征及其具体含义。42.简述Hadoop生态系统的三大核心组件及其各自的作用。43.简述MapReduce编程模型的工作流程。44.简述数据预处理的目的及核心操作。45.简述Spark与MapReduce的核心区别。四、综合应用题（共2小题，每小题15分，共30分）答题说明：根据题目要求，完成方案设计或思路阐述，确保思路清晰、步骤完整，符合大数据基础要求。46.题目：设计一个海量日志数据处理方案，用于分析电商平台用户行为（如浏览、下单、支付），要求如下：（1）明确任务目标：通过处理用户行为日志，提取用户行为特征，为个性化推荐提供数据支持；（2）简述数据来源及数据类型；（3）选择合适的大数据技术栈（采集、存储、处理、分析），并说明选择理由；（4）简述整个处理流程（从数据采集到结果输出）；（5）无需编写完整代码，重点说明方案思路和技术选型合理性。47.题目：结合大数据基础，设计一个分布式数据存储方案，用于存储企业海量业务数据（包含结构化、半结构化和非结构化数据），要求如下：（1）明确存储需求：支持海量数据存储、高可靠性、可扩展，兼顾数据查询效率；（2）选择合适的分布式存储技术，区分不同类型数据的存储方案；（3）说明所选技术的优势及适配场景；（4）简述存储方案的部署思路和数据管理策略；（5）无需编写部署代码，重点说明方案思路和技术选型。参考答案一、单项选择题（共30分，每小题1分）1.C2.B3.C4.A5.B6.D7.B8.B9.B10.C11.B12.B13.B14.D15.B16.C17.C18.B19.B20.B21.B22.B23.C24.A25.C26.B27.B28.C29.B30.C二、填空题（共20分，每空2分）31.价值性（Value）32.HDFS（分布式文件系统）33.Map34.交互式处理35.Hadoop36.数据归约37.RDD（弹性分布式数据集）38.数据脱敏39.分布式消息队列40.结构化数据存储与分析三、简答题（共20分，每小题4分）41.4V特征及含义：1.海量性（Volume）：数据体量巨大，远超传统数据规模；2.高速性（Velocity）：数据产生和处理速度快，需实时响应；3.多样性（Variety）：数据类型多样，包含结构化、半结构化和非结构化数据；4.价值性（Value）：数据价值密度低，需通过挖掘提炼有价值信息。42.三大核心组件及作用：1.HDFS：分布式文件系统，负责海量数据的分布式存储，保证数据可靠性和可扩展性；2.MapReduce：分布式计算框架，负责海量数据的并行计算，分为Map和Reduce阶段；3.YARN：资源调度和任务管理框架，为Hadoop生态系统中的组件分配计算资源和调度任务。工作流程：1.输入数据，将数据拆分后分配给多个Map任务；2.Map任务对数据进行处理，输出键值对；3.对Map输出的键值对进行洗牌（Shuffle），按键分组；4.将分组后的键值对分配给Reduce任务，Reduce任务对相同键的值进行汇总合并；5.输出最终计算结果。目的：去除脏数据、异常数据，整合分散数据，转换数据格式，提升数据质量，为后续数据处理和分析奠定基础。核心操作：数据清洗、数据集成、数据转换、数据归约。核心区别：1.计算方式：Spark基于内存计算，中间结果可存储在内存中，效率更高；MapReduce基于磁盘计算，中间结果需写入磁盘，速度较慢；2.处理模式：Spark支持批处理、流处理和交互式处理，MapReduce仅支持批处理；3.适用场景：Spark适用于实时、快速的大数据处理，MapReduce适用于离线批处理场景。四、综合应用题（共30分，每小题15分）46.电商平台用户行为日志处理方案：（1）任务目标：采集电商平台用户浏览、下单、支付、收藏等行为日志，提取用户行为偏好、消费习惯等特征，生成用户画像，为平台个性化推荐、营销活动优化提供数据支撑，提升用户体验和转化率。（2）数据来源及类型：数据来源为电商平台的服务器日志、用户客户端日志；数据类型以非结构化（文本日志）、半结构化（JSON格式日志）为主，包含用户ID、行为类型、行为时间、商品ID、浏览时长等信息。（3）技术栈选择及理由：1.数据采集：Flume，理由是Flume擅长采集日志类数据，支持高吞吐量、分布式部署，可实时采集服务器日志并传输；2.数据存储：HDFS+HBase，理由是HDFS存储海量日志原始数据，可靠性高、可扩展；HBase存储经过预处理的用户行为数据，支持随机查询，适配非结构化数据存储需求；3.数据处理：Spark，理由是Spark支持内存计算，处理速度快，可同时完成数据清洗、特征提取等操作，适配日志数据的快速处理需求；4.数据分析：SparkSQL，理由是支持SQL查询，可快速分析用户行为特征，提取有价值信息。（4）处理流程：1.数据采集：通过Flume实时采集电商平台的用户行为日志，传输至HDFS进行原始数据存储；2.数据预处理：使用Spark对HDFS中的日志数据进行清洗（去除异常日志、缺失值处理）、转换（将文本日志转换为结构化格式）、集成（整合不同来源的日志数据）；3.特征提取：通过Spark提取用户行为特征，如浏览频次、偏好商品类别、下单转化率等，生成用户行为特征表，存储至HBase；4.数据分析：使用SparkSQL对特征数据进行分析，生成用户画像报告；5.结果输出：将用户画像数据同步至推荐系统，为个性化推荐提供数据支持，同时生成数据分析报表，供运营人员参考。47.企业海量多类型数据分布式存储方案：（1）存储需求：支持PB级海量数据存储，涵盖结构化（企业业务表单、交易数据）、半结构化（JSON、XML数据）、非结构化（图片、文档、音频）三类数据；保证数据高可靠性（防止数据丢失）、高可扩展性（支持后续容量扩容）；兼顾结构化数据的快速查询和非结构化数据的高效存储。（2）技术选型：1.结构化数据：HBase+Hive，HBase用于存储结构化业务数据，支持随机查询和高并发访问；Hive作为数据仓库工具，整合