大数据技术应用基础知识单选题99道及答案解析

大数据技术应用基础知识单选题99道及答案解析1.以下关于大数据核心特征的描述，最早由IDC提出的“4V”特征不包含以下哪一项？A.数据规模大（Volume）B.数据类型多（Variety）C.数据价值密度高（Value）D.处理速度快（Velocity）答案：C解析：IDC最早提出的大数据4V特征包含Volume（数据体量巨大，从TB级别跃升到PB、EB级别）、Variety（数据类型繁多，涵盖结构化、半结构化、非结构化数据，如网络日志、音视频、地理位置信息等）、Velocity（处理速度快，遵循“1秒定律”，可在短时间内从海量数据中获取高价值结果）、Value（价值密度低，如连续数小时的监控视频中可能仅有数秒的有效画面，价值密度与数据总量成反比），“价值密度高”不属于大数据核心特征范畴。2.大数据发展阶段中，首次实现分布式存储与分布式计算规模化落地的阶段是？A.萌芽阶段（20世纪90年代前）B.成长期（2003-2010年，以谷歌三篇论文为标志）C.爆发期（2011-2017年）D.融合应用期（2018年至今）答案：B解析：大数据发展的成长期以谷歌2003年发布GFS论文、2004年发布MapReduce论文、2006年发布BigTable论文为核心标志，直接催生了Hadoop等开源分布式技术框架，首次实现了海量数据场景下分布式存储、分布式计算的规模化落地。萌芽阶段以传统关系型数据库、单机数据处理为主，仅能支撑TB级以下结构化数据处理；爆发期以Spark、Flink等多类计算框架涌现、大数据应用向各行业渗透为特征；融合应用期以大数据与人工智能、云计算、物联网深度融合，数据要素市场化配置为核心特征。3.Hadoop框架的技术源头是Apache基金会的哪个开源项目？A.NutchB.LuceneC.HBaseD.ZooKeeper答案：A解析：Hadoop最早起源于ApacheNutch项目，该项目是ApacheLucene的子项目，最初目标是构建一个开源的全网搜索引擎，为解决Nutch项目中海量网页数据的分布式存储与计算难题，开发者基于谷歌三篇论文的核心思想实现了分布式文件系统与计算框架，后续独立为Hadoop项目。Lucene是全文检索引擎工具包；HBase是基于HDFS的分布式列存储数据库；ZooKeeper是分布式协调服务组件。4.HDFS在Hadoop2.x/3.x版本中的默认数据块大小是多少？A.64MBB.128MBC.256MBD.512MB答案：B解析：HDFS的块大小是分布式存储的核心配置参数，Hadoop1.x版本默认块大小为64MB，为减少块寻址开销、适配大容量磁盘的读写性能，Hadoop2.x及3.x版本将默认块大小调整为128MB，用户可根据集群磁盘性能、数据特征通过dfs.blocksize参数自定义调整。5.HDFS架构中，负责维护文件系统元数据（如目录结构、文件块位置映射、访问权限等）的核心节点是？A.NameNodeB.DataNodeC.SecondaryNameNodeD.JournalNode答案：A解析：NameNode是HDFS的主节点，核心职责是维护整个文件系统的命名空间、目录树结构、文件与块的映射关系、访问权限等元数据，同时响应客户端的文件读写请求。DataNode是从节点，负责实际存储数据块、执行数据块的读写与校验操作；SecondaryNameNode是NameNode的辅助节点，负责定期合并fsimage与edits日志，降低NameNode重启时的元数据加载时长，并非NameNode的热备节点；JournalNode是HDFS高可用架构中的组件，负责存储edits日志的共享副本，保障主备NameNode的元数据一致性。6.MapReduce分布式计算框架的核心计算流程分为哪两个阶段？A.Split和CombineB.Map和ReduceC.Shuffle和SortD.Partition和Merge答案：B解析：MapReduce是面向海量数据的离线批处理计算框架，核心计算逻辑分为Map（映射）阶段与Reduce（归约）阶段：Map阶段负责将输入数据切分为独立分片，通过用户自定义的Map逻辑生成中间键值对；Reduce阶段负责对相同Key的中间值进行聚合计算，输出最终结果。Split是数据输入阶段的分片操作，Combine是Map端的局部聚合优化操作，Shuffle、Sort、Partition、Merge均是Map阶段与Reduce阶段之间的中间数据流转环节，并非核心计算阶段。7.YARN架构中，负责整个集群CPU、内存等资源统一管理与调度的核心组件是？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container答案：A解析：YARN是Hadoop生态中的资源调度管理系统，其中ResourceManager（RM）是全局主组件，负责整个集群的CPU、内存等资源的统一管理、分配与调度，同时接收客户端提交的应用程序。NodeManager（NM）是单个节点上的从组件，负责本节点的资源管理、Container生命周期管理、任务执行监控；ApplicationMaster（AM）是单个应用程序的管理组件，负责向RM申请资源、监控任务执行状态；Container是YARN中资源的抽象封装单位，包含特定额度的CPU、内存等资源，是任务运行的基本载体。8.ZooKeeper集群部署时，为兼顾容灾能力与资源利用率，推荐的节点数量配置为？A.偶数个B.奇数个C.单节点即可D.必须5个以上答案：B解析：ZooKeeper集群采用ZAB一致性协议，集群可用的判定条件是超过半数的节点正常在线并完成共识投票，因此部署时推荐选择奇数个节点：例如3个节点集群最多允许1个节点故障，5个节点集群最多允许2个节点故障，相较于同规模的偶数节点（如4个节点同样最多允许1个节点故障），奇数个节点可以在相同容灾能力下减少节点资源投入。9.HBase作为分布式列存储NoSQL数据库，其数据持久化存储的底层依托是哪个组件？A.HDFSB.MapReduceC.YARND.ZooKeeper答案：A解析：HBase是构建在HDFS之上的分布式、面向列的NoSQL数据库，依托HDFS的高容错、高吞吐、可扩展能力实现海量结构化数据的持久化存储，可支撑毫秒级的随机读写查询。MapReduce可为HBase提供批量数据处理能力；YARN可为HBase提供资源调度支撑；ZooKeeper为HBase提供主节点选举、元数据维护等分布式协调服务。10.Hive作为数据仓库工具，可将类SQL语句转换为分布式计算任务运行，以下选项中不属于Hive支持的底层计算引擎的是？A.MapReduceB.TezC.SparkD.MySQL答案：D解析：Hive是面向Hadoop生态的数据仓库工具，核心作用是降低海量离线数据的统计分析门槛，其本身不存储数据也不实现计算逻辑，可将HiveQL语句转换为分布式计算任务运行，默认支持的计算引擎包括MapReduce、Tez、Spark三类。MySQL一般作为Hive的元数据存储数据库，并非计算引擎。11.以下大数据采集传输工具中，专门用于关系型数据库与Hadoop生态组件之间实现批量数据导入导出的是？A.FlumeB.SqoopC.KafkaD.Logstash答案：B解析：Sqoop是Apache开源的批量数据传输工具，核心功能是通过JDBC连接关系型数据库（如MySQL、Oracle、SQLServer等），将数据库中的数据批量导入HDFS、Hive、HBase等Hadoop生态存储组件，也可将Hadoop中的数据导出至关系型数据库。Flume是分布式日志采集工具，面向日志类流式数据的采集、聚合与传输；Kafka是分布式消息队列，用于高吞吐场景下的流式数据缓存与转发；Logstash是ELK栈中的数据收集处理引擎，支持多类数据源的采集与过滤转换。12.Flume采集架构中，负责对接外部数据源、接收原始事件数据的核心组件是？A.SourceB.ChannelC.SinkD.Interceptor答案：A解析：Flume的核心运行单元是Agent，每个Agent包含三个核心组件：Source负责对接各类外部数据源，接收采集到的事件数据；Channel是Source与Sink之间的临时存储缓冲区，负责缓存未被Sink消费的事件数据，保障数据传输可靠性；Sink负责从Channel中读取事件数据，发送至下一个Agent或最终存储系统；Interceptor是可选的拦截器组件，可在数据传输过程中对事件进行过滤、格式转换等操作。13.Kafka架构中，作为消息逻辑分类容器，生产者发送消息、消费者消费消息均需指定的逻辑单元是？A.BrokerB.TopicC.PartitionD.ConsumerGroup答案：B解析：Topic是Kafka中对消息进行逻辑分类的容器，所有消息发布与订阅都围绕特定Topic开展，类似于数据库中的表概念。Broker是Kafka集群中的单个服务节点，负责消息的实际存储与读写请求响应；Partition是Topic的物理分区，每个Topic可划分为多个分区分布在不同Broker上，通过分区机制实现数据的分布式存储与读写吞吐扩展；ConsumerGroup是Kafka的消费者组机制，同组内的消费者共同消费一个Topic的所有分区，每个分区仅能被同组内的一个消费者消费，实现消费端的负载均衡。14.以下大数据计算框架中，原生以流处理为核心、支持流批一体，可实现毫秒级低延迟实时计算的是？A.MapReduceB.HiveC.FlinkD.SparkCore答案：C解析：Flink是Apache开源的分布式流处理计算框架，原生支持以流为核心的计算模型，可实现毫秒级低延迟的实时数据处理，同时支持流批一体架构，可批量处理有界数据集。MapReduce、Hive、SparkCore均以批处理为核心，其中MapReduce延迟较高，适合小时级离线批处理场景；Spark基于内存计算，延迟较MapReduce大幅降低，适合分钟级批处理与微批处理场景。15.Spark框架最核心的基础数据抽象是什么？A.RDDB.DataFrameC.DatasetD.DStream答案：A解析：RDD（弹性分布式数据集）是Spark最核心的抽象，代表一个可分区、可并行计算、支持容错的不可变数据集合，Spark的所有上层组件（SparkSQL、SparkStreaming、MLlib、GraphX）均构建在RDD抽象之上。DataFrame与Dataset是SparkSQL中提供的带结构化元数据的高级数据抽象，相比RDD具备更高的执行优化能力；DStream是SparkStreaming中对微批RDD序列的抽象，用于支撑微批模式的流处理。……99.在大数据应用过程中，以下哪项行为符合《个人信息保护法》关于个人信息处理的合规要求？A.未经用户同意强制采集个人位置信息用于商业营销B.对处理的个人信息进行去标识化处理后用于统计分析，且处理后无法复原识别