1+x大数据试题库与参考答案解析

1+x大数据试题库与参考答案解析一、单选题（共50题，每题1分，共50分）1.ZooKeeper是一个典型的分布式数据一致性解决方案,下列哪项是不属于它实现的功能（）A、分布式锁B、数据发布/订阅C、响应用户I/O请求D、负载均衡正确答案：C答案解析：ZooKeeper主要实现分布式协调服务，包括分布式锁、数据发布/订阅、命名服务、分布式通知等功能。响应用户I/O请求并不是ZooKeeper的主要功能。负载均衡通常由专门的负载均衡器来实现，也不是ZooKeeper的功能。2.大数据的数据量现在已经达到了哪个级别？（C）A、GBB、TBC、PBD、ZB正确答案：C答案解析：大数据的数据量通常达到PB级别。GB和TB数据量相对较小，不能满足大数据对海量数据的要求。ZB是比PB更大的量级，目前大数据虽然数据量极大，但还未普遍达到ZB级别。所以大数据的数据量现在已经达到了PB级别，答案选C。3.Sqoop的底层实现是_____？（）A、HDFSB、MapReduceC、HBaseD、Hadoop正确答案：B答案解析：Sqoop的底层实现是基于MapReduce。它利用MapReduce来实现数据的抽取、转换和加载等操作。通过MapReduce的并行处理能力，Sqoop能够高效地处理大规模数据的迁移任务，将关系型数据库中的数据导入到Hadoop生态系统中，或者从Hadoop生态系统中导出数据到关系型数据库。4.以下对数据节点理解错误的是(.A、数据节点用来存储具体的文件内容B、数据节点通常只有一个C、数据节点的数据保存在磁盘中D、数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作正确答案：B答案解析：数据节点通常有多个，而不是只有一个。数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作，用来存储具体的文件内容，且数据保存在磁盘中。5.在确认客户需求，进行确认需求调研的时候，以下说法正确的是（）。A、按计划有步骤的确定客户需求调研。B、先了解细节需求，再了解宏观需求。C、将客户的想法记录下来，就能解决客户的实际问题。D、确定客户需求调研的过程中，不可避免的会出现客户提出一些现有条件下根本无法实现或者即使实现也非常困难的要求，我们要无条件去满足客户的需求。正确答案：A答案解析：按计划有步骤的确定客户需求调研可以使调研过程更加系统、全面，有助于准确把握客户需求，所以A选项正确。先了解宏观需求，再了解细节需求更符合调研逻辑，B选项错误。仅仅记录客户想法不能直接解决客户实际问题，还需要分析、规划等一系列后续行动，C选项错误。对于客户提出的不合理要求，不能无条件满足，需要与客户沟通协商寻找合理解决方案，D选项错误。6.在hadoop配置中yarn-site.xml作用是（）A、用于定义系统级别的参数B、用于名称节点和数据节点的存放位置C、用于配置JobHistoryServer和应用程序参数D、配置ResourceManager，NodeManager的通信端口正确答案：D答案解析：在hadoop配置中，yarn-site.xml主要用于配置ResourceManager，NodeManager的通信端口等相关参数，以定义YARN集群的相关属性，实现各个组件之间的通信和协作。A选项说的是core-site.xml的作用；B选项说的是hdfs-site.xml的作用；C选项说的是mapred-site.xml的作用。7.下列关于调度器的描述不正确的是？（）A、先进先出调度器可以是多队列B、容器调度器其实是多个FIFO队列C、公平调度器不允许管理员为每个队列单独设置调度策略D、先进先出调度器以集群资源独占的方式运行作业正确答案：A8.下列分区方式哪个不是采用的Hash方式分区(.A、BinaryPartitionerB、TotalOrderPartitionerC、HashPartitionerD、KeyFieldBasedPartitioner正确答案：B答案解析：TotalOrderPartitioner是基于排序的分区方式，不是Hash方式分区。BinaryPartitioner是二进制分区方式，HashPartitioner是哈希分区方式，KeyFieldBasedPartitioner是基于字段的分区方式，它们都有可能基于Hash方式，而TotalOrderPartitioner主要用于全局排序等场景，与Hash方式分区不同。9.下列sink中哪些是flume不支持的sinkA、HDFSsinkB、kafkasinkC、memorysinkD、filerollsink正确答案：C答案解析：Flume支持的sinks类型有：HDFSSink、HiveSink、LoggerSink、AvroSinkThriftSink、IRCSink、FileRollSink、NullSink、HBaseSink、KafkaSink、HTTPSink、CustomSink、ElasticSearchSink、MorphlineSolrSink10.大数据解决方案确认需求分析准备工作不包括（）A、编制确定客户实施计划B、和客户负责人沟通，确定客户需求小组成员C、根据事先了解的初步用户需求，列出这些难点D、充分了解客户的要求，客户的业务，客户的关注重点正确答案：A答案解析：需求分析准备工作主要包括充分了解客户要求、业务及关注重点，与客户负责人沟通确定需求小组成员，根据初步用户需求列出难点等。编制确定客户实施计划不属于需求分析准备工作的内容，它一般是在需求分析等工作完成后，基于对需求的明确等情况来制定的。11.列出mysql数据库中的所有数据库sqoop命令是?A、sqooplist-databases–connectB、sqooplist-tables–connectC、sqoopcreate-hive-table–connectD、sqoopimport–connect正确答案：A答案解析：选项A中`sqooplist-databases–connect`命令用于列出MySQL数据库中的所有数据库。选项B的`sqooplist-tables–connect`是列出数据库中的表；选项C的`sqoopcreate-hive-table–connect`主要用于创建Hive表；选项D的`sqoopimport–connect`用于将数据从数据库导入到Hadoop等，均不符合列出所有数据库的要求。12.下列有关flume的描述不正确的是A、flume是Apache的一个子项目B、flume主要是一个日志采集，传输系统C、flume和sqoop功能相似，因此可以相互替代D、flume可以同时采集集群内部和集群外部的日志数据正确答案：C答案解析：flume主要用于日志采集、聚合和传输，而sqoop主要用于在Hadoop和关系型数据库之间高效传输数据，它们功能不同，不能相互替代。选项A，flume确实是Apache的一个子项目；选项B，flume主要功能就是日志采集和传输系统；选项D，flume可以采集集群内部和外部的日志数据。13.下面哪个目录保存了Hadoop集群的命令（比如启动Hadoop）?（）A、etcB、binC、shareD、sbin正确答案：D14.启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到监控界面查看，没有节点信息：最有可能原因（）A、HADOOP服务未启动B、HBase服务未启动C、HBase处于安全模式D、HBase服务未安装正确答案：C答案解析：当HBase处于安全模式时，会限制一些操作，可能导致节点信息无法正常显示在监控界面。虽然看到有HMaster进程说明HBase服务已启动，但安全模式会影响部分功能的正常呈现。A选项HADOOP服务未启动与看到HMaster进程矛盾；B选项HBase服务未启动也与看到HMaster进程不符；D选项HBase服务未安装则不会出现有HMaster进程的情况。15.Centos中修改文件或目录的访问权限命令A、chownB、passwdC、chmodD、clear正确答案：C16.建立在Hadoop文件系统之上的分布式的列式数据库？（）A、HBaseB、HiveC、YARND、Mahout正确答案：A答案解析：HBase是建立在Hadoop文件系统之上的分布式的列式数据库。Hive是基于Hadoop的数据仓库工具；YARN是Hadoop的资源管理框架；Mahout是一个基于Hadoop的机器学习库。17.关于培训的总体目标、定制培训课程和内容和培训形式，以下说法正确的是（）。A、系统使用人员的培训目的是使其可以独立完成大数据平台的日常维护，解决一般问题。B、培训过程中将针对不同的用户和不同的培训内容采用相同的培训方案，以达到最佳的培训效果。C、实践培训主要针对于技术开发人员及系统维护和客户。D、培训形式包括集中培训、现场培训、针对性培训。正确答案：D答案解析：选项A中系统使用人员培训目的应是熟练使用系统，而非独立完成大数据平台日常维护及解决一般问题；选项B针对不同用户和培训内容应采用不同培训方案；选项C实践培训主要针对技术开发人员及系统维护人员，不包括客户；选项D培训形式包括集中培训、现场培训、针对性培训，说法正确。18.关于ZooKeeper临时节点的说法正确的是？（）A、创建临时节点的命令为：create-s/tmpmyvalueB、一旦会话结束，临时节点将被自动删除C、临时节点不能手动删除D、临时节点允许有子节点正确答案：B答案解析：临时节点的特点是一旦会话结束，临时节点将被自动删除。选项A中创建临时节点的命令应为create-e/tmpmyvalue，-s是创建顺序节点；临时节点可以手动删除，所以选项C错误；临时节点不允许有子节点，选项D错误。19.将数据从关系型数据库中导出到HDFS上，应当使用命令_____？（）A、importB、exportC、listD、以上都不对正确答案：A20.Sqoop的底层实现是()?A、HDFSB、MapReduceC、HbaseD、Hadoop正确答案：B答案解析：Sqoop的底层实现是基于MapReduce的。它通过将关系型数据库中的数据导入到Hadoop生态系统中，或者将Hadoop中的数据导出到关系型数据库中，而这个过程主要借助MapReduce来实现数据的处理和传输。21.对Sqoop描述不正确的是?A、Sqoop的底层实现是MapReduceB、Sqoop主要采集关系型数据库中数据，常用于离线计算批量处理C、Sqoop只支持从关系型数据库导入到HDFS，不支持从HDFS导入到关系型数据库。D、Sqoop脚本最终会变成提交到YARN上的一个个map任务正确答案：C答案解析：Sqoop不仅支持从关系型数据库导入到HDFS，也支持从HDFS导入到关系型数据库。A选项，Sqoop底层确实是基于MapReduce实现的；B选项，Sqoop主要用于采集关系型数据库数据进行离线批量处理；D选项，Sqoop脚本会变成一个个map任务提交到YARN上。22.HBase依赖（）提供消息通信机制A、ZookeeperB、ChubbyC、RPCD、Socket正确答案：A答案解析：HBase依赖Zookeeper提供消息通信机制。Zookeeper在HBase中扮演着重要角色，用于协调RegionServer的状态、存储元数据信息等，为HBase的分布式环境提供了关键的服务发现、配置管理和同步等功能，从而保障HBase集群的正常运行和消息通信的顺畅。23.在HDFS分布式文件系统中，一般采用冗余存储，冗余因子通常设置为（）A、1B、2C、3D、4正确答案：C24.在导入开始之前,Sqoop检索出表中所有的列以及列的SQL数据类型,这些SQL类型被映射什么类型（C）A、CB、C++C、JavaD、Python正确答案：C答案解析：Sqoop将检索出的表中列的SQL数据类型映射为Java类型。这是因为Sqoop主要用于在关系型数据库和Hadoop生态系统之间进行数据传输，而Java是Hadoop生态系统中广泛使用的编程语言，所以会将SQL类型映射为Java类型，以便在后续的数据处理和传输中使用Java进行操作。25.Zookeeper生产环境一般采用多少台机器组成集群？（D）A、1B、3C、5D、奇数台(且大于1）E、偶数台(且大于1）正确答案：D答案解析：Zookeeper集群通常需要奇数台机器组成，这样可以保证在半数以上机器正常工作时集群仍能正常运行，并且一般要求大于1台机器组成集群，所以是大于奇数台（且大于1）。26.名称节点（NameNode）是HDFS的管理者，它的职责有3个方面，下面哪个选项不是NamdeNode的职责？（）A、负责管理和维护HDFS的命名空间（NameSpace）B、管理DataNode上的数据块（Block）C、接收客户端的请求D、负责保存数据块正确答案：D答案解析：NameNode的职责包括管理和维护HDFS的命名空间、管理DataNode上的数据块以及接收客户端的请求。而负责保存数据块是DataNode的职责，不是NameNode的职责。27.下面哪个选项不属于Google的三驾马车？（）A、HDFSB、MapReduceC、BigTableD、GFS正确答案：A答案解析：Google的三驾马车指的是GFS（GoogleFileSystem）、MapReduce和BigTable，HDFS不属于Google的三驾马车。28.日志消息的级别中哪个是比较严重的情况()A、ALEKKTB、CRITC、ERRD、DEBUG正确答案：B答案解析：日志消息级别中，CRIT（Critical，严重）表示非常严重的情况，通常意味着系统出现了重大故障或问题，会对系统的正常运行产生严重影响。ALEKKT并不是标准的日志级别。ERR（Error，错误）表示出现了错误情况，但严重程度低于CRIT。DEBUG（调试）主要用于开发和调试过程中的详细信息记录，严重程度最低。29.下列哪些不是ZooKeeper的特点（）A、顺序一致性B、原子性C、多样系统映像D、可靠性正确答案：C答案解析：ZooKeeper的特点包括顺序一致性、原子性、可靠性等。顺序一致性是指客户端的更新请求按发送顺序得到应用；原子性是指更新操作要么成功要么失败，不会存在部分成功的情况；可靠性是指ZooKeeper保证服务的可用性和数据的完整性。而多样系统映像并不是ZooKeeper的特点。30.Hadoop官方真正支持的操作系统是（）A、UNIXB、WindowsC、DOSD、Linux正确答案：D答案解析：Hadoop官方真正支持的操作系统是Linux。虽然在一些特定情况下也可以在其他操作系统上尝试运行Hadoop，但官方提供的原生支持以及最佳实践都是基于Linux系统的。Linux具有高度的稳定性、可定制性以及丰富的开源工具生态，这些特性使得它成为运行Hadoop分布式系统的理想选择。UNIX是一个操作系统家族，不是具体的某一个操作系统，且与Hadoop官方支持的契合度不如Linux；Windows系统在Hadoop生态中的支持程度相对有限；DOS是早期的磁盘操作系统，早已不适合运行Hadoop这样的大数据框架。31.YARNWeb界面默认占用哪个端口？（）A、50070B、8088C、50090D、9000正确答案：B答案解析：YARNWeb界面默认占用8088端口，通过该端口可以查看YARN集群的相关信息，如节点状态、资源使用情况等。50070是HDFS的Web界面端口；50090通常与Hadoop的一些历史服务器等相关；9000一般是HadoopRPC相关的一个常用端口。32.大数据平台架构设计()的思想A、高集合化设计B、分层模块化设计C、全分布设计D、统一结构化设计正确答案：B答案解析：分层模块化设计是大数据平台架构设计中常用的思想。它将整个架构按照功能、职责等划分为不同的层次和模块，各层次和模块之间相互协作又相对独立，这样有利于系统的开发、维护、扩展和优化。高集合化设计不利于系统的灵活性和可维护性；统一结构化设计并非大数据平台架构设计的典型思想；全分布设计表述不准确，大数据平台架构有多种部署方式并非单纯全分布。33.以下关于日志采集工具Flume的说法不正确的是？A、Flume支持多级级联和多路复制B、Flume的数据源和目标都是可定制、可扩展的C、Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的日志收集系统D、Flume适用于大量数据的实时数据采集正确答案：A34.以下（）文件中主要用来配置ResourceManager，NodeManager的通信端口，web监控端口等。A、core-site.xmlB、mapred-site.xmlC、hdfs-site.xmlD、yarn-site.xml正确答案：D答案解析：在YARN的配置中，yarn-site.xml主要用于配置ResourceManager，NodeManager的通信端口，web监控端口等相关参数。core-site.xml主要用于配置Hadoop的一些通用属性，如文件系统的默认配置等；mapred-site.xml主要用于配置MapReduce相关的参数；hdfs-site.xml主要用于配置HDFS的相关参数，如数据块大小、副本数量等。35.Hadoop类库中最终面向用户提供的接口类是_____。该类是个抽象类，只能通过类的get方法得到具体类？（）A、Configuration类B、FileSystem类C、Path类D、URI类正确答案：B答案解析：FileSystem类是Hadoop类库中最终面向用户提供的接口类，它是个抽象类，通过FileSystem.get方法可以得到具体类，用于与文件系统进行交互等操作。Configuration类主要用于配置相关；Path类表示文件路径；URI类表示统一资源标识符，均不符合题意。36.安装Hadoop集群时，在哪个文件指定从机是哪些机器？（）A、datanodeB、slavesC、yarn-site.xmlD、core-site.xml正确答案：B答案解析：在安装Hadoop集群时，slaves文件用于指定从机是哪些机器。该文件中每行列出一个从机节点的主机名或IP地址。37.Sqoop将导入或导出命令翻译成什么程序来实现导入导出（）A、StormB、SparkC、MapReduceD、Tez正确答案：C38.ZooKeeper的特点不包括（）A、顺序一致性B、原子性C、可靠性D、复合系统映像正确答案：D答案解析：ZooKeeper的特点包括顺序一致性、原子性、可靠性等。顺序一致性指所有的客户端对同一数据的读/写请求按顺序执行；原子性指更新操作要么成功，要么失败，不会存在部分更新的情况；可靠性指保证服务的高可用和数据的可靠存储。而复合系统映像是不存在的概念，不是ZooKeeper的特点。39.哪种调度器是YARN中默认的资源调度器？（）A、FIFOSchedulerB、CapacitySchedulerC、FairSchedulerD、以上都不是正确答案：B40.关于SecondaryNameNode哪项是正确的？A、它是NameNode的热备B、它对内存没有要求C、它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间D、SecondaryNameNode应与NameNode部署到一个节点正确答案：C答案解析：SecondaryNameNode的主要作用是辅助NameNode合并编辑日志，当编辑日志达到一定大小时，SecondaryNameNode会将其与命名空间镜像合并，这样可以减少NameNode启动时需要加载的编辑日志数量，从而缩短NameNode的启动时间。它不是NameNode的热备，对内存有一定要求，并且通常不建议与NameNode部署在同一个节点。41.下列哪些不是HBase的特点（）A、高可靠性B、高性能C、面向列D、紧密性正确答案：D答案解析：HBase具有高可靠性、高性能、面向列等特点。紧密性并不是HBase的典型特点，它强调的是数据存储的紧密程度，而HBase主要特点不包括紧密性。42.Hbase的主要作用是（）A、是一个分布式的、面向列的开源数据库B、是一种编程模型，用于大规模数据集（大于1TB）的并行运算C、是Hadoop集群当中的资源管理系统模块D、将要储存的文件分散在不同的硬盘上，并记录他们的位置正确答案：A答案解析：HBase是一个分布式的、面向列的开源数据库，它能高效地存储和检索大规模数据。选项B描述的是MapReduce；选项C描述的是YARN；选项D描述的是分布式文件系统的一些特点，均不符合HBase的主要作用。43.使用java-api访问hdfs时，数据块副本数由下面那个决定？（）A、namenodeB、datanodeC、clientD、secondarynode正确答案：C44.HBase分布式模式最好需要（）个节点A、1B、2C、3D、4正确答案：C答案解析：HBase分布式模式最好需要3个以上节点。这是因为多个节点可以提供更好的容错性、负载均衡和扩展性。少于3个节点时，在出现故障或负载增加时，可能无法充分发挥分布式系统的优势，例如无法有效实现数据的分散存储和处理任务的并行执行等功能，所以一般建议最好有大于3个节点来构建稳定高效的HBase分布式集群。45.从Vi编辑模式下保存配置返回到Centos7系统使用（)A、按“shift”+“：”组合B、按“Esc”键，然后按“shift”+“：”组合C、按“Esc”键，然后按“shift”+“：”，输入wq回车D、直接输入“exit”正确答案：C46.大数据平台Hadoop的组件中，提供分布式协作服务的组件是（）A、HBaseB、ZooKeeperC、SqoopD、Hive正确答案：B答案解析：ZooKeeper是Hadoop的一个子项目，它提供了分布式协作服务，用于管理和协调分布式系统中的各个组件，确保它们之间的一致性和可靠性。HBase是分布式数据库；Sqoop用于在关系型数据库和Hadoop之间传输数据；Hive是数据仓库工具，用于数据存储和查询。47.Sqoop的作用是（）A、用于传统关系型数据库和Hadoop之间传输数据B、提供对日志数据进行简单处理的能力C、是Hadoop体系中数据存储管理的基础D、是一个建立在HDFS之上，面向列的针对结构化和半结构化数据的动态数据库正确答案：A答案解析：Sqoop主要用于在传统关系型数据库和Hadoop之间高效地传输数据。它能够将关系型数据库中的数据导入到Hadoop生态系统中，也可以将Hadoop中的数据导出到关系型数据库。选项B描述的是日志处理相关，不是Sqoop的作用；选项C中Hadoop体系中数据存储管理的基础一般指HDFS等；选项D描述的是HBase等相关特点，不是Sqoop的作用。48.大数据正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的（）A、新一代技术平台B、新一代信息技术和服务业态C、新一代服务业态D、新一代信息技术正确答案：B答案解析：大数据正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。它不仅仅是新一代信息技术，还形成了相应的服务业态，A选项不准确，C选项不全面，D选项没有体现出服务业态这一关键内容，所以选B。49.在HBase的组件中，哪一个负责日志记录（）A、HRegionB、HFileC、MemStoreD、WAL正确答案：D答案解析：WAL（Write-AheadLog）即预写式日志，是HBase中负责日志记录的组件。当有数据写入HBase时，首先会写入到WAL中，以确保数据的持久性和恢复能力。只有在WAL成功写入后，数据才会被写入到MemStore中，最终刷写到HFile中。HRegion是分布式存储的基本单元；HFile是HBase数据存储的文件格式；MemStore是内存中的存储结构，用于暂存数据。50.关于SecondaryNameNode的描述，哪项是正确的？（）A、它是NameNode的热备B、它对内存没有要求C、它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间D、SecondaryNameNode应与NameNode部署到一个节点正确答案：C答案解析：SecondaryNameNode的主要作用是帮助NameNode合并编辑日志。NameNode在运行过程中，编辑日志会不断增长，当编辑日志过大时会影响NameNode的启动时间。SecondaryNameNode会周期性地从NameNode获取编辑日志和镜像文件，进行合并，生成新的镜像文件，然后将其传回给NameNode，从而减少NameNode启动时需要加载的编辑日志量，减少启动时间。它不是NameNode的热备，对内存是有一定要求的，并且通常不应该与NameNode部署到一个节点。二、多选题（共10题，每题1分，共10分）1.下列关于HDFS对文件分块存储的作用描述正确的是（）A、有利于负载均衡B、便于并行处理C、最小化寻址开销D、支持大规模文件存储正确答案：ABCD答案解析：1.**有利于负载均衡**：将大文件分成多个块存储在不同的DataNode上，避免单个节点负载过高，实现了负载均衡。2.**便于并行处理**：多个块可以并行地进行读写操作，提高了数据处理的效率。3.**最小化寻址开销**：因为数据分散存储，寻址时只需要找到包含目标块的DataNode，而不是整个大文件的位置，减少了寻址范围，最小化了寻址开销。4.**支持大规模文件存储**：通过分块，HDFS能够高效地存储和管理非常大的文件，理论上可以支持极大规模的文件存储。2.大数据业务处理系统包含（）A、数据处理层B、数据访问层C、数据应用层D、数据源层正确答案：ABCD答案解析：大数据业务处理系统通常包含数据源层，用于获取原始数据；数据处理层，对数据进行清洗、转换、分析等处理；数据应用层，将处理后的数据应用于各种业务场景；数据访问层，提供对数据的访问接口，以便其他系统或用户能够获取数据。这四个层次共同构成了大数据业务处理系统，协同工作以实现数据的有效管理和利用。3.下列属于hadoop的发行版本的是（）A、ApacheB、ClouderaC、RedhatD、Centos正确答案：ABC4.以下选项中哪些是SSH涉及到的两个验证方式（）A、主机验证B、用户身份验证C、文件系统验证D、操作系统验证正确答案：AB答案解析：SSH涉及到主机验证和用户身份验证这两个验证方式。主机验证主要用于确认连接的服务器是否是预期的服务器，用户身份验证则是验证登录用户的身份是否合法。文件系统验证和操作系统验证并非SSH直接涉及的验证方式。5.下列关于Mapper的描述正确的是（）A、一个MapReduce程序只能设置一个Mapper类B、一个MapReduce