《大数据技术原理与操作应用》习题解答(三)

《大数据技术原理与操作应用》习题解答（三）

第4章课后习题答案

一、单选题

1.在MapReduce程序中，map（）函数接收的数据格式是（

A.字符串B.整型C.LengD.键值对

参考答案：D

2.每个Map任务都有一个内存缓冲区，默认大小是（）。

A.128MBB.64MBC.100MBD.32MB

参考答案：C

3.在MapTask的Combine阶段，当处理完所有数据时,MapTask会对所有的临时文件

进行一次（）。

A.分片操作B.合并操作C.格式化操作D.溢写操作

参考答案：B

4.下列选项中，主要用于决定整个MapReduce程序性能高低的阶段是（）。

A.MapTaskB.ReduceTaskC.分片、格式化数据源D.Shuffle

参考答案：D

二、判断题

1.MapReduce编程模型借鉴了面向过程的编程语言的设计思想。（）

参考答案：错

2.在MapReduce程序进行格式化数据源操作时，是将划分好的分片格式化为键值对

“<key,value>”形式的数据。（）

参考答案：对

3.带有倒排索引的文件称为“倒排索引文件”，简称“倒排文件”。（）

参考答案：对

4.reduce（）函数会将map（）函数输出的键值对作为输入，将相同key值的value

进行汇总，输出新的键值对。（）

参考答案：对

5.MapReduce通过TextOutputFormat组件输出到结果文件中。（）

参考答案：对

6.Combiner组件可以让Map对key进行分区，从而可以根据不同的key分发到不

同的Reduce中去处理。（）

参考答案：错

7.对于MapReduce任务来说，一定需要Reduce过程。（）

参考答案：错

8.在MapReduce程序中，只有Map阶段涉及Shuffle机制。（）

参考答案：错

9.MapReduce的数据流模型可能只有Map过程，illMap产生的数据直接被写入HDES

中。（）

参考答案：对

10.Hcidoop提供的Mapper类是实现Map任务的一个抽象基类。（）

参考答案：对

11.McipTtisk作为MapReduce工作流程的前半部分，它主要经历Read阶段、Map阶

段、Collect阶段、Spill阶段和Shuffle阶段。（）

参考答案：错

12.MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算

模型、框架和平台。（）

参考答案：对

13.由于Combiner组件不允许改变业务逻辑,所以无论调用多少次Combiner,Reduce

的输出结果都是样的。（）

参考答案：对

14.ReduceTask作为MapReduce工作流程的后半部分，主要经历了Copy阶段、Merge

阶段、Sort阶段、Reduce阶段和Write阶段。（）

参考答案：对

15.在Reduce阶段，设置Map和Reduce共存，当Map运行到一定程度后，Reduce

也开始运行，减少Reduce的等待时间，可以提高MapReduce的性能。（）

参考答案：对

三、填空题

1.在MapTask的Split阶段，招数据写入本地磁盘前，要对数据进行一次

并在必要时对数据进行合并、压缩等操作。

参考答案：本地排序

2.是MapReduce的核心，它用来确保每个Reducer的输入都是按键

排序的。

参考答案：Shuffle

3.MapReduce编程组件中，组件主要用于描述输入数据的格式。

参考答案：InputFormal

4.当Map任务写入内存缓存区的数据到达阈值时，会启动一个线程将

内存中的溢出数据写入磁盘。

参考答案：80M

5.MapReduce程序的运行模式主要有两种，即本地运行模式和。

参考答案：集群运行模式

6.是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。

参考答案：倒排索引

7.MapReduce的核心思路是。

参考答案：分而治之

8.是指从研究对象中按照某一个指标进行倒序或正序排列，取其中所需的

n个数据，并对这n个数据进行重点分析的方法。

参考答案：TopN分析法

9.输入Map阶段的数据源，必须经过和格式化操作。

参考答案：分片

10.默认情况下,run()方法中的setup。和cleanup。方法在内部不作任何处理；也就

是说，方法是处理数据的核心方法。

参考答案：reduce()

11.ReduceTcisk在Sort阶段，为了将key相同的数据聚在一起，Hadoop采用了

基于的策略。

参考答案：排序

12.组件的作用就是对Map阶段的输出的重复数据先进一次合并计算，

然后将新的〈key,value》对作为Reduce阶段的输入。

参考答案：Combiner

13.Reduce是MapReduce数据流模型的最后处理过程，其结果进行第二次

汇总。

参考答案：不会

14.MapReduce通过默认组件将待处理的数据文件的每一行数据都转

变为〈key,value〉键值对。

参考答案：TexlInpulFormal

15.MapReduce在操作海量数据时，每个MapReduce程序被初始化为一个一匚作任务，每个

工作任务可以分为和两个阶段。

参考答案:Map、Reduce

16.MapReduce编程模型的实现过程是通过和函数来完成的。

参考答案：map()、reduce()

四、简答题

1.简述MapReduce的Map阶段和Reduce阶段。

参考答案：Map阶段：负责将任务分解，即把复杂的任务分解成若干个“简单的任务”

来并行处理，但前提是这些任务没有必然的依赖关系，可以单独执行任务。

Reduce阶段：负责将任务合并，即把Map阶段的结果进行全局汇总。

2.简述MapReduce的工作流程。

参考答案：MapReduce的工作过程一共有5个步骤，分别是先分片、格式化数据源，再

执行MapTask过程,接着执行Shuffle过程,然后执行ReduceTask过程,最后是写入

文件操作。

第五章

一、单选题

1、Zookeeper中的数据存储结构和标准文件系统非常类似，两者采用的层次结构是()。

A、树形

B、星形

C、网形

口、分布式

参考答案:A

2、为了保证Leader选举能够通过半数以上台服务器选举支持，因此Zookeeper集群搭

建的服务器为()。

A、2n+2

B、2n

C、2n+l

D、以上说法均错误

参考答案:C

3、下列选项中，用于获取Zookeeper所包含的信息的Shell命令是（）。

A-.1s

B、ls2

C、r

D、get

参考答案:D

4、当Zookeeper的节点数据发生变更时，被触发的事件是（）。

A、NodeCreated

B、NodeDcitaChcinged

C、NodeChiIdrentChanged

I）、NodeDeleted

参考答案:B

答案解析：、与节点的数据发生变更时，NodeDataChanged事件被触发。

5、下列说法中，关于Zookeeper说法错误的是（）。

A、ApacheZoukeepei旨在减轻构建健壮的分布式系统的服务

B>Zookeeper最早起源于雅虎研究院的一个研究小组

C、Zookeeper是一个分布式协调服务的收费框架

1）、Zookeeper本质上是一个分布式的小文件存储系统

参考答案:C

答案解析:Zookeeper是一个分布式协调服务的开源框架，它是由Google的Chubby开

源实现。

二、多选题

1、下列选项中，属于Zookeeper集群的角色有（）。

A、Follower

BsWorker

C、Observer

D、Leader

参考答案:A,C,D

2、下列说法中，关于zoo.cfg配置文件中的参数server.I=hadoop01:2888:3888说法

正确的是（）。

A、1表示服务器的编号

8、hadoopOl表示这个服务器为IP地址

C、2888表示表示Zookeeper服务器之间的通信心跳号

I）、3888表示Leader选举的端口号

参考答案:A,B

3、Zookeeper中，Watcher机制的特点包含（）。

h一次性触发

B、事件封装

C、异步发送

I）、先注册再触发

参考答案:A,B,C,D

4、在Zookeeper选举过程中，一共有四种状态,分别是（）。

h竞选状态

B、随从状态

C、观察状态

D、领导者状态

参考答案:A,B,C,D

答案解析:Zookeeper服务器有四种状态，分别为竞选状态、随从状态、观察状态以及领

导者状态。

三、判断题

1、临时节点允许拥有子节点。

对

借

参考答案:错

答案解析:临时节点不允许拥有子节点。

2、Zookeeper的选举机制，实际上是采用算法FastLeaderElection,投票数大于半数

则胜出的机制。

对

借

参考答案:对

3>Zookeeper提供的gelChildrenO方法可以用于获取指定节点下的所有子节点列表。

对

错

参考答案:对

4、Zookeeper数据模型中的每个Znode都是由三部分组成,分别是sial、dala和children,

对

错

参考答案:对

答案解析:Zookeeper数据模型中的每个Znode都是由三部分组成，分别是slat、data

和childreno

5、启动Zookeeper服务的命令是“zkServer.shstartn«

对

借

参考答案:对

G、命名服务是分布式系统中比较常见的类场景，发布者将需要全同统管理的数据

发布到Zookeeper节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态

更新。

对

借

参考答案:错

答案解析:命名服务是分布式系统中比较常见的一类场景。在分布式系统中，通过使用

命名服务，客户端应用能够根据指定名字来获取资源服务的地址，提供者等信息。

7、Observer角色参与Leader选举过程中的投票。

对

借

参考答案:错

答案解析Observer角色不会参与任何形式的投票，只提供非事务性的服务。

8、在Zookeeper选举机制中，数据ID是服务器中存放的最新数据版本号，该值越大则

说明数据越新，在选举过程中数据越新权重越小。

对

借

参考答案:错

答案解析:在Zookeeper选举机制中，数据ID是服务器中存放的最新数据版本号，该值

越大则说明数据越新，在选举过程中数据越新权重越大。

9、由于Zookeeper集群的运行不需要Java环境支持，所以不需要提前安装JDK。

对

错

参考答案:错

答案解析：由于Zookeeper集群的运行需要Java环境支持，所以需要提前安装JDK。

10、当客户端断开连接，此时客户端和服务器的连接就是SyncCormecled状态，说明连

接失败。

对

借

参考答案:错

答案解析：当客户端断开连接，此时客户端和服务器的连接就是Discs山ecled状态，说

明连接失败。

IKZookeeper具有全局数据一致性、高容错性、无序性、原子性以及实时性。

对

借

参考答案:错

答案解析:Zookeeper具有全局数据一致性、可靠性、顺序性、原子性以及实时性。

12、非全新集群选举时是优中选优，保证Leader是Zookeeper集群中数据最完整、最

可靠的一台服务器。

对

借

参考答案:对

答案解析:非全新集群选举时是优中选优，保证Leader是Zookeeper集群中数据最完

整、最可靠的一台服务器。

四、填空题

1、是Zookeeper集群工作的核心，也是事务性请求（写操作）的唯一调度和

处理者。

参考答案：【Leader】

答案解析:Leader是Zookeeper集群工作的核心，也是事务性请求（写操作）的唯一调

度和处理者。

2、当Zookeeper客户端连接认证失败，此时客户端和服务器的连接状态就是，

说明认证失败。

参考答案：【AuthFailed】

3、Zookeeper选举机制的类型有两种，分别是和非全新集群选举。

参考答案：【全新集群选举】

4、Zookeeper的顺序性主要分为两种，分别是和偏序。

参考答案：【全局有序】

5、当节点的直接子节点被创建、被删除、子节点数据发生变更时，事件被触

心

久。

参考答案：【NodeChiIdrenlC上anged】

G、通过执行命令，查看该节点的Zuokeepei角色。

参考答案：【zkServer.shstatus]

答案解析:通过执行"zkServer.shstatusw命令，查看该节点的Zookeeper角色。

7、在配置文件中，设置与主机连接的心跳端口和选举端口。

参考答案：[zoo.cfg】

答案解析:在配置文件zoo.cfg中，设置与主机连接的心跳端口和选举端口。

8、的生命周期不依赖于会话，并且只有在客户湍显示执行删除操作的时候,

它们才能被删除。

参考答案：【永久节点】

答案解析:永久节点的生命周期不依赖于会话，并且只有在客户端显示执行删除操作的

时候，它们才能被删除。

9、在Zookeeper的选举机制中,服务器的编号越大，则在FastLeaderElection算法中

的