大数据工程项目开发实战活页式教程 习题及答案 第1-6章

习题1

一、单选题

1.下列选项中，最早提出“大数据”这一概念的是（B）。

A.贝恩B.麦肯锡

C.古拉德D.杰弗逊判断题

2.下列选项中，哪一项是研究大数据最重要的意义（D）。

A.分析B.统计

C.测试D.预测

二、多选题

1.下列选项中，属于Hadoop优势的有（ABD）o

A.扩容能力强B.可靠性

C.低效率D.高容错性

2.下列选项中，属干Google提出的处理大数据的技术手段有（ACD）。

A.MapReduceB.MySQL

C.BigTablcD.GFS

三、填空题

1.大数据的四大特征是体量大（Volume）、、速度快（Velocity）和。

答案：【多样（Varity）］［价值（Value）］

2.大数据的分为、非结构化数据和o

答案：【结构化数据】【半结构化数据】

四、简答题

1.简述大数据在零售行业应用的具体表现。

参考答案：

大数据在零售行业的具体表现有三个，分别是精准定位零售行业市场、支撑行业收益管

理以及挖掘零售业新需求，

2.简述Hadoop生态体系常见的子系统。

参考答案：

Hadoop生态体系中常见的子系统有HDFS分布式文件系统、MapReduce分布式计算框

架、Yarn资源管理框架、Sqoop数据让移工具、Mahout数据挖掘算法库、HBase分布式存

储系统、Zookeepei•分布式协作服务、Hive基于Hadoop的数据仓库以及Flume日志收集工

具。

习题2

一、单选题

1.下列选项中，哪个配置文件可以配置1IDFS地址、端口号以及临时文件目录（）。

A.core-site.xmlB.hdfs-site.xml

C.mapred-site.xmlD.yarn-site,xml

参考答案：A

2.Hadoop集群启动成功后，用于监控HDFS集群的湍口是（

A.50010B.50075C.8485【）.50070

参考答案：D

3.下列选项中，可以进行重启引导系统的是（）。

A.OKB.CancelC.RebootD.Apply

参考答案：C

4.下列选项中，关于SSH服务说法正确的是（）。

A.SSH服务是一种传输协议B.SSH服务是一种通信协议

C.SSH服务是一种数据包协议I）.SSH服务是一种网络安全协议

参考答案：D

5.下列选项中，一键启动HDFS集群的命令是（）。

A.start-namenode,shB.start-datanode.sh

C.slarl-dfs.shD.slarl-slave.sh

参考答案：C

6.在Hadoop的解压目录下，可以查看Hadoop的巨录结构的命令是（）。

A.jpsB.11C.tar1）.find

参考答案：B

7.下列选项中，存放Hadoop配置文件的目录是（）

A.includeB.binC.libexeD.etc

参考答案：D

8.在配置Linux网络参数时，固定IP地址是将路由协议配置为（）。

A.staticB.dynamicC.immutableD.variable

参考答案：A

9.下列选项中，可以对Hadoop集群进行格式化的是（

A.hadoopnamenode-formatB.hadoopnamenode-Is

C.hdfsdatanode-IsD.hdfsdatanode-format

参考答案：A

10.下列选项中，查看Linux系统的IP配置的命令是（）。

A.ipconfigB.findC.ifconfigD.arp-a

参考答案：C

二、多选题

1.下列选项中，关于Hadoop集群说法正确的是（）

A.Hadoop集群包含Worker节点B.Hadoop集群包含Master节点

C.Hadoop集群包含S1ave节点D.Hadoop集群包含HMaster节点

参考答案：BC

2.Hadoop提供的自定义配置时编辑的配置文件中，包含（）。

A.core-site,xmlB.hdfs-site.xmlC.mapred-site.xmlD.yarn-site,

xml

参考答案：ABCD

三、判断题

1.伪分布式模式下的Hadoop功能与完全分布式模式下的Hadoop功能相同。()

参考答案：错

2.启动Hadoop集群时，可能出现NodeManagor进程无法启动或者启动后自动关闭情

况，这是由于系统内存和资源分配不足导致的。0

参考答案：对

3.执行“start-all.sh”命令，可以一键后动整个Hadoop集群的服务。()

参考答案：对

4.^yarn-onv.sh”配置文件是用来保证Hadoop系统能够正常执行1IDFS的守护进

程NameNode、SecondaryNcimeNode和DataNode。()

参考答案：错

5.通过执行命令"serviceiptablesstatusM可以关闭Linux系统的防火墙。(

)

参考答案：错

6.Hadoop集群执行完MapReduce程序后，会输出“.SUCCESS”和“part-r-00000"

结果文件。0

参考答案：对

7.通过使用虚拟机软件(如VMwareWorksUaion),可以在同一台电脑上构建多个

Linux虚拟机环境。()

参考答案：对

8.当完成Hadoop集群的安装和配置后，就可以直接启动集群。()

参考答案：错

9.当配置好虚拟机的主机名和IP映射后，就可以正常使用虚拟机。()

参考答案：错

10.启动Hadoop集群，只能有一种方式启动，即单节点逐个启动。()

参考答案：错

11.在Hadoop的解压目录卜.的bin目录中，存放的是Hadoop的配置文件。()

参考答案：错

12.在“hdfs-site.xml”配置文件中，可以配置HDFS数据块的副本数量。()

参考答案：对

13.在安装部署Hadoop集群之前,不需要提前安装并配置好JDKo()

参考答案：错

四、填空题

1.当出现时，说明Hadoop集群已经被格式化成功。

参考答案：successfullyformatted

2.Hadoop集群启动成功后，通过端口监控YARN集群。

参考答案：8088

3.Hadoop的解压目录下_________目录存放的是Hadoop管理脚本，包含HDFS和

YARN中各类服务的启动或关闭脚本。

参考答案：sbin

4.通过执行命令，可以使得配置的环境变量文件生效。

参考答案：source/etc/profile

5.uhadoop-maproduce-examp1es-2.7.7.jar”包中有计算和pi值的

功能。

参考答案：单词个数

6.在Hadoop集群执行完MapReduce程序后，输出的结果文件表示此次任

务成功执行。

参考答案：.SUCCESS

7.Hadoop支持在系统和Windows系统上进行安装使用。

参考答案：Linux

8.Hadoop提供的和yarn-env.sh配置文件是用来指定Hadoop和YARN

所需的运行环境。

参考答案：hadoop-eiv.sh

9.一犍启动YARN集群的命令是o

参考答案：start-yarn.sh

10.配置文件用于配置HDFS的NameNode和DataNode两大进程。

参考答案：hdfs-sits.xml

H.启动Hadoop集群，主要是启动其内部包含的和YARN集群。

参考答案：HDFS集群

12.配置文件用于记录Hadoop集群的所有从节点的主机名。

参考答案：slaves

13.在虚拟机配置IP映射时，选择模式进行配置。

参考答案：NAT

习题3

一、单选题

1.在MapReduce程序中,map()函数接收的数据格式是(

A.字符串B.整型C.LongD.键值对

参考答案：D

2.每个Map任务都有一个内存缓冲区,默认大小是：)。

A.128MBB.64MBC.100MBD.32MB

参考答案：C

3.在MapTask的Combine阶段，当处理完所有数据时，MapTask会对所有的临时文件

进行一次()。

A.分片操作B.合尹操作C.格式化操作1).溢写操作

参考答案：B

4.下列选项中，主要用于决定整个MapReduce程序性能高低的阶段是()。

A.MapTciskB.ReduceTaskC.分片、格式化数据源D.Shuffle

参考答案：D

二、判断题

1.MapReduce编程模型借鉴了面向过程的编程语言的设计思想。（）

参考答案：错

2.在MapReduce程序进行格式化数据源操作时，是将划分好的分片格式化为键值对

“<key,value>”形式的数据。（）

参考答案：对

3.带有倒排索引的文件称为“倒排索引文件”，简弥“倒排文件”。（）

参考答案：对

4.reduce（）函数会将map（）函数输出的键值对作为输入，将相同key值的value

进行汇总，输出新的键值对。（）

参考答案：对

5.MapReduce通过TextOutputFormat组件输出到结果文件中。（）

参考答案：对

6.Combiner组件可以让Map对key进行分区，从而可以根据不同的key分发到不同

的Reduce中去处理。（）

参考答案：错

7.对于MapReduce任务来说，一定需要Reduce过程。（）

参考答案：错

8.在MapReduce程序中，只有Map阶段涉及Shuffle机制。（）

参考答案：错

9.MapReduce的数据流模型可能只有Map过程，由Map产生的数据直接被写入HDFS

中。（）

参考答案：对

10.Hadoop提供的Mapper类是实现Map任务的一个抽象基类。（）

参考答案：对

11.MapTask作为MapReduce工作流程的前半部分，它主要经历Read阶段、Map阶段、

Collect阶段、Spill阶段和Shuffle阶段。（）

参考答案：错

12.MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算

模型、框架和平台。（）

参考答案：对

13.由于Combiner组件不允许改变业务逻辑，所以无论调用多少次Combiner,Reduce

的输出结果都是一样的。（）

参考答案：对

14.ReduceTask作为MapReduce工作流程的后半部分，主要经历了Copy阶段、Merge

阶段、Sort阶段、Reduce阶段和Write阶段。（）

参考答案：对

15.在Reduce阶段，设置Map和Reduce共存，当Map运行到一定程度后，Reduce也

开始运行，减少Reduce的等待时间，可以提高MapReduce的性能。（）

参考答案：对

三、填空题

1.在MapTask的Spli匚阶段，将数据写入本地磁盘前.要对数据进行一次

并在必要时对数据进行合并、压缩等操作。

参考答案：本地排序

2.是MapReduce的核心，它用来确保每个Reducer的输入都是按键

排序的。

参考答案：Shuffle

3.MapReduce编程组件中，组件主要用于描述输入数据的格式。

参考答案：InputFormat

4.当Map任务写入内存缓存区的数据到达阈值时，会启动一个线程将

内存中的溢出数据写入磁盘。

参考答案：80M

5.MapReduce程序的运行模式主要有两种，即木地运行模式和。

参考答案：集群运行模式

6.是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎.

参考答案：倒排索引

7.MapReduce的核心思路是。

参考答案：分而治之

8.是指从研究对象中按照某一个指标进行倒序或正序排列，取其中所需的

n个数据，并对这n个数据进行重点分析的方法。

参考答案：TopN分析法

9.输入Map阶段的数据源，必须经过和格式化操作。

参考答案：分片

10.默认情况下，run()方法中的setup。和cleanup。方法在内部不作任何处理；也就

是说，方法是处理数据的核心方法。

参考答案：reduce()

ll._____ReduceTask在Sort阶段，为了将key相同的数据聚在一起，Hadoop采用了

_____________基于的策略。

参考答案：排序

12.组件的作用就是对Map阶段的输出的重复数据先进一次合并计算，

然后将新的〈key,value》对作为Reduce阶段的输入。

参考答案：Combiner

13.Reduce是MapReduce数据流模型的最后处理过程，其结果进行第二次

汇总。

参考答案：不会

14.MapReduce通过默认组件将待处理的数据文件的每一行数据都转

变为〈key,value》键值对。

参考答案：TcxtlnputFormat

15.MapReduce在操作海量数据时，每个MapReduce程序被初始化为一个工作任务，每

个工作任务可以分为和两个阶段。

参考答案：Map.Reduce

16.MapReduce编程模型的实现过程是通过___________和函数来完成的。

参考答案：map。、reduce()

四、简答题

1.简述MapReduce的Map阶段和Reduce阶段。

参考答案：Map阶段：负责将任务分解，即把复杂的任务分解成若干个“简单的任务”

来并行处理，但前提是这些任务没有必然的依赖关系，可以单独执行任务。

Reduce阶段：负责将任务合并，即把Map阶段的结果进行全局汇总。

2.简述MapReduce的工作流程。

参考答案：MapReduce的工作过程一共有5个步骤，分别是先分片、格式化数据源，再

执行MapTask过程，接着执行Shuffle过程，然后执行ReduceTask过程，最后是写入文件

操作。

习题4

一、单选题

1.D

2.A

3.D

二、判断题

1.V

2.X

3.V

4.V

5.V

6.X

7.V

8.V

9.X

10.V

11.V

12.X

13.V

14.X

15.V

三、填空题

1.HiveonSpark

2.Driver组件

3.外部表

4.hive.metastore.warehouse.dir

5.元数据

6.对应表下

7.并行

8.列分隔符

9.加载

10.表

11.文本文件(TextFile)

12.Default

13.建立一个链接

14.自定义函数

15.DISTINCT

四、简答题

1、比较Hive和MapReduce的异同。

mapreduce和hive的区别：

1.hive本身只是在hadoopmapreduce或者spark计算引擎上的封装，应用场景自然

更局限，不可能满足所有需求。有些场景是不能用hive来实现，就需要mapreduce或者spark

rdd编程来实现。

2.结构复杂的日志文件，首先要经过ETL处理（使用mapreduce）,得到的数据再有

hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。

小结：业务比较复杂的，还是必须写mapreduce才能实现。

mr和hive比较：

1.Hive与MapReduce底层都是使用的MapReduce进行计算，运行速度和资源消耗基

本相同

2.Hive的开发成本低于MapReduce

3.Hive读取文件时，不需要关心文件的格式，比M叩Reduce方便

2、Hive中内部表和外部表的区别，开发时如何进行选择。

（I）内部表：

1）在创建的时候不需要加载数据，数据时后期load进去的

2）如果是本地load,不会剪切数据，如果是从hdfsload,将会将hdfs的数据剪切过去。

3）删除内部表的时候，将数据和元数据同时删除。

（2）外部表：

1）在创建表的时候需要加载数据位置信息

3）后期不需要load数据，数据不会有移动过程

3）删除外部衣的时候，不会删除数据，只会删除兀数据。

（3）总结：建议在生产环境中使用外部表。

3、产生数据倾斜的原因有哪些。

1.key分布不均匀

2.业务数据本身的特性

3.建表时考虑不周

4.某些SQL语句本身就有数据倾斜

上机实验4Hive离线数据统计案

例

创建表access

createtableaccess(

ipstring,

something1string.

something?string,

timestring,

timezonestring,

rcqucst_typcstring,

refurlstring,

http_protocolstring,

status_codestring,

request_body_sizestring,

targurlstring,

http_user_agentstring.

something3string,

something4string,

something5string,

something6string,

something?string,

something8string

)

ROWFORMATDELIMITED

FIELDSTERMINATEDBY'

加载数据：

loaddatalocalinpathYhome/hadoop/ceshi/access.log'intotableaccess;

实现步骤:

1.对原始数据进行抽取转换，分离时间

droptableifexistst_e(l_de(ail;

createtablet_etl_detailas

selectip,substring(time,2,11)asdate,substring(time,14,20)as

times,refurl,status^code,requesCbody^izejtargurLhttp=user.agentfromaccess;

2.来源访问次数topr各时间维度URL

selectda(e,refurl,count(l)asnumberfromt_etl_de(ailgroupbydate,refurlorderbynumber

desclimit10;

习题5

一、单选题

1.D

2.D

3.A

二、判断题

1.X

2.X

3.X

4.V

5.X

6.V

7.V

8.V

9.X

10.X

11.J

12.X

13.J

14.X

15.J

三、填空题

1.Besteffort

2.消费消息

3.Hadoop

4.事件(Event)

5.Channel

6.Sink

7.传送成功

8.FileChannel

9.bytearray

10.ip和端口

11.flush到磁盘

12.文件过大

13.偏移量

14.Pull

15.一个

四、简答题

1、如何才能保证Flume数据不丢失？

1.使用filechannel,保证数据存储在文件上

2.配置flume高可用failover

3.使用hdfssink,保证数据分布式存储

2、Sqoop如何设置MapReduce的并发操作？

默认Sqo叩参数-m为I,表示切片数量为1,也就是只是用了一个1mpiask进行任务操

作，可以修改--m为n,让n个maptask进行并发任务操作。

3、Kafka如何设置Topic的Partition个数和备份数，设置Partition备份的意义是什么？

1.通过num.partitions=n设置Topic的Partition个数，n为数值类型

2.通过default.rcplication.factor=n设置Partition的备份数，n为数值类型

3.设置Partition备份的意义在如果不设置Partition备份，那么Partition备份数为

1，也就是说Partition只会保存一份数据在某个broker上，当这个broker失效后，Partition

数据即丢失，当设置了Partition备份后，可以保证某一个broker失效后，还有备份的Partition

可以被使用，不会影响数据的生产和消费。

上机实验5离线处理组建的安装

配置

按照文档安装Flume

参见5.1.3

按照文档安装Kalla

参见5.2.4

按照文档安装Sqoop

参见5.3.2

习题7

一、单选题

1.D

2.C

3.D

二、判断题

1.J

2.X

3.V

4.X

5.V

6.V

7.X

8.V

9.X

10.V

11.V

12.X

13.V

14.V

15.V

三、填空题

1.sbin/start-alLsh

2.转换算子操作行动算