《Hadoop技术与应用》习题答案 魏迎

参考答案项目1 大数据平台部署前的环境准备自我测试一、选择题1、A2、ABCD3、AD4、C5、D6、A课后习题一、填空题1、存储计算HDFSMapReduce2、GFSMapReduceBigTable3、Nutch4、HDFSMapreduce5、YARN6、240二、简答题1、答：大数据（BigData），指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2、答：大数据具有“5V”特征，即Volume(大量)、Velocity(高速)、Variety(多样)、Veracity（真实性）和Value（价值），其核心在于对这些含有意义的数据进行专业化处理。拓展练习1、答：大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活;云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户；物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。2、答：从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式和数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。云计算、大数据和物联网，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。项目2 部署Hadoop集群自我测试一、选择题1、C2、B3、C4、A5、C6、D课后习题一、填空题1、core-site.xml2、SecondaryNameNode3、ResourceManagerNodeManager二、简答题1、答：hostnamectlset-hostnamepseudo-distributedsshpseudo-distributedjpsnetstat-an|grep22拓展练习答：措施1：全部关闭集群，重新启动。在任意节点执行stop-dfs.sh在yarn的主节点执行stop-yarn.sh重新启动：在任意节点执行start-dfs.sh在yarn的主节点执行start-yarn.sh措施2：单独启动某些进程单独启动hdfs的相关进程：采用hadoop-daemon.shstarthdfs进程如：hadoop-daemon.shstartdatanode单独启动yarn的相关进程：yarn-daemon.shstartyarn的相关进程yarn-daemon.shstartNodeManager项目3 采集数据到HDFS自我测试一、选择题1、B2、D3、A4、C5、C6、C7、B8、D二、判断题1、√2、×3、×4、×5、×6、×课后习题一、填空题1、主从NameNodeDataNode2、hdfsdfs–put3、hdfsdfs-copyToLocal二、简答题1、答：hdfsdfs-mkdirtesthdfsdfs-putfiletest或hdfsdfs-copyFromLocalfiletest。hdfsdfs-appendToFilefile1/test/file。hdfsdfs-lstest。hdfsdfs-getfiletest或hdfsdfs-copyToLocalfiletest。2、答：NameNode：集群的核心,是整个文件系统的管理节点.维护着文件系统的文件目录结构和元数据信息以及文件与数据块列表的对应关系。DataNode：存放具体数据块的节点,主要负责数据的读写,定期向NameNode发送心跳SecondaryNameNode：辅助节点,同步NameNode中的元数据信息,辅助NameNode对fsimage和editsLog进行合并。3、答：Datanode以数据块作为容错单位通常一个数据块会备份到三个datanode上，如果一个datanode出错，则会去其他备份数据块的datanode上读取，并且会把这个datanode上的数据块再复制一份以达到备份的效果。拓展练习答：区别：NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。联系：SecondaryNameNode中保存了一份和NameNode一致的镜像文件（fsimage）和日志文件（edits）。在主NameNode发生故障时，可以从SecondaryNameNode恢复数据，但是SecondaryNameNode不能完全替代NameNode。2、答：hadoopfs：使用范围比较广，可以用于其他文件系统，不止是hdfs文件系统内。hadoopdfs：专门针对hdfs分布式文件系统，已经被弃用。hdfsdfs：和上面的命令作用相同，当使用hadoopdfs时内部会被转为hdfsdfs命令，推荐使用。项目4 部署HDFS的HA集群自我测试一、选择题1、B2、D3、D4、C5、D6、A7、B二、判断题1、√2、√3、√4、×5、×6、√7、√课后习题一、填空题1、单机集群2、13、LeaderFollower4、Zab协议5、单点故障二、简答题1、答：分布式的、开源的分布式应用程序协调服务，原本是Hadoop、HBase的一个重要组件。它为分布式应用提供一致性服务的软件，包括：配置维护、域名服务、分布式同步、组服务等。2、答：HA即为HighAvailability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。3、答：Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。拓展练习1、答：不，对于指定的NameNode，可以在其之前或者之后启动ZKFC均可以，ZKFC只是调度Namenode的存活状态，如果不启动ZKFC，此NameNode将无法参与自动failover过程。2、答：不是。官方声明：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则服务器将这个改变发送给设置了watch的客户端，以便通知它们。项目5部署YARN的HA集群自我测试一、选择题1、A2、C3、C4、D5、B二、判断题1、√2、√3、√4、√5、√6、√课后习题一、填空题1、YetAnotherResourceNegotiator2、RMStateStore3、ResourceManager应用程序管理器（ApplicationsManager，ASM）4、80885、ApplicationMaster二、简答题答：YARN主要由Container、ResourceManager、NodeManager、ApplicationMaster五部分组成。（1）ContainerContainer是YARN中对计算机计算资源的抽象，它封装了某个节点上的多维资源，如CPU、内存、磁盘、网络等。（2）ResourceManager(RM)RM是一个Global（全局）的资源管理器，负责整个系统的资源管理、调度和分配。（3）NodeManager（NM）NM是每个节点上的资源和任务管理器，负责该节点程序的运行，以及该节点资源的管理和使用。（4）ApplicationMaster（AM）结合从ResourceManager获得的资源和NodeManager协同工作来运行和监控任务。拓展练习答：ResourceManager：存在单点故障，基于ZooKeeper实现HA避免单点故障。NodeManager：失败后，RM将失败任务告诉对应的AM，AM决定如何处理失败的任务。ApplicationMaster：失败后，由RM负责重启，AM需要处理内部任务的容错问题，AM会保存已经运行完成的Task，重启后无需重新运行。面对YARN主节点ResourceManager单点故障，如何解决？通过ZooKeeper可以实现YARN的HA，从而避免单点故障。ResourceManager由一对分别处于Active和Standby状态的ResourceManager组成，它使用基于Zookeeper的选举算法来决定ResourceManager的状态，如当Active节点无法正常工作（如机器宕机或重启）时，处于Standby的就会通过竞争选举产生新的Active节点。项目6MapReduce应用自我测试一、选择题1、B2、ABCD3、BCD4、ACD二、填空题1、分而治之2、Shuffle3、Writable课后习题一、简答题1、答：Map和Reduce函数都是以一组<key，value>键值对作为输入，按照一定的映射规则转换为另一组<key，value>键值对输出。Map函数的输入来自HDFS中的数据块，数据格式可以是任意的，<key，value>键值对的类型也是任意的。Reduce函数的任务就是将输入的一系列具有相同键的键值进行处理，输出结果通常会合并成一个文件。2、答：分别继承Mapper类和Reducer类，并重写map函数。3、答：（1）MapReduce框架使用InputFormat模块做Map前的预处理，然后将输入文件切分为多个Split（即分片），Split是MapReduce对文件进行处理和运算的输入单位，只是一个逻辑概念，每个分片并没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。默认情况下，以HDFS的一个Block的大小（一般为128MB）为一个分片，每个Map任务处理一个分片。（2）Map任务会根据函数定义的映射规则，对输入的键值对进行处理，生成新的<key，value>作为中间结果。（3）为了让Reduce可以并行处理Map的结果，需要对Map输出进行一定的分区（Partition）、排序（Sort）、合并（Combine）、归并（Merge）等操作，得到<key，value-list>形式的中间结果，再交给对应的Reduce进行处理，这个过程成为Shuffle。Shuffle可以说是MapReduce整个工作流程的核心环节，它的职责就是把Map端的输出结果有效地传送到Reduce端。（4）Reduce任务以一系列<key，value-list>中间结果作为输入，执行用户定义的reduce函数，输出结果交给OutputFormat模块。OutputFormat模块会验证输出目录是否存在以及输出结果类型是否符合配置文件中规定的类型，如果都满足，就将Reduce最终输出结果存入HDFS中。4、答：不一定，根据用户需求可以编写只需要Map过程的MapReduce程序，或者只需要Reduce过程的mapReduce程序。5、答：Combiner可以减少Map端需要溢写到磁盘的数据量。并非所有场合都可以使用Combiner，因为Combiner的输出是Reduce任务的数据，Combiner绝不能改变Reduce任务的最终计算结果，一般而言，求累加和、最大值等操作可以使用Combiner。项目7部署开源数据库HBase自我测试一、选择题1、C2、B3、A4、D5、CD6、BCD二、填空题1、Region2、TimeStamp3、disable，drop课后习题一、简答题1、答：（1）HBase基于列模式存储，而关系数据库是基于行模式存储的。（2）关系数据库采用的关系模型具有丰富的数据类型，而HBase采用了更加简单的数据模型，它把所有数据都存储为未经解释的字符串，用户可以把不同格式的结构化数据、半结构化数据以及非结构化数据都序列化成字符串保存到HBase中。（3）关系数据库中的许多操作，如插入、删除、更新、查询等，会涉及到复杂的多表连接，通常是依靠多个表之间的主外键关联来实现的。而HBase中不存在多表连接，通常只采用单表的主键查询。（4）在关系数据库中执行更新操作时会用新值替换旧值，旧值被覆盖后就不会存在。在HBase中执行更新操作时，并不会删除旧的数据版本，而是生成一个新的数据版本，旧的版本依然保留。（5）关系数据库很难实现横向扩展，纵向扩展的空间也非常有限。与之相反，HBase这类分布式数据库就是为了实现灵活的水平扩展而开发的，因此能用轻易地通过在集群中增加或减少节点数量来实现性能的伸缩。2、答：行键：每个HBase表都有若干行组成，表中的数据按照行键的字典序排序存储。每个行由行键来标识，行键也是表的主键。列族：一个HBase表可以说是一个或多个列族的集合，它是基本的访问控制单元。存储在一个列族中的所有数据通常都属于同一种数据类型，这就意味着具有更高的压缩率。表中的每个列都归属于某个列族，数据在被存放到某个列之前，必须先创建列所属的列族，列名都以列族作为前缀。在HBase中，访问控制、磁盘和内存的使用统计都是在列族层面进行的。列限定符：列族里的数据通过列限定符来定位，列限定符不用事先定义，也不需要在不同行之间保持一致。时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引，每次数据操作（新建、修改、删除）时，HBase都会隐式地自动生成并存储一个时间戳，也可以由用户自己生成时间戳。HBase中的时间戳可以看作是数据的版本号。3、答：HBase的实现包括三个主要的功能组件：库函数：负责链接到每个客户端。Region服务器：是HBase中最核心的模块，负责存储和维护分配给自己的Region，处理来自客户端的读写请求，切分在运行过程中变得过大的Region。HBase一般采用HDFS作为底层存储文件系统，因此Region服务器需要向HDFS文件系统中读写数据。HBase自身并不具备数据复制和维护数据副本的功能，而HDFS可以提供这些支持，为HBase提供可靠稳定的数据存储。主服务器Master：负责管理和维护HBase表的分区信息，比如管理用户对表的增、删、改、查等操作，还有维护Region服务器列表，分配Region，比如一个表被分成了哪些Region，每个Region被存放在哪台Region服务器上。Master也会确保整个集群内部不同Region服务器之间的负载均衡：在Region分裂或合并后，负责调整Region的分布；当某个Region服务器出现故障而失效时，Master会把该故障服务器上存储的Region重新分配给其他可用的Region服务器。4、答：层次名称作用第一层Zookeeper记录-ROOT-表的位置信息第二层-ROOT-表记录.META.表的Region位置信息。-ROOT-表中只有一个Region，因此通过该表就能访问到.META.表中的所有信息第三层.META.表记录用户数据表的Region位置信息。.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息5、答：客户端访问用户数据需要先访问Zookeeper服务器，获取-ROOT-表的位置信息，然后访问-ROOT-表，获得.META.表的信息，接着访问.META.表，找到存放所需数据的Region位于哪个Region服务器上，最后到该Region服务器中读取数据。即通过“三级寻址”找到用书数据表所在的Region服务器，不需要连接主服务器Master，这样可以减轻主服务器的负载。6、答：当用户写数据时，会被分配到相应的Region服务器去执行操作。用户数据首先被写入到MemStore和HLog中。只有当操作写入HLog之后，commit()调用才会将其返回给客户端；当用户读数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上的StoreFile中寻找。7、答：HBase为每个Region服务器配置了一个HLog文件，它是一种预写式日志，即用户封信数据必须被记入日志后才能写入MemStore缓存。Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master，Master随即处理故障Region服务器上的HLog文件，由于一个Region服务器上可能会维护多个Region对象，这些Region对象共用一个HLog文件，因此这个HLog文件中包含了多个Region对象的日志记录。系统会根据每条日志记录所属的Region对象堆HLog数据进行拆分，分别放到相应Region对象的目录下，然后再将失效的Region和对应的HLog日志记录重新分配到可用的Region服务器中，Region服务器会重新做一遍该日志记录中的各种操作，把日志记录中的数据写入MemStore缓存，缓存满后再刷新到磁盘的StoreFile文件中，完成数据恢复。项目8部署数据仓库具Hive自我测试一、选择题1、B2、A3、D4、C5、ABC6、ABCD二、填空题1、嵌入模式、本地模式、远程模式2、MapReduce课后习题一、简答题1、答：Hive是架构在整个Hadoop体系结构的顶层，它是建立在Hadoop平台之上的数据仓库，基于底层的HDFS、HBase和MapReduce等组件。图中还有一个组件Pig，Pig在某种程度上跟Hive提供的数据仓库功能有些类似，区别是Pig相对于Hive而言是一种轻量级分析工具，Pig主要是用于数据仓库的ETL环节，Hive主要用于数据仓库海量数据的批处理环节。我们在上个项目中还学习了HBase数据库，HBase是可以支持实时交互式查询分析，而Hive的时延比较高，这样HBase和Hive形成了一种互补的关系。2、答：Hive体系架构中包含了三个核心模块：第一个模块是用户接口模块，使外部的用户和应用程序能够访问；第二个模块是驱动模块，包含了编译器、优化器和执行器，负责把HiveQL语句转换成一系列MapReduce作业；第三个模块是元数据存储模块，用来存储数据仓库中的元数据，包括哪些表、表中有哪些列、列的名称等，以及里面相关的分区信息。答：Hive提供的对外访问接口有四类：CLI命令行工具、HWI（HiveWebInterface，Hive的Web接口）、JDBC和ODBC（开放的数据库连接访问接口，支持很多应用开发）、ThriftServer（基于Thrift架构开发的接口，允许外界通过这个接口实现对Hive数据仓库的RPC调用）。答：Hive架构中的元数据是被存放在一个独立的关系型数据库中，这个独立的关系型数据库可以是它自带的数据库产品Derby，也可以是其他的关系型数据库，如MySQL。5、答：（1）由Hive驱动模块中的编译器对用户输入的SQL语言进行词法和语法解析，将SQL语句转化为抽象语法树的形式；（2）抽象语法树的结构仍很复杂，不方便直接翻译为MapReduce算法程序，因此把抽象语法数转化为查询块；（3）把查询块转换成逻辑查询计划，里面包含了许多逻辑操作符；（4）重写逻辑查询计划，进行优化，合并多余操作，减少MapReduce任务数量；（5）将逻辑操作符转换成需要执行的具体MapReduce任务；（6）对生成的MapReduce任务进行优化，生成最终的MapReduce任务执行计划；（7）由Hive驱动模块中的执行器，对最终的MapReduce任务进行执行输出。6、答：Hive支持整型、浮点型、双精度、布尔型、字符型、时间戳和字符数组等基本数据类型，此外还提供了一些集合数据类型，包括array、map、struct等。项目9 利用Flume监听数据自我测试一、选择题1、A2、C3、B4、B5、D课后习题一、填空题1、Source,Channel,Sink2、netcatsource、Execsource、Avrosource3、a1.sinks.k1.type4、Channel,Sink5、MemoryChannel二、简答题1、答：Flumeagent是一个（JVM）进程，承载了三大组件Source、Channel、Sink，事件通过这些组件从外部源流到下一个目标。FlumeSource是负责接收数据到FlumeAgent的组件，接收外部源（如Web服务器）传递给它的事件，外部源以目标FlumeSource可以识别的格式将事件发送到FlumeSource。Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，报头被标记为一个map，其中有字符串key和字符串value。报头只是为了路由和标记事件的优先级。报头也可以用来给事件增加ID或者UUID。每个事件本质上必须是一个独立的记录，而不是记录的一部分，这也就要求每个事件要适应FlumeAgentJVM的内存。答：a1.sources=r1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=6666a1.sources.r1.channels=c13、答：FlumeChannel是被动存储，负责临时缓冲FlumeSource已经接收但还未写入到另一个Agent或存储系统的数据。FlumeSource将数据写入到Channel，Sink从Channel读取数据，Channel负责连接Source和Sink。一个Sink只能从一个Channel读取数据，多个Sink也可以从相同的Channel读取数据。Channel支持多种类型，如JDBC、文件系统、内存等拓展练习答：FileChannel将event写入磁盘文件，与MemoryChannel相比存储容量大，无数据丢失风险。FileChannel数据存储路径可以配置多磁盘文件路径，通过磁盘并行写入提高FileChannel性能。Flume将Event顺序写入到FileChannel文件的末尾。可以在配置文件中通过设置maxFileSize参数配置数据文件大小，当被写入的文件大小达到上限的时候，Flume会重新创建新的文件存储写入Event。当一个已经关闭的只读数据文件的Event被读取完成，并且Sink已经提交读取完成的事务，则Flume把存储该数据的文件删除。2、答：source：增加source个数，可以增大source读取能力。具体做法：如果一个目录下生成的文件过多，可以将它拆分成多个目录。每个目录都配置一个source。增大batchSize：可以增大一次性批处理的event条数，适当调大这个参数，可以调高source搬运数据到channel的性能。channel：memory：性能好，但是，如果发生意外，可能丢失数据。使用filechannel时，dataDirs配置多个不同盘下的目录可以提高性能。transactionCapacity需要大于source和sink的batchSize参数项目10 Sqoop数据传输应用自我测试一、选择题1、C2、C3、D4、C5、D课后习题一、填空题1、sqoopversion2、table3、dropdatabaseifexists`school`;4、hadoopfs–cat文件路径5、list-databases二、简答题答：Sqoop是一款开源的数据传输工具，一个在关系型数据库（Mysql、Oracle）和Hadoop之间进行批量数据传输的工具，可以通过sqoop把数据从关系数据库（比如mysql,oracle）导入到在Hadoop中；也可以把数据从在Hadoop中导出到关系型数据库中。Sqoop底层用MapReduce程序实现数据的抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，MapReduce任务在Hadoop集群上运行，减少了对服务器资源的浪费情况，在性能方面有很大的提升。答：sqoop使用list-tables命令查看指定数据库下所有的数据表，在使用该命名时需要指定username、password、connect等参数，例如：sqooplist-tables--usernameroot--password123456--connectjdbc:mysql://localhost:3306/school。FlumeChannel是被动存储，负责临时缓冲FlumeSource已经接收但还未写入到另一个Agent或存储系统的数据。FlumeSource将数据写入到Channel，Sink从Channel读取数据，Channel负责连接Source和Sink。一个Sink只能从一个Channel读取数据，多个Sink也可以从相同的Channel读取数据。Channel支持多种类型，如JDBC、文件系统、内存等答：在数据传输之前，我们首先需要在关系数据库Mysql中新建数据表为接收从HDFS传输过来的数据做准备。其次，需用使用Sqoop的export命令以及具体的命令参数实现数据从HDFS导出到Mysql指定的数据表中。最后，我们需要用Sql查询命令查看新建的数据中是否正确导入HDFS文件中的数据并确保导入数据正确性和完整性。拓展练习答：Sqoop将数据从HDFS导出到关系数据库Mysql时，为避免出现乱，可以在Sqoopexport命令中指定connect参数时，在数据库后面强制加上编码的方式并指定为UTF-8，及添加characterEncoding=UTF-8。若想将HDFS文件中的null值替换为Mysql数据表中的空字符串，可以在Sqoopexport命令中指定–input-null-string参数，并将其参数值设置为Mysql中的空串值。答：Sqoop是一款开源的数据传输工具，主要用于在Hadoop与传统的关系数据库(mysql、Oracle等)间进行数据的传递，Kettle是一款国165外开源的ETL工具，纯java编写，可以在回Window、Linux、Unix上运行，数据抽取高效稳定。两者的主要区别表示为下表：项目11利用Ambari部署Hadoop集群自我测试一、选择题1、A2、D3、D课后习题一、填空题1、AmbariServerAmbariAgent2、AmbariWebRestAPIAmbariShell3、消息队列操作队列4、AmbariClouderaManger项目12 大数据的未来一、选择题1、B2、B3、C4、A5、D课后习题一、填空题1、医疗智慧城市教育2、疾病治疗和预防年老者精确医疗救助语音识别指定医疗方案3、通过数据汇集加速信息资源整合应用通过精准分析提升政府公共服务水平通过数据开放助推城市数字经济发展4、数据的采集和分析成为基石教育产品体系多样化产学研合力谋求突破人才培养意识开始凸显5、高速度泛在网低功耗低时延二、简答题答：首先，5G时代数据规模爆炸式增长使大数据技术中全量数据的分析、挖掘成为可能，其数据分析结果更具普遍性和通用性；其次，5G万物互联的时代，数据种类和形式爆发增长，对于处理复杂、多样、海量的数据需要综合运用多种大数据存储、