Hadoop期中考试测试

Hadoop期中考试1．单选题（每个1.5分，共20分）（1） Mapreduce擅长哪个领域的计算（ A）。离线批处理DAG计算流式计算实时计算（2）关于MapReduce原理，下面说法错误的是（D）。分为Map和Reduce两个阶段Map阶段由一系列Map任务组成Reduce阶段由一系列Reduce任务组成Map阶段与Reduce阶段没有任何依赖关系（3） HDFS默认副本数是（C）。12TOC\o"1-5"\h\z34（4）不属于HDFS架构组成部分是（ D）。NameNodeSecondaryNameNodeDataNodeTaskTracke（rHadoopMapReduce1.0的组件）★（5）关于Block和Split两个概念，下面说法错误的是（C）。Block是HDFS中最小的数据存储单位Split是MapReduce中最小的计算单元Block是Split是一一对应关系（默认是——对应的）Block和Split之间对应关系是任意的，可由用户控制（6） 以下不属于Hadoop内核的组成部分的是（C）。HDFSMapReduceHBaseYARN（7） 不属于HBase中的术语的是（D）。ColumnColumnFamilyRowKeyMeta（8）下面关于Hive，说法错误的是（ A）。Hive支持所有标准SQL语法Hive底层采用的计算引擎是 MapReduce（目前支持Spark、Tez等）Hive提供的HQL语法，与传统SQL很类似HiveServer可采用MySQL存储元数据信息（9）通常而言，一个标准的生产环境（考虑成本、效益等）中，Zookeeper实例个数不可能是（B）。TOC\o"1-5"\h\z3457（10） Flume的主要作用是（C）。数据处理和分析数据存储数据收集网络爬虫（11）HBase支持多语言（比如C++、Python等）访问，为实现该功能，它采用的开源软件是（C）。protobuf自定义网络协议thriftavro（12） 关于HDFS和HBase说法错误的是（D）。HDFS不能随机读写，HBase可以HDFS适合存储大文件，HBase可以存储小文件HBase底层采用了HDFSHDFS和HBase无直接关系（13） YARN和MapReduce的关系是（A）。MapReduce是一个计算框架，可运行在 YARN之上YARN是一个计算框架，可运行在 MapReduce之上MapReduce和YARN无直接关系以上回答均不正确★★★（14）关于MapReduce中的数据本地性，下面方法正确的是（AB）。MapTask和ReduceTask都会考虑数据本地性只有MapTask会考虑数据本地性（Reduce阶段是从Map阶段拉取Shuffle数据的）只有ReduceTask会考虑数据本地性MapTask和ReduceTask都不考虑数据本地性（15）与Hive相比，Presto主要优势是（C）。利用MapReduce进行分布式计算，更加高效完全分布式计算，可以充分利用集群资源MPP架构，全内存计算有很强的容错性（16）下面哪种存储格式是Hive中常用的列式存储格式（ D）。TextFileSequeneeFileParquetORC★（17）下面哪个信息不会存储在 HBase的一个cell（EC）。rowkeycolumnfamily名称表名列名版本号cell值数据存储冗余，非常耗费空间（18）默认情况下，一个MapReduce作业（处理的数据HDFS上的一个目录）的maptask个数是由（B）决定的。目录中文件个数目录对应的block数目C•默认个数是1D.用户自己指定HDFS,Block默认大小为128MB。一个Block文件只能来自于一个文件。查看一个文件有多少个 Block的命令：hdfsfsck/input-iles-blocks-locations（19） Hive和Presto支持标准SQL吗？（BD）都支持都不支持Hive支持，Presto不支持Hive不支持，Presto支持（20）既然有了Hive，还需要用MapReduce编写程序处理数据吗？（ B）不需要Bg-需^<.多选题（每个4分，共20分）（1）关于HDFS说法正确的是（ABC）不存在NameNode单点故障问题一个集群可存在多个NameNode对外提供服务HDFSHA和Federation是它的两大特色不能存储小文件（2） 关于Kafka,说法正确的是（BCD）是一个分布式key/value存储系统由producer、broker禾口consumer等角色构成通过zookeeper进行服务协调消息可以存成多个副本以达到容错的目标（3） 关于MapReduce，说法正确的是（ ACD）A.MapReduce具有容错性，一台节点挂掉不会导致整个应用程序运行失败所有MapReduce程序公用一个ApplicationMasterMapReduce程序可以运行在YARN之上（也可以运行在本地）MapReduce是Hive默认的计算引擎（4） 用户可使用哪几种语言开发 MapReduce应用程序（ABCD）A.C++B.JavaC.PHPD.Go（5） 下面哪几个属于YARN自带的资源调度器（BCD）DeadlineSchedulerFIFO（先进先出）CapacityScheduler（容错调度系统）FairScheduler(公平调度系统)3．简答题(每个5分，共10分)(1)描述MapReduce作业从提交到YARN上，到运行结束的整个过程，请用步骤 1，步骤2,…，描述。答：步骤1,客户端提交请求到Yarn的ResourceManager步骤2,RM确定一个AppMaster步骤3,AppMaster向RM申请NodeManager步骤4,AppMaster将Task发送给NodeManager仅限执行步骤5,AppMaster负责收集NodeManager的运行结果步骤6,AppMaster将结果返回给客户端(2)★试描述如何对HadoopStreaming程序进行调试？并举出一个例子。答：？单机运行，本地测试：1.txt:cat，管道输入Mapper,sort(3) 试写出以下操作的shell命令：在HDFS上创建目录/home/test答：hdfsdfs-mkdir/homehdfsdfs-mkdir/home/test或hdfsdfs-mkdir-p/home/test将正在运行的ID为的应用程序杀死答：查看HDFS上文件/home/test/1.txt的大小答：hdfsdfs-ls/home/test/1.txt在Hive中创建一个parquet表，采用gzip压缩格式，该表名为test，包含两列：int类型名为id的列和string类型名为namename的列。如何在Presto中创建这个表，有何不同？答：createtableifnotexiststest(idint,namenamestring)gzipstoredasparquet;4.编程题(40分)(1)有一批文件,格式如下：每行有4列,每一列均是一个整数,列之间采用“ .”作为分隔符,将数据按照第二列和第三列分组,每组中第四列所有数之和。注：如果第二列相同,则按照第三列分组,比如上述结果为：TOC\o"1-5"\h\z3511.4 1结果中，key为"第二列和第三列"值，value是对应的第四列累加和，key和value之间使用\t分割。要求：使用任意语言实现以上功能，写出Mapper和Reducer，并给出相应的作业提交命令(或脚本)。

答：(根据WordCount实例进行改造)Mapper:String[]values=value.toString().split( “.”);TextoutputKey=newText( values[1]+'.'+values[2] );IntWritableoutputValue=newIntWritable(Integer.parsetInt(values[3]));Context.write(outputKey,outputValue);Reducer:无需调整(2)编写MapReduce程序实现以下功