大数据平台搭建与运维 期末考试试卷及答案 共3套

PAGE本试卷共=Numpages2*24页，第=Page2*2-13页本试卷共=Numpages2*24页，第=Page2*24页20XX—20XX学年度第X学期期末考核试卷考核课程：大数据平台搭建与运维考核类型：考查考核形式：闭卷学生所在学院：XXXXXX学院班级：XXXX班试卷：A题号一二三总分得分一、判断题（每题3分，共30分）得分一、判断题（每题3分，共30分）得分Hadoop主要用于大数据的在线分析处理，是一款商业软件。（）Hadoop不需要JDK的支持就可以独立运行。（）Hadoop运行的操作系统是Linux。（）OracleVMVirtualBox创建的虚拟机之间可以互相联通.。（）伪分布模式的Hadoop建立在单个服务器中，一般用于调试程序。（）Hadoop核心的分布式文件系统是HDFS。（）Hadoop的工作模式分三类：单机模式、伪分布式、集群模式。（）Google公司发布的三篇论文中，GFS、MapReduce、BigTable称为Google基础平台的三个支柱。（）9、标准的Hadoop系统存储的数据是NoSQL模式。（）10、伪分布式Hadoop系统的名称节点和数据节点在不同的机器上。（）二、选择题（每题4分，共40分）二、选择题（每题4分，共40分）得分1. 下面哪个程序负责HDFS数据存储。a) NameNodeb) Jobtrackerc) Datanoded) secondaryNameNode2. 下列哪个程序通常与NameNode在一个节点启动？a) SecondaryNameNodeb) DataNodec) TaskTrackerd) Jobtracker3. HDFS默认BlockSizea) 32MBb) 64MBc) 128MB4. 关于SecondaryNameNode哪项是正确的？a) 它是NameNode的热备b) 它对内存没有要求c) 它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间d) SecondaryNameNode应与NameNode部署到一个节点5. HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB6. 下列哪项可以作为集群的管理工具（多选）a) Puppetb) Pdshc) ClouderaManagerd) Rsync+ssh+scp7. 配置机架感知的下面哪项正确a) 如果一个机架出问题，不会影响数据读写b) 写入数据的时候会写到不同机架的DataNode中c) MapReduce会根据机架获取离自己比较近的网络数据8. 下列哪个是Hadoop运行的模式a) 单机版b) 伪分布式c) 分布式9、以下哪个不是HDFS的守护进程？a)、secondarynamenodeb)、datanodec)、mrappmaster/yarnchildd)、namenode10、HDFS集群中的namenode职责不包括？a)、维护HDFS集群的目录树结构b)、维护HDFS集群的所有数据块的分布、副本数和负载均衡c)、负责保存客户端上传的数据d)、响应客户端的所有读写数据请求三、简答题（每题10分，共30分）三、简答题（每题10分，共30分）得分1.简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤。2.请列出正常工作的hadoop集群中hadoop都分别需要启动那些进程，他们的作用分别是什么？3.请简述MapReduce中combiner、partition的作用。20XX—20XX学年度第X学期期末考核试卷参考答案及评分标准考核课程：大数据平台搭建与运维考核类型：统考考核形式：闭卷学生所在院系：XXXXX学院班级：XXXXX班试卷：A要求：明确标注每小题或每步骤得分点一、判断题（每题3分，共30分）错错对对对对对对对错二、选择题（每题4分，共40分）（1-5）：cdbcb6:abcd7:abc8:abc9-10:cc三、简答题（每题10分，共30分）1.每步1分，综合答题格式得1分。1)安装JDK并配置环境变量（/etc/profile）2)关闭防火墙3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml7)格式化hdfs文件系统（hadoopnamenode-format）8)启动hadoop（$HADOOP_HOME/bin/start-all.sh）9)使用jps查看进程2、每条2分，共5条1)NameNode:HDFS的守护进程，负责记录文件是如何分割成数据块，以及这些数据块分别被存储到那些数据节点上，它的主要功能是对内存及IO进行集中管理2)SecondaryNameNode：辅助后台程序，与NameNode进行通信，以便定期保存HDFS元数据的快照。3)DataNode：负责把HDFS数据块读写到本地的文件系统。4)JobTracker：负责分配task，并监控所有运行的task。5)TaskTracker：负责执行具体的task，并与JobTracker进行交互。3.每个项目5分，共2个项目。1)combiner：有时一个map可能会产生大量的输出，combiner的作用是在map端对输出先做一次合并，以减少网络传输到reducer的数量。注意：mapper的输出为combiner的输入，reducer的输入为combiner的输出。2)partition：把map任务输出的中间结果按照key的范围划分成R份(R是预先定义的reduce任务的个数)，划分时通常使用hash函数，如：hash(key)modR这样可以保证一段范围内的key，一定会由一个reduce任务来处理。命题教师XXXX课程（教研）组长签字系部负责人签字20XX—20XX学年度第X学期期末考核试卷考核课程：大数据平台搭建与运维考核类型：考查考核形式：闭卷学生所在学院：XXXXXX学院班级：XXXX班试卷：B题号一二三总分得分一、判断题（每题3分，共30分）得分一、判断题（每题3分，共30分）得分Hadoop核心的分布式文件系统是HDFS。（）Hadoop的工作模式分三类：单机模式、伪分布式、集群模式。（）Google公司发布的三篇论文中，GFS、MapReduce、BigTable称为Google基础平台的三个支柱。（）4、Hadoop是使用Java开发的，所以MapReduce只能使用Java语言编写。（）5、Hadoop支持数据的随机写入。（）6、NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中读取或者会写入metadata信息并反馈client端。（）7、MapReduce的inputsplit就是一个Block。（）8、Hadoop环境变量中的HADOOP_HEAPSIZE用于设置所有Hadoop守护线程的内存。它默认是200MB。（）9、DataNode首次加入cluster的时候，如果log中报告不兼容文件版本，那需要NameNode执行“hadoopnamenode-format”操作格式化磁盘。（）10、Nagios不可以监控Hadoop集群，因为它不提供Hadoop支持。（）二、选择题（每题4分，共40分）二、选择题（每题4分，共40分）得分1. 关于SecondaryNameNode哪项是正确的？（）a) 它是NameNode的热备b) 它对内存没有要求c) 它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间d) SecondaryNameNode应与NameNode部署到一个节点2. 一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？（）a) 1b) 2c) 3d) 43. HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？（）a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB4. HDFS有一个LZO（withindex）文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？（）a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB5. 下列哪项可以作为集群的管理工具(多选)（）a) Puppetb) Pdshc) ClouderaManagerd) Rsync+ssh+scp6. Client端上传文件的时候下列哪项正确(多选)（）a) 数据经过NameNode传递给DataNodeb) Client端将文件以Block为单位，管道方式依次传到DataNodec) Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作d) 当某个DataNode失败，客户端会继续传给其它DataNode7、如果我们现有一个安装2.6.5版本的hadoop集群，在不修改默认配置的情况下存储200个每个200M的文本文件，请问最终会在集群中产生多少个数据块（包括副本）？（）a)、200b)、40000c)、400d)、12008、以下哪个不是HDFS的守护进程？（）a)、secondarynamenodeb)、datanodec)、mrappmaster/yarnchildd)、namenode9、HDFS集群中的namenode职责不包括？（）a)、维护HDFS集群的目录树结构b)、维护HDFS集群的所有数据块的分布、副本数和负载均衡c)、负责保存客户端上传的数据d)、响应客户端的所有读写数据请求10、关于HDFS集群中的datanode的描述不正确的是？（）a)、datanode之间都是独立的，相互之间不会有通信b)、存储客户端上传的数据的数据块c)、一个datanode上存储的所有数据块可以有相同的d)、响应客户端的所有读写数据请求，为客户端的存储和读取数据提供支撑三、简答题（每题10分，共30分）三、简答题（每题10分，共30分）得分1.简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤。2.写出启动和退出Hadoop集群的命令步骤。请简述ssh免密登录的配置过程。20XX—20XX学年度第X学期期末考核试卷参考答案及评分标准考核课程：大数据平台搭建与运维考核类型：统考考核形式：闭卷学生所在院系：XXXXX学院班级：XXXXX班试卷：B要求：明确标注每小题或每步骤得分点一、判断题（每题3分，共30分）对对对错错错错错错错二、选择题（每题4分，共40分）（1-4）：cbbc5:abcd6:bc(7-10):dccc三、简答题（每题10分，共30分）1.每步1分，综合答题格式得1分。1)安装JDK并配置环境变量（/etc/profile）2)关闭防火墙3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml7)格式化hdfs文件系统（hadoopnamenode-format）8)启动hadoop（$HADOOP_HOME/bin/start-all.sh）9)使用jps查看进程2.每个项目5分（2+2+1），共2个项目1)启动Start-dfs.shStart-yarn.shmr-jobhistory-daemon.shstarthistoryserver2)退出Stop-dfs.shStop-yarn.shmr-jobhistory-daemon.shstophistoryserver3.每个步骤2.5分，共4步。1）sshlocalhost//创建.ssh目录2)cd~/.ssh3)ssh-keygen–trsa4)cat./id_rsa.pub>>./authorized_keys#加入授权20XX—20XX学年度第X学期期末考核试卷考核课程：大数据平台搭建与运维考核类型：考查考核形式：闭卷学生所在学院：XXXXXX学院班级：XXXXXX班试卷：C题号一二三总分得分一、判断题（每题3分，共30分）得分一、判断题（每题3分，共30分）得分Hadoop不需要JDK的支持就可以独立运行。（）OracleVMVirtualBox创建的虚拟机之间可以互相联通（）3、标准的Hadoop系统存储的数据是NoSQL模式。（）4、伪分布式Hadoop系统的名称节点和数据节点在不同的机器上。（）5、如果NameNode意外终止，SecondaryNameNode会接替它使集群继续工作。（）6、Hadoop是使用Java开发的，所以MapReduce只能使用Java语言编写。（）7、NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中读取或者会写入metadata信息并反馈client端。（）8、因为HDFS有多个副本，所以NameNode是不存在单点问题的。（）9、DataNode首次加入cluster的时候，如果log中报告不兼容文件版本，那需要NameNode执行“hadoopnamenode-format”操作格式化磁盘。（）10、GZIP压缩算法比LZO更快。（）二、选择题（每题4分，共4二、选择题（每题4分，共40分）得分1. HDfS中的block默认保存几份？（）a) 3份b) 2份c) 1份d) 不确定2. Hadoop作者（）a) MartinFowlerb) KentBeckc) Dougcuttingd)Birl3. 下列哪项通常是集群的最主要的性能瓶颈（）a) CPUb) 网络c) 磁盘d) 内存4. 一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？（）a) 1b) 2c) 3d) 45. HDFS有一个LZO（withindex）文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？（）a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB6. 配置机架感知的下面哪项正确（多选）（）a) 如果一个机架出问题，不会影响数据读写b) 写入数据的时候会写到不同机架的DataNode中c) MapReduce会根据机架获取离自己比较近的网络数据7. 下列哪个是Hadoop运行的模式（多选）（）a) 单机版b) 伪分布式c) 分布式8、下列哪个属性是hdfs-site.xml中的配置？（）a)、dfs.replicationb)、fs.defaultFSc)、d)、yarn.resourcemanager.address9、Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是？（）a)、32Mb)、64Mc)、128Md)、256M10、如果我们现有一个安装2.6.5版本的hadoop集群，在不修改默认配置的情况下存储200个每个200M的文本文件，请问最终会在集群中产生多少个数据块（包括副本）？（）a)、200b)、40000c)、400d)、1200三、简答题（每题10分，共30分）三、简答题（每题10分，共30分）得分1.简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤。2.请简述ssh免密登录的配置过程。请简述MapReduce中combiner、partition的作用。20XX—20XX学年度第X学期期末考核试卷参考答案及评分标准考核课程：大数据平台搭建与运维考核类型：统考考核形式：闭卷学生所在院系：XXXXX学院班级：XXXXX班