大数据平台搭建与运维 期末考试试卷及答案（A）

PAGE本试卷共=Numpages2*24页，第=Page2*2-13页本试卷共=Numpages2*24页，第=Page2*24页20XX—20XX学年度第X学期期末考核试卷考核课程：大数据平台搭建与运维考核类型：考查考核形式：闭卷学生所在学院：XXXXXX学院班级：XXXX班试卷：A题号一二三总分得分一、判断题（每题3分，共30分）得分一、判断题（每题3分，共30分）得分Hadoop主要用于大数据的在线分析处理，是一款商业软件。（）Hadoop不需要JDK的支持就可以独立运行。（）Hadoop运行的操作系统是Linux。（）OracleVMVirtualBox创建的虚拟机之间可以互相联通.。（）伪分布模式的Hadoop建立在单个服务器中，一般用于调试程序。（）Hadoop核心的分布式文件系统是HDFS。（）Hadoop的工作模式分三类：单机模式、伪分布式、集群模式。（）Google公司发布的三篇论文中，GFS、MapReduce、BigTable称为Google基础平台的三个支柱。（）9、标准的Hadoop系统存储的数据是NoSQL模式。（）10、伪分布式Hadoop系统的名称节点和数据节点在不同的机器上。（）二、选择题（每题4分，共40分）二、选择题（每题4分，共40分）得分1. 下面哪个程序负责HDFS数据存储。a) NameNodeb) Jobtrackerc) Datanoded) secondaryNameNode2. 下列哪个程序通常与NameNode在一个节点启动？a) SecondaryNameNodeb) DataNodec) TaskTrackerd) Jobtracker3. HDFS默认BlockSizea) 32MBb) 64MBc) 128MB4. 关于SecondaryNameNode哪项是正确的？a) 它是NameNode的热备b) 它对内存没有要求c) 它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间d) SecondaryNameNode应与NameNode部署到一个节点5. HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB6. 下列哪项可以作为集群的管理工具（多选）a) Puppetb) Pdshc) ClouderaManagerd) Rsync+ssh+scp7. 配置机架感知的下面哪项正确a) 如果一个机架出问题，不会影响数据读写b) 写入数据的时候会写到不同机架的DataNode中c) MapReduce会根据机架获取离自己比较近的网络数据8. 下列哪个是Hadoop运行的模式a) 单机版b) 伪分布式c) 分布式9、以下哪个不是HDFS的守护进程？a)、secondarynamenodeb)、datanodec)、mrappmaster/yarnchildd)、namenode10、HDFS集群中的namenode职责不包括？a)、维护HDFS集群的目录树结构b)、维护HDFS集群的所有数据块的分布、副本数和负载均衡c)、负责保存客户端上传的数据d)、响应客户端的所有读写数据请求三、简答题（每题10分，共30分）三、简答题（每题10分，共30分）得分1.简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤。2.请列出正常工作的hadoop集群中hadoop都分别需要启动那些进程，他们的作用分别是什么？3.请简述MapReduce中combiner、partition的作用。20XX—20XX学年度第X学期期末考核试卷参考答案及评分标准考核课程：大数据平台搭建与运维考核类型：统考考核形式：闭卷学生所在院系：XXXXX学院班级：XXXXX班试卷：A要求：明确标注每小题或每步骤得分点一、判断题（每题3分，共30分）错错对对对对对对对错二、选择题（每题4分，共40分）（1-5）：cdbcb6:abcd7:abc8:abc9-10:cc三、简答题（每题10分，共30分）1.每步1分，综合答题格式得1分。1)安装JDK并配置环境变量（/etc/profile）2)关闭防火墙3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml7)格式化hdfs文件系统（hadoopnamenode-format）8)启动hadoop（$HADOOP_HOME/bin/start-all.sh）9)使用jps查看进程2、每条2分，共5条1)NameNode:HDFS的守护进程，负责记录文件是如何分割成数据块，以及这些数据块分别被存储到那些数据节点上，它的主要功能是对内存及IO进行集中管理2)SecondaryNameNode：辅助后台程序，与NameNode进行通信，以便定期保存HDFS元数据的快照。3)DataNode：负责把HDFS数据块读写到本地的文件系统。4)JobTracker：负责分配task，并监控所有运行的task。5)TaskTracker：负责执行具体的task，并与JobTracker进行交互。3.每个项目5分，共2个项目。1)combiner：有时一个map可能会产生大量的输出，combiner的作用是在map端对输出先做一次合并，以减少网络传输到reducer的数量。注意：mapper的输出为combiner的输入，reducer的输入为combiner的输出。2)partition：把map任务输出的中间结果按照key的范