大数据平台搭建与运维 期末考试试卷及答案 （C）

PAGE本试卷共=Numpages2*24页，第=Page2*2-13页本试卷共=Numpages2*24页，第=Page2*24页20XX—20XX学年度第X学期期末考核试卷考核课程：大数据平台搭建与运维考核类型：考查考核形式：闭卷学生所在学院：XXXXXX学院班级：XXXXXX班试卷：C题号一二三总分得分一、判断题（每题3分，共30分）得分一、判断题（每题3分，共30分）得分Hadoop不需要JDK的支持就可以独立运行。（）OracleVMVirtualBox创建的虚拟机之间可以互相联通（）3、标准的Hadoop系统存储的数据是NoSQL模式。（）4、伪分布式Hadoop系统的名称节点和数据节点在不同的机器上。（）5、如果NameNode意外终止，SecondaryNameNode会接替它使集群继续工作。（）6、Hadoop是使用Java开发的，所以MapReduce只能使用Java语言编写。（）7、NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中读取或者会写入metadata信息并反馈client端。（）8、因为HDFS有多个副本，所以NameNode是不存在单点问题的。（）9、DataNode首次加入cluster的时候，如果log中报告不兼容文件版本，那需要NameNode执行“hadoopnamenode-format”操作格式化磁盘。（）10、GZIP压缩算法比LZO更快。（）二、选择题（每题4分，共4二、选择题（每题4分，共40分）得分1. HDfS中的block默认保存几份？（）a) 3份b) 2份c) 1份d) 不确定2. Hadoop作者（）a) MartinFowlerb) KentBeckc) Dougcuttingd)Birl3. 下列哪项通常是集群的最主要的性能瓶颈（）a) CPUb) 网络c) 磁盘d) 内存4. 一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？（）a) 1b) 2c) 3d) 45. HDFS有一个LZO（withindex）文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时inputsplit大小为？（）a) 64MBb) 75MBc) 一个map读取64MB，另外一个map读取11MB6. 配置机架感知的下面哪项正确（多选）（）a) 如果一个机架出问题，不会影响数据读写b) 写入数据的时候会写到不同机架的DataNode中c) MapReduce会根据机架获取离自己比较近的网络数据7. 下列哪个是Hadoop运行的模式（多选）（）a) 单机版b) 伪分布式c) 分布式8、下列哪个属性是hdfs-site.xml中的配置？（）a)、dfs.replicationb)、fs.defaultFSc)、d)、yarn.resourcemanager.address9、Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是？（）a)、32Mb)、64Mc)、128Md)、256M10、如果我们现有一个安装2.6.5版本的hadoop集群，在不修改默认配置的情况下存储200个每个200M的文本文件，请问最终会在集群中产生多少个数据块（包括副本）？（）a)、200b)、40000c)、400d)、1200三、简答题（每题10分，共30分）三、简答题（每题10分，共30分）得分1.简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤。2.请简述ssh免密登录的配置过程。请简述MapReduce中combiner、partition的作用。20XX—20XX学年度第X学期期末考核试卷参考答案及评分标准考核课程：大数据平台搭建与运维考核类型：统考考核形式：闭卷学生所在院系：XXXXX学院班级：XXXXX班试卷：C要求：明确标注每小题或每步骤得分点一、判断题（每题3分，共30分）错对对错对错错错错错二、选择题（每题4分，共40分）（1-5）：accbc6:abc7:abc(8-10):acd三、简答题（每题10分，共30分）1.每步1分，综合答题格式得1分。1)安装JDK并配置环境变量（/etc/profile）2)关闭防火墙3)配置hosts文件，方便hadoop通过主机名访问（/etc/hosts）4)设置ssh免密码登录5)解压缩hadoop安装包，并配置环境变量6)修改配置文件（$HADOOP_HOME/conf）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml7)格式化hdfs文件系统（hadoopnamenode-format）8)启动hadoop（$HADOOP_HOME/bin/start-all.sh）9)使用jps查看进程2.每个步骤2.5分，共4步。1）sshlocalhost//创建.ssh目录2)cd~/.ssh3)ssh-keygen–trsa4)cat./id_rsa.pub>>./authorized_keys#加入授权3.每个项目5分，共2个项目。1)combiner：有时一个map可能会产生大量的输出，combiner的作用是在map端对输出先做一次合并，以减少网络传输到reducer的数量。注意：mapper的输出为combiner的输入，reduce