大数据技术及应用-基于Python语言 习题解答：第2章 大数据实验环境构建

大数据实验环境构建一、选择题1．下列哪个属性是hdfs-site.xml中的配置（A）？dfs.replicationfs.defaultFSyarn.resourcemanager.address2．Hadoop-3.1.0版本上NameNode的WebUI默认的访问端口是（D）？8080500705009098703、Linux中用于创建目录的命令是（B）。cdmkdrirmdirpwd4．Linux中用于删除目录的命令是（C）。cdmkdrirmdirpwd5．以下哪一种不属于VMwareWorkstation提供的网络模式（D）。桥接模式权主机模式NAT模式容器模式二、填空题1．HDFS默认的文件备份数量是3。2．groupaddgroup1命令用于向Linux中增加一个新的用户组group1。3．mvdir1dir2命令用于将Linux的目录dir1更名为dir2。4．“ssh-keygen-trsa”执行后，会在Linux的/root/.ssh目录下生成私钥文件：id_rsa和公钥文件：id_rsa_pub。5．Linux中拥有最高权限的用户是root。三、简答题1．简述HDFS集群的组成和NameNode和DataNode的作用。答：NameNode的功能：管理整个文件系统的名称空间和文件数据块的地址映射，它维护着整个文件系统的文件目录树、文件/目录的元信息和每个文件对应的数据块列表、接收用户的操作请求。DataNode的功能：提供真实文件数据的存储服务，负责文件系统或者客户端的读写操作，在NameNode的调度下对数据块进行创建、存储、删除、备份等操作。2．简述Hadoop系统3.0版本与2.0版有什么不同。答：（1）最低Java版本从7升级到8（2）引入纠删码(ErasureCoding)：主要解决数据量大到一定程度磁盘空间存储能力不足的问题；（3）重写了Shell脚本，修改了之前版本长期存在的一些错误，并提供一些新功能；（4）NameNode(增加了容错性)：在Hadoop3中允许用户使用多个备用的NameNode（5）MapReduce引入了一个NativeMapOutputCollector的本地化(C/C++)实现，对于shuffle密集的任务，可能提高30%或者更高的性能；（6）DataNode内部实现Balancer：之前的DataNodeBalancer只能实现DN之间的数据平衡，Hadoop3.x实现了内部的数据平衡；。（7）重做的后台和任务堆内存管理；（8）HDFS实现服务器级别的Federation分流；（9）Yarn的时间线服务升级到V2，Yarn实现更多种资源类型的管理；（10）容量调度器实现API级别的配置；（11）许多服务的默认端口改变了；3．Hadoop系统中Yarn的作用是什么？答：Yarn在Hadoop系统中负责资源调度和任务管理，其主要作用是“资源管理”，“节点管理”和“应用程序调度”，它包括四个组件：（1）ResourceManager1）处理客户端请求；2）监控NodeManager，对各个NodeManager上的资源进行统一管理和调度；3）给ApplicationMaster分配空闲的Container运行并监控其运行状态(Scheduler来完成)；主要组成：资源调度器(Sheduler)和应用程序管理器(ApplicationManager)。（2）NodeManager1）负责管理单个节点上的资源；2）定时的向RM汇报本节点上的资源使用情况和Container的运行状态。（3）ApplicationMaster1）负责整个任务执行的监控，可以向RM汇报任务执行的状态，重启失败任务等；2）向RM为应用程序申请资源并分配给内部的任务。（4）Cont