实训4 部署YARN集群

实训3.1部署YARN集群1.实训目的通过本实训熟悉如何构建YARN分布式集群，并能够使用YARN集群提交一些简单的任务，理解YARN在Hadoop生态中的作用与意义。2.实训内容构建YARN集群，并使用YARN集群提交简单的任务，观察任务提交之后YARN的执行过程。3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排和分配实训任务，具体参考实训操作环节。4.准备知识需要有计算机基础及Linux基础能力，可参考教材后面的Linux附件资料。5.实训步骤（1）在master机器上进行YARN配置①编辑YARN的配置文件修改文件为“/opt/software/hadoop-3.3.4/etc/hadoop/yarn-site.xml”在master节点执行：cd/opt/software/hadoop-3.3.4/etc/hadoopvimyarn-site.xml将如下内容添加到最后两行的<configuration></configuration>标签之间： <property><name>yarn.resourcemanager.hostname</name><value>master</value><description>表示ResourceManager服务器</description></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>表示ResourceManager监听的端口</description></property><property><name>yarn.nodemanager.local-dirs</name><value>/opt/software/hadoop-3.3.4/yarn/local-dir1,/opt/software/hadoop-3.3.4/yarn/local-dir2</value><description>表示NodeManager中间数据存放的地方</description></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value><description>表示这个NodeManager管理的内存大小</description></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>2</value><description>表示这个NodeManager管理的cpu个数</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>为MapReduce应用打开shuffle服务</description></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>4</value><description>配置虚拟内存与物理内存比例，默认值是2.1</description></property>yarn-site.xml是YARN守护进程的配置文件，将虚拟内存与物理内存的比例调整成4倍，避免执行任务时报错。②拷贝配置文件到slave1、slave2~/shell/scp_call.shyarn-site.xml（2）启动HDFS和YARN在master节点执行（如已启动则无需启动）。操作效果如图2-所示。start-dfs.shstart-yarn.sh图3-4启动HDFS和YARN图示（3）验证YARN启动成功查看各节点的进程情况图3-4查看各节点的进程（4）查看YARN的WebUI界面在浏览器中打开master的ip地址加端口：31:8088格式：master的ip:8088。如图2-46所示。图3-4查看YARN的WebUI界面（5）提交MapReduce任务①编辑MapReduce配置文件修改文件为“/opt/software/hadoop-3.3.4/etc/hadoop/mapred-site.xml”在master节点执行：vimmapred-site.xml编辑此文件，在此文件的configuration标签间中加入以下内容：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>yarn.app.mapreduce.am.resource.mb</name><value>1024</value></property><property><name>yarn.app.mapreduce.am.resource.cpu-vcores</name><value>1</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property>此配置指定了MapReduce作业运行在YARN上，同时对JobHistoryserver进行配置，方便查看相关日志；MapReduce作业需要的内存和虚拟cpu数；并且配置了MapReduce作业相关的环境变量。②拷贝配置文件到slave1、slave2~/shell/scp_call.shmapred-site.xml③提交MapReduce任务接下来提交Hadoop内置的估算π值的任务。在master节点执行：hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jarpi510命令最后两个两个参数的含义：第一个参数是指要运行map的次数，这里是5次；第二个参数是指每个map任务，取样的个数；而两数相乘即为总的取样数。执行过程如图3-5所示。图3-5提交PI任务过程（6）实训结果①提交PI任务之后WebUI界面上看到的信息。如图3-6、图3-