第04讲-HDFS的安装与基本应用

《大数据技术》第04章HDFS的安装与基本应用

HDFS安装与配置用户配置

基本应用Linux命令《大数据技术》Hadoop集群主机名masterslave0slave1IP010203用户名rootrootroot密码123456123456123456HDFSNameNodeSecondaryNameNode

DataNodeDataNodeDataNodeYARNResourceManagerNodeManagerNodeManagerNodeManager

1.HDFS安装与配置2

在本书第4章软件资源中找到hadoop-3.3.4.tar.gz文件，执行解压缩命令。执行命令“chmod777-R/home/swxy/hadoop-3.3.4”赋予目录全执行权限。《大数据技术》1.1安装1.HDFS安装与配置3

Hadoop环境变量文件是hadoop-env.sh，它位于“/home/swxy/hadoop-3.3.4/etc/hadoop”子目录下《大数据技术》1.2配置1.HDFS安装与配置4

Hadoop的核心组件文件是core-site.xml，也位于“/home/swxy/hadoop-3.3.4/etc/hadoop”子目录下。用vi编辑core-site.xml文件。《大数据技术》配置核心组件文件1.HDFS安装与配置5<!--1.指定Hadoop的文件系统的NameNodeURI--><property><name>fs.defaultFS</name><!--格式<value>hdfs://主机名:8020</value>--><value>hdfs://master:8020</value></property><!--2.指定hadoop数据的存储目录默认为/tmp/hadoop-${}--><property><name>hadoop.tmp.dir</name><value>/export/server/hadoopDatas/tempDatas</value></property>《大数据技术》1.HDFS安装与配置6<!--hive.hosts允许root代理用户访问Hadoop文件系统设置--><property><name>xyuser.root.hosts</name><value>*</value></property><!--hive.groups允许Hive代理用户访问Hadoop文件系统设置--><property><name>xyuser.root.groups</name><value>*</value></property>《大数据技术》1.HDFS安装与配置7<!--配置HDFS网页登录使用的静态用户为root--><property><name>hadoop.http.staticuser.user</name><value>root</value></property><!--配置缓存区的大小，实际可根据服务器的性能动态做调整--><property><name>io.file.buffer.size</name><value>4096</value></property>《大数据技术》1.HDFS安装与配置8<!--开启hdfs垃圾回收机制，可以将删除数据从其中回收，单位为分钟--><property><name>erval</name><value>10080</value></property>《大数据技术》1.HDFS安装与配置9

配置文件系统

Hadoop的文件系统配置文件是hdfs-site.xml，也位于“/home/swxy/hadoop-3.3.4/etc/hadoop”子目录下。《大数据技术》1.HDFS安装与配置10<!--设置一个文件切片的大小:128M--><property><name>dfs.blocksize</name><value>134217728</value></property><!--NameNodeweb端访问地址（主机名:端口号）--><property><name>node.http-address</name><value>master:9870</value></property>《大数据技术》1.HDFS安装与配置11<!--配置hdfs文件切片的副本数--><property><name>dfs.replication</name><value>3</value></property><!--设置HDFS文件权限--><property><name>dfs.permission</name><value>false</value></property>《大数据技术》1.HDFS安装与配置12<!--指定SecondaryNameNodeweb端访问地址（主机名:端口号）--><property><name>node.secondary.http-address</name><value>slave0:9870</value></property><!--指定namenode元数据的存放位置--><property><name>.dir</name><value>file:///export/server/hadoopDatas/namenodeDatas</value></property>《大数据技术》1.HDFS安装与配置13<!--指定datanode数据存储节点位置--><property><name>dfs.datanode.data.dir</name><value>file:///export/server/hadoopDatas/datanodeDatas</value></property><!--指定namenode的edit文件存放位置--><property><name>node.edits.dir</name><value>file:///export/server/hadoopDatas/nn/edits</value></property>《大数据技术》1.HDFS安装与配置14<!--指定检查点目录--><property><name>node.checkpoint.dir</name><value>file:///export/server/hadoopDatas/snn/name</value></property><property><name>node.checkpoint.edits.dir</name><value>file:///export/server/hadoopDatas/dfs/snn/edits</value></property>《大数据技术》1.HDFS安装与配置15配置yarn-site.xml

Yarn的配置文件是yarn-site.xml，也位于“/home/swxy/hadoop-3.3.4/etc/hadoop”子目录下。《大数据技术》1.HDFS安装与配置16<!--SitespecificYARNconfigurationproperties--><!--指定resourcemanager所启动服务的主机名|IP（yarn主节点位置）--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><!--指定mapreduce的shuffle处理数据方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>《大数据技术》1.HDFS安装与配置17<!--配置resourcemanager内部通讯地址--><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><!--配置resourcemanager的scheduler组件的内部通信地址--><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property>《大数据技术》1.HDFS安装与配置18<!--配置resource-tracker组件的内部通信地址--><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><!--配置resourcemanager的admin的内部通信地址--><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property>《大数据技术》1.HDFS安装与配置19<!--配置yarn的web管理地址--><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property><!--yarn的日志聚合是否开启--><property><name>yarn.log-aggregation-enable</name><value>true</value></property>《大数据技术》1.HDFS安装与配置20<!--聚合日志在hdfs的存储路径--><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/tmp/logs</value></property><!--聚合日志在hdfs的保存时长，单位S，默认7天--><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>《大数据技术》1.HDFS安装与配置21<!--聚合日志的检查时间段--><property><name>yarn.log-aggregation.retain-check-interval-seconds</name><value>3600</value></property><!--设置日志聚合服务器地址--><property><name>yarn.log.server.url</name><value>http://master:19888/jobhistory/logs</value></property>《大数据技术》1.HDFS安装与配置22<!--环境变量的继承--><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME </value></property>《大数据技术》1.HDFS安装与配置23配置MapReduce计算框架文件使用vi编辑mapred-site.xml文件<!--指定mapreduce运行的框架yarn--><property><name></name><value>yarn</value></property>《大数据技术》1.HDFS安装与配置24<!--开启mapreduce最小任务模式--><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!--配置mapreduce的历史记录组件的内部通信地址即RPC地址--><property><name>mapreduce.jobhistory.address</name><!--格式<value>主机名:端口</value>--><value>master:10020</value></property>《大数据技术》1.HDFS安装与配置25<!--配置mapreduce历史记录服务的web管理地址--><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><!--配置mapreduce已完成的job记录在HDFS上的存放地址--><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value></property>《大数据技术》1.HDFS安装与配置26<!--配置mapreduce正在执行的job记录在HDFS上的存放地址--><property><name>ermediate-done-dir</name><value>/history/done_intermediate</value></property><!--为MR程序主进程添加环境变量--><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/home/swxy/hadoop-3.3.4</value></property>《大数据技术》1.HDFS安装与配置27<!--为Map添加环境变量--><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/home/swxy/hadoop-3.3.4</value></property><!--为Reduce添加环境变量--><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/home/swxy/hadoop-3.3.4</value></property>《大数据技术》1.HDFS安装与配置28配置master的workers文件使用vi编辑workers文件复制master上的Hadoop到slave节点《大数据技术》1.HDFS安装与配置292.1编辑环境变量使用vi编辑/etc/profile文件将下述代码追加到文件的尾部：exportHADOOP_HOME=/home/swxy/hadoop-3.3.4exportPATH=:$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin保存退出后，执行“source/etc/profile”命令，使上述配置生效执行“hadoopversion”命令，查看配置是否生效《大数据技术》2.用户配置302.2创建数据目录（1）创建hadoop.tmp.dir对应目录：mkdir-p/export/server/hadoopDatas/tempDatas（2）创建.dir对应目录：mkdir-p/export/server/hadoopDatas/namenodeDatas（3）创建dfs.datanode.data.dir对应目录：mkdir-p/export/server/hadoopDatas/datanodeDatas（4）创建node.edits.dir对应目录：mkdir-p/export/server/hadoopDatas/nn/edits（5）创建node.checkpoint.dir对应目录：mkdir-p/export/server/hadoopDatas/snn/name（6）创建node.checkpoint.edits.dir对应目录：

mkdir-p/export/server/hadoopDatas/dfs/snn/edits

最后需要修改文件权限。

chmod777-R/export/server/hadoopDatas《大数据技术》2.用户配置312.3格式化首次启动HDFS需要对其进行格式化操作，做清理和准备，只需在master节点格式化Namenode，命令是“hdfsnamenode-format”《大数据技术》2.用户配置323.1启动与关闭启动Hadoop使用start-all.sh命令启动Hadoop集群，执行命令jps验证Hadoop是否启动成功关闭Hadoop可以使用stop-yarn.sh和stop-dfs.sh命令，或者stop-all.sh命令《大数据技术》3.基本应用333.2监控页面在本地hosts文件（C:\Windows\System32\drivers\etc\hosts）添加映射，内容如下。01master02slave003slave1在Hadoop集群的运维中，系统管理人员还常常使用Web界面监视系统状况。在浏览器地址栏输入http://master:9870/采用web方式查看Hadoop状态《大数据技术》3.基本应用343.3文件上传与下载（1）创建目录：hadoopfs-mkdir/test（2）查看文件列表：hadoopfs-ls/（3）上传文件到HDFS：hadoopfs-put/opt/jyp/test.txt/test/input/test.txt将本地Linux用户root的文件“/opt/jyp/test.txt”上传到HDFS的“/test/input”下：hadoopfs-copyFromLocal-f/opt/jyp/jyp.txt/test/input/jyp.txt（4）下载文件到本地方式一：“hadoopfs-get”hadoopfs-get/test/input/test.txt/opt/jyp/test.dat方式二：“hadoopfs-copyToLocal”hadoopfs-copyToLocal-f/test/input/jyp.txt/opt/jyp/jyp1.txt（5）查看HDFS文件内容：hadoopfs-cat/test/input/test.txt《大数据技术》3.基本应用353.4运行示例程序在终端输入如下的运行命令：hadoopjar/home/swxy/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce