Hadoop安装与配置管理

第2章Hadoop安装与配置管理Hadoop平台程序运行示例安装环境第2章42024/3/31安装虚拟机和Linux，虚拟机推荐使用vmware，Linux使用CentOS7。所需软件：jdk-7u79-linux-x64.tar.gzhadoop-2.4.1.tar.gzWinSCP运行模式第2章52024/3/31伪分布模式：在单节点上同时启动namenode、datanode、ResourceManager、NodeManager、secondarynamenode5个进程，模拟分布式运行的各个节点完全分布式模式：正常的Hadoop集群，由多个各司其职的节点构成集群第2章62024/3/31计算机集群是一种计算机系统，

它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。集群系统中的单个计算机通常称为节点，通常通过局域网连接。集群技术的特点：通过多台计算机完成同一个工作达到更高的效率。两机或多机内容、工作过程等完全一样，一台死机，另一台可以起作用。配置网络VMware提供了3种工作模式，分别是bridged模式、NAT模式和host-only模式。建议选择host-only。(1)在brig桥接模式下，VMware虚拟出来的操作系统就像是局域网中的一个独立的主机，可以访问网内的任何一台机器，需要手工配置IP地址，和宿主主机在同一网段。

(2)在NAT模式下，就是让虚拟系统借助NAT功能，通过宿主机器所在的网络来访问公网。

(3)在host-only仅主机模式下，虚拟系统间可以相互通信，与真实的网络是隔离开的。伪分布式模式的安装和配置步骤第2章82024/3/31单机网络设置：若采用主机模式，需将ip设置为虚拟机网络设置窗口中VMnet1网卡的地址范围。宿主计算机VMnet1的ip设置为主节点的网关。修改主机名：vi/etc/sysconfig/network将主机与IP绑定：vi/etc/hosts上传所需的Java和Hadoop软件包：可使用远程登录软件WinSCP（虚拟机如果安装了Virtualtools，也可直接在系统间复制、粘贴文件）。安装和配置Java：查看（rpm-qa|grepjdk）并删除已有的Java版本（yum-yremovejdk版本），解压（tar-zxvf）、重命名(mv)，配置环境变量/etc/profile并通过source命令使其生效，测试是否安装配置成功。Hadoop环境：解压文件，导入环境变量，修改配置文件。网络配置：Hadoop启动与测试格式化文件系统：hdfsnamenode-format启动HDFS：start-dfs.sh启动Yarn：start-yarn.sh查看启动的进程：jps查看生成的文件夹管理jobHistoryserver：在浏览器中查看Hadoop运行情况集群验证：执行mapreduce例程完全分布式112024/3/31机器名在slaves文件中添加子节点，如node1、node2克隆主节点，修改子节点网络配置，修改主机名关闭防火墙：systemctlstopfirewalld.service配置SSH免密码登录：ssh-keygen–t，连按四次回车键，生成公钥和私钥，执行catid_rsa.pub>>authorized_keys创建权限文件，执行chmod600authorized_keys设置权限(前面的操作每个节点都执行)，复制公钥（node和node1节点执行）：ssh-copy-id–i/.ssh/id_rsa.pubnode2，最后复制到所有其他节点（node2节点执行）：scp/root/.ssh/authorized_keysnode:/root/.ssh/;scp/root/.ssh/authorized_keysnode1:/root/.ssh/;scp/root/.ssh/authorized_keysnode2:/root/.ssh/Hadoop启动与测试删除之前生成的本地文件，即hdfs文件夹中的所有文件重新格式化文件系统：hdfsnamenode-format启动HDFS：start-dfs.sh启动Yarn：start-yarn.sh分别查看各节点启动的进程：jps查看各节点生成的本地文件夹管理jobHistoryserver：mr-jobhistory-daemon.shstarthistoryserver在浏览器中查看Hadoop运行情况集群验证：执行mapreduce例程hadoopjar/usr/l