大数据工程项目开发实战活页式教程 课件 第2章 数据平台搭建

第2章数据平台搭建

12.1Linux系统安装2.2Linux系统网络配置2.3创建普通用户2.4Hadoop完全分布式集群环境构建2.5Hadoop平台运行及测试22.1Linux系统安装

采用在主机中安装虚拟化软件VMwareWorkstation14并在其之上安装CentOS764位系统的方式来构建Hadoop集群。首先下载Linux发行版CentOS7镜像文件（到官网下载桌面版CentOS-7-x86_64-DVD-1810.iso和mini版CentOS-7-x86_64-Minimal-1810.iso），当然也可以选择Linux的其他发行版，如Ubuntu、RedHat等，具体的安装过程如下。3

（1）打开VMwareWorkstation14，选择“创建新的虚拟机”，在弹出的对话框中选择“自定义（高级）”，然后点击“下一步”。如图所示。（1）打开VMwareWorkstation14，选择“创建新的虚拟机”，在弹出的对话框中选择“自定义（高级）”，然后点击“下一步”。如图2.1所示。（2）选择硬件兼容性为“Workstation14.x”，如图2.2所示。需要注意的是VMwareWorkstation不能向上兼容，也就是说低版本的Workstation无法打开高版本的虚拟机，所以在硬件兼容性这里需要特别注意版本的选择。（3）暂不指定操作系统安装来源，选择“稍后安装操作系统”，如图所示。5

（4）选择客户机操作系统为“Linux”，版本为“CentOS764位”，如图所示。（5）指定虚拟机操作系统的名称及安装位置，如图2.5所示。为了后面便于使用，将桌面版命名为“CentOS7-64-master”，两个mini版分别命名为“CentOS7-mini-slave1”和“CentOS7-mini-slave2”。8

（6）设置处理器配置，使用默认配置即可，如图2.6所示。（7）指定虚拟机内存，桌面版选择2GB，mini版选择1GB，如图2.7所示。（8）网络类型选择“NAT”，如图所示。（9）I/O控制器类型使用默认的“LSILogic(L)”，磁盘类型选择推荐的“SCSI(S)”。（10）在选择磁盘这里，选择“创建新的虚拟磁盘”，如图所示。（11）指定磁盘容量为20GB，磁盘容量可根据实际存储数据大小进行调整，选择“将虚拟磁盘拆分成多个文件”，如图2.10所示。（12）指定磁盘文件存储位置，如图2.11所示。（13）至此，虚拟机已基本设置完成，可点击“自定义硬件”来对设置进行修改，以及指定操作系统安装来源，如图2.12所示。（14）在自定义硬件这里，可以对虚拟机的设置进行更改。选中“新CD/DVD（IDE）”，设备状态勾选“启动时连接”。选中“使用ISO映像文件”，找到映像文件位置，主节点选择“CentOS-7-x86_64-DVD-1810.iso”，两个从节点选择“CentOS-7-x86_64-Minimal-1810.iso”。最后点击“关闭”按钮，如图所示。

（15）配置完成后，可在VMwareWorkstation中看到之前配置的虚拟机和相关硬件设置，可单击“编辑虚拟机设置”修改相关配置。如图2.14所示。按照上述步骤，再配置好“CentOS7-64-slave1”和“CentOS7-64-slave2”。（16）单击图2.14中的“开启此虚拟机”将启动该虚拟机进行CentOS的安装。注意，鼠标在主机和客户机中切换可按【Ctr+Alt】组合键。（17）将操作系统语言设置为中文，如图所示。（18）软件选择：slave1和slave2直接使用默认的“最小安装”，如图2.16所示。因为master安装的是桌面版，所以在软件选择这里，需要单击进去选择“GNOME桌面”，如图所示。（19）单击“安装位置”，选择硬盘分区方案，使用默认的自动分区，如图和图所示。另外，在安装过程中，凡是出现黄色叹号的地方都要点击进入进行设置，消除掉黄色叹号才能正常进行安装。

（20）以上安装选项设置好后，点击“开始安装”即可进行CentOS的安装，图2.20所示的是桌面版安装信息，图2.21所示的是mini版安装信息。（21）设置root用户密码。点击图2.22中的“ROOT密码”进入图2.23所示界面，进行root用户密码设置，将密码设置为“root123”，单击左上角“完成”按钮两次即可。（22）点击图2.22中的“创建用户”进入图2.24所示的界面进行用户的创建，设置用户名为“apache”，密码为“apache123”，单击两次左上角的“完成”按钮，之后便等待系统安装完成。为了系统安全考虑，一般不直接使用超级用户root，而需要创建一个新的用户。也可以跳过这一步直接进行系统的安装，等系统安装完成后再进入系统使用Linux命令进行新用户的创建，具体可查看2.3节。（23）安装完成后单击“重启”按钮即可进入CentOS7操作系统，如图所示。

2.2Linux系统网络配置CentOS系统安装完成后，为了使ip地址固定，需要设置静态ip。首先规划ip地址如表2.1所示。表2.1ip地址划分名称 ip地址网关 master 00slave1 01slave2 02

2.2Linux系统网络配置（1）设置虚拟机网关。点击VMwareWorkstation的“编辑”，选择下拉菜单中的“虚拟网络编辑器”，弹出如图2.26所示的窗口。选中虚拟网卡“VMnet8”，此时VMnet信息都是灰色的，不可更改。点击右下角“更改设置”按钮，VMnet信息变为可更改模式，如图2.27所示。

2.2Linux系统网络配置在图所示窗口中选中网卡“VMnet8”，设置子网IP为“”，子网掩码为“”。点击“NAT设置”，设置网关IP为“”，如图所示。

2.2Linux系统网络配置（2）修改网络配置。开启三个虚拟机，使用root账户登录。执行命令vi/etc/sysconfig/network-scripts/ifcfg-ens33，修改ifcfg-ens33文件。mater节点修改内容如图2.30所示（按i进行编辑，按esc退出编辑状态，按:wq进行保存并退出），slave1和slave2修改为对应的ip地址。

2.2Linux系统网络配置（3）配置完毕后，执行命令“servicenetworkrestart”重启服务，使配置生效，如图2.31所示。也可以直接reboot重启系统。（4）查看ip地址。master可以使用ifconfig命令查看ip地址，如图2.32所示。slave1和slave2使用ipaddr命令进行查看，图2.33显示的是查看slave1的ip地址。

2.2Linux系统网络配置（5）进行网络连通性测试。网络配置完成后，还需要进行连通性测试，使用ping命令进行测试。如图2.34所示，执行命令ping，三台主机之间互ping，都可以ping通，说明网络配置成功。注意，在ping的过程中可以按【Ctr+C】组合键停止数据包传送。

2.2Linux系统网络配置设置hostname修改三个虚拟机的主机名，执行命令vi/etc/hostname，将原文件中的localhost.localdomain分别改为master、slave1和slave2。修改完成后重启虚拟机，此时可以看到主机名由原来的localhost变成了对应的master、slave和slave2，如图2.35所示。

2.2Linux系统网络配置配置hostname和ip之间的对应关系执行命令vi/etc/hosts，修改ip和主机名的对应关系。在文件中添加如图2.36所示的内容。三个虚拟机均需要进行修改。保存并退出后，三个虚拟机互ping主机名，如果能ping通，说明配置成功，如图所示。2.3创建普通账户在Linux终端中使用useradd–mapache命令创建一个普通用户apache，此时，在/home目录下就多了一个名为apache的目录，它就是刚刚创建的普通用户apache的目录。可以在root用户下使用passwd命令为刚刚创建的apache用户设置密码，如图2.38所示。2.4Hadoop完全分布式集群环境构建2.4.1集群规划在构建Hadoop完全分布式集群前，先进行集群规划。（1）用户规划。（2）ip地址规划。（3）目录规划。2.4.2禁用防火墙关闭所有节点的防火墙，否则可能导致节点无法访问。首先，查看防火墙状态，在终端输入命令systemctlstatusfirewalld.service，如果显示active（running）则表示防火墙是开启状态，需要进行关闭。如图2.39所示。禁用防火墙需要在终端输入两条命令，第一条命令是systemctlstopfirewalld.service用于停止防火墙，但重新开机后防火墙服务仍会自动启动。所以还需要输入第二条命令：systemctldisablefirewalld.service用于禁止防火墙开机启动。执行完这两条命令后，再查看防火墙状态，可看到防火墙已关闭。如图2.40所示。2.4.3时钟同步从NTP服务器来同步时间，如图所示。yuminstallntp #如果ntp命令不存在，在线安装ntpntpdate #执行此命令同步日期时间date #查看当前系统时间2.4.4配置SSH免密钥登录SSH是一种加密的网络传输协议，可以在不安全的网络中为网络服务提供安全的传输环境。SSH免密钥登录可以使登录信息不会遭到泄露，同时也简化、方便了系统之间的登录操作，提高了工作效率。Hadoop中的NameNode和DataNode数据通信采用了SSH协议，因此需要配置各节点之间的SSH免密钥登录。因为SSH免密钥登录的功能和用户密切相关，所以需要指定为哪一个用户配置SSH免密钥登录。本章为apache用户进行配置，对其他用户的配置方法是一样的。注意，以下操作均在apache用户下执行，且三个节点均需执行步骤1-5的操作。（1）在apache用户目录下创建.ssh目录，执行命令：mkdir/home/apache/.ssh。（2）在终端执行命令ssh-keygen–trsa生成密钥对。其中，ssh-keygen是密钥生成器，-t是参数，rsa是一种非对称加密算法。生成的密钥对分别是公钥文件id_rsa.pub和私钥文件id_rsa。在这个过程中需要连续按4次回车。2.4.4配置SSH免密钥登录（3）将公钥拷贝到master节点，生成授权文件：ssh-copy-idmaster（4）对.ssh目录及文件赋予权限，输入以下两条命令：chmod700/home/apache/.sshchmod600/home/apache/.ssh/*（5）将产生的授权文件分发给另外两个节点：scp-r/home/apache/.ssh/authorized_keysslave1://home/apache/.sshscp-r/home/apache/.ssh/authorized_keysslave2://home/apache/.ssh（6）各节点使用ssh登录各自主机进行测试，第一次登录需要输入yes进行确认，第二次及以后登录则不需要输入任何内容。（7）登录测试。完成上述操作后，master、slave1和slave2互相之间使用ssh进行登录，如果都能免密钥登录，说明ssh配置成功。2.4.5jdk的安装与配置第一步，在master节点的apache用户下做如下操作。（1）创建目录/home/apache/package、/home/apache/soft。（2）将本地的jdk-8u211-linux-x64.tar.gz通过xftp上传到master节点的/home/apache/package目录下，注意xftp与master连接时使用apache用户建立连接。（3）进行解压。切换到/home/apache/package目录下，将jdk安装包解压到/home/apche/soft目录中。在终端中执行命令：tar–zvxfjdk-8u211-linux-x64.tar.gz-C/home/apache/soft。[apache@master~]$mkdir/home/apache/package [apache@master~]$mkdir/home/apache/soft [apache@master~]$cd/home/apache/package[apache@masterpackage]$lsjdk-8u211-linux-x64.tar.gz[apache@masterpackage]$tar-zvxfjdk-8u211-linux-x64.tar.gz-C/home/apache/soft解压成功后，切换到soft目录下，可以看到新增了一个jdk1.8.0_211的目录[apache@mastersoft]$cd~/app[apache@mastersoft]$lsjdk1.8.0_211（4）将jdk分发给slave1和slave2。首先在slave1和slave2中新建目录/home/apahce/soft，然后在master终端中执行下面的两条命令将master的jdk安装文件分发给slave1和slave2。scp–r/home/apache/soft/jdk1.8.0_211slave1:~/apache/soft/scp–r/home/apache/soft/jdk1.8.0_211slave2:~/apache/soft/复制完成后，登录到slave1和slave2主机，可以在/home/apache/soft目录下看到新增了一个jdk1.8.0_211的目录。第二步，修改环境变量，将jdk安装目录配置到环境变量中。三个节点均切换到root用户进行环境变量的修改，在终端执行命令vi/etc/profile，定位到文末，添加内容：exportJAVA_HOME=/home/apache/soft/jdk1.8.0_211exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexportCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib35解压成功后，切换到soft目录下，可以看到新增了一个jdk1.8.0_211的目录[apache@mastersoft]$cd~/app[apache@mastersoft]$lsjdk1.8.0_211（4）将jdk分发给slave1和slave2。首先在slave1和slave2中新建目录/home/apahce/soft，然后在master终端中执行下面的两条命令将master的jdk安装文件分发给slave1和slave2。scp–r/home/apache/soft/jdk1.8.0_211slave1:~/apache/soft/scp–r/home/apache/soft/jdk1.8.0_211slave2:~/apache/soft/复制完成后，登录到slave1和slave2主机，可以在/home/apache/soft目录下看到新增了一个jdk1.8.0_211的目录。第二步，修改环境变量，将jdk安装目录配置到环境变量中。三个节点均切换到root用户进行环境变量的修改，在终端执行命令vi/etc/profile，定位到文末，添加内容：exportJAVA_HOME=/home/apache/soft/jdk1.8.0_211exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexportCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib36修改完成后一定要执行命令source/etc/profile使配置生效。第三步，测试jdk是否安装成功，使用命令javac、java和java-version，有正确输出则配置成功。如果提示：commandnotfound，则说明配置错误。注意，如果使用java–version显示出的jdk版本不是jdk1.8.0_211，则需要将默认的版本删除，这是因为master桌面版自带有jdk。372.4.6Hadoop安装（1）在官网下载hadoop安装包hadoop-2.7.7.tar.gz，通过xftp上传到master的/home/apache/package目录下。注意xftp需要使用apache用户与master建立连接。（2）切换到/home/apache/package，将hadoop-2.7.7.tar.gz解压到/home/apache/soft目录下。命令为：tar–zvxfhadoop-2.7.7.tar.gz–C/home/apache/soft/。解压完成后，/home/apache/soft目录下增加了一个名为hadoop-2.7.7的目录。至此，hadoop安装完成。接下来进入2.4.7节进行hadoop配置文件的修改。38修改完成后一定要执行命令source/etc/profile使配置生效。第三步，测试jdk是否安装成功，使用命令javac、java和java-version，有正确输出则配置成功。如果提示：