第02讲-Linux集群搭建

第02章Linux集群搭建计算机集群

Linux操作系统Linux集群搭建Linux命令12《大数据技术》1.1集群的概念计算机集群(简称集群,cluster)：是指通过硬件(如高速通信网络)和软件连接一组相互独立的计算机而形成的协作完成计算任务的系统。节点(node)：集群的每台计算机称为集群的节点，是运行操作系统和服务进程的独立服务器。1.计算机集群3《大数据技术》为什么需要集群针对大数据的特性思考！可扩展性：通过技术，可以使集群的结点数目易于扩展，如增长到几百、几千、甚至上万台计算机，技术上让规模增长容易实现。1.计算机集群《大数据技术》4为什么需要集群高可用性：即使基于廉价商用计算机，通过软硬件冗余、备份、检测、恢复等容错技术，实现高可用性。透明性：客户端应用程序与集群系统交互时，就像与一台高性能、高可用的服务器打交道，系统扩展、部分节点切入切出时，不会中断服务，客户端无需做任何修改，即对用户是透明的。1.计算机集群5《大数据技术》1.计算机集群1.2集群的种类与特点按功能和结构，计算机集群分为以下4大类：高可用性集群(High-availability,HA

cluster)负载均衡集群(Loadbalancingcluster)高性能计算集群(High-performance,HPC

cluster)前两种是互联网行业最常用的集群模式6《大数据技术》1.计算机集群计算机集群的特点：高性能可扩展性负载均衡透明性可编程性高性价比高可用性错误恢复可管理性7《大数据技术》2.1特点与主要组成Linux简介Linux以它的高效性和灵活性著称。它能够在PC计算机上实现全部的Unix特性，具有多任务、多用户的能力。Linux是在GNU公共许可权限下免费获得的，是一个符合POSIX标准的操作系统。Linux操作系统软件包不仅包括完整的Linux操作系统，而且还包括文本编辑器、高级语言编译器等应用软件。2.Linux操作系统8《大数据技术》Linux的特点

开放性：符合开放系统互连(OSI)国际标准。

多用户：资源可以被不同用户各自拥有使用。

多任务：指计算机同时执行多个独立的程序。

易用性好：良好的用户界面。

设备独立性：所有外部设备统一被当作文件。

网络功能强大：丰富的网络功能。

安全性高：可靠的系统安全。

可移植性好：支持多种硬件平台2.Linux操作系统9《大数据技术》主要组成部分内核：存储管理、CPU和进程管理、设备管理和驱动、网络通信，系统初始化(引导)、系统调用等Shell：系统用户界面文件系统：内核的一部分，负责管理磁盘文件的输入输出。文件通过目录方式进行组织一组应用程序2.Linux操作系统10《大数据技术》2.2目录结构分析2.Linux操作系统11《大数据技术》3.1安装VMware虚拟机3.Linux集群搭建VMare是一套PC虚拟化软件的总称。VMwareWorkstation是VMware系列软件产品之一，用于在英特尔x86兼容计算机上创建虚拟机工作站，它允许用户同时创建和运行多个x86虚拟机。每个虚拟机实例可以运行自己的客户机操作系统，如Windows、Linux、BSD变生版本等。VMwareWorkstation允许一台真实的计算机在一个操作系统中同时安装并运行多个操作系统，并帮助用户在多个宿主计算机之间管理或移植VMware虚拟机。为方便学习，我们拟安装虚拟集群，采用VMware作虚拟平台。12《大数据技术》3.Linux集群安装点击WMware安装文件(VMware.exe)开始安装如果系统盘(C:)空间不够，可以安装到其他驱动器安装完成后启动VMwareWorkstation，根据需要使用：创建新的虚拟机打开虚拟机连接远程服务器13《大数据技术》3.2VMware上安装Linux(CentOS7)

二种安装方式：

从下载的系统文件安装CentOS√

从本机克隆安装√方便操作需要安装Xftp和Xshell3.Linux集群安装14

3.Linux集群安装1从下载的系统文件安装CentOS从/download/，可以下载最新版本的CentOS。DownloadCentOS主页中，有三个选项：

DVDISO：标准版的DVD系统文件EverythingISO：完整版的DVD系统文件MinimalISO：精简版系统文件。我们选择DVDISO：CentOS-7-x86_64-Minimal-1810.iso153.Linux集群安装16

3.Linux集群安装173.Linux集群安装18

单击“开启此虚拟机”，开始安装：3.Linux集群安装19《大数据技术》安装过程中可能出现的交互：3.Linux集群安装20

3.Linux集群安装21

3.Linux集群安装《大数据技术》22《大数据技术》3.Linux集群安装

23

安装完成：登录进入主界面3.Linux集群安装《大数据技术》24

克隆安装(复制本机上已安装的Linux机器)3.Linux集群安装《大数据技术》25

注意：克隆前要关闭被克隆的Linux虚拟机选中克隆系统，单击鼠标右键，选择

管理->克隆

即开始执行克隆操作3.Linux集群安装《大数据技术》26

3.Linux集群安装《大数据技术》27《大数据技术》3.3集群的配置

设置主机名

网络设置

编辑hosts文件

关闭防火墙

安装JDK

配置环境变量

免密钥登录配置3.Linux集群安装28NETWORKING=yesHOSTNAME=master1修改主机名Why?用个性化名称访问系统，代替IP地址或localhost操作流程：修改主机名要切换到根用户：suroot编辑/etc/sysconfig/network文件：vi/etc/sysconfig/network点击save保存修改3.Linux集群安装《大数据技术》29localhost.localdomainmaster

编辑/etc/hostname文件vi/etc/hostname点击save保存修改

退出编辑后，在终端执行hostnamemaster

即完成主机名修改注意：slave0、slave1也要同样修改3.Linux集群安装《大数据技术》30《大数据技术》2网络设置Why?系统安装时配置的网络IP地址实际上一般都是DHCP类型的。但是，大数据计算平台通常是一个稳定的系统，节点IP不需要变化，因此，我们要将动态主机IP地址修改为静态类型的。3.Linux集群安装31《大数据技术》

3.Linux集群安装32《大数据技术》

选中“NAT模式”，设置子网IP为“”33《大数据技术》

以“root”身份登录到master，执行命令“vi/etc/sysconfig/network-scripts/ifcfg-ens33”修改网络信息,如图2-21所示。修改内容如下，BOOTPROTO设置为dhcp表示动态获取网络IP，设置为static表示静态网络IP。UUID--删除ONBOOT=yes--修改BOOTPROTO=staticIPADDR=01--添加NETMASK=GATEWAY=DNS1=14注意：slave0、slave1都要进行修改34《大数据技术》

为了用计算机名进行网络访问，我们还需要修改hosts文件中的主机名与IP地址对照列表。输入“vi/etc/hosts”。01master02slave003slave13编辑hosts文件3.Linux集群安装35《大数据技术》4关闭防火墙Why?Linux防火墙主要工作在网络层，针对TCP/IP数据包实施过滤和限制，属于典型的包过滤防火墙。大数据应用系统通常部署在Linux集群上，一般属于内部网络平台，且计算机之间关系十分密切，通信频繁，因此不需要启用防火墙。

防火墙没有关闭往往是大数据软件系统不能正常工作的原因。3.Linux集群安装36《大数据技术》关闭防火墙systemctlstopfirewalld禁用防火墙systemctldisablefirewalld查看防火墙systemctlstatusfirewalld注意：关闭防火墙需要在集群所有节点进行，即关闭所有节点的防火墙3.Linux集群安装《大数据技术》375安装JDKWhy?许多重要大数据平台(如Hadoop)都是基于Java环境开发的，因此，我们必须在Linux主机上安装JDK。应用中需要考虑大数据软件平台与JDK的适配关系这里选用的版本是JDK8(jdk-8u231-linux-x64.rpm)。注意：编写脚本关闭防火墙、安装MySQL3.Linux集群安装38注意：上述安装和配置还需要在集群的其他计算机上进行问题：如果集群有成百上千台计算机，难道也要这样一台一台地去安装和配置吗？不需要。实际工作中，可以先安装好一台计算机(完成上述配置)，其他的计算机可以克隆，但要修改主机名和IP地址，配置工作大大减少。3.Linux集群安装39Why?

SSH(SecureShellProtocol，安全外壳协议)是一种在不安全网络上提供安全远程登录及其他安全网络服务的协议。默认状态下，SSH连接是需要密码认证的，但是可以通过修改系统配置，使系统通信免除用户名和密码输入操作。通过终端远程操作服务器时，免密钥登录可以简化操作，提高效率。6免密钥登录配置3.Linux集群安装40【123】ssh-keygen-trsa-P''-f~/.ssh/id_rsa【123】vi/etc/ssh/ssh_config在最后添加

StrictHostKeyCheckingno

UserKnownHostsFile/dev/null

将秘钥分别拷贝给自己和别人【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@master【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@slave0【123】ssh-copy-id-i~/.ssh/id_rsa.pubroot@slave1上面三条命令都需要输入密码：1234563.Linux集群安装41《大数据技术》课程实验涉及较多的系统知识和软件

计算机配置差异大

操作的关联性高，容易出错

集中精力

前阶段(Linux+Hadoop)可以反复安装3.Linux集群安装42《大数据技术》cd命令

ls命令

grep命令find命令

cp命令mv命令rm命令4.Linux命令ps命令kill命令fi