Hadoop大数据平台构建与应用教程 课件 项目一 Linux操作系统配置

项目一Linux操作系统配置CONTENTS目录01

项目导读02

知识目标03

技能目标04

素质（思政）目标CONTENTS目录05

任务一Linux网络配置06

任务二Linux远程连接及安全配置07

项目总结08

项目考核项目导读01项目导读Hadoop集群搭建准备现在公司要求工程师小丁搭建Hadoop完全分布式集群，但是Hadoop集群是搭建在Linux操作系统里面，搭建之前需要先做一些Linux基础配置工作。本书虚拟机用的是VMware操作系统用的是CentOS7知识目标02知识目标

了解常见的虚拟机种类

了解常见的网络类型

了解SELinux概念

了解SSH协议技能目标03技能目标01掌握Linux网络配置02掌握SSH远程连接Linux技术03掌握关闭SELinuxSElinux技术素质（思政）目标04素质（思政）目标

培养严谨细致的工匠精神

厚植技术报国梦

培养不骄不躁的工匠心态任务一Linux网络配置05任务工单

任务场景虚拟机装好了，Linux操作系统也配置好了，主机名配置为master，公司要求该主机能够连接外网，访问百度

任务准备全班学生以4人一组，各组选出组长。请组长组员查找相关资料，并进行讨论和汇总问题1：虚拟机有几种网络模式问题2：NAT模式和桥接模式有什么区别必备知识技能：一、虚拟机介绍

虚拟机软件及应用虚拟机是指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统，目前流行的虚拟机软件有VMware、VirtualBox和VirtualPC，它们都能在Windows系统上虚拟出多个计算机，每个虚拟计算机均可以独立运行，可以安装各种软件与应用等

虚拟机资源分配影响性能通俗说，虚拟机是将一台计算机虚拟化，使一台计算机具备多台计算机的功能，但整机性能也会被各个虚拟机所分配划分，因此划分虚拟机越多，各个虚拟机所分配的CPU、内存、存储空间资源就越少，因此组建虚拟机通常是配置越高越好

虚拟机的应用与游戏多开技巧虚拟机在现实中的作用还是相当大的，比如最简单我们计算机中没有光驱，如果要安装系统就可以使用虚拟机来安装系统，虚拟机内部拥有虚拟光驱，支持直接打开系统镜像文件安装系统，另外虚拟机技术在游戏爱好者朋友眼中也相当实用，比如一般一台计算机很多游戏不支持同时多开，但我们可以在计算机中多创建几个虚拟机，那么在虚拟机系统中即可单独再运行程序了，这样即可实现一台计算机同时多开同一游戏了必备知识技能：一、虚拟机介绍虚拟机在企业中的应用其实虚拟机在企业中应用非常广，由于服务器通常配置很高，因为很多服务器网络商为了满足中小站长需求，通常将一台服务器划分出多个虚拟机服务器，这样每个网站即可分配独立服务器资源一部分，并且互相不影响且可以配独立IP地址，大大解决了中小企业使用单独服务器费用过高的问题，目前购买的VPS服务器则均采用该技术，做过网站的朋友初期用到的虚拟空间也是该原理必备知识技能：二、虚拟机的三种网络连接模式桥接模式直接连接物理网络。将虚拟机的虚拟网络适配器与主机的物理网络适配器进行连接，虚拟机中的虚拟网络适配器可通过主机中的物理网络适配器直接访问外部网络。简而言之，这就好像在局域网中添加了一台新的、独立的计算机一样。因此，虚拟机也会占用局域网中的一个IP地址，并且可以和其他终端进行相互访问必备知识技能：二、虚拟机的三种网络连接模式

NAT模式共享主机的IP地址。NAT是NetworkAddressTranslation的缩写意即网络地址转换。NAT模式也是VMware创建虚拟机的默认网络连接模式。使用NAT模式进行网络连接时，VMware会在主机上建立单独的专用网络，用以在主机和虚拟机之间相互通信。虚拟机向外部网络发送的请求数据包，都会交由NAT网络适配器加上"特殊标记"并以主机的名义转发出去，外部网络返回的响应数据"包"，也是先由主机接收，然后交由NAT网络适配器根据"特殊标记"进行识别并转发给对应的虚拟机，因此，虚拟机在外部网络中不必具有自己的IP地址。从外部网络来看，虚拟机和主机在共享一个IP地址，默认情况下，外部网络终端也无法访问到虚拟机此外，在一台主机上只允许有一个NAT模式的虚拟网络。因此，同一台主机上的多个采用NAT模式网络连接的虚拟机也是可以相互访问的前面我们已经提到，默认情况下，外部网络无法访问到虚拟机，不过我们也可以通过手动修改NAT设置实现端口转发功能，将外部网络发送到主机指定端口的数据转发到指定的虚拟机上。比如，我们在虚拟机的80端口上"建立"了一个站点，只要我们设置端口转发，将主机88端口上的数据转发给虚拟机的80端口，就可以让外部网络通过主机的88端口访问到虚拟机80端口上的站点必备知识技能：二、虚拟机的三种网络连接模式

仅主机模式

与主机共享专用网络。仅主机模式，是一种比NAT模式更加封闭网络连接模式，它将创建完全包含在主机中的专用网络。仅主机模式的虚拟网络适配器仅对主机可见，并在虚拟机和主机系统之间提供网络连接。相对于NAT模式而言，仅主机模式不具备NAT功能，因此在默认情况下，使用仅主机模式进行网络连接的虚拟机无法连接到Internet

在同一台主机上可以创建多个仅主机模式的虚拟网络，如果多台多个虚拟机处于同一个仅主机模式网络中，那么它们之间是可以相互通信的；如果它们处于不同的仅主机模式网络，则默认情况下无法进行相互通信任务实施：一、虚拟网络配置

配置VMnet8网络设置启动主机名为master的虚拟机（虚拟机版本建议17以上），选择“编辑”－〉“虚拟网络编辑器”命令，在打开的“虚拟网络编辑器”对话框选择“VMnet8”选项，配置“子网IP”为“”，配置“子网掩码”为“”，单击“确定”按钮，如图1-1-1所示注意：这里IP地址选择局域网IP段就可，本书选择/24子网段任务实施：二、有线网络配置

步骤1以root身份登录Linux，单击右上角的扬声器（1号圈位）图标，会弹出下拉菜单，单击下拉菜单左下角的设置图标（2号圈位），弹出“Settings”对话框，单击“Settings”对话框左下角选项卡“Network”（3号圈位）显示出“NewWork”选项卡，单击“Wired”选项卡栏目的设置图标（4号圈位），弹出“Wired”对话框，也就是有线网络设置主界面，如图1-1-3所示步骤2在“Wired”对话框，也就是有线网络设置主界面，如图1-1-3所示,单击“IPV4”选项卡，在“IPvV4Method”单选框选中“Automatic(DHCP)”单选按钮，单击“Apply”按钮步骤3打开Linux终端，检测是否能够ping通外网。能够ping通电子工业出版社官网，则说明Linux有外网。命令如下ping任务二Linux远程连接及安全配置06任务工单

任务场景工程师小丁下班回到家中，需要远程连接公司机房里的Linux服务器进行管理和操作，这个时候就需要使用终端模拟软件(SecureCRT等）来完成

任务准备全班学生以4人左右为一组，各组选出组长。请组长组员查找相关资料，并进行讨论和汇总问题1：Linux远程终端连接软件有哪些问题2：SELinux有什么作用必备知识技能：一、SSH服务

SSH简介SSH协议（SecureShell，安全外壳）是一种需要进行加密和认证的，用于远程访问及文件传输的网络安全协议。SSH功能类似于Telnet服务，但SSH基于加密和认证的特性可以为用户提供更强大的安全保障机制，在用户使用不安全的网络环境登录设备时，SSH能够有效保护设备不受IP地址欺诈、明文密码截取等攻击。目前存在SSHv1和SSHv2两个版本，二者互不兼容。相比SSHv1，SSHv2能够提供更高的性能和安全性

SSH基本结构SSH协议基于客户端/服务器结构，客户端可以使用SSH协议登录到服务器，进行远程访问或文件传输等操作

SSH基本交互流程SSH客户端和SSH服务器交互流程可以分为以下七个阶段：建立连接、版本号协商、密钥交换与算法协商、用户认证、会话请求、会话交互和会话关闭必备知识技能：一、SSH服务3.SSH基本交互流程

建立连接阶段a.服务器端监听TCP22号端口，等待客户端连接b.客户端向服务器22号端口发起TCP连接请求，与服务器建立TCP连接版本号协商阶段a.服务器端向客户端发送版本协商报文b.客户端接收并处理该报文后，回复服务端决定采用的协议版本号c.服务器端处理客户端回复的信息，确认协商版本成功与否密钥交换与算法协商阶段若版本号协商成功，进入密钥交换与算法协商a.服务器端与客户端互相向对端发送算法协商报文，根据本端支持的算法来确定最终使用的算法b.服务器端与客户端利用密钥交换算法、主机密钥等相关信息，生成会话密钥与会话ID，利用它们进行后续的用户认证以及数据传输的加解密必备知识技能：一、SSH服务用户认证阶段

加密通道建立起来之后，进入用户认证阶段a.客户端向服务器端发送认证请求b.服务器端对客户端进行认证。若认证成功，则进入下一阶段；若认证失败次数达到上限，则服务器端关闭连接会话请求阶段

a.认证成功后，客户端向服务器端发送会话请求b.服务器等待并处理客户端的会话请求，请求被处理成功之后，SSH进入会话交互阶段会话交互阶段

会话请求成功后，进入会话交互阶段，允许加密数据双向传送与处理a.客户端将需要执行的命令发送给服务器b.服务器接收到命令后进行解密、解析并处理c.服务器将处理结果加密后发给客户端d.客户端收到服务器消息后进行解密与处理会话关闭阶段

服务器和客户端断开连接并关闭会话必备知识技能：二、常用的SSH连接工具SecureCRT:安全远程连接工具SecureCRT，一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具，通过使用内含的VCP命令行程序可以进行加密文件的传输。SecureCRT将SSH（SecureShell）的安全登录、数据传送性能和Windows终端仿真提供的可靠性、可用性和可配置性结合在一起Xshell:强大的终端模拟软件Xshell，一个强大的安全终端模拟软件，它支持SSH1,SSH2,以及MicrosoftWindows平台的TELNET协议。Xshell通过Internet到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好地达到远程控制终端的目的。除此之外，其还有丰富的外观配色方案以及样式选择必备知识技能：二、常用的SSH连接工具

01Termius:Cross-PlatformSSHToolTermius，一款支持跨平台多终端的SSH工具，适用于Windows、MacOS、Linux、iPhone、iPad、Android等多个平台，并支持全平台账号数据的同步。用户可以选择免费版或付费版，免费版功能相对有限但足够满足基本需求。有些时候可以通过GitHub教育优惠，可以免费享受到付费版功能。Termius提供了便捷的SSH连接管理和操作，为用户提供了高效的远程访问解决方案。无论是个人用户还是专业人士，Termius都是一个实用且灵活的工具，帮助用户轻松管理和连接到远程服务器

02FinalShell:一体化服务器管理软件FinalShell，国产的一体化的服务器和网络管理软件，不仅作为SSH客户端，还承担着开发和运维工具的重要功能，完美满足用户在开发和运维方面的需求。其特色功能包括云端同步、本地化命令输入框、支持自动补全、命令历史记录、自定义命令参数等。FinalShell提供跨Windows、MacOS、Linux等多终端平台的支持，并提供免费版和高级版两个版本，高级版增加了一些监控功能，直观地查看和运维服务器提供帮助参考必备知识技能：二、常用的SSH连接工具

MobaXterm:RemoteWorkToolsetMobaXterm，一款功能丰富的Win客户端的SSH工具组合，专为程序员、网站管理员、IT管理员以及所有需要以更简单方式处理远程工作的用户量身定制。用户可以方便地获得各种重要的远程网络工具（如SSH、X11、RDP、VNC、FTP、MOSH等）和Unix命令（如bash、ls、cat、sed、grep、awk、rsync等），全部集成在一个开箱即用的可移植exe文件中TabbySSH:Multi-TabSSHClientTabbySSH是一款跨平台的SSH客户端应用程序。它提供了直观的用户界面和便捷的功能，使用户可以轻松连接和管理远程服务器。TabbySSH支持多标签页，用户可以同时管理多个SSH会话，提高工作效率。该软件还具有分屏功能，方便用户在同一窗口内同时查看和操作多个会话Xterminal:强大开发工具Xterminal，一款国产的强大开发工具，不仅仅是SSH客户端和终端工具，还集成了笔记、云端仓库、监控等功能。该工具具有快捷操作和命令提示等特性，为用户提供便捷的操作体验。Xterminal支持Windows、macOS和Linux等多个平台，使用户能够在不同操作系统上灵活地进行开发工作，并提供了全面的开发环境和工具，满足各种开发需求SSH工具很多，本书使用的是SecureCRT必备知识技能：三、SELinux介绍

SELinux简介安全增强型Linux（Security-EnhancedLinux）简称SELinux，它是一个Linux内核模块，也是Linux的一个安全子系统。SELinux主要由美国国家安全局开发。2.6及以上版本的Linux内核都已经集成了SELinux模块必备知识技能：三、SELinux介绍

2.SELinux基本概念主体（Subject）可以完全等同于进程对象（Object）被主体访问的资源。可以是文件、目录、端口、设备等。以下均把文件或者目录视为对象政策和规则（Policy&Rule）系统中通常有大量的文件和进程，为了节省时间和开销，通常我们只是选择性地对某些进程进行管制。而哪些进程需要管制、要怎么管制是由政策决定的。一套政策里面有多个规则。部分规则可以按照需求启用或禁用（以下把该类型的规则称为布尔型规则）规则是模块化、可扩展的。在安装新的应用程序时，应用程序可通过添加新的模块来添加规则。用户也可以手动地增减规则在CentOS7系统中，有三套政策，分别是a.targeted：对大部分网络服务进程进行管制。这是系统默认使用的政策b.minimum：以targeted为基础，仅对选定的网络服务进程进行管制。一般不用c.mls：多级安全保护。对所有的进程进行管制。这是最严格的政策，配置难度非常大。一般不用，除非对安全性有极高的要求政策可以在/etc/selinux/config中设定必备知识技能：三、SELinux介绍

安全上下文（SecurityContext）安全上下文是SELinux的核心。安全上下文我自己把它分为“进程安全上下”和“文件安全上下文”。一个“进程安全上下文”一般对应多个“文件安全上下文”。只有两者的安全上下文对应上了，进程才能访问文件。它们的对应关系由政策中的规则决定。文件安全上下文由文件创建的位置和创建文件的进程所决定。而且系统有一套默认值，用户也可以对默认值进行设定。需要注意的是，单纯的移动文件操作并不会改变文件的安全上下文必备知识技能：三、SELinux介绍

SELinux的工作模式SELinux有三种工作模式，分别是a.enforcing：强制模式。违反SELinux规则的行为将被阻止并记录到日志中b.permissive：宽容模式。违反SELinux规则的行为只会记录到日志中。一般为调试用c.disabled：关闭SELinuxSELinux工作模式可以在/etc/selinux/config中设定如果想从disabled切换到enforcing或者permissive的话，需要重启系统。反过来也一样。enforcing和permissive模式可以通过setenforce1或者setenforce0命令临时切换需要注意的是，如果系统已经在关闭SELinux的状态下运行了一段时间，在打开SELinux之后的第一次重启速度可能会比较慢，因为系统必须为磁盘中的文件创建安全上下文。另外，SELinux日志的记录需要借助auditd.service这个服务任务实施：一、SecureCRT远程连接Linux

步骤1启动主机名为master的虚拟机，打开SecureCRT软件，选择点击菜单“文件”－〉“快速连接”命令，打开“快速连接”对话框，如图1-2-1所示，在“主机名”文本框中填写master的IP地址，在“用户名”文本框中填入“root”，单击“连接”按钮，弹出“输入安全外壳密码”对话框

步骤2在“输入安全外壳密码”对话框中输入用户名“root”及其密码，选中“保存密码”复选框，如图1-2-2所示，单击“确定”按钮