Linux集群的研究及应用毕业论文.doc

Linux集群的研究及应用毕业论文目 录1 引言11.1选题背景和意义11.2国内外的研究现状12 集群技术32.1集群的定义32.2集群的分类32.3 集群的优点43 所采用的关键技术及实验平台53.1 双机热备技术53.2 IP负载调度均衡技术53.3共享存储53.4 VMware Workstation54 高可用(High Availability)集群74.1高可用集群74.2 HA集群的工作过程84.3 High-Availability Linux 项目和 HeartBeat84.4高可用（HA）集群的设计及实现85 Linux虚拟服务器与集群系统135.1 LVS集群的特点135.2 IPVS几种常用的负载均衡调度算法145.3 LVS 三种工作方式的具体原理145.4 LVS集群系统的设计及实现175.5三种工作模式的比较265.6设计三层架构的WWW服务器集群266 总结与展望31参考文献32致 谢33191 引言1.1 选题背景和意义当今计算机技术已进入以网络为中心的计算时代。由于客户/服务器模型的简单性、易管理性和易维护性，客户/服务器计算模式在网上被大量采用。在九十年代中期，万维网（World Wide Web）的出现以其简单操作方式将图文并茂的网上信息带给普通大众，Web也正在从一种内容发送机制成为一种服务平台，大量的服务和应用（如新闻服务、网上银行、电子商务等）都是围绕着Web进行。这促进Internet用户剧烈增长和Internet流量爆炸式地增长。现在Web服务中越来越多地使用CGI、动态主页等CPU密集型应用，这对服务器的性能有较高要求。未来的网络服务会提供更丰富的内容、更好的交互性、更高的安全性等，需要服务器具有更强的CPU和I/O处理能力。例如，通过HTTPS（Secure HTTP）取一个静态页面需要的处理性能比通过HTTP的高一个数量级，HTTPS正在被电子商务站点广为使用。所以，网络流量并不能说明全部问题，要考虑到应用本身的发展也需要越来越强的处理性能。大部分网站都需要提供每天24小时、每星期7天的服务，对电子商务等网站尤为突出，任何服务中断和关键性的数据丢失都会造成直接的商业损失。例如，根据Dell的新闻发布，Dell现在每天在网站上的交易收入为一千四百万美元，一个小时的服务中断都会造成平均五十八万美元的损失。所以，这对网络服务的可靠性提出了越来越高的要求。1.2 国内外的研究现状九十年代末期，Linux操作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系统的发展。在国内,包括中国科学院在内的许多大学与研究机构早在20世纪90年代就开始了基于Linux集群研究,联想、浪潮等国内许多公司都有Linux集群产品和解决方案。Google、Baidu和腾讯后台均采用Linux集群，其中Google在2005年就达到了200万台，不仅如此，Linux集群大量在金融、证券、电信以及IT行业使用。名为 High-Availability Linux 的开源项目的目标是，通过社区开发努力提供一个提升 Linux 可靠性（reliability）、可用性（availability）和可服务性（serviceability）（RAS）的群集解决方案。Linux-HA 项目得到了广泛的应用，是很多有趣的高可用性解决方案的重要组成部分。 LVS是中国章文嵩博士发起和领导的优秀的集群解决方案,许多商业的集群产品,比如RedHat的Piranha等,都是基于LVS的核心代码的。HA和LVS的不足主要有：HA集群一般都是以两个节点的形式出现的，单机处理能力有限，所以当服务器压力较大时，想扩容服务器的处理能力往往得把以前的服务器淘汰掉，浪费了以前的投资；LVS集群的真实服务器都是靠前端IP负载器进行调度分配的，所以存在单点故障，如果IP负载器Down机，整个集群系统就会瘫痪。所以必须把HA和LVS整合在一起。真实服务器的数据源所涉及的共享存储一般都是利用商业的硬件解决方案，如SAN网络区域存储，对于小型集群系统来说，投入非常高昂，完全可以利用Linux的软件RAID5技术和NFS网络文件系统来实现。2 集群技术2.1 集群的定义集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，工作站或超级计算机性能价格比要高得多。12.2 集群的分类集群分为同构与异构两种，它们的区别在于：组成集群系统的计算机之间的体系结构是否相同。集群计算机按功能和结构的不同可以分成：高可用性集群 (High-availability clusters，简称HA)、负载均衡集群(Load balancing clusters)、高性能计算集群(High-performance clusters，简称HPC)、网格计算(Grid computing)等几类。高可用性集群一般是指当集群中有某个节点失效的情况下，其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线，该过程并不影响整个集群的运行。负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群（Server Farm）。 一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。高性能计算集群采用将计算任务分配到集群的不同计算节点而提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPC cluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。网格计算或网格集群是一种与集群计算非常相关的技术。网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机，它的运作更像一个计算公共设施而不是一个独立的计算机。还有，网格通常比集群支持更多不同类型的计算机集合。22.3 集群的优点性能：网络服务的工作负载通常是大量相互独立的任务，通过一组服务器分而治之，可以获得很高的整体性能。性能/价格比：组成集群系统的PC服务器或RISC服务器和标准网络设备因为大规模生产降低成本，价格低，具有最高的性能/价格比。若整体性能随着结点数的增长而接近线性增加，该系统的性能/价格比接近于PC服务器。所以，这种松耦合结构比紧耦合的多处理器系统具有更好的性能/价格比。可伸缩性：集群系统中的结点数目可以增长到几千个，乃至上万个，其伸缩性远超过单台超级计算机。高可用性：在硬件和软件上都有冗余，通过检测软硬件的故障，将故障屏蔽，由存活结点提供服务，可实现高可用性。3 所采用的关键技术及实验平台3.1 双机热备技术所谓双机热备，就是将中心服务器安装成互为备份的两台服务器，并且在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时，另一台备份服务器会迅速的自动启动并运行（一般为2分钟左右），从而保证整个网络系统的正常运行！双机热备的工作机制实际上是为整个网络系统的中心服务器提供了一种故障自动恢复能力。3.2 IP负载调度均衡技术用户通过虚拟IP地址（Virtual IP Address）访问服务时，访问请求的报文会到达负载调度器，由它进行负载均衡调度，从一组真实服务器选出一个，将报文的目标地址Virtual IP Address改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将报文发送给选定的服务器。真实服务器的回应报文经过负载调度器时，将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户。3.3 共享存储共享存储为服务器组提供统一的存储空间，这使得系统的维护工作比较轻松，如Webmaster只需要更新共享存储中的页面，对所有的服务器都有效。分布式文件系统提供良好的伸缩性和可用性，当分布式文件系统的存储空间增加时，所有服务器的存储空间也随之增大。对于大多数Internet服务来说，它们都是读密集型（Read-intensive）的应用，分布式文件系统在每台服务器使用本地硬盘作Cache（如2Gbytes的空间），可以使得访问分布式文件系统本地的速度接近于访问本地硬盘。RAID是“Redundant Array of Independent Disk”的缩写，中文意思是独立冗余磁盘阵列。冗余磁盘阵列技术诞生于1987年，由美国加州大学伯克利分校提出。简单地解释，就是将N台硬盘通过RAID Controller（分Hardware，Software）结合成虚拟单台大容量的硬盘使用。RAID的采用为存储系统（或者服务器的内置存储）带来巨大利益，其中提高传输速率和提供容错功能是最大的优点。3.4 VMware WorkstationVMware Workstation 是一款功能强大的桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操作系统，和进行开发、测试 、部署新的应用程序的最佳解决方案。VMware Workstation 可在一部实体机器上模拟完整的网络环境，以及可便于携带的虚拟机器，其更好的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。对于企业的 IT 开发人员和系统管理员而言，VMware 在虚拟网路，实时快照，拖曳共享文件夹，支持 PXE 等方面的特点使它成为必不可少的工具。4 高可用(High Availability)集群4.1 高可用集群计算机系统的可靠性用平均无故障时间（MTTF）来度量，即计算机系统平均能够正常运行多长时间，才发生一次故障。系统的可靠性越高，平均无故障时间越长。可维护性用平均维修时间（MTTR）来度量，即系统发生故障后维修和重新恢复正常运行平均花费的时间。系统的可维护性越好，平均维修时间越短。计算机系统的可用性定义为：MTTF/(MTTF+MTTR) * 100%。由此可见，计算机系统的可用性定义为系统保持正常运行时间的百分比。计算机产业界通常用表4.1所示的9的个数来划分计算机系统可用性的类型。3表4.1 可用性的分类可用性分类可用水平每年停机时间容错可用性999999 /proc/sys/net/ipv4/ip_forward /打开IP转发ipvsadm C /清除现有Ipvs规则ipvsadm -A -t 77:80 -s rr /使用轮叫调度算法ipvsadm -a -t 77:80 -r 0:80 -m -w 1 /添加RS1服务器的调度ipvsadm -a -t 77:80 -r 0:80 -m -w 1 /如上ipvsadm -a -t 77:80 -r 0:80 -m -w 1 /如上chmod 777 /etc/init.d/vip.sh /修改权限/etc/init.d/vip.sh /执行脚本(6) Apache网页服务器的架设mkdir /mnt/cdrom /建立光驱挂载目录mount /dev/cdrom /mnt/cdrom /挂载光驱cd /mnt/cdrom/Server /进入RPM软件安装包目录rpm -ivh httpd-2.2.3-6.el5.i386.rpm /安装Apache服务器软件分别编辑3台真实服务器的不同网页内容：vi /var/www/html/index.htmlThis is X Apache Server 1111111111 /RS1的内容This is X Apache Server 2222222222 /RS2的内容This is X Apache Server 3333333333 /RS3的内容启动Apache服务器：service httpd start (7)测试LVS/NAT集群 如图5.4所示：依次打开VIP 地址：77，可以分别看到RS1、RS2，RS3的网页内容。在LVS1上执行ipvsadm -L -n stats，可以详细的看到链接请求的分布状态，是依次轮询的，说明LVS/NAT负载均衡实验是成功的。图5.4 LVS/NAT负载均衡测试5.4.2通过直接路由实现虚拟服务器(VS/DR)LVS/DR集群的拓扑结构图如图5.2所示：(1)工作环境设定：虚拟机版本：VMware Workstation 6.5.2 build-156735服务器操作系统：所有机器全部采用Red Hat Enterprise Linux 5客户机（测试）：Win2003 IP:74远程管理软件：Putty 虚拟机网卡工作模式：全部设为桥接：直接连接到物理网络VIP=77Directorserver（LVS1） eth0:34Realserver 1(RS1) eth0:31Realserver 1(RS2) eth0:32Realserver 3(RS3) eth0:33Gateway: 54DnsServer :(2)下载ipvsadm软件包:wget /software/kernel-2.6/ipvsadm-1.24.tar.gz(3)先要对内核进行软连接ln -s /usr/src/kernels/2.6.18-8.el5-i686/ /usr/src/linux (4)包的解压,编译和安装：tar -zxvf ipvsadm-1.24.tar.gz cd ipvsadm-1.24make allmake install(5)配置Director服务器的VIP脚本vi /etc/init.d/vip.sh /设置VIP脚本#Directorserver configure VIP# ifconfig eth0:0 77 broadcast 77 netmask 55 uproute add -host 77 dev eth0:0#setup ipvs#ipvsadm -A -t 77:80 -s rr /使用轮叫调度算法ipvsadm -a -t 77:80 -r 31 -g /添加RS1服务器的调度ipvsadm -a -t 77:80 -r 32 -g /同上ipvsadm -a -t 77:80 -r 33 -g /同上ipvsadmchmod 777 /etc/init.d/vip.sh /修改权限/etc/init.d/vip.sh /执行脚本如图5.5所示，Ipvs规则中已经有3台真实服务器的调度, 执行ifconfig,表明虚拟网卡eth0:0的IP 77 的VIP地址已经启用。图5.5 LVS/DR 服务器上VIP地址(6服务器LVS脚本的配置(3台真实服务器的配置一样)vi /etc/init.d/lvs.sh /设置VIP脚本# realserver #ifconfig lo:0 77 broadcast 77 netmask 55 uproute add -host 77 dev lo:0 /添路主机路由echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignore /关闭ARP广播请求echo 2 /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/all/arp_announcesysctl p /立即让配置在内核中生效chmod 777 /etc/init.d/lvs.sh /修改权限/etc/init.d/lvs.sh /执行脚本(7)Apache网页服务器的架设mkdir /mnt/cdrom /建立光驱挂载目录mount /dev/cdrom /mnt/cdrom /挂载光驱cd /mnt/cdrom/Server /进入RPM软件安装包目录rpm -ivh httpd-2.2.3-6.el5.i386.rpm /安装Apache服务器软件分别编辑3台真实服务器的不同网页内容：vi /var/www/html/index.htmlThis is X Apache Server 1111111111 /RS1的内容This is X Apache Server 2222222222 /RS2的内容This is X Apache Server 3333333333 /RS3的内容启动Apache服务器：service httpd start (8)测试LVS/DR集群 分别打开RS1，RS2，RS3的WEB地址，可以看到各自的网页内容。多次打开VIP地址77，可以依次看到RS3,RS2,RS1的网页内容。在LVS1上执行ipvsadm -L -n -stats ,可以详细的看到链接请求的分布状态，是依次轮询的，说明LVS/DR负载均衡实验是成功的。5.4.3通过IP隧道实现虚拟服务器(LVS/TUN)LVS/TUN集群的拓扑结构图如图5.3所示：(1)工作环境设定：虚拟机版本：VMware Workstation 6.5.2 build-156735服务器操作系统：所有机器全部采用Red Hat Enterprise Linux 5客户机（测试）：Win2003 IP:74远程管理软件：Putty 虚拟机网卡工作模式：全部设为桥接：直接连接到物理网络VIP=77Directorserver（LVS1） eth0:34Realserver 1(RS1) eth0:31Realserver 1(RS2) eth0:32Realserver 3(RS3) eth0:33Gateway: 54DnsServer :(2)下载ipvsadm软件包:wget http:/ww