学年论文-基于云计算的校园云的设计与开发.doc

泉州师范学院学年论文题目基于云计算的校园云的设计与开发数计学院计算机科学与技术专业2009级1班学生姓名学号090308021指导教师职称讲师完成日期2012-8-30教务处制1基于云计算的校园云的设计与开发泉州师范学院数计学院计算机科学与技术专业指导教师讲师【摘要】如今，说到“云”，很多人就会联想到“云计算”。云计算，是继PC、互联网之后的第三次IT变革，是互联网时代信息技术发展的趋势。随着信息化技术的迅速发展，计算机技术已经成为各学校，特别是高校的各个部门必备的辅助工具，包括科学计算、信息发布、个人信息交流以及办公服务等，都离不开计算机的服务。计算机给人带来方便的同时，也给人带来使用上的麻烦，需要使用计算机服务的单位和个人往往不是计算机专业人员，对计算机技术缺乏经验；学校各部门彼此相对独立，资源也相对独立，如果各自独立部署所需的计算机服务系统，将造成资源的严重浪费。在提倡低碳生活的今天，“云”这一概念即将开始发挥它的作用。随着云计算技术的出现与发展，通过云计算技术在校园部署统一的云计算服务系统，将可以解决以上问题。本课题提出“校园云”这一设计，具体阐述如何构建校园云计算。【关键词】云计算；校园云；虚拟化；IaaS；PaaS；SaaS2目录引言.31.云计算.32.虚拟化.33.SaaS、PaaS和IaaS.44.校园云.44.1现有资源配置的缺陷.44.2校园云的优势.55.校园云的理论分析.55.1校园云的架构.55.2基础设施层.65.3资源监控.75.4负载管理.75.5冗余备份.75.6动态部署.75.7快速部署.75.8资源调度.75.9多租户技术.75.10海量数据处理.85.11大规模分布式存储.85.12数据结构化管理.96.校园云的实施.96.1基础云设施.96.2云平台.106.3高性能计算平台.117.校园云的各层云服务平台的选择.117.1OpenStack平台基础设施层.117.2Hadoop平台层.127.3应用层的用途.158.小结.169.参考文献.163引言当今的IT时代，云计算是所有IT厂商所追求的计算模式，也是既网格计算之后的一个新的计算模式，云计算是一种新兴的共享基础架构的方法，它可以将巨大的系统池连接在一起以提供各种IT服务，利用互联网连接的数据中心和服务器进行高效计算和信息存取的系统，使计算能力可以像电能一样提供给客户。在高校中，各院系部处之间彼此相对独立，资源的管理也相对独立，但有着相近的计算机服务需求，例如信息发布，办公自动化以及科学计算等。通过云计算服务系统为各院系部处提供统一的云计算服务平台，可以极大的提高资源的利用率，同时使用者不需要懂专业的计算机技术即可以轻松获得计算机的各种服务。集中的管理也使各部门无需为这些本不是自己专业需要管理的东西付出维护的成本，极大程度上将各用户从繁琐的计算机维护中解放出来。1.云计算云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化和负载均衡等传统计算机技术和网络技术发展融合的产物。它的目的是通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的计算实体，并借用SaaS、PaaS、IaaS等先进的商业模式把这强大的计算能力分布到终端用户手中。其架构如下图所示：图1-1.系统架构图2.虚拟化虚拟化，在计算机上，是一个虚拟版本而并非实际版本的创建，例如硬件平台，操作系统，中间件、存储设备或者网络资源等。虚拟化的目标是集中管理任务，同时提高可扩展性和工作负载。随着计算机技术的发展，虚拟化技术在计算机中得到快速的发展，在硬件与软件上、在服务器系统与网络系统上，在主机系统与存储系统上，都可以见到虚拟化的存在。通过虚拟化技术，可以提高系统的动态扩展性、设备的复用性和管理的方便性。虚拟化技术的主要作用：提高硬件和软件的利用率解决单个硬件不足的情况方便系统架构的部署、迁移和容灾4实现资源的整合，方便动态扩展实现资源的复用实现作用域的隔离在计算机虚拟化中，主要包括软件虚拟化、平台虚拟化和基础设施虚拟化。1.软件虚拟化软件虚拟化，即将一个软件的实体虚拟成多个副本，它是一种软件共享的模式，即将本来应该独立使用的软件通过虚拟化共享的模式，供更多的用户使用。2.平台虚拟化平台虚拟化，包括操作系统或者中间件的虚拟化，通过平台虚拟化技术，可以在一个软件系统平台上虚拟多个相近的平台，每个虚拟的平台均可以对外独立提供服务。例如中间件虚拟化，Web服务器虚拟化等。3.基础设施虚拟化基础设施虚拟化，它主要包括系统虚拟化、网络系统虚拟化和存储系统虚拟化等。通过基础设施虚拟化，可以将有限的硬件资源，包括服务器资源、存储资源和网络资源，虚拟出多个基础平台，每个平台可以独立的为用户提供服务，用户并不知觉平台后端的硬件分布情况。系统虚拟化技术是基础设施虚拟化的主要部分，包括硬分区，即通过硬件实现的虚拟化，软分区，即软件实现的虚拟化。系统虚拟化的主要应用，包括主要两个方面：1.VPS，即虚拟私有服务器2.HPC，即高性能计算系统3.SaaS、PaaS和IaaSSaaS、PaaS和IaaS是云计算模式的三种基本的服务模式，用户通过这些服务模式来获得云计算平台的服务。SaaS，软件即服务，即通过多重租赁的方式根据需要作为一种服务提供的一整套应用程序，也就是说，软件的单个实例运行于提供商的基础设施，即由供应商或服务商托管，并通过网络提供给用户，服务于多个客户端机构。PaaS，平台即服务，即把平台（中间件）当作服务，为用户提供共享的中间件系统，而用户无需下载和安装，客户可以通过该服务将自己的应用程序打包部署以及运行在云中。IaaS，基础设施即服务，指外包于支持操作的设备，包括存储、硬件、服务器和网络组建，即以资源为中心，为用户提供一个虚拟化的基础设施，用户可以将自己的操作系统、各种各样的中间件产品以及应用程序部署到一个虚拟机中，用户可以像使用一个独立主机一样使用虚拟机，而不会感觉有什么区别。4.校园云4.1现有资源配置的缺陷（1）资源分配分散学校资源除部分公共网站上的资源外，其它资源都存储在分散的电脑主机上，造成信息储存分散；（2）硬件资源利用率低学校购买大量计算机，但并不是每个时间段都在使用，在空闲时间和计算机硬件未发挥完全作用的情况下将会造成资源的浪费。比如部分电脑空闲CPU及硬盘空间；5（3）本地备份安全性低普通电脑备份资料一般在本机上，安全度低，容易丢失；（4）维护工作庞大每次对计算机硬件进行升级时都需要单个操作，工序繁琐，投入的成本大，造成更多的空闲资源；为保证计算机的系统安全，必须对每台电脑分别进行杀毒；软件升级时，进行反复的升级操作。总之，传统的高校信息网络已经造成了金钱、资源的浪费，不符合低碳要求。大量重复的工作，造成了很多不必要的管理投入。4.2校园云的优势（1）超强计算能力，高效率利用资源校园云计算把大量计算资源集中到一个公共资源池中，通过多主租用的方式共享计算资源。因为校园大部分是局域网，所以单个用户在云计算平台获得服务水平几乎不会受到网络带宽等各因素影响，而且从整个校园资源的角度而言整体的资源调控降低了部分学校电脑峰值负荷提高了部分空闲的主机的运行率，从而提高资源利用率。（2）分布式数据中心保证系统容灾能力分布式数据中心可将校园云端的用户信息备份到地理上相互隔离的数据库主机中，甚至用户自己也无法判断信息的确切备份地点。该特点不仅仅提供了数据恢复的依据，也使得网络病毒和网络黑客的攻击失去目的性而变成徒劳，大大提高局域网系统的安全性和备份恢复能力。（3）灵活的配置调整方式通过中央调控，可对用户之间的资源配置进行分享，达到灵活分配。在升级硬件时直接中心大型主机进行分配用户所需配置即可。如需整体升级，也只需对中心大型主机进行升级。省时省力省投资。可以说在校园云中，老师学生在用一个超大硬盘，一个超大功率的CPU，在用一个千兆带宽的网络（4）按需分配，降低成本由于云计算下的硬件配置都是虚拟分配的，可以自由分配，对于一个用户来说，对方需要什么配置的服务，我们就虚拟开通什么服务，比如不用到现场打开机箱给用户电脑换CPU、换硬盘。这也省去了电脑硬件的购买运送维护费用，而且能根据需要不断扩展开通的服务。不断更换更加适合的配置，提高了资源的利用率。5.校园云的理论分析根据对校园云计算需求的分析，可以借助云计算技术和云计算的服务模式，在校园建立统一的云计算中心，搭建基云平台云及对应的服务，以满足校园云计算的需求。唯一的不同，即这种模式并非是完全的商业模式，而是一种“免费的”服务模式。5.1校园云的架构校园云为典型的云架构,基础技术主要有面向服务架构和虚拟化。大体上可以将校园云分为3个基本层次:基础设施层、平台层和应用层,架构层次示意图,如图5-1所示。6图5-1校园云的架构层次示意图在着手建立校园云之前,要进行硬件资源梳理分类,根据不同机器特点分为:主服务器和监控服务器、应用节点服务器和存储节点服务器、计算节点服务器。校园云系统构架图如图5-2所示。图5-2校园云系统构架图5.2基础设施层要搭建校园云,首先面对的是大规模的硬件资源,这些硬件设施通过校园网相互连接。为了能实现高层次的资源管理逻辑,必须对硬件资源进行虚拟化。虚拟化的过程一方面屏蔽掉硬件产品上的差异,另一方面对每一种硬件资源提供统一的管理逻辑和接口。虚拟化作为校园云的支撑基础,是校园云构架的关键组成模块。虚拟化技术打破了物理结构之间的壁垒,代表着把物理资源转变为逻辑可管理资源的必然趋势。将高校硬件资源整合形成资源池,实现资源动态分配、动态负载均衡,提高资源利用率,从而达到节能,实现低碳。同时,利用虚拟化技术对数据冗余备份,实现系统的零宕机迁移、备份和快速灾难恢复,以保证数据安全。计算资源的集中是通过虚拟化技术来实现的。虚拟化是校园云架构的一种基础性设计技术。虚拟化允许将服务器、存储设备和其他硬件视为一个资源池,而不是离散系统,这样就可以根据需要来分配这些资源。虚拟化既可以将单个服务器视为多个虚拟服务器和群集,又可以把多个服务器视为单个服务器。校园云基础设施层如图图5-3所示。校园云平台搭建基础设施云平台层应用层校园云客户端监控服务器节点服务器