云计算实验室建设方案详细

/高校云计算实验室建设方案20XX3月第一部分、关于云计算的相关知识一、云计算简介云计算〔cloudcomputing是基于互联网的相关服务的增加、使用和交付模式.通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网.后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式.指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式.指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关.也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。在过去几年里.云计算和虚拟化的概念获得了巨大的发展动力.并且成为信息技术中的流行词。许多企业开始实现这些新技术.期望通过改进机器的利用率来降低成本.减少管理时间和基础设施成本。云计算是能够使用户在Internet上使用应用程序的一种环境.比如存储和保护数据.同时又能够提供服务。继个人计算机变革、互联网变革之后.云计算被看作第三次IT浪潮.是中国战略性新兴产业的重要组成部分。它将带来生活、生产方式和商业模式的根本性改变.云计算将成为当前全社会关注的热点。一方面.由于云计算正处在高速发展时期.其相关技术也处在日新月异.不断推陈出新的过程中.因此需要技术人员不断更新知识与技能；另一方面.云计算可以分为IaaS、PaaS、SaaS等多个层次.其相关技术涉及虚拟化、集群管理、分布式计算、WEB服务和大数据处理等多个领域.如何使教学与实验工作能涵盖众多层次与领域.成为云计算人才培养中的重要问题。二、云计算的五大优点〔1以服务为基础〔2可扩展性、弹性〔3共享〔4按使用计量〔5基于互联网技术三、云计算的架构层云计算平台可以根据需要动态提供、配置和重新配置服务器。云中的服务器可以是物理服务器或虚拟服务器。高级云通常包含其他计算资源.比如存储区域网络〔SAN、网络设备、防火墙和其他安全设备。总而言之.云服务提供商提供的服务主要可以分为以下三个类别：1.基础设施即服务2.平台即服务3.软件即服务〔1基础设施即服务〔IaaSIaaS就是指以服务的形式交付计算机基础设施。基础设施即服务提供了计算功能和基本存储作为网络上的标准服务。网络中包含了服务器、存储系统、交换机、路由器以及其他系统并可用于处理工作负载。IaaS云可以以一种非常经济的方式提供资源.比如按需从头构建应用程序环境所需的服务器、连接、存储和相关的工具。IaaS的优点包括快速供应、扩展能力、只为使用的资源付费。对于刚刚起步或较小的企业.面临的最大困难之一就是控制资金支出。通过将基础设施移到云中.就可以实现可伸缩的供应.就仿佛您拥有自己的硬件和数据中心一样〔对于传统的托管服务提供商来说是不现实的.但是您同时可以将前期成本降至最低。VCL在一个位置同时交付不同的基础设施。它在大学内提供了一个平台〔在其内部没有物理基础设施虚拟化环境。通过使用该环境.学生不需要为其项目建立任何特定的物理基础设施。VCL为基础设施提供了以下服务：计算物理计算机虚拟计算机OS级虚拟化网络存储在将所请求的映像映射到硬件之前.VCL管理者为可用的硬件资源提供适当的虚拟化〔聚合.解除聚合。VCL服务主要关注平台级别的资源控制。〔2平台即服务〔PaaS平台即服务是一个虚拟化的平台.它包括一个或多个服务器〔经过物理服务器集合虚拟化、操作系统和特定应用程序〔例如面向Web应用程序的Apache和MySQL。在某些情况下.可以提供一个包含所有必需的特定于用户的应用程序的VM映像。平台即服务包含一个软件层并将其作为服务提供.这个服务可用于构建更高级的服务。从服务的创建者或消费者的角度来看.PaaS至少存在两种视角：创建PaaS〔这里指VCL的人可能会通过集成OS、中间件、应用程序软件甚至一个开发环境来生成一个平台.这个平台稍后会以服务的形式提供给用户。使用PaaS的人〔大学中的用户会看到一个封装好的服务.这个服务通过一个界面呈现给他们。用户只能通过界面与这个平台进行交互.该平台执行必需的任务来进行管理和扩展.从而提供给定级别的服务。虚拟设备可以归类为PaaS实例。通过使用VCL.学生们不需要在其机器上安装任何特定的服务、解决方案堆栈或数据库。VCL为他们提供了映像.他们只需要选择这些映像并在云中提供的机器上使用它们。服务解决方案堆栈AspJavaPHP.NET存储数据库文件存储〔3软件即服务〔SaaSSaaS是指以服务的形式通过Internet访问软件的能力。软件即服务以服务形式按需提供完整的应用程序。软件的一个实例在云中运行并为多个终端用户或客户组织提供服务。远程应用程序服务的一个最佳例子就是GoogleApps.它通过一个标准Web浏览器提供了多个企业应用程序。VCL允许使用任何软件即服务解决方案、虚拟化解决方案和终端服务解决方案。VMWare、XEN、MSVirtualServer、Virtuoso和Citrix都是典型的例子。VCL还允许任何访问/服务交付选项.这些选项适合从RDP或VNC桌面访问到X-Windows再到Web服务或类似服务等各种内容。四、云计算基础设施模型在从标准的企业应用程序部署模型迁移到基于云计算的模型时.云计算架构师需要对基础设施模型做出几点考虑。对于大学中的云计算.可以考虑三种基本的服务模型.比如公共〔Public、私有〔Private和混合〔Hybrid云。1、公共云公共计算云面向任何希望登录到其中并使用它们的用户。公共云由供应商运行.来自不同用户的应用程序可能会混合存放到云中的服务器、存储系统和网络中。公共云的优点之一就是它们拥有比公司的私有云更大的规模.并且可以提供按需扩展或缩减的能力.将基础设施风险从企业转移给云提供商。IBM为其客户运作一个云数据中心。多名客户共享相同的基础设施.但是每名用户的云都得到了保护并彼此分离.就好象他们位于自己的防火墙之内。2、私有云设计私有云的目的是使组织能够获得比使用由供应商托管的服务更多的数据控制。私有云是为某个组织专门构建的.只能由该组织使用.提供了对数据、安全性和服务质量的最大程度的控制。私有云通常位于组织〔企业或大学的防火墙之后.只有该组织内部的人员有权访问云及其资源。3、混合云混合云同时结合了公共云和私有云模型。这个模型引入了判断如何在公共云和私有云之间分配应用程序的复杂性。在数据量较小或者应用程序无状态时使用混合云.与在数据量较大时使用公共云来进行少量处理相比.前者效果更好。VCL可以处理混合云模型。它可以为一个大学内的学生和教师提供服务和基础设施来作为他们的私有云。它还可以使用公共云在大学之间扩展这些服务。这需要更加安全的网络。五、高校数据中心的发展高校数据中心的发展共有三个阶段：面向标准化的数据大集中、面向资源的虚拟化和面向服务的云计算。〔1传统不同学校不同院系往往建立独立物理网络、独立的服务器资源。〔2新一代通过网络、服务器、存储虚拟化整合IT硬件资源、提供了多样化的教学方式.真正使信息化建设给企业的发展、学校的教学和科研带来帮助。随着虚拟化技术在高校数据中心应用的普及.虚拟机和虚拟机迁移等新特性的出现.传统的网络结构已经不能完全满足虚拟化的要求。云计算的本质是改变IT模式.能够让全局的IT资源更灵活、更高效、更经济的进行统一调配。其中.大集中是前提.虚拟化是方法.而云计算则是未来数据中心的目标。目前.部分信息化建设开展较早的高校已经完成了数据大集中.正处于虚拟化的阶段.通过服务器虚拟化和网络虚拟化等技术手段.整合了资源.提供了多样化的教学方式.真正使信息化建设给学校的教学和科研带来了帮助。随着越来越多的高校数据中心进入虚拟化阶段.云计算也离我们越来越近.构建云计算中心成为占领云计算制高点的重要环节。六、云计算五大领先技术〔1软件集群〔2负载均衡〔3计算能力分布〔4数据集中存储〔5专业FTP文件管理随着云技术的发展.以上5大领先技术.促使教育即将全面进入云时代。七、云计算的意义根据联合国的预测.到20XX全世界的城市人口将超过总人口的55%。但是在城市化进程飞速发展的今天.人们的城市生活也越来越面临一系列挑战：空间冲突、文化摩擦、资源短缺和环境污染等。建设"和谐城市"能够保持城市的活力、提高城市生活的质量.让市民享受城市发展所带来的丰硕成果。构建"和谐城市"需要感知纷乱庞杂的城市信息并具备海量数据的分析存储能力。基于新兴的物联网和云计算技术构建的"云"平台.能够使建设"和谐城市"的理想变成现实。作为城市最重要的IT基础设施.城市云是构建数字宜居城市、提升城市公共服务水平和促进城市可持续发展的重要保障。城市云是指通过建立和整合一个城市内的计算、存储、网络、安全、应用等IT资源.为一定范围内的政府、市民、行业企事业单位提供统一云计算服务的城市大型IT基础设施。<一>构建数字宜居城市城市的组织形式首先是为人类居住服务的.因此"和谐城市"首先需要让城市居民和来访者享受到城市的便利性和宜居性。平安城市平安城市通常建设三个平台：公共安全服务平台、城市安防体系平台和应急指挥平台。城市云是最好的平安城市公共服务支撑平台.可以利用其强大的计算能力、存储能力为包括城市视频监控系统、数字化城市管理系统、道路交通和危险源检测等多个系统提供技术保障。智能交通系统智能交通系统<ITS>是基于现代信息技术面向交通运输的服务系统.它基于对大量实时交通信息的采集分析、集成处理和综合应用.为交通参与者提供多样化的管理和服务.促进交通设施的有效利用和交通运行的组织优化.保障交通运输安全.提高路网通行能力和交通运行效率。食品安全由于监管体制没有完全建立和监管手段有限.我国食品安全面临着严重的公共卫生问题。基于物联网技术的食品安全溯源系统能对产品原料的来源和加工历程进行查询.能跟踪饲料或食品生产、加工和分销在特定阶段的流动情况实时状态.从而实现对原料端、生产端、运输端、流动端等环节实施实时监管与无缝衔接.最大程度的在技术上保证产品质量和食品安全。感知环保"感知环保"是结合物联网技术对水体水源、大气、噪声、放射源、废弃物等进行感知、处置与管理.建设成为一个集智能感知能力、智能处理能力和综合管理能力于一体的新一代网络化智能环保系统.旨在推进污染减排、加强环境保护.实现环境与人、经济乃至整个社会的和谐发展。<二>城市公共服务体系城市规模的快速扩大和城市人口的快速聚集对很多城市在城市管理、科学规划和公共服务上提出了更高的要求。建设城市云可以极大地提高城市的运营效率.节约社会资源.提高政府的决策水平.有助于提升整个城市公共服务水平.创造一个人际关系更加和谐的城市环境。一站式政务信息服务建设面向社会的政务信息服务系统.承担政策法规和服务信息网上公告、办事查询、表格下载、递交有关许可审批申请、网上投诉受理等功能.为市民提供"一站式"在线政务服务.是城市管理者转型为服务型政府的主要途径。医疗信息服务电子健康档案中的个人健康信息包括基本信息、主要疾病和健康问题摘要、主要卫生服务记录等内容。统一电子健康档案的建立.可以实现医疗机构间的信息互联互通.健康信息共享.切实解决群众看病就医问题。<三>加快传统产业升级制造业信息化是制造业迈向现代化、增强竞争力的必然过程.其主要的手段就是广泛采用基于高性能计算的CAD/CAE/CAM技术.实现"虚拟产品设计与优化仿真".以促进传统制造业改造.提高制造业产品研制能力。以高速铁路、航空航天和船舶制造业为代表的高端制造业是城市云主要的服务对象之一.城市云计算中心的强大计算能力是发展区域高端制造业.带动区域传统产业升级改造的重要手段。<四>促进新兴产业发展发展新兴产业是提高城市产业经济效率.寻找区域新的经济增长点.实现城市的可持续发展的重要途径。数字新媒体广电数字新媒体业务以新一代数字技术、网络技术、信息技术为基础.具有兼容、开放、共享、多样、对等、通用的突出特点.给广播电视的传播技术、传播方式、传播水平带来巨大而深刻的变革。在三网融合的技术发展背景下.互动电视、视频游戏、视频搜索等广电数字新媒体业务必将呈现爆炸式增长。文化创意产业基于高性能计算的渲染技术是文化创意产业发展的基础。动漫产业是许多城市着力发展的新兴数字文化产业.是基于高性能计算的"高可视"产品。云计算中心的建立将为区域文化创意产业的发展提供有力保障。软件服务业云计算技术的快速发展使得越来越多的软件开发商推出运行于互联网之上的应用软件.例如SalesforceCRM等。城市云计算中心拥有庞大的计算资源.可以充分满足各大SaaS软件供应商的需求.软硬结合.使得用户以更低的成本、更快的得到软件.而且无需维护。八、云计算在教育平台技术架构结合目前云计算在教育中的应用.绘制如下云计算中心教育平台技术架构、IDC整体视图、云中心运行方案架构。〔1云计算中心教育平台技术架构〔2IDC整体视图〔3云中心运行方案架构第二部分、云计算实验室一、实验室背景目前.云计算的建设、管理与开发技术.已经成为产业界和学术界的研究热点.而培养高素质的云计算专业人才.也成为教育与培训机构的重要任务。然而.一方面.由于云计算正处在高速发展时期.其相关技术也处在日新月异.不断推陈出新的过程中.因此需要技术人员不断更新知识与技能；另一方面.云计算可以分为IaaS、PaaS、SaaS等多个层次.其相关技术涉及虚拟化、集群管理、分布式计算、WEB服务和大数据处理等多个领域.如何使教学与实验工作能涵盖众多层次与领域.成为云计算人才培养中的重要问题。为满足云计算人才培养过程中的实验与实践需求.研发云计算实验平台.构建开放式实验环境。二、实验平台的特点〔一提供多层次、多种类的云计算实验支持。首先.平台能够对云计算的三个主要层次：IaaS、PaaS和SaaS进行演示和实验.加深使用者对云计算层次模型的理解。其次.平台能够对虚拟化、集群管理、大数据处理和基于云的WEB开发等多种技术内容.提供全面的实验环境和支撑。最后.云计算实验平台可以提供通用和可扩展的教学与实验资源。一方面满足不同类型、难度的实验资源需求.另一方面.可以通过扩容满足不同规模的实验需求。〔二提供开放性的资源与实验环境。云计算实验平台提供两种实验环境.首先是可以将终端部署在机房环境.实现集中管理的实验环境；其次.可以利用校园网或互联网接口.实现开放式、在线化的虚拟实验室.使用者可以进行远程操作和实验.提高了实验平台的利用率.也提高了平台的易用性。〔三提供高性能、易用、可扩展的云计算教育平台。云计算本身具备高性能、高可用性和易用等特点.基于云计算技术构建集中管理集群平台.可以实现有效地教学管理、资源配置和实验部署等.还可以实现硬件资源的平滑扩展和软件资源的升级与更新.以及在虚拟化资源之上提供新型的定制实验内容。三、实验室的环境部署计算实验平台采用资源集中部署、平台集中管理.机房实验和开放实验相结合的部署方式.参见图1：图1云计算实验环境部署云计算实验环境以云计算实验平台为核心.用云模式集中部署.提供虚拟化资源池.以及多种层次的实验资源支撑。集中化的管理平台可以对实验资源、平台以及教学与实验环境进行统一管理.保证平台管理的可靠性和安全性。实验平台通过交换机连接到机房实验环境.或者通过路由器连接到校园网或广域网环境.实现开放的实验环境。云计算实验平台的架构如图2所示：图2：云计算实验平台架构实验平台建立在虚拟化的资源池基础上.可以实现多种虚拟化、并行计算.多种类型的存储支撑和多种形式的网络拓扑连接和模拟。利用统一管理的资源池.可以实现大数据、云存储、虚拟化、云管理、云开发和在线学习等多种功能.从而实现从IaaS到SaaS的多层次、多种类实验支持。此外.平台还可以实现统一化、多维度的管理功能。四、实验资源实验列表1：虚拟化与IaaS层实验1.虚拟桌面的配置与使用在云环境下建立虚拟桌面镜像.对镜像进行配置和使用。测试虚拟桌面的性能特点。2.虚拟服务器的配置与使用基于虚拟化实现WEB、数据库等服务的建立；虚拟化服务器网络配置与监控；3.IaaS层集群管理方法与配置虚拟化资源管理与监控；IaaS层虚拟化实例部署、管理与调度；IaaS层高可用性管理；IaaS层虚拟化镜像管理与制作；IaaS层安全与权限管理；4.IaaS层功能开发IaaS层虚拟化高可用性与负载均衡开发；IaaS层实例网络配置应用开发；IaaS层虚拟机调度操作应用开发；5.IaaS层存储管理与开发IaaS存储资源配置与监控；IaaS层存储容错与扩展实验；基于IaaS层存储接口.实现云存储应用实例；〔块存储、对象存储和卷存储实验列表2：PaaS层与SaaS层实验1.PaaS平台的搭建与部署基于IaaS平台构建PaaS服务平台.实现自动化的资源调度和可靠的支撑平台；2.PaaS层的WEB服务机制实验PaaS平台异步消息机制开发与应用；PaaS平台负载均衡机制应用实验；PaaS平台缓存机制应用实验；PaaS平台容错与监控实验；3.基于PaaS平台的WEB服务开发基于PaaS的WEB服务开发与部署；基于云端API的WEB服务实现；实验列表3：大数据与分布式处理1.Hadoop系统构建与配置Hadoop系统的分布式搭建、配置；Hadoop系统的监控与扩展；2.HDFS存储系统实验HDFS读写接口使用与开发；HDFS容错与高可用性实验；HDFS伸缩性与均衡管理；3.MAP/REDUCE分布式处理机制实验基于JAVA的MAP/REDUCE编程；基于流的MAP/REDUCE编程；MAP/REDUCE的监控、优化与容错；基于MAP/REDUCE实现分布式数据挖掘；4.HIVE大数据分析实验HIVE系统的构建和配置；HIVE系统数据库建立与基本操作；HIVE系统应用开发实验；5.HBASE大数据实时查询实验HBASE系统搭建与配置；ZOOKEEPER系统的构建与配置；基于HBASE的基本操作；基于HBASE的应用开发实验；6.分布式NoSQL数据库操作与开发MongoDB系统的构建、配置与应用Cassandra系统的构建、配置与应用基于NoSQL系统的Map/Recue实现〔可扩展其他分布式NOSQL系统7.基于Hadoop和Nutch的搜索引擎与使用Nutch系统的构建和配置中文搜索与分词的应用实验Nutch系统的网络抓取与搜索实验五、产品清单1、现场服务内容序号名称数量备注1云平台快速部署可行性评估1套2服务器群主机物理整合1套3云平台整体安装1套4云计算操作系统安装调试1套5服务器资源池的搭建1套6网络系统安装与调试1套7入侵检测1套8防火墙设置1套9存储的设置备份/恢复方案1套10应用迁移1套11云平台运营验收1套2、实训案例〔部分序号案例名称数量备注1校园云计算实验平台建设案例1套2云计算快速部署案例1套3PaaS层与SaaS层实验案例1套4大数据与分布式处理案例1套5网络搜索企业案例1套6…………….……….7……….3、硬件清单配置为推荐硬件配置.实际建设时可根据实际情况.采购此清单设备或相似配置的同类设备。设备名称配置、功能数量高性能计算节点支持虚拟化的高性能计算节点5高性能存储节点支持虚拟化的存储节点算节点.支持10TB以上存储2高性能光纤交换机2其他网络设备千兆交换机、路由器、防火墙和负载均衡涉笔、机架和网络配件.工程辅料1其他辅助设备终端、显示器等1总计4、软件清单序号软件名称数量备注1操作系统软件1套2服务器操作软件1套3常用网管软件1套4网站管理软件1套5防火墙软件1套6数据库软件1套第三部分、云计算高校联合实验室