毕业设计（论文）-企业内部云计算系统的组建 (2).doc

摘 要【中文】本毕业设计的技术特点是企业内部云计算系统的组建。企业的计算中心或数据中心可以将防火墙内的it资源以云计算的形式为企业内部提供服务，这就是企业内部私有云，并且根据运行状况，可以考虑将企业的剩余资源运行在外部云上提供给外部的客户，从而取得收益。 本设计实现云计算的关键是hadoop，通过将服务器集中，使数据中心几百上千的服务器，可以并行计算分布存储。本毕业设系统的搭建对企业it系统的升级换代、合理利用企业it设备、降低企业it成本具有重要的作用。关键词：云计算、搭建企业内部私有云、云平台系统目 录摘 要【中文】11 引言32 认识云计算52.1什么是云计算52.2云计算的兴起62.3云计算的发展72.4云计算的特点103 云计算架构113.1云计算基础原理113.2云计算模式下的网络123.3云计算基础架构133.3.1云计算实现机制133.3.2云计算服务层次153.3.3云计算技术层次163.4云计算应用173.4.1saas（软件即服务）173.4.2平台即服务183.4.3按需计算（utility computing）183.5云计算对企业的影响203.6典型云计算平台213.6.1 google file system 文件系统223.6.2 mapreduce分布式编程环境243.6.3分布式大规模数据库管理系统bigtable253.6.4 google的云应用264 内部云（私有云）274.1私有云的定义274.2创建私有云的几种模式284.3企业所面临的问题294.4私有云的优势304.5私有云vs公有云315 企业内部私有云平台的搭建325.1系统设计335.1.1系统整体架构335.1.2系统功能分析345.1.3系统工作流程355.2认识hadoop365.2.1 hadoop简介365.2.2前提和设计目标365.3 hadoop安装说明cloud computing385.3.1 hadoop安装步骤385.3.2遇到的问题465.4成果截图47总 结52致 谢54参 考 文 献551 引言2009年，企业面对几十年来最具挑战性的it环境。it组织将不得不与各种不利条件短兵相接，例如it预算削减、高度复杂的分布式计算环境以及金融衰退之下用户不断提高的要求和期望值。而这时云计算时代正扑面而来。云计算是当前it业界最炙手可热的技术，就像10年前的internet一样，云计算是目前it业界公认的互联网进化的下一阶段。目前美国各大it厂商纷纷进入这一领域，推出自己的产品，并参与制定标准，有的已经开始取得收益，比如ibm、emc、vmware、cisco、亚马逊、谷歌、微软等。云计算主要是把it资源转化成一种动态分配的按需索取的服务。现在公认的主要有saas,paas,iaas，即软件做为一种服务，平台作为一种服务，基础设施作为一种服务。与it厂商热衷于云计算的推进不同，在用户眼中，云计算更多地被看作是中小企业的福音，因为这种按it的实际需求采购软硬件和服务的模式非常适合it基础建设程度不高，并且it预算有限的企业。但对于那些已经过多年it建设，信息化程度较高的大型企业而言，他们对于将自身主业务系统运行在云计算上持怀疑态度。于是，一种构建在企业内部的云计算模式被提出。本设计的技术特点是企业内部云计算系统的组建。终端用户端来看，用户可以随时随地按需索取需要的it资源，以运行自己的应用程序计算，而不需要了解内部复杂的实现。而云端本身可以动态地分配各种it资源，随时动态地扩展或增加资源，而不影响客户的应用。目前许多大型it厂商纷纷推出自己商业化的产品，为的是在云计算领域分一杯羹。他们的产品一般互操作性不好，价格昂贵，用户受制于一家厂商。在企业内部组建云计算系统可以带来以下好处：首先降低了投资成本，产品本身是免费的，从而可以为企业节省开支。比如服务器虚拟化，vmware的产品需要license，一个license需要几百美元。由于源代码是开放的，可以灵活配置，按照客户的环境定制，提高效率；另一个好处是门槛比较高，可以增加竞争优势。 美林证券估计全球云计算的市场在1000亿美元以上。国内的市场和企业也必须跟上市场和技术的潮流。十几年前国内企业intranet和internet的起步就比国际晚了约5年，现在已逐步赶上。目前云计算正像当年的internet一样方兴未艾，而国内企业经过10年internet的实施经验和教育，在应用互联网技术方面已经有了长足的发展，提高了企业内部信息的流动和使用效率。众多企业利用internet技术实现b2b，从而扩大了产品销售，增加了订单，打开了市场。所以企业已经认清了互联网技术带来给企业信息化的好处，必然能够更快速的接受这种新技术，与国际接轨。 本设计的目标是整合企业内部的it资源，移植和虚拟化老的应用及新的应用，为企业量身定做一个适合自己需要的基于开放源代码的企业内部云计算模式。 企业内部云计算有些类似10年前的intranet及企业内部网，现在绝大多数企业已经建立了intranet，越早进入市场，就越容易取得先机。2 认识云计算2.1什么是云计算什么是云计算（cloud computing）？云计算是一种基于互联网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力，可以模拟核爆炸、预测天气变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算是对分布式处理（distributed computing）、并行处理（parallel computing）和网格计算（grid computing）及分布式数据库的改进处理，其前身是利用并行计算解决大型文体的网格计算和将计算资源作为计量的服务提供的公共计算，在互联网宽带计算和虚拟化技术发展后萌生出云计算。如图1所示为云计算的概念模型图1 云计算的概念模型2.2云计算的兴起云计算是一种全新的领先信息技术，结合it技术和互联网实现超级技术和存储能力，而推动云计算兴起的动力是高速互联网和虚拟化技术的发展、更加廉价的且功能强劲的芯片及硬盘、数据中心的发展。云计算作为下一代企业数据中心，基本形式为大量链接在一起的共享it基础设施，不受本地和远程计算机资源的限制，可以很方便地访问云中的“虚拟”资源，使用户和云服务提供商之间可以像访问网络一样进行交互操作。具体来讲，云计算的兴起有以下的因素。（1）高速互联网技术发展网络用于信息交换、信息发布、信息收集、信息处理。网络内容不再向早些年那样是静态的，门户网站随时在更新着网站中的内容，网络的功能、网络速度也起着非常大的变化，网络成为人们学习、工作和生活的一部分。不过网站只是云计算应用和服务的缩影，云计算强大的功能在高速互联网时代正崭露头角。云计算能够利用现有的it基础设施在极短的时间内处理大量的信息以满足动态网络的高性能需求。（2）资源利用率需求能源问题是众多企业特别是it企业重点关注的。企业数据中心降温及用电等能耗问题，计算能力利用率过低，通常的企业多数计算服务器运行中只有少量的工作负荷得到利用。引入云计算模式后可以通过整合资源或采用租用存储空间、租用计算能力等服务来降低企业运行成本和节省能源。同时利用云计算将资源集中，统一提供可靠服务，并能减少企业成本，提升企业灵活性，企业可以把更多的时间用于服务客户和进一步研发新的产品上。（3）简单与创新要求在实际的业务需求中，越来越多的企业用户都在期待着使用计算机操作能简单化，能直接通过购买软件或硬件服务而不是软件或硬件实体，为自己的学习、生活和工作带来更多的便利，能在学习场所、工作场所、住所直接建立便利的文件或资料共享的纽带，则是多数用户希望的。而对资源的利用可以简化到通过接入网络就可以实现自己想要实现的一切，就需要在技术上有所创新，利用云计算来提供这一切，将我们需要的资料、数据、文档、程序等全部放在云端实现同步。（4）其他需求连接设备、实时数据流、soa的采用以及搜索、开放协作、社会网络和移动商务等这样的web 2.0应用急剧增长，数字元器件性能的提升也使it环境的规模大幅度提高，从而进一步加强了对一个由统一的云进行管理的需求。2.3云计算的发展云计算已经成为未来发展的重要趋势之一，是业界的热点名词和技术，许多公司提供这各种各样的云计算服务，随着云计算理念和应用的推广，云计算的优势已经作家得到了用户的肯定。目前，ibm、微软、google、amazon等信息业巨头都已经参与到云计算研究和开发中。图22006年，sun公司推出了机遇云计算理论的“黑盒子”计划，其数据中心内置了各种计算机硬件以及必要的供电和冷却设备，作为大中型企业的一定数据中心用于实现可移动的计算机系统。“黑盒子”可以将很大小的资源集中起来利用，也可将大资源分开使用，以提高资源使用率。而云计算以数据为核心，便利的一定和部署特性使其发展前景十分广阔。2007年11月，蓝色巨人ibm在上海推出了“蓝云（blue cloud）”计划，充分利用云计算包括云应用的能力，通过基于soa的web服务，与现有的it基础架构的集成。“蓝云”关注it管理简化方面的突破性需求，以保证安全性、隐私性、可靠性、高使用率和高效率。“蓝云”建立在ibm在领先的大规模计算领域的专业技术，将基于由ibm软件、系统技术和服务支持的开放标准和开源软件。全球超过200名ibm研究人员参与开放的“蓝云”，政府机构、大学和互联网企业展开云计算方面的合作，并于2008年正式推出能随着某一应用工作负载的变化动态地提高和分配资源的“蓝云”处理器系统产品，通过管理服务器来确保基于需求的最佳性能。另外，ibm还提高了一个system z“大型主机”云环境，及基于高密度机架集群云环境。微软全世界有数亿计的windows用户，通过windows live提供云计算服务实现一般的设备存储转移到任何时间都可以存储的模式；2008年微软推出windows azure云计算平台，为进军云计算领域的又一大举措，将能够使企业使用其数据中心来运行网络应用程序和制作网络程序。互联网企业的先锋google的搜索引擎，其开放式的平台体现了云计算模式的精髓，其云计算服务所需要的绝大部分基础软件都是开源的；google在2006年推出google apps的企业服务即为云计算服务的雏形。用户只需要通过浏览器连接到google，就可以进行相应的存储和计算处理。google提供了在线文档处理、电子表格处理及电子邮件、im、日历、网页创建等服务，并能实现多人办公。目前google的战略部署为开源浏览器chrome。而google docs、google desktop、google picasa等作为google提供给个人网络用户的在线软件应用及云计算模式的初步体验。图3互联网上最大的在线零售商亚马孙提供弹性计算云，为独立开发人员及开发商提供云计算服务平台弹性计算云（elastic compute cloud，ec2）。亚马孙将弹性计算云建立在大规模集群计算的平台上，用户可以通过网络去操作在云计算平台上的各个实例，而用户根据自己的使用情况进行付费。虚拟化技术先驱vmware于2008年宣布加入云计算研究和开发队伍，并宣布其云计算策略和技术路线图，并论证了构建私有云的关键要素。资料表明越来越多的it企业、软件开发团队、服务提供商卷入到“云战争”中，抢占云计算这一新型服务领域，近期国外已有专门定位于云计算应用的终端设备发布，被称为云计算计算机和云操作系统。而无论是it企业、普通用户，都对云计算有着浓厚的兴起，无论是政府的机构还是科研预计按所，都对云计算的研究倾注了极大的热情。随着云计算规范的统一和应用进一步明朗，云计算团队将迅速终端，并延伸出广阔的产业链，无论是个人用户还是企业用户都能充分体验到云计算带来的好处。2.4云计算的特点云计算平台与传统应用模式相比，具有如下特点。（1）虚拟化技术。现有的云计算平台的最大的特点是利用软件来实现硬件资源的虚拟化管理、调度及应用。通过虚拟平台用户使用网络资源、技术资源、数据库资源、硬件资源、存储资源等，与在自己的本地计算机上使用的感觉是一样的，相当于是在操作自己的计算机，而在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利用率。（2）灵活定制在云计算时代，用户可以根据自己的需要或喜好定制相应的服务、应用及资源，云计算平台可以按照用户的需求来部署相应的资源、技术能力、服务及应用。用户不必关心资源在哪里、如何部署，只需要把自己的需求告诉云，剩下的工作就交给云了，云将返回用户定制的结果，当然用户也可以对定制的服务进行管理，如退订或删除一些服务等（3）动态可扩展性在云计算体系中，可以将服务器实时加入到现有服务器群中，提高“云”处理能力，如果某计算节点出现故障，则通过相应策略抛弃掉该节点，并将任务交给别的节点，而在节点故障排除后可实时加入现有集群中。（4）高可靠性和安全性用户数据存储在服务器端，而应用程序在服务器端运行，计算由服务器端来处理。所有的服务分别在不同的服务器上，如果什么地方出问题就终止它，另外再启动一个程序或节点，即自动处理失败节点，保证了应用和计算的正常进行，而用户端不必备份，可以任意节点恢复。在云计算服务器端提高了最可靠、最安全的数据存储中心，有全世界最专业的团队管理信息，有全世界最先进的数据中心保存数据，严格的权限管理策略可以帮助用户放心地与指定的人共享数据。另一方面，数据被复制到多个服务器节点上有多个副本，存车处在云里的数据即使意外删除或硬件崩溃都不会受到影响。（5）高性价比云计算对用户端的硬件设备要求最低，使用起来也最方便，软件不要购买和升级至需要定制就可以了，而服务器端也可以用价格低廉的pc组成云，而计算能力却可以超过大型主机，而用户在软硬件维护和升级上的投入大大减少。（6）数据、软件在服务器端云计算模式下，用户的所有数据直接存储在云端 ，在需要的时候直接从云端下载使用；用户使用的软件由服务商统一部署在云端运行，软件维护有服务商来完成，当个人计算出现故障或崩溃，也不会影响该用户对其软件的试用，用户只需要换个pc就可以继续自己的动作，包括文档实时编辑和协作开发等。（7）超前大的计算和存储能力用户可以在任何时间、任何地点，采用任何设备登录云计算系统后就可以进行计算服务；云计算云端由成千上万台甚至更多服务器组成的集群具有无限空间、无限速度。3 云计算架构3.1云计算基础原理云计算的基本原理为:利用非本地或远程服务器的分布式计算机为互联网用户提供服务。这使得用户可以将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算可以把普通的服务器或者pc连接起来以获得超级计算机的计算和存储等功能，但是成本更低。云计算真正实现了按需计算，从而有效地提高了对软硬件资源的利用效率。云计算的出现使高性并行计算不再是科学家和专业人士的专利，普通的用户也能通过云计算所带来的便利，使人人都有机会使用并行机，从而大大提高了工作效率和计算资源的利用率。云计算模式中用户不需要了解服务器在哪里，不用关心内部如何运作，通过高速互联网就可以透明的使用各种资源。云计算是全新的机遇互联网的超级计算理念和模式，实现云计算需要多种技术集合，并且需要用该软件实现将硬件资源进行虚拟化管理和调度，形成一个巨大的虚拟化资源池，把存储在个人电脑、移动设备和其他设备上的大量信息和处理器资源集中在一起，协同工作。3.2云计算模式下的网络网络已经深刻地改变了我们的工作、学习和生活，随着云计算这种新型模式的出现，网络在传统模式中的角色发生了巨大的转变，将网络的效能提升到前所未有的高度。在单机计算机时代，用户对软件、硬件及相应服务的需求也是体现在实体上。使用计算机前需要首先是按照配置购买组装硬件看，购买安装操作系统，安装需要用到的应用软件、服务软件包括常用的office套件、杀毒软件、媒体播放器等。在计算机网络时代，连接到互联网的计算机用户软件、硬件及相应服务的需求也是体现在实体上。和单机计算机时代相比，网络中提供了大量的免费资源、付费软件及其他的免费和付费资源。部分资源需要先下载再应用，而部分资源在网络高速发展的今天已经初现云计算身影，如bit软件的下载处理方式就是利用并行计算和分布式处理方式来完成的。网络完成传统的资源信息的处理。进入云计算时代，其最终目标是将计算、服务和应用作为一种公共设施提供给公众用户，使人们能够像使用水、电、煤气和电话那样使用计算资源。在2006年底“google101计划”推出后引领业界将包括并行计算、分布式计算、网格计算、服务计算等在内的心的计算范型的研究和实现。以用户为中心的云计算中，服务提供商可以使用网格技术或并行计算技术将大量的服务器或价格低廉的个人计算机互联在一起提供云服务。网络在云计算新兴基础架构中附加了角色，其一各类软件提供inernet提供软件服务；其二云服务商通过网络提供云计算、云存储服务；其三云服务提供商通过网络提供开发平台接口服务，开发人员可以租用平台及接口进行自己的专业开发及维护；其四可以通过网络提供商业服务和管理服务等。云服务商与it巨头在云计算时代通过网络实现人们希望实现的一切，在云端附加服务，云用户端定制服务和接收服务。在云用户端只需要有一台能连上互联网的，预置了“云操作系统”的浏览器端即可，用户要应用的软件及硬件均是云的服务形式，在此模式下，网络不仅传送信息，还传送服务，网络成了服务和信息的传送媒介。3.3云计算基础架构云计算充分利用网络和计算机计算实现资源的共享和服务，解决云进化、云控制、云推理和软计算等负责问题，其基础架构可以用云计算体系结构来描述，而云计算的服务层次则从提高服务类型角度描述云计算对应提高的功能或服务，云计算技术层次从云计算软硬件结合角度说明云计算平台的构成。3.3.1云计算实现机制云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算机和存储能力。通用的云计算体系结构如图4所示：图4 云计算实现机制云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端解密那生成相应的图标或列表的形式展示相关的服务。系统管理和配置工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的应用程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。监控统计：监控和计量云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡和资源监控，确保资源能顺利分配给合适的用户。计算/存储资源：虚拟的或物理的服务器，由系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户web应用服务，云数据存储时采用相应数据切割算法采用并行方式上传和下载大容量数据。用户可通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置web应用。3.3.2云计算服务层次在云计算中，根据其服务集合所提供的服务类型，整个云计算服务集合被划分成4个层次：应用层、平台层、基础设施层和虚拟化层。这4个层次每一层都对应着一个子服务集合，如图5所示为云计算服务层次。 云计算四层模型 云服务集合中的子服务应用层软件即服务平台层基础设施层虚拟化层硬件即服务基础设施即服务平台即服务图5 云计算服务体系结构云计算的服务层次是根据服务类型即服务来划分，与计算机网络体系结构中层次的划分不同。在计算机网络中每个层次都实现一定的功能，层与层之间有一定关联。而云计算体系结构中的层次是可以分割的，即某一层次可以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支持。在云计算服务体系结构中各层次与相关云产品对应。如图6所示：图63.3.3云计算技术层次云计算技术层次和云计算服务层次不是一个概念，后者从服务的角度来划分云的层次，主要突出了云服务能我们带来什么。而云计算的技术层次主要从系统属性和设计思想角度来说明云，是对软硬件资源在云计算技术中所充当角色的说明。从云计算技术角度来分，云计算大约有4部分构成：物理资源、虚拟化资源、中间件资源、和服务接口，如图7所示：图7 云计算技术体系结构服务接口：统一规定了在云计算时代使用计算机的各种规范、云计算服务的各种标准等，用户端与云端交互操作的入口，可以完成有用户或服务注册，对服务的定制和使用。服务管理中间件：在云计算技术中，中间件位于服务和服务器集群之间，提供管理和服务即云计算体系结构中的管理系统。对标识、认证、授权、目录、安全性等服务进行标识化化操作，为应用提供统一的标准化程序接口和协议，隐藏底层硬件、操作系统和网络的异构性，统一管理网络资源。虚拟化资源：指一些可以实现一定操作具有一定功能，但其本身是虚拟而本身真是的资源，如计算池、存储池和网络池、数据库资源等，通过软件技术来实现相关的虚拟化功能，包括虚拟环境、虚拟系统、虚拟平台。物理资源：主要指能支持计算机正常运行的一些硬件设备及技术，可以是价格低廉的pc，也可以是价格昂贵的服务器及磁盘阵列等设备，可以通过现有网络计算和并行技术、分布式技术将分散的计算机组成一个可以提供超强功能的集群用于计算和存储等云计算操作。在云计算时代，本地计算机可能不再像传统计算机那样需要空间足够的硬盘、大功率的处理器和大容量的内存，指需要一些必要的硬件设备如网络设备和基本的输入输出设备等。3.4云计算应用云计算的表现形式多种多样，简单的云计算在人们日常网络应用中随处可见，如腾讯qq空间提供在线制作flash图片，彩字秀提供的个性文字图片的处理，google doc和google apps、zoho、用远程软件进行office处理。云计算可提供的服务类型有：3.4.1 saas（软件即服务）软件厂商将应用软件统一部署在服务器或服务器集群上，通过互联网提供软件给用户。用户也可以根据自己实际需要向软件厂商定制或租用适合自己的应用软件，提供租用方式使用基于web的软件来管理企业经营活动。软件厂商服负责管理和维护软件，对于许多小型企业来说，saas是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用程序的需要，近年来，saas的兴起已经给传统软件企业带来强劲的压力。在这种模式下，客户不再像传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定的租赁服务费用，通过互联网编可以享受到相应的硬件、软件和维护服务，享有软件使用权和不断升级，这是网络应用最具效益的营运模式。saas通常被企业管理软件领域、产品技术和市场，国内的厂商已八百客、沃利森为主，主要开发crm、erp等在线应用。用友、金蝶等老牌管理软件厂商也推出在线财务saas产品。国际上其他大型软件企业中，微软提出了software+saas的模式，谷歌推出了与微软office竞争的google apps，oracle在收购sieble升级sieble on-demend后推出oracle on-demend，sap推出了采用传统和saas的杂交（hybird）模式。3.4.2平台即服务平台即服务paas（platform as a service）是提供开发环境、服务器平台、硬件资源等服务给用户，用户可以在服务提供商的基础架构基础上开发程序并通过互联网和其服务器传给其他用户。paas能够提供企业或个人定制研发的中间件平台，提供应用软件开发、数据库、应用服务器、试验、托管及应用服务，为个人用户或企业的团队协作。在云计算服务中，平台即服务包括以下类型服务。（1）提供基础开发环境云服务提供商开发、测试、部署、维护应用程序等服务，满足不同用户需要的不同开发周期和基础开发环境，多用户互动测试，版本控制，部署和回滚。（2）基础web服务和数据库支持soap和rest的借口，组成多个网络服务，支持多用户使用不同数据库的平台，协作用户实现云计算设计。（3）支持团队协作平台服务通过共享代码和预定义方式，可以界定、更新和跟踪设计人员，开发、测试、质量控制、完成团队协作。（4）提供实用设备以租用方式提供相应设备（如大型机器系统，存储系统等）以端到端方式给用户。平台系统比应用软件系统复杂，是一系列的软件硬件协议的系统集合。把平台独立于软件之外来另立为单独的服务项目，能够让服务更具有目的化，易于管理和维护。paas能给客户带来更高性能、更个性化的服务，也是saas今后发展的趋势，一个saas软件也能给客户在互联网上提供开发、测试、在线部署应用程序的功能。salesforce的平台和八百客的800app是paas的代表产品。paas厂商也吸引软件开发商在paas平台上开发、运行并销售在线软件。3.4.3按需计算（utility computing）按需计算，是将多台服务器组成的“云端”计算资源包括计算和存储，作为计量服务提供个用户，由it领域巨头如ibm的蓝云、amazon的aws及提供存储服务的虚拟技术厂商的参与应用于云计算结合的一种商业模式，它将内存、i/o设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。按需计算用于提供数据中心创建的解决方案，帮助企业用户创建虚拟的数据中心，诸如3tera的applogic，cohesive flexible technologies的按需实现弹性扩展的服务器。liquid computing公司的liquidq提供类似的服务，能帮助企业将内存、i/o、存储和计算容量通过网络基础为一个虚拟的资源池提供服务。按需计算方式的优点在于用户只需要低成本硬件，按需租用相应计算能力或存储能力，大大降低了用户在硬件上的开销。（1） msp（管理服务提供商）管理服务是面向it厂商的一种应用软件，常用于应用程序监控服务、桌面管理系统、邮件病毒扫描、反垃圾邮件服务等。目前瑞星杀毒软件早已推出云杀毒的方式，而secureworks、ibm提供的管理安全服务属于应用软件监控服务类。（2） 商业服务平台商业服务平台是saas和msp的混合应用，提供一种与用户结合的服务采集器，是用户和提供商之间的互动平台，如费用管理系统中用户可以订购其设定范围的服务于价格相符的产品或服务。（3） 网络集成网络集成是云计算的基础服务的集成，采用通用的“云计算总线”，整合互联网服务类似的云计算公司，方便用户对服务供应商的比较和选择，为客户提供完整的服务。软件服务提供商opsource推出了opsource services bus，使用的就是被称为boomi的云集成技术。（4） 云端网络服务网络服务供应商提供api能帮助开发组开发基于互联网的应用，提供网络拓展功能性。服务范围从提供分散的商业服务（诸如strike iron和xignite）到涉及google maps、adp薪资处理流程、美国邮电服务、bloomberg和常规的信用卡处理服务等的全套api服务。云计算在工作和生活中最重要的体现就是计算、存储与服务，当然计算和存储从某种意义上讲属于云计算提供的服务，因此也验证了云计算即是一种服务，是一种网络服务。3.5云计算对企业的影响云计算模式能极大地降低企业或学校的信息系统建设的成本。对他们来讲，通过投资建立计算中心成本较大，并且难以与他们的信息系统的快速成长和服务多元化要求相匹配。云计算模式为各团体机构提供了合适的借鉴方案，行业机构数据中心、网络中心的相关任务将可以选用云计算服务来完成，通过云计算提供的it基础架构，可以节约成本，不用投资购买昂贵的硬件设备，负担频繁的维护与升级。同时，云计算也将有效地消除行业信息系统中的“孤岛”现象。网络技术给出了消除信息孤岛的解决方案，作为网格运算模式的发展，云计算提供了更强的管理机制，自动化和高层次的虚拟化，将实现网络虚拟环境上的最大化资源共享和协同工作。具体来讲，云计算为企业带来的便利归纳为以下几个方面。（1） 商业模式和理念的转变it公司的商业模式从实体的软件或硬件产品销售转变为相应的软硬件服务的提供。通过云计算，更多的应用能够以互联网服务的方式进行。云计算的先驱者之一谷歌甚至强调未来几乎所有的软件都可以搬上互联网，以服务取代软件。云计算将带动整个商业模式的转变，延伸出新的商业体系，特别是it企业商业理念也需要转变，当前的软件销售转变为服务销售，将实体变为未来中的相关服务提供给个人用户或企业用户。（2） 提供管理效率、服务水平利用云计算的商业服务平台提供用户和提供商之间交换的平台，用户不要花精力去开发相应的软件或提供相应平台，只需要付少量的费用就能实现现代化的信息管理，将更多的精力用在企业的实质管理和服务客户，增强了企业的自动化度，能提高企业的管理效率及相应的服务水平。（3） 降低运行维护成本企业只需要定制相应的服务，由云服务商或云端提供需要的基础架构、服务、软硬件资源等，可以节约成本，不要投资购买昂贵的硬件设备，负担频繁的维护与升级，企业不需要建立自己的数据中心、大型机房、服务器中心等并相应减少软硬件的运行维护费用。（4） 提高了资源利用率云计算模式中多企业共用相应的基础架构，由云计算提供更强的管理机制、自动化部和高层次的虚拟化，将实现网络虚拟环境上的最大化资源共享和协同工作。企业可以自己组建多个企业共享云计算基础设施，在节约成本的同时提高资源的利用率。（5） 云计算将扩大软硬件应用的外延并改变软硬件产品的应用模式按照流行说法，云计算模式即为电厂集中供电的模式。也就是说，通过云计算，用户可以不必购买新的服务器和部署软件，只需要定制或租用就可以得到应用环境或者应用本身。对于用户来说，软硬件不必是部署在自己身边的、专属也自己的产品，而是可以变身为可利用的、虚拟的一种资源。（6） 影响产业链云计算作为一种应用模式，其兴起和推广，必将对产业链产生深远的影响。传统的it产品的开放方向及技术发展方向发生改变，在推出云计算后，都是围绕云计算进行，包括数据中心改造，软件服务、硬件服务的提供替代传统的软件开发和硬件开发及销售，衍生出相应的产业链，甚至不少企业为了谋求更好的发展构建行业联盟，整个产业将进行大的整合，并能细分出更多的云计算相关的服务企业。（7） 其他影响在云计算时代，it不要担心不断服务器升级、软件升级及其他计算问题，从而解放it部门，可以将更多的精力投入创新中；企业可以更方便获取外界信息，可以任何一种语言与客户和合作伙伴交流，有利于更好地进行企业决策。3.6典型云计算平台google的云计算技术实际上是针对google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点，google提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。从2003年开始，google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文，揭示其内部的分布式数据处理方法，向外界展示其使用的云计算核 心技术。从其近几年发表的论文来看，google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括google建立在集群之上的文 件系统google file system，针对google应用程序的特点提出的map/reduce编程模式，分布式的锁机制chubby以及google开发的模型简化的大规模 分布式数据库bigtable。图83.6.1 google file system 文件系统为了满足google迅速增长的数据处理需求，google设计并实现了google文件系统（gfs，google file system）。gfs与过去的分布式文件系统拥有许多相同的目标，例如性能、可伸缩性、可靠性以及可用性。然而，它的设计还受到google应用负载和 技术环境的影响。主要体现在以下四个方面:(1) 集群中的节点失效是一种常态，而不是一种异常。由于参与运算与处理的节点数目非常庞大，通常会使用上千个节点进行共同计算，因此，每时每刻总会有节点处在失效状态。需要通过软件程序模块，监视系统的动态运行状况，侦测错误，并且将容错以及自动恢复系统集成在系统中。(2) google系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大小通常以g字节计。另外文件系统中的文件含义与通常文件不同，一个大文件可能包含大量数目的通常意义上的小文件。所以，设计预期和参数，例如i/o操作和块尺寸都要重新考虑。(3) google文件系统中的文件读写模式和传统的文件系统不同。在google应用（如搜索）中对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新 数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优化和原子性（把一个事务看做是一个 程序。它要么被完整地执行，要么完全不执行）保证的焦点。(4) 文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应用程序和文件系统api的协同设计提高了整个系统的灵活性。例如，放松了对gfs一致性 模型的要求，这样不用加重应用程序的负担，就大大简化了文件系统的设计。还引入了原子性的追加操作，这样多个客户端同时进行追加的时候，就不需要额外的同 步操作了。总之，gfs是为google应用程序本身而设计的。据称，google已经部署了许多gfs集群。有的集群拥有超过1000个存储节点，超过300t的硬盘空间，被不同机器上的数百个客户端连续不断地频繁访问着。图9给出了google file system的系统架构，一个gfs集群包含一个主服务器和多个块服务器，被多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的时候，服务器分配 给它一个不变的、全球惟一的64位块句柄对它进行标识。块服务器把块作为linux文件保存在本地硬盘上，并根据指定的块句柄和字节范围来读写块数据。为 了保证可靠性，每个块都会复制到多个块服务器上，缺省保存三个备份。主服务器管理文件系统所有的元数据，包括名字空间、访问控制信息和文件到块的映射信 息，以及块当前所在的位置。gfs客户端代码被嵌入到每个程序里，它实现了google文件系统 api，帮助应用程序与主服务器和块服务器通信，对数据进行读写。客户端跟主服务器交互进行元数据操作，但是所有的数据操作的通信都是直接和块服务器进行 的。客户端提供的访问接口类似于posix接口，但有一定的修改，并不完全兼容posix标准。通过服务器端和客户端的联合设计，google file system能够针对它本身的应用获得最大的性能以及可用性效果。图9图103.6.2 mapreduce分布式编程环境为了让内部非分布式系统方向背景的员工能够有机会将应用程序建立 在大规模的集群基础之上，google还设计并实现了一套大规模数据处理的编程规范map/reduce系统。这样，非分布式专业的程序编写人员也能够为 大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身，而关于集群的处理问题则交由平台来处理。图11map/reduce通过“map（映射）”和“reduce（化简）”这样两个简单的概念来参加运算，用户只需要提供自己的map函数以及reduce函数就可以在集群上进行大规模的分布式数据处理。据称，google的文本索引方法，即搜索引擎的核心部分，已经通过map reduce的方法进行了改写，获得了更加清晰的程序架构。在google内部，每天有上千个map reduce的应用程序在运行。3.6.3分布式大规模数据库管理系统bigtable构建于上述两项基础之上的第三个云计算平台就是google关于将数据库系统扩展到分布式平台上的bigtable系统。很多应用程序对于数据的组织还是非 常有规则的。一般来说，数据库对于处理格式化的数据还是非常方便的，但是由于关系数据库很强的一致性要求，很难将其扩展到很大的规模。为了处理 google内部大量的格式化以及半格式化数据，google构建了弱一致性要求的大规模数据库系统bigtable。据称，现在有很多google的应 用程序建立在bigtable之上，例如search history、maps、orkut和rss阅读器等。图12给出了在bigtable模型中的数据模型。数据模型包括行列以及相应的时间戳，所有的数据都存放在表格中的单元里。bigtable的内容按照行来划分，将多个行组成一个小表，保存到某一个服务器节点中。这一个小表就被称为tablet。图12图13以上是google内部云计算基础平台的三个主要部分，除了这三个部分之外，google还建立了分布式程序的调度器，分布式的锁服务等一系列相关的云计算服务平台。3.6.4 google的云应用除了上述的云计算基础设施之外，google还在其云计算基础设施之上建立了一系列新型网络应用程序。由于借鉴了异步网络数据传输的web 2.0技术，这些应用程序给予用户全新的界面感受以及更加强大的多用户交互能力。其中典型的google云计算应用程序就是google推出的与 microsoft office软件进行竞争的docs网络服务程序。google docs是一个基于web的工具，它有跟microsoft office相近的编辑界面，有一套简单易用的文档权限管理，而且它还记录下所有用户对文档所做的修改。google docs的这些功能令它非常适用于网上共享与协作编辑文档。google docs甚至可以用于监控责任清晰、目标明确的项目进度。当前，google docs已经推出了文档编辑、电子表格、幻灯片演示、日程管理等多个功能的编辑模块，能够替代microsoft office相应的一部分功能。值得注意的是，通过这种云计算方式形成的应用程序非常适合于多个用户进行共享以及协同编辑，为一个小组的人员进行共同创作 带来很大的方便性。google docs是云计算的一种重要应用，即可以通过浏览器的方式访问远端大规模的存储与计算服务。云计算能够为大规模的新一代网络应用打下良好的基础。虽然google可以说是云计算的最大实践者，但是，google的云计算平台是私有的环境，特别是google的云计算基础设施还没有开放出来。除了开放 有限的应用程序接口，例如gwt（google web toolkit）以及google map api等，google并没有将云计算的内部基础设施共享给外部的用户使用，上述的所有基础设施都是私有的。幸运的是，google公开了其内部集群计算环境的一部分技术，使得全球的技术开发人员能够根据这一部分文档构建开源的大规模数据处理云计算基础设施，其中 最有名的项目即apache旗下的hadoop项目。而下面的两个云计算的实现则为外部的开发人员以及中小公司提供了云计算的平台环境，使得开发者能够在 云计算的基础设施之上构建自己的新型网络应用。其中ibm的蓝云计算平台是可供销售的计算平台，用户可以基于这些软硬件产品自己构建云计算平台。亚马逊的 弹性计算云则是托管式的云计算平台，用户可以通过远端的操作界面直接使用。4 内部云（私有云）4.1私有云的定义所谓的“内部云”（internal cloud），是把自己的计算资源汇集到云中，并进行管理；可以根据需要，动态实时地提供服务器资源，最后提高了利用率和效率。私有云是企业内部提供的云服务，在企业的防火墙内，并能对其数据、安全性和服务质量进行有效地控制。企业可以完全控制的云计算方式，即例如云存储的存储资源的访问可以完全由企业控制，而不是哪一个云计算服务提供商。这就等于使用云计算的企业自己建立的企业的内部云。当然这个云也可能会对外提供服务，但是企业所有的云计算应用都将基于这个云，并且对于数据的保护也是可以被企业完全控制的。一些大企业选择这种云计算的方式建立自己的云计算平台以支撑提供的服务或者内部使用。其原因可能出于对云计算提供商的不信任，以及对1对隐私数据保护不是很成熟的现状的担忧。 如果企业企业需要云计算的种种好处，例如按需使用，灵活的扩展性等。并且企业具有雄厚的资金以及技术基础，为什么我们不自己建造自己的云，而去使用企业不可控的云计算服务提供商的云（public cloud）呢？ 现在已经有一些软件公司提供这一类的服务，协助企业建立自己的云计算平台。例如parascale公司发布云存储软件产品。parascale发布parascale cloud storage（pcs）软件，允许企业用户将传统的linux服务器转化成amazon s3类型的存储云。目前sony picutures imageworks 和stanford genome technology 已经开始使用这些服务，一些公司利用这个软件提供自己的云存储服务。这个产品主要应用在企业对私有存储云的需求中。4.2创建私有云的几种模式（1）独自构建。通过使用诸如enomaly和eucalyptus等软件将现有硬件整合成一个云，这比较适合预算少或者希望重用现有硬件的企业。（2）购买解决方案。通过购买cisco的ucs和ibm的blue cloud等方案来一步到位，这比较适合有实力的企业。（3）购买私有云服务。通过购买amazon等云供应商的私有云服务，能将一些公有云纳入到企业的防火墙内，同时获得极大的控制权，并免去了维护之苦。