云计算关键技术研究与分析论文

I福州大学至诚学院学科概论与前沿综述（论文）题 目： 云计算关键技术研究与分析 姓 名： 吴文权 学 号： 211003256 系 别： 化学工程系 专 业： 应用化学 年 级： 10 级 指导教师： 2012 年 6 月 1 日 1云计算关键技术研究与分析摘要在分析现有定义的基础上对云计算提出了较全面的参考性定义,并给出了云计算的六大特征、四种部署模式和三种服务模式。此外，通过对云环境中三种角色的责任分析和对主流云计算产品的研究，抽象出了支撑云计算的关键技术，最后指出云计算对未来软件市场发展的影响。当今社会，PC 依然是我们日常工作生活中的核心工具我们用 PC 处理文档、存储资料，通过电子邮件或与他人分享信息，如果 PC 硬盘坏了，我们会因为资料丢失而束手无策，而在“云计算”时代， “云”会替我们做存储和计算的工作。 “云”就是计算机群，每个群包括了几十万台、甚至上百万台计算机。 “云”的好处还在于，其中的计算机可以随时更新，保证“云”长生不老，Google 就有好几个这样的“云” ，其他 IT 巨头，如微软、雅虎、亚马逊（Amazon）也有或正在建设这样的“云”届时，我们只需要一台能上网的电脑，不需要关系存储或者计算发生在哪朵“云”上，但一旦有需要，我们可以再任何地点用任何设备，如电脑、手机等，快速地计算和找到这些资料，我们再也不用担心资料的丢失。关键词：云计算，分布式基础架构，分布系统，云服务，云部署2目 录第一章 引言 .31.1 云计算概念 .31.1.1 云计算特点 .31.1.2 云计 算分类 .41.2 云计算发展现状 .5第二章 云计算的应用领域 .6第三章 云计算容错机制 .73.1 云计算系统的容错和故障恢复 .73.1.1 多副本的数据 .73.1.2 Worker 故障 .73.1.3 Master 故障 .73.1.4 应用程序容错 .8第四章 云计算发展趋势 .84.1 正规的决策框架促进云投资的优化 .84.2 混合云计算是当务之急 .84.3 云经纪业将促进云消费 .8结论 .10参考文献 .113第一章 引言很少有一种技术能够像“云计算”这样，在短短的两年间就产生巨大的影响力。Google、亚马逊、IBM 和微软等 IT 巨头们以前所未有的速度和规模推动云计算技术和产品的普及，一些学术活动迅速将云计算提上议事日程，支持和反对的声音不绝于耳。那么，云计算到底是什么？发展现状如何呢？1.1 云计算的概念美国加州大学伯克利分校在指出云计算既指在互联网上以服务形式提供的应用，也指在数据中心中提供这些服务的硬件和软件，而这些数据中心中的硬件和软件则被称为云。美国国家标准与技术研究院指出云计算由一个可配置的共享资源池组成，该资源池提供网络、服务器、存储、应用和服务等多种硬件和软件资源。资源池具备自我管理能力，用户只需少量参与就可以方便快捷地按需获取资源。云计算提高了资源可用性。Wikipedia 和 NIST 都强调云计算中资源的按需提供。在对云计算范围的界定上， UCB 认为云计算不包括私有云，而 NIST 则认为云计算包括私有云。本文认为 NIST 的定义主要从云计算提供者的角度出发，比较全面地涵盖了云计算的本质特征，但是缺乏对云计算使用者和云计算开发者的阐述。综上所述，本文提出自己的参考性定义:云计算是一种以提高资源利用率、降低 IT成本为驱动的计算模式，在云计算中包括云服务使用者、云服务提供者和云服务开发者三类角色。云服务使用者可在不具备专业知识的情况下利用网络通过交互技术以自服务的方式访问云端资源。云服务提供者作为联系服务使用者和服务开发者的桥梁，以按需使用、按量计费的方式通过网络提供动态可伸缩资源，云服务提供者负责安全管理、运营支撑管理、服务平台以及资源平台，其中服务平台包括软件即服务 SaaS(Software as a Service)、平台即服务 PaaS(Platform as a Service)、基础设施即服务 IaaS(Infrastructure as a Service)以及这三种服务的组合和管理。资源平台包括资源池、虚拟资源管理、物理资源管理等。云服务开发者负责将各种软硬件资源封装成服务，并负责服务的创建、发布和维护。1.1.1 云计算特点4(1) 超大规模：“云”具有相当的规模，Google 云计算已经拥有 100 多万台服务器，Amazon、IBM、微软、Yahoo 等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。(2)虚拟化：云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(3) 高可靠性：“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4) 通用性：云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。(5) 高可扩展性：“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。(6) 按需服务：“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。(7) 极其廉价：由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。 云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。(8) 潜在的危险性：云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别象银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要的前提。1.1.2 云计算的分类从服务方式角度来划分的话，云计算可分为三种：为公众提供开放的计算、存储等5服务的“公共云” ，如百度的搜索和各种邮箱服务等；部署在防火墙内，为某个特定组织提供相应服务的“私有云” ；以及将以上两种服务方式进行结合的“混合云” 。目前云计算市场的 IAAS 领域，EMC、亚马逊的 EC2、浪潮信息、联想和方正科技等厂商就是代表；提供 PAAS 服务的厂商中，典型的有 IBM 的“蓝云” 、微软的WindowsAzure、谷歌的 APPS，以及国内的鹏博士、网宿科技等；最上面一层的 SAAS 领域，东软集团、用友、金蝶、金山、神州泰岳、北京讯鸟等皆为相应垂直领域的翘楚。1.2 云计算的发展现状中国云计算产业生态链的构建正在进行中，在政府的监管下，云计算服务提供商与软硬件、网络基础设施服务商以及云计算咨询规划、交付、运维、集成服务商、终端设备厂商等一同构成了云计算的产业生态链，为政府、企业和个人用户提供服务。虽然对云计算仍存在一些担忧，但随着概念的普及，产业界对于云计算逐渐形成了一个共识：如果忽视以云计算为代表的未来技术，中国将会在新一轮技术发展浪潮中落后于世界，中国需要抓住这一轮产业变革，占据国际产业分工制高点。早在 2010 年 6 月，胡锦涛总书记在两院院士大会上就指出，“互联网、云计算、物联网、知识服务、智能服务的快速发展为个性化制造和服务创新提供了有力工具和环境”，将云计算应用提上了创新生产方式的高度。10 月，国家发展和改革委员会、工业和信息化部联合发布关于做好云计算服务创新发展试点示范工作的通知，确定在北京、上海、深圳、杭州、无锡五个城市先行开展云计算服务创新发展试点示范工作，进一步明确了国家发展云计算的总体思路和战略布局。中国云计算的产业化快速发展尚存在如用户认知不足、标准缺失、数据主权争议、可用性、稳定性担忧、用户锁定、服务质量难以规范等诸多障碍。其中，标准和安全这一对“翅膀”以及相关法律法规的完善是最为核心、也是最为迫切需要解决的核心问题。云标准之翼对于云的起飞至关重要。没有标准，云计算产业的发展就难以得到规范健康发展，难以形成规模化和产业化集群发展。标准的内容不仅包括技术标准，还要包括服务标准，解决无论是公共云、混合云还是私有云的从规划设计，到系统建设、再到服务运营、质量保障等环节中的各种问题。安全问题的解决是关系到云服务能否得到用户认可的关键要素。除了可能发生的大规模计算资源的系统故障外，云计算安全隐患还包括缺乏统一的安全标准、适用法规、以及对于用户的隐私保护、数据主权、迁移、传输安全、灾备等问题。中国的云计算产业发展必须在数据加密、迁移、备份以及位置控制方面进行深入的研究，保证云服务的易用性、可用性、稳定性、安全性。安全问题的解决还包括云计算相关法律法规的不断完善，增强用户使用云计算的信心。6第二章 云计算的应用领域云计算应用领域中比如英国电信(BT)，2009 年 7 月 BT 的全球服务部门(BTGS)和微软签署协议开展合作，基于微软的 Business Online Productivity Suite (BPOS) 为大型机构提供在线商务套件服务。通过将微软的 BPOS 集成到 BT 全球性、软件驱动的客户网络(21CN)中，英国电信提供了一个能保证更高的服务水平和网络性能的、完全托管的新兴融合服务。BT 和微软为客户提供了一个基于云的商务协作工具，满足他们的语音及 IT服务需求，同时帮助客户节约在网络设备、IT 系统和其他基础设施方面的投资。BT 还计划在此基础上，利用其国际领先的语音 VPN 平台对 SIP 协议的支持能力，将其全球语音业务集成到现有云服务中，提供融合度更高、更深的服务。美国的 at&t 以 Synaptic 为品牌，通过与 EMC 等厂商的合作，自 2009 年 5 月起先后推出了 Synaptic Storage、Synaptic Compute 和 Synaptic Hosting 等云服务，主要利用数据中心以及宽带优势为客户提供“可靠、灵活、安全”的数据存储、虚拟主机及应用托管服务。美国 Verizon 的 CAAS(Computing as a Service)服务也在 2009 年 6 月正式推出，主要提供在线存储、虚拟主机和应用托管等服务。总体来看，英国电信对云计算领域的探索代表了通信行业未来对外提供云服务的方向，那就是协同上下游建立产业链、发挥运营商的固有优势和资源，为客户提供高端的、整体性的解决方案。At&t、Verizon 提供的云服务更多聚焦于 IaaS 方面，还没有与传统的通信能力做衔接，但其产品标准化管理及成熟的商业模式值得国内运营商借鉴。就国内而论，未来一段时间云计算应用领域的应用在通信行业主要以私有云为主，主要面向企业内部，提供整合型的基础设施服务(IaaS)。比如，面向 IT 系统和增值业务平台提供集中的基础设施。除此以外，在相关标准成熟的前提下，也可以在 PaaS 方面进行探索，比如整合现有通信网络能力，搭建统一的业务平台，并逐步对外开放。公有云服务提供方面，国内运营商应以英国电信为榜样和目标，基于现有的 IDC 业务逐步拓展服务内容，增加管理型服务等“软服务”，同时通过收购或建立联盟，拓展更高层面的SaaS 类服务，实现对已有资源能力的“保存激增”。云计算应用领域是近年来最为热门的 IT 技术，也被认为是互联网乃至 IT 行业的未来发展趋势，未来几年产业规模预计达到千亿美元。但对于电信运营商这样的企业而言，IT 支撑系统是企业运营的核心命脉，如何应用云计算应用领域需要慎重考虑。在切入云计算运营管理之前，一定要详细了解云计算始末、洞察云计算技术发展趋势和技术的成熟度以及投资效益，通过试点方可推广，不可“人云亦云”，系统安全稳定运行是首要条件。7第三章 云计算容错机制3.1 云计算系统的容错和故障恢复 云计算属于分布式系统，许多因素导致系统异常：首先，云计算系统由成百上千的节点组成，节点的失效是常事。假如节点的平均无故障时间是 3 年，则一个 1000 节点的机群，平均每天可能有一个节点故障。从商业成本来看，使用普通和主流的计算机（CPU，内存、网络、硬盘等）比高可靠计算机的性能、价格比更高，更何况无论多么可靠地计算机也会出现故障。其次，电源、网络等其他硬件也会出现故障；第三，软件出现故障的几率远远高于硬件；第四，各种人为因素，例如错误的操作，也导致故障。由于这些因素，云计算系统需要很好地处理各种原因导致的故障，自动从故障中恢复，并且不影响运行中的上层运用程序。3.1.1 多副本的数据云计算分布式文件系统保存了数据的多个副本（例如，GFS 缺省保存 3 份），当某个副本失效后，分布式文件系统的 master 会在适当的时间启动副本复制，使得数据的副本数保持设定的数量，保证了数据的安全；3.1.2 Worker 故障分布式分布式文件系统的 worker 可能出现故障,master 通过内置的 heartbeat/lease监控所有 worker 的状态，一旦确认某个 worker 故障，master 会把该 worker 保存的数据的副本个数减一，以便系统在适当时间启动副本复制以保证数据不会丢失；3.1.3 Master 故障为了避免 master 成为系统的单点，master 也有多个副本：其中一个是主 master，其余为辅 master，主 master 承担着 master 的职责，例如应答用户和 worker 的请求，记录操作日志等；辅 master 通过操作日志保持与主 master 的准同步。当主 master 发生故障后，在分布式选举协议作用下，一个辅 master 会升级成主 master，保证系统的继续运行；83.1.4 应用程序容错出于容错和故障恢复的原因，云计算系统的上层应用程序不能假设它正在或将要使用哪个 worker,也不能