基于P2P和云计算的动态内容管理研究.doc

中国科学技术大学博士学位论文基于P2P和云计算的动态内容管理研究姓名：沈静波申请学位级别：博士专业：信息安全指导教师：王煦法;李金龙2011-04-02 摘要发现和更新发布两者有效结合，提出了稳定的内容分布网络 SCDN。该模型提出了基于需求的资源发现机制，混合 Push/Pull的更新发布机制，以及节点加入离开的相关处理协议以及节点类型的管理协议。本文使用 Markov链对 SCDN进行了理论分析，并通过仿真实验进一步证明了 SCDN网络可以提供实时的动态内容管理，同时保证数据的一致性和系统的鲁棒性。本文在 SCDN的基础上利用节点需求的时空局限性进一步发掘节点之间的聚类关系，提出了内容节点双向聚类模型。该模型通过构建关联列表实现聚类，并提出了二元查询机制。仿真实验证明通过使用二元查询，该模型可以获得更优的查询性能，特别是提高了关联内容的查询速度，且查询所需的通信量和存储空间也相对较小。为了深入分析 SCDN和内容节点双向聚类模型可以加速查询的原因，本文引入了小世界理论对资源发现过程进行理论抽象，分析了不同远程连接构建方式对查询性能的影响。结果表明，基于历史信息构建的远程连接在实际网络环境下具有最优的查询性能，且具有较高的鲁棒性，成本也最低；而理论上最优的远程连接构建方式在实际应用中未必能获得最优的查询性能。3.针对当前网络终端的多样化和云计算的出现，本文提出了一个 P2P和云计算相结合的低成本的动态内容管理网络 PA-Cloud。该模型在服务提供商提供的稳定核心云外层构建了由用户节点构成的扩展云，主要使用扩展云进行低成本的动态内容管理从而降低了核心云的负载，使得核心云可以专注于提供稳定的存储和备份。该模型提出了基于需求的副本布局，低成本的内容更新机制，自适应的复制节点管理机制。仿真实验结果表明 PA-Cloud可以在没有明显增加用户端负载的前提下实现负载转嫁，显著降低服务提供商的云端成本，并增强了系统的可扩展性。关键词：动态内容管理 P2P云计算资源发现更新发布II AbstractAbstractWith the improvement of network, hardware and software, some terminals aremore and more powerful to participate in the network construction. These terminalscan share the work of servers, improve the scalability of the network, reduce the costof service providers, and promote the development of the distubuted network, such asP2P network. Furthermore, more and more new terminals with limited resources, suchas mobile phone and PDA, has to rely on the server, which promotes the appearanceof cloud computing. But these two kinds of terminals are not separate. For theheterogeneity of the network, we can give different terminals different functionsbased on their abilities, so they can play different roles in the network. It is one of thenew developing directions of future network.But it will bring new problems when users terminals participate in networkconstruction and maintaining. Because there are amount of peers and resources in thenetwork, the key problem of dynamic content management is to build logicaltopology and relevant protocols, so that we can locate resources and deliver updateseffectively. Real-time of operation, robustness and load-balance of system are basicdemands of distributed dynamic content management network, but the heterogeneityand unreliability of peers will become a balk to above demands.To construct a network for dynamic content management meeting all abovedemands, we focus on network topology design and resource discovery and updatedelivery protocol design. In order to improve the robustness and load balance of thesystem, we study real-time and consistency as well as the effects upon networktopology and performance introduced by dynamic changes of participant peersdemands.Main contributions in my dissertation are listed as follows.1. By using massively multiplayer online game (MMOG) as a typicalapplicationofdynamiccontentmanagement,weproposeacommunication platform based on P2P for MMOG.A model with good performance of load balance was proposed which iscalled Slide. In Slide, normal peers help each other for resource discovery,while super peers assist normal peers only when there was no other normalpeer. In this method, Slide can discover resources step by step, so the load ofsuper peer can be decreased and redundant communication can be avoided.Normal peers deliver updates to all relevant peers directly, in order to furtherIII Abstractreduce the load of super peer and improve the capability of real-time. Theconsistency check method based on optimistic synchronization was proposedto ensure the consistency under low traffic and improve the robustness of thesystem. Theoretical analysis and simulation results showed that the request ofreal time is met in Slide, while the consistency and load balance can beachieve too. We also used Slide as the basic communication platform to builda simple MMOG.2. Dynamic content management in P2P network will be discussed in the followthree fields in depth. In order to provide a stable network for dynamic contentmanagement, a double-layer structure was designed to combineresource discovery with update delivery, which constructs the StableContent Distribution Network (SCDN). Resources are discoveredbased on demand, so the performance is improved and the overhead isdecreased. The hybrid Push/Pull method was proposed for updatedelivery, in order to ensure the consistency of content and replicas. Theprotocol of peer management was proposed for robustness too. By usingMarkov Chain, we analyzed the performance of SCDN, and the furthersimulation results showed that SCDN can work real time and ensure theconsistency and robustness at the same time. Based on SCDN, a content-peer double-cluster model was proposedusing the limitation of peers demands. By constructing the list ofrelevant peers to form a cluster, two-step search method was proposed toimprove the performance of resource discovery, especially the search forrelevant content. Simulation results proved the performance is better inour model, and the traffic and storage space are also smaller. In order to further explain why our models can improve theperformance of resource discovery significantly, the small-worldtheory were brought. The effects of different long-distance connectionswere analyzed. Results showed long-distance connection based onhistory has good performance of resource discovery in real network, andthe overhead is also low. Though long-distance connection based onKleinberg theory has the best performance in theory, it is not the best inreal network.IV Abstract3. In order to adapt to the diversity of network terminal and theappearance of cloud computing, we combined P2P technology with cloudcomputing, and proposed a P2P-assisted cloud with low cost which iscalled PA-Cloud.Using P2P technology, the peripheral cloud is built around the core cloudto manage the dynamic contents, so the load of core cloud is decreased. As aresult, the core cloud can focus on providing stable storage and backup.PA-Cloud can achieve the high efficiency in dynamic content managementwith significant low cost while ensuring the scalability and robustness of thesystem. PA-Cloud proposed the replica placement based on demand, theupdate method with low cost, and the adaptive mechanism for replica peermanagement. Simulation results demonstrated the effectiveness of PA-Cloudin comparison with pure cloud. With only 60% of servers in pure cloud,PA-Cloud can deal with the same workload while maintaining the quality ofservice. A good trade-off between cost and performance was achieved.Key Words： Dynamic Content Management, Peer-to-Peer, Cloud Computing,Resource Discovery, Update DeliveryV 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。作者签名：_签字日期：_中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。公开保密（_年）作者签名：_签字日期：_导师签名：_签字日期：_ 第一章绪论第一章绪论1.1 P2P系统概述近十年来，Peer-to-Peer（P2P）作为一项新兴的网络技术被广泛运用于互联网的各个领域，比如文件共享，协同计算，即时通讯等。通过不断利用日益增长的客户端资源分摊服务器端的工作，让用户参与到网络中来，P2P技术在网络中占据了越来越大的比重。根据网络服务提供商的统计，超过 50%的网络流量被P2P应用占用，有时这个比例甚至可以高达 75%1-2。P2P网络，以其廉价对等的优势，吸引了越来越多的目光3，成为了互联网发展中一个令人瞩目的新方向。1.1.1 P2P网络的概念Oram等人对 P2P概念做出了如下的定义4：Peer-to-Peer（P2P）网络是一个由对等的自治的节点构成的自组织系统，以共享分布式资源为目标，提供了一个不需要集中式服务器的网络环境。简单的来说，P2P网络就是一个完全分布式的自组织的资源系统。其中的 Peer既是对等者，也是节点的意思。从字面的意思来理解，就是从节点到节点，从端到端，这样直接连接构成的网络。网络中的节点既是客户端（Client）也是服务器（Server）。在 P2P网络中，成千上万的用户机器彼此相连且彼此平等，通过彼此之间共享硬盘、CPU、网络带宽等资源，满足彼此对资源和服务的需求。C/S结构P2P结构图 1.1 C/S系统和 P2P系统的拓扑对比图由于 P2P网络是由用户节点构成的，所以它具有如下特点：(1)去中心化：在 P2P网络中一般不存在传统 C/S结构中的专用集中式服务器，所有的节点都身兼服务器和客户端这两个职责，对等连接并交1 第一章绪论互资源。由于不存在集中式服务器，所以网络中也不存在中央控制和单点瓶颈，从而提高了网络的可扩展性和鲁棒性。一般不需要依赖于集中式服务器，这也是 P2P网络和传统的客户/服务器（C/S）网络最大的区别，如图 1.1所示。(2)(3)可扩展性：由于每个节点都向系统提供资源，所以随着系统中节点个数的增加，系统中可用的资源也不断增加，所能提供的服务能力也在不断提高，从而能满足不断增加的用户需求。从理论上说，P2P网络提供了一个近似于无限大的资源池。鲁棒性：由于 P2P网络中不存在集中式服务器，所以不存在单点构成的系统瓶颈。网络中所有的数据和资源是分散在所有参与节点之上，节点之间也是直接和邻居节点相连，所以单个节点的离开或失效也只会影响少量的邻居节点，而对整个 P2P网络来说，这种影响是微乎其微的。且 P2P网络具有自组织的能力，即使部分节点离开网络，剩下的节点依旧可以自动重构连接，保持整个网络的连通性。所以 P2P网络具有良好的鲁棒性，可以在节点自由加入离开网络的同时保证系统的性能。(4)(5)成本低廉：P2P网络利用用户的机器提供资源和服务，而随着硬件和网络的发展，个人计算机的计算能力、存储能力和带宽也在不断提高。通过利用个人计算机上的闲置资源，比如计算能力或存储空间，可以在不需要服务提供商提供集中式服务器支持的基础上实现高性能计算和海量存储等功能。所以，P2P技术可以显著降低服务提供商的成本投入。负载均衡：P2P网络中，资源分散在所有的参与节点之上，所有的节点之间是完全对等的，所以可以更好的实现整个网络的负载均衡。由于 P2P网络具有上述五项突出的优势，所以被广泛的应用于多个领域，比如：文件存储，分布式计算，协同工作，即时通讯，搜索引擎等。1.1.2 P2P网络的发展历史P2P网络的发展始于 1998年，美国东北波士顿大学的一年级学生、18岁的肖恩范宁编写了 Napster的程序5。Napster的拓扑结构如图 1.2所示。从结构上来看，Napster更像是一个搜索引擎，由服务器对用户共享的文件建立索引并提供查询服务。用户通过查询服务器获得拥有文件的用户信息，然后直接连接相应的用户进行下载。由于 Napster将文件的查询和下载分离，实际的文件传输仅在用户之间进行，从而大幅的降低了服务器的负载，使得服务器可以支持更多的用户。Napster在 1999年大放异彩，成为无数音乐爱好者的新宠，被这些音乐爱2 第一章绪论好者广泛用于交互 MP3文件。在最高峰时，Napster拥有 8000万的注册用户。但由于版权问题，1999年 12月，Napster网站被多家唱片公司告上法庭，法庭最终判 Napster网站败诉，从而终结了 Napster飞速发展的脚步。文件A用户B用户A文件B用户D目录服务器用户B下载文件A询问：文件A存储位置回复：文件A存储位置用户C用户D用户E图 1.2 Napster拓扑结构示意图虽然 Napster最终被其他的后来的 P2P下载软件所替代，但 Napster开辟了一种全新的文件共享方式，并提出了 P2P网络最早的一种拓扑结构目录式P2P网络。后来的很多 P2P软件都是使用这种拓扑形式，包括当前著名的BitTorrent6，eMule7，RayFile（又名 FS2You）8等。这种拓扑结构的特点是：都存在一个索引服务器，用于存储文件的索引信息，用户通过查询索引服务器获得文件地址。但目录式 P2P网络中，集中式索引服务器容易成为系统的瓶颈，从而制约了整个系统的鲁棒性和可扩展性。为了进一步消除目录式 P2P网络中的瓶颈，Gnutella9修改了 Napster的拓扑结构，去除了 Napster中的索引服务器，而将系统的索引信息分散在网络中的所有对等节点之上。在 Gnutella中，所有的参与节点是完全对等的，不存在任何集中式服务器。当一个节点需要查询资源时，首先向所有的邻居节点发送查询请求。邻居节点再通过泛洪的方式将查询请求进一步向外扩散，直到消息的 TTL为 0。用户基于查询结果选择合适的文件进行下载。和 Gnutella类似，Freenet10也采用类似的完全分布式的拓扑结构，只是在 Gnutella基础上进行了一些改进。Gnutella和 Freenet的这种完全对等的拓扑结构被称为无结构化 P2P网络，拓扑结构如图 1.3所示。3 第一章绪论图 1.3无结构 P2P网络的拓扑示意图无结构 P2P网络消除了目录式 P2P网络中的集中式索引，从而提高了系统的鲁棒性。但由于每个节点仅知道自己邻居节点的信息，采用泛洪查找的方式进行资源定位11-15，从而造成网络流量呈几何式增长。且受到查询消息 TTL的限制，无结构 P2P网络的查询命中率也相对较低。虽然此后改进的 BFS16-17、随机漫步18-22等查询算法被提出，用于替换泛洪查找，但查询消息数过多，命中率较低始终都是无结构 P2P网络不适于商业化的一个重要原因。123N+145N6N-178109图 1.4结构化 P2P网络拓扑结构示意图之 Chord为了消除无结构化 P2P网络中搜索的盲目性，提高查询的命中率，分布式 hash表（Distributed Hash Table：DHT）技术被引入 P2P网络，并提出了结构化 P2P网络这一概念。结构化 P2P网络23-27具有相对稳定且规则的拓扑结构，如图 1.4所示。每个节点被指定了一个逻辑地址作为节点的键值，该逻辑地址是通过 hash函数计算得到。每个内容也根据 hash函数计算出相应的键值，内容的索引信息被存储在键值最接近的节点上。每个节点都保存了一张 DHT表进行路由，该 DHT表中记录了和自己在逻辑地址上临近节点的信息。当节点需要寻找某个内容时，4 第一章绪论首先根据 hash函数算出该内容的 hash值，然后从自身的路由表中寻找键值和内容键值最接近的节点发送查询请求。该查询请求会不断被转发，直到找到存储该内容索引的节点。著名的结构化 P2P网络包括：Chord28-29，CAN30-31，Pastry32-33，Tapestry34-37等。由于结构化 P2P网络是基于 DHT技术实现的，所以，结构化 P2P网络又被称为 DHT网络。和无结构 P2P网络相比，结构化 P2P网络能够高效的定位到对应该索引的信息，且通信量较低。但结构化 P2P网络也存在着明显的缺陷：网络拓扑维护成本太高，索引信息同步困难，实际物理网络和拓扑结构失配等。这些缺陷造成结构化 P2P网络较少被应用于实际商业网络中。混合式 P2P网络38-40是结构化 P2P网络和无结构 P2P网络一种折中的选择，是通过在完全分布式 P2P网络中引入超级节点（Super Node：SP）实现的，拓扑结构如图 1.5。在这种网络中，节点被分为两种类型：一种是叶子节点，一种是超级节点。叶子节点一般只和超级节点相连，超级节点之间再相互连接形成一个核心网络。超级节点之间定期更新彼此的信息，并负责处理自己所辖叶子节点的查询请求。Gnutella241和 Skype42都是使用这种拓扑结构。叶子节点超级节点图 1.5混合式 P2P网络拓扑结构示意图在混合式 P2P网络中，节点之间不再是完全对等的实体，超级节点负责了大部分的功能，普通节点的负载变得非常小。这种结构有很多优点：网络中的流量负荷大幅减少，查询速度快。但这种结构的缺陷也显而易见：由于存在超级节点，网络的拓扑结构和查询完全依赖于超级节点，当超级节点失效或受到攻击时，叶子节点将完全瘫痪。综上所述，当前 P2P网络的拓扑结构主要分为四种：目录式 P2P网络，无结构化 P2P网络，结构化 P2P网络，混合式 P2P网络。5 第一章绪论1.1.3 P2P网络中的动态内容管理传统的 P2P网络内容管理主要是在分布式网络环境中，实现对所需内容的存储，索引和访问。但随着网络技术的发展和用户需求的变化，当代的 P2P网络中存储内容已经不再是一成不变的，而是随着时间的推移和用户的操作不断被更新，比如维基百科中存储的文档，大规模多人在线游戏（Massively Multiplayer OnlineGame：MMOG）中的玩家状态等。在这种网络环境下，内容管理不仅要支持对内容的创建、索引和访问，还需要支持对内容的更新和跟踪，甚至需要主动地将内容重新分配到合适的位置。这些都增加网络拓扑和协议设计的难度。在动态内容管理的所有基本操作中，对于 P2P网络而言，最为困难的部分就是资源发现和更新发布这两项操作。由于在 P2P网络中缺乏集中式索引，每个节点仅知道和自身直接相连的节点信息，对于远方的节点信息一无所知。如何仅基于局部知识，从网络的大量节点中寻找定位目标内容所在的节点，这是资源发现需要解决的问题。对于资源发现过程而言，重要的是网络拓扑和查询协议的设计，它们需要能够保证下列需求：(1)低延迟：尽管存在网络延迟，但是，为了交互的实时性和良好的用户体验，用户发出查询请求到接收到查询结果的时间应尽可能的短。因此，从查询源节点到目标节点之间的转发次数应该越少越好。特别是对于实时性要求比较高的应用，比如分布式游戏，即时通讯等，资源发现的延迟更是应该越短越好，最好能做到常量级的延迟，甚至 1跳即返回。(2)低负载：由于网络中存在大量节点，每个节点都会进行查找，所以资源发现的通信量应该尽可能的低，特别是对于频繁进行资源发现的应用，比如分布式游戏，分布式存储。否则，会造成消息风暴，所有的参与节点都被查询请求所淹没，从而造成系统过载。资源发现的通信量和参与资源发现的节点数相关，这就要求每次进行资源发现时，参与的涉及的节点越少越好，即转发次数越少越好，这一点要求和低延迟的要求是一致的。(3)(4)高命中率：资源发现的最终目标还是找到存储所需内容的节点，不能满足这一目标的查询是失败的。虽然资源发现过程并不能保证一定能找到目标，但是没有命中的次数应该越少越好，否则，用户会感到失望，并最终离开。可扩展性：由于 P2P网络中潜在大量用户，这使得 P2P的资源发现过程必须具有可扩展性。即使用户大量增加，资源发现过程也需要能保证查询的延迟、通信量、命中率等保持相对稳定，起码不会随用户的6 第一章绪论增加呈爆炸性增长。(5)鲁棒性：由于 P2P网络中的节点自由加入离开网络，所以网络的拓扑结构会受到节点动态变化的影响，可能造成路由表陈旧，链接失效等。P2P网络中的资源发现过程需要保证：即使参与节点动态变化，故障失效，甚至被攻击，查询节点都能在给定的延迟范围内以较高的概率正确的找到所需内容。上述 5点是资源发现过程中网络拓扑设计和查询协议设计必须要考虑的内容，它们相互制约相互影响。如何权衡这些需求，满足不同应用的需求，是资源发现亟需解决的问题。当网络中存储的内容会随时间和用户操作变化时，如何控制对内容的修改，如何在修改后通知所有需要该内容的节点，避免它们使用陈旧的副本，如何在修改发生后保证所有副本同步更新，这些都是更新发布需要处理的。对于更新发布过程而言，重要的是副本布局的拓扑结构和更新发布的协议设计，它们需要能够保证下列需求：(1)(2)(3)(4)可用性：更新发布过程需要保证网络中总是保留有最新鲜的内容副本。当用户需要使用内容时，总是能获得新鲜的副本，即使节点失效或发生小范围的网络故障，而不会使用陈旧的副本，或者找不到所需内容。一致性：由于同一个内容在网络中可能存在多个副本，当用户对内容进行更新操作之后，更新信息需要同步传递到所有必要的副本，保证副本之间是一致的，用户不会使用陈旧的副本。低负载：更新信息传递所需的通信量应该是可控的，特别是当网络中存在大量副本的时候或者内容频繁发生更新的时候。这就需要对副本的创建进行严格的控制，并合理的布置副本之间的拓扑。鲁棒性：即使网络中的部分副本正常或异常离开网络，用户仍能在网络中找到新鲜可用的副本。即使由于节点动态变化造成网络拓扑的变化，更新信息仍能正确及时的传递到所有必要的副本位置。总之，更新发布操作需要保证内容的可用性，副本之间的一致性，更新发布的低负载，更新操作的鲁棒性。这些都需要通过谨慎的设计副本之间的拓扑结构以及更新发布协议来保障。此外，由于 P2P网络是由用户节点构成的，计算能力、存储能力和带宽都远低于专用的服务器，所以需要保证网络负载能尽可能的均衡，避免个别节点因为过载而失效，从而影响整个系统的正常运行。这也是基于 P2P的动态内容管理需要关注的问题之一。7 第一章绪论1.2 云计算概述从 2007年底开始，“云计算”变成了一个炙手可热的名词。工业界和学术界不约而同的将目光集中到云计算的研究上，各大公司也纷纷争先恐后的以前所未有的速度和规模推动着云计算技术和产品的普及43-46。转眼几年过去了，云计算的热度有增无减。1.2.1 云计算产生背景在互联网发展的初期阶段，一切应用都是按照客户/服务器（C/S）模式运行的。所有的数据，控制，计算，软件，都是存储在集中式的服务器上。当用户需要使用数据或者获取服务时，必须连接到服务器获得适当的权限，然后才能执行自己所需的操作。用户的终端并不需要强大的存储能力或处理能力，仅作为一个把用户连接到服务器的中介，使得用户能够获得服务器的服务。这种网络结构虽然可控性和安全性都很好，但由于所有的通信和服务都必须通过服务器，服务器部分很容易成为系统的瓶颈。无需经过服务器，将用户终端直接相连，这种显而易见的需求导致了对等网络（P2P）的发展。P2P网络中，所有的计算机都具有相同的能力和职责，既是服务器又是客户端，没有主从之分，处于完全对等的状态。资源，服务，控制，也是分散在不同的计算机上，没有集中式的服务器。但由于 P2P网络是由用户节点构成的，节点本身并不可信且稳定性较差，所以提供的服务可控性和安全性都相对较差。从本质上来说，网络的发展始终是为了满足用户之间共享、通信、协作这一需求，为了提供一个可控的、可扩展的、可靠的、安全的交流协作网络，从早期C/S结构到近年的 P2P结构，从集中式走到分布式，都是围绕这一需求而发展起来的。C/S结构的网络虽然可控性和安全性都很好，但是可扩展性较差，成本较高。而 P2P结构的网络虽然可扩展性良好，成本也相对较低，但可控性和安全性较差。综合这两种网络的优势，同时互补缺陷，是网络发展的必然趋势，而云计算的出现则是这种需求推动下的必然产物。1.2.2 云计算概念云是大量易用并可存取的虚拟资源的组合，比如：硬盘，平台和服务等。这些资源可以动态重配，并不断优化调整，以适应不同的负载。这个资源组合通过按次计费的形式开发配置提供服务，并通过基础框架提供商根据定制的服务层协议进行维护47。云计算平台的基本结构如图 1.6所示。8 第一章绪论云服务器图 1.6云计算结构示意图在云计算平台中，用户所使用的数据、服务、应用软件、开发平台等资源都是来自于互联网上的云计算服务提供商。由服务提供商负责对分布在网络上的各种资源进行分配、负载均衡、软件部署、安全控制。用户根据自身的需求申请一定配额的资源，并可以根据需求的变化动态的调整申请配额。用户再也无需为了瞬时的峰值而购买大量的资源，而可以通过在峰值抵达之前提高申请的配额，动态适应变化的需求。云计算方便了用户对资源的获取和管理，降低了用户的成本需求。云计算的特征主要可以通过下列四点进行描述48-51：(1)以互联网为中心：云计算的存储能力、处理能力等资源都是分布在网络中的各个节点上，从而降低了用户的成本。(2)虚拟化：所有的资源，比如存储器、处理器、网络带宽等，都被虚拟化，从而构成一个用户之间可以相互共享的、可以按需分配的基础资源池。(3)动态扩展：在云计算平台中，服务提供商提供的资源可以根据用户的需求动态的分配和自动的增长。而在云的上层，服务提供商提供的资源可以根据用户在业务层的不同需求，构建出各种各样相互隔离的应用。(4)可运营的业务支撑体系：云计算平台拥有完善的业务支撑体系，可以对用户进行计费监控，并具有良好的可扩展性和安全性。对于用户而言，使用云计算平台有很多优势52-54，包括：更高的性能，更低的 IT基础设施成本，更少的维护问题，更低的软件成本，即时的软件更新，增强的计算功能和数据安全，无限的存储容量，改进的操作系统之间的兼容性和文档格式的兼容性，更容易的群组协作，对文档的普适访问，最新版本的可用性，消除了对特定设备的依赖等。但云计算也不是没有缺点的，其中最显著的一点就是需要持久的网络连接，如果不能连接到互联网，或者网络连接的速度很差，那么云计算是不可能。此外，云计算提供的功能可能是有限的，最明显的一个例子就是 Google文档所提供的9 第一章绪论功能远少于微软 Office所能提供的功能。另外，云中存储的数据可能不是非常安全。云计算平台被修改被入侵，导致云中的数据被非授权用户访问，这是完全可能的。数据也可能在用户和云之间传输的时候被窃取被篡改，虽然这种可能性不大。云计算提供商的设备可能发生故障，从而导致数据丢失。从很多方面来说，云计算和网格计算有着相似的理念。网格是由同等的、不受集中式控制的资源构成的系统，通过使用标准的、开源的、通用协议和界面，提供高质量的服务47。云计算和网格计算的相似之处在于：都是由异构资源组成的，都具有良好的扩展性，对用户来说都是接入透明的，都是为了降低计算消耗而设计的，都通过使用第三方运行的资源增强系统的灵活性和可靠性。但云计算和网格计算却是两个不同的概念，它们之间的差异如表 1.1所示55-56。表 1.1云计算和网格计算的不同之处特征云计算网格计算资源共享分配的资源不会被共享强调共享和协作数据和计算资源的虚拟化虚拟化结构硬件和软件平台的虚拟化用户选择基础结构根据用户特定的软件定制运行环境服务决定基础结构用户的软件必须适应网格提供的平台分布式控制平台意识集中化程度可用性集中控制对用户友好难以入手和管理标准化，可互操作主要为学术机构代码完全开源标准化缺乏标准化推动者主要是服务提供商代码部分开源代码开源程度1.2.3 云计算的分类和应用云计算将计算资源从服务提供商（Service Providers：SPs）转移给基础结构提供商（Infrastructure Providers：IPs），这样服务提供商就可以获得更多的灵活性并减少开销。根据提供的能力，云计算有三种类型：(1)框架即服务（Infrastructure as a Service：IaaS）：基础框架提供商负责管理大量计算资源，比如存储器和处理器。通过虚拟化，它们可以对这些资源进行分裂、指派和动态调整大小，根据服务提供商的需求构建一个Ad-Hoc系统。它们部署软件栈运行它们的服务。Amazon的 EC257和 S358就是属于这一类型。10 第一章绪论(2)平台即服务（Platform as a Service：PaaS）：云计算平台可以提供一个额外的抽象层，替代提供一个虚拟框架，它们可以提供一个系统运行的软件平台。服务执行所需的硬件资源大小通过透明的方式决定。著名的范例就是 Google Apps Engine59和 S的 F60。(3)软件即服务（Software as a Service：SaaS）：云计算平台中提供的服务存在大量的潜在用户，这是和本地运行软件的一个明显的区别。一个典型的范例就是 Office应用的在线化，比如微软的 Office Live61。虽然云计算还处于发展的早期阶段，但已有大量公司开始提供云计算服务，在这些公司中，最为出名的莫过于 Google，Amazon，IBM等这些大牌公司。Google是云计算最初的提出者和使用者，也是目前云计算最大的实践者。Google的云计算基础架构主要由三个关键技术组成：Google File System（GFS）62，建立在集群上的分布式文件系统，用于处理对海量数据的访问；Map/Reduce63，主要通过“Map（映射）”和“Reduce（化简）”两个步骤来并行处理大规模的数据集；BigTable64，一种面向大规模处理、容错性强的自我管理系统，拥有 TB级的内存和 PB级的存储能力，使用多级映射的数据结构来存储数据，处理读写操作。通过使用这些技术，Google布置了大量云服务，比如：Google Map，Gmail，Google Apps等。此外，Google还提供了云开发服务，这些服务以 Google应用引擎的形式提供，使得开发者能够利用 Google强大的应用所依托的相同基础设施来构建他们自己的应用。Amazon也是一个主要的云计算服务提供商。不过，Amazon的云计算服