云计算关键技术探究

云计算关键技术探究徐迪威（广东省高性能计算重点实验室，广州 ）摘要：云计算是一种基于互联网的超级计算模式，也是一种创新的商业计算模型。经过近三年来的理念推广和案例运作，云计算正越来越为人们所接受，成为IT发展的风向标。通过探讨云计算的关键技术，揭示了云计算是多种新技术的整合部署。关键词：云计算；虚拟化；服务模式1 云计算概述云计算（Cloud Computing）是于2007年提出的一种新型计算模式，是分布式计算（Distributed Computing）、网格计算（Grid Computing）和并行计算（Parallel Computing）的商用发展，是虚拟化（Virtualization）、效用计算（Utility Computing）、面向服务的体系结构（SOA）等概念混合演进并跃升的结果。通过云计算，网络服务提供者可以在瞬息之间，处理数以千万计甚至亿计的信息，实现和超级计算机同样强大的效能，同时，用户可以按需计量地使用这些服务，从而实现将计算作为一种公用设施来提供的梦想。云计算是一种基于互联网的超级计算模式，也是一种创新的商业计算模型。Amazon、IBM、Google、Microsoft、Oracle等众多的国际厂商推出了各自的云计算平台。我国在阿里巴巴、百度、世纪互联、中国移动等公司的带动下，正在构筑强大的“中国云”。珠三角各市紧跟技术发展，也在密锣紧鼓地建立服务本地的“云计算中心”。云计算代表了信息时代的未来，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式，有广阔发展前途。云计算平台（云计算中心）为电子商务、电子政务、物联网、数字城市、数字娱乐等应用提供了强有力的支撑。2 云计算体系结构云计算服务层次分为：基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）三个层次。IaaS是云计算服务的基础层，它把基础资源封装成服务；PaaS负责资源的动态扩展和容错管理；SaaS是云计算服务的高层，它将特定应用软件功能封装成服务。云计算技术体系可分为：物理资源层、虚拟化资源层、管理中间件层和服务接口层四个层次。物理资源层提供物理设施服务，如服务器集群、存储器、网络设备、数据库、软件等；虚拟化层把相同类型的资源整合构成同构的资源池，如计算资源池、存储资源池等；管理中间件层负责资源管理、任务管理、用户管理和安全管理等工作；服务接口层将云计算能力封装成标准的Web Services服务。云计算的技术体系与服务层次关系如图1所示。Apache Hadoop是云计算最常见的一个架构，是用Java语言实现的分布式系统基础软件框架，由Hadoop Core、HBase、Zookeeper三个子项目组成，实现了分布式文件系统HDFS（Hadoop Distributed File System）。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了对POSIX（Portable Operating System Interface）的要求，这样可以流的形式访问文件系统中的数据。图1 云计算技术体系服务层次关系图3 云计算关键技术得益于并行计算、虚拟化、面向服务架构（SOA）等新技术的发展，云计算得以快速推广，计算方法、存储方式、服务模式得以不断创新。3.1 虚拟化（Virtualization）虚拟化作为云计算的核心特征，是云计算依托的基础。虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行，它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统方面。在云计算实现中，计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。3.2 IaaS/PaaS/SaaS服务模式服务模式创新是云计算的一个重要特性。云计算彻底实现了计算机软硬件都是服务的变革，今后用户所需要的东西只有一种服务，包括：计算服务、网络服务、软件服务、平台服务、存储服务等。l 基础设施即服务（Infrastructure as a Service, IaaS）IaaS就是将基础设施（主要为计算资源、网络资源和存储资源）作为服务出租。这意味着虚拟计算机不仅具有有保证的处理能力，而且为存储和 Internet 访问预留了带宽。实际上，IaaS 具有在有特定服务质量约束的情况下出租计算机或数据中心的能力，使之能执行任意操作系统和软件。IaaS使用分为公共的和私有的两种。公共IaaS采用Internet上的公共服务器池，如亚马逊的弹性计算云（Amazon Elastic Compute Cloud, Amazon EC2），而私有IaaS则使用企业内部数据中心的一组公共或私有服务器池。l 平台即服务（Platform as a Service, PaaS）PaaS就是 IaaS 加上一个用于给定应用的定制软件栈，可描述为一个完整的虚拟平台，它包括操作系统和围绕特定应用的必需的服务。PaaS包含一个软件层，并作为一项服务提供此软件层，这项服务可用来构建更高水平的服务，如SaaS。l 软件即服务（Software as a Service, SaaS）SaaS是一种基于互联网提供软件服务的应用模式，是管理软件的发展趋势，也是云计算部署的最佳实践。由于SaaS依托对象为软件和互联网，因此它具有网联网特性、多重租赁特性和易用特性。3.3 并行计算和并行算法并行计算是相对于串行计算（通常针对单个CPU或单台计算机）而提出的并发计算方法，它将进程相对独立地分配于不同的节点上，由各自独立的操作系统调度，享有独立的CPU和内存资源（内存可以共享）；进程间相互信息交换通过消息传递。并行计算机通常是多指令多数据（MIMD）系统，主要的结构类型有：并行向量处理机（PVP）、对称多处理机（SMP）、大规模并行处理机（MPP）、分布式共享存储处理机（DSM）、工作站机群（COW）和网格机（Gird, Cluster of Clusters），全球超级计算机TOP500中大多采用COW和MPP结构，而PVP已退出历史舞台；主要的存储访问模型有：一致性存储访问（UMA）、非一致性存储访问（NUMA）、一致性高速缓存非均匀存储访问（CC-NUMA）、缓存存储访问（COMA）和非远程存储访问（NORMA）。并行计算模型主要为PRAM（Parallel Random Access Machine）、BSP（Bulk Synchronous Parallel）和LogP。PRAM是单指令流多数据流（SIMD）并行机中的一种具有共享存储的模型，其优点是结构简单、便于进行理论分析；BSP计算模型又称大同步模型，其放弃了程序局部性原理，从而简化的程序与实现的设计；LogP使用了L(Latency)、O(Overhead)、G(Gap)、P(Processor)四个参数来描述这个模型，采用了消息同步技术。并行程序开发环境主要有：MPI（Message Passing Interface）、OpenMP和PVM（Parallel Virtual Machine）。MPI由标准消息传递函数及相关辅助函数构成，多个进程通过调用这些函数（类似调用子程序）进行通信；OpenMP是为在多处理机上编写并行程序而设计的一个应用编程接口，包括一套编译指导语句和一个用来支持它的函数库；PVM将各种异构计算机的集合看成一个通用的并行计算环境，可满足用户选择适合的程序设计方式表达应用算法和选择最合适的硬件体系结构执行，支持软件重用。MPI多用在集群（cluster）系统，而OpenMP则用在共享存储系统（如SMP、DSM）。3.4 Web2.0Web2.0（互联网2.0）是相对Web1.0的新的一类互联网应用的统称。Web1.0的主要特点在于用户通过浏览器获取信息，Web2.0则更注重用户的交互作用，用户既是网站内容的消费者（浏览者），同时也是网站内容的制造者。Web的使用以交互性和未来的社会性网络为导向，它以Blog（博客）、RSS（聚合内容）、SNS（社交网络）、P2P、Wiki（百科全书）、IM（即时通讯）等社会软件的应用为核心，依据六度分隔、XML、Ajax等新理论和技术实现的互联网新一代模式。Web2.0强调的是信息技术（Information Technology）中的“Information”，因为只有丰富的Information才是Internet的发展之道。3.5 面向服务的体系结构（Service-Oriented Architecture, SOA）SOA是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以一种统一和通用的方式进行交互。SOA是一种架构，云计算是基于某个架构之上的结果，云计算有很多方面与SOA有交叉。有效的SOA治理是非常重要的。SOA治理（也称为服务治理），指的是保证一些核心功能在整个生命周期的开发、安全、性能以及其他策略上能保持一致。随着云计算和SOA不断融合，对治理策略、治理技术的需求日益迫切。3.6 云安全（Cloud Security）云安全经过样本收集和MD5（端匹配技术发展阶段，目前已发展到了第三代的可信云安全）。可信云安全的主要功能是云端收集+自动识别鉴定，云端鉴定器可随时增加。客户端提交几个字节的 DNA 指纹数据到云端匹配，是将传统杀毒引擎和互联网应用相结合的产物。可信云安全的特点是网上自动安全检测和防御，客户端可以优化到很小，以提高性能、减少资源消耗。云端（探针）自动完成样本收集、鉴定和实时响应。3.7 云存储（Cloud Storage）云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。图2 云存储结构模型云存储结构模型由存储层、基础管理层、应用接口层和访问层四层组成，如图2所示。存储层由存储设备和统一存储设备管理系统构成；基础管理层是云存储最核心的部分，实现云存储中多个存储设备之间的协同工作；应用接口层可由用户开发不同的应用服务接口，提供不同的应用服务；访问层提供用户授权认证服务。传统的存储系统利用紧耦合对称（TCS）架构，这种架构的设计旨在解决高性能计算问题，目前其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称（LCA）架构，集中元数据和控制操作。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。4 结束语云计算具有超大规模、虚拟化、高可用性、高可靠性、按需服务、及其廉价等特点。云计算经历近年的许多成功案例和经验后，正在迅速得到普及应用，是IT发展的风向标。随着多核处理器、异构计算和多级存储混合并行技术的发展，云计算将更加依赖于集中式处理的数据中心，与SOA的结合也将更加紧密。参考文献：1 刘鹏. 云计算M. 北京：电子工业出版社，20102 王鹏. 走进云计算M. 北京：人民邮电出版社，20093 孙世新，卢光辉等. 并行计算及其应用M. 北京：机械工业出版社，20064 IBM, Sun Microsystems, etc. Open Cloud ManifestoP, 20095 百度百科. 6 Wikipedia. /wiki/Main_PageExploration of the Key Technique of Cloud ComputingXU Di-wei(The Key Lab of High Performance Computing of Guangdong Province, Guangzhou )Abstract: Cloud Computing is a internet-based mode of supercompute, and is an innovative business computing model. It has been accepted by more and more people