浅析云计算技术及其应用

1、浅析云计算技术及其应用摘要:云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章讨论了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建立和应用。在分布式技术方面,文章讨论了分布式文件系统和key/value存储引擎技术。对于分布式文件系统,提出主机“瓶颈解决方案及存储接口标准化的想法;对于key/value存储引擎,提出目录化存储的解决方案。关键词虚拟化;分布式计算;云管理平台;key/value存储引擎abstrat:virtualizatinanddistributedparallelarhitetur

2、earettypialtehnlgiesfludputing.frvirtualizatintehnlgy,thisartiledisussestheplfphysialresures,resureplanageentanduse,lusterfaultlatinandaintenane,resureplgruping,andthebuildingandappliatinfhetergeneusvirtualizatinplatfrs.italsdisussesthedistributedfilesysteandkey/valuestrageengineassiatedithdistribut

3、edtehnlgy.a“asterbttlenekstrageinterfaestandardisprpsedfrthedistributedfilesyste,anddiretry-basedstrageisprpsedfrthekey/valuestrageengine.keyrds:virtualizatin;distributedputing;ludputinganageentplatfr;key/valuestrageengine云计算由ggle提出,随后在互联网界风起“云涌,随之而来的云计算效劳和技术平台成功案例层出不穷,如ggle的gfs、apredue、bigtable、hub

4、by和appengine,亚马逊的dyna、e2、s3、sqs、sipledb和ludfrnt,微软的azure、sql、“.net和live效劳,开源云计算平台的hdfs、hbase和eualyptus,vare的虚拟化平台等。1云计算的核心技术云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如xen、kv、lig d、eahed、nginx、hadp、eualytus等。云计算技术有效地节约了云效劳商的硬件投入、软件开发本钱和维护本钱。虚拟化技术最早由vare公司引入并在x86pu上实现。虚拟化平台将效劳器虚拟为多个性能可配的虚拟机(v),对

5、整个集群系统中所有v进展监控和管理,并根据实际资源使用情况对资源池灵敏分配和调度。分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理效劳。整合后的超级计算机通过分布式文件系统、分布式数据库和apredue技术,提供海量文件存储、海量构造化数据存储和统一的海量数据处理编程方法和运行环境1-3。2虚拟化技术虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进展管理,根据资源的使用情况和用户对资源的申请情况,按照一定的

6、策略对资源进展灵敏分配和调度,实现按需分配资源4-7。2.1物理资源的池化云计算平台如图1所示。物理硬件设备的虚拟化对象包括效劳器、存储、网络、平安等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。(1)效劳器虚拟化效劳器虚拟化对效劳器进展资源虚拟和池化,将一台效劳器虚拟为多个同构的虚拟效劳器,同时对集群中的虚拟效劳器资源池进展管理。(2)存储虚拟化存储虚拟化主要是对传统的存储区域网络(san)、网络附加存储(nas)设备进展异构,将存储资源按类型统一集中为一个大容量的存储资源,并将统一的存储资源通过分卷、分目录的权限和资源管理方法进展池化,然后将虚拟存储资源分配给各个应用使用,或者是

7、直接分配给最终用户使用。(3)网络虚拟化网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备(交换机、负载平衡器等),并进展资源管理,配合虚拟机和虚拟存储空间为应用提供云效劳。2.2资源池的管理和使用资源池由云管理平台实现统一的管理、调度和监控,涉及云平台的合理使用和维护管理。云管理平台共分为4个管理层面,分别为:设备的管理、虚拟资源的管理、效劳的管理和租户管理。(1)设备管理设备管理为云计算平台的硬件设备提供管理和告警功能,主要包括系统管理员在日常的维护工作中查询各物理设备性能情况,并对如应用效劳器的pu使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、i情况等关键指标进

8、展监控。用户可以根据应用物理设备的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。(2)虚拟资源管理虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵敏调度,同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况,并对应用虚拟机的pu使用率、内存使用率、硬盘使用率、网络接口使用率,虚拟存储(如亚马逊的ebs)的空间使用率、i情况等关键指标进展监控。用户可以根据虚拟资源的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。(3)效劳管理效劳管理包括效劳模板、效劳实例、效劳目录等管理。效劳管理在虚拟资源的根底上,快速向租户提供用户指定的操作

9、系统、应用软件等软件资源。(4)租户管理租户管理对每一个租户对应的资源群进展管理,内容包括资源的种类、数量、分布情况等,同时对租户生命周期进展管理,包括租户的申请、审核、正常、暂停、注销等。论文联盟2.3集群的故障定位与维护ggle的集群维护方式给我们留下了深化的印象,维护人员推着小推车对损坏的机器进展更换,故障定位通过定制p的故障灯进展判断(在通用的因特网数据中心(id)应用中,计算资源通常使用通用p机)。目前所有的云平台对物理机和虚拟机的监控、告警,都是按照机器的ip地址作为机器的编号进展管理。对于承载着虚拟机的物理机而言,其hsts模块的ip地址对应和代表着物理机器在集群中的唯一标志。i

10、p地址的分配一般采用两种方式:采用动态主机配置协议(dhp)方式自动获取;通过手工指定方式确定。由于集群中机器很多,手工指定工作量非常宏大,因此通常采用dhp的方式对ip地址进展分配。但是维护人员在云管理平台上发现物理设备出了故障,维护人员无法通过ip地址对应到故障机器的详细物理位置,通用的p机又没有故障灯等辅助定位手段。定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。在的虚拟化集群中,可以采用简单而有效的方法解决此问题。对于每一台物理机器,配置一个usb接口的key,key中保存了物理机器的位置信息,同时usbkey与物理位置直接绑定(如绑在机架上)。机器在启动时,会到usbk

11、ey中读取物理位置信息,根据读取的物理位置信息,根据固定的算法和物理信息算出机器的ip地址,并在管理平台中表达。这样,每个物理机器的ip地址就与物理位置绑定,在物理机器故障时,维护人员在云管理平台可以准确获取故障机器的ip地址和物理位置。2.4资源池的分组与异构对于效劳器的虚拟化,由于架构不同,sun、ib等厂家的小型机虚拟化都采用互相独立的架构,与基于x86架构的虚拟化系统(如xen、kv等)无法兼容,因此造成了资源浪费。对于效劳器虚拟化的异构问题,可以从两个层面去解决:(1)通过资源池的分组,对不同架构的效劳器和小型机进展虚拟化,不同架构的资源池归于一个独立的组,针对不同的应用,分配特定的

12、虚拟机资源。(2)通过业务的定制和调度,将不同架构的虚拟化平台通过管理交融,实现异构虚拟机的调度。异构资源池如图2所示。在云计算平台中,把ib的persystes小型机集群通过ib的perv系统虚拟为基于persystes架构的计算资源池,把hp的小型机集群通过hp的vse系统虚拟为基于hp架构的计算资源池,把x86架构的计算资源通过xenkv系统虚拟为基于x86的zxve资源池。在业务部署时,不同的应用的可以根据自己的业务特点和操作系统特点,选择性地部署在不同的资源池上,从而实现虚拟化对各类小型机的异构。x86架构的计算资源池、persystes架构的计算资源池和hp架构的计算资源池分别受各

13、自的虚拟化管理软件(如v、iv和gl)管理。在v、iv和gl的上层,可以通过交融的虚拟化管理器(iv),对3个计算资源池进展统一管理。图3所示为虚拟资源对应用实现异构的方法。此方法的核心在于4个方面:iv、业务调度器、业务系统针对不同的资源池架构提供应用功能一样的不同版本、iv和业务调度器之间的i扩大接口。在业务应用层面,针对业务系统,本文增加业务调度器模块。业务调度器根据业务的繁忙程度,向iv申请增加或减少虚拟机资源,并调整负载平衡策略。业务系统针对不同的资源池架构,需要准备与之对应的功能一样的不同版本。i扩大接口的工作流程为:业务系统的业务调度器通过i接口向云计算平台申请资源,同时向云计算

14、平台提供业务系统可以支持的操作系统等信息,并提供优先级信息。云计算平台根据业务系统的恳求和云内资源的空闲情况,分配计算资源,通过i接口通知业务调度器云计算平台向业务系统提供了何种架构的计算资源。业务调度器根据申请到的资源情况,将业务处理机的操作系统、业务版本等模板信息通过i接口通知云计算平台,由云计算平台进展操作系统和业务程序的部署,完成后提交给业务系统进展使用。3分布式技术分布式技术最早由ggle规模应用于向全球用户提供搜索效劳,因此必需要解决海量数据存储和快速处理的问题。其分布式的架构,可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型apre

15、due完成大型任务的分解和基于多台计算机的并行计算,分布式数据库完成海量构造化数据的存储。互联网运营商使用基于key/value的分布式存储引擎,用于数量宏大的小存储对象的快速存储和访问。3.1分布式文件系统分布式文件系统的架构,不管是ggle的gfs还是hadp的hdfs,都是针对特定的海量大文件存储应用设计的。系统中有一对主机,应用通过文件系统提供的专用应用编程接口(api)对系统访问。分布式文件系统的应用范围不广的原因主要为:主机对应用的响应速度不快,访问接口不开放。主机是分布式文件系统的主节点。所有的元数据信息都保存在主机的内存中,主机内存的大小限制了整个系统所能支持的文件个数。一百万

16、个文件的元数据需要近1g的内存,而在云存储的应用中,文件数量经常以亿为单位;另外文件的读写都需要访问主机,因此主机的响应速度直接影响整个存储系统的每秒的读入输出次数(ips)指标。解决此问题需要从3个方面入手:(1)在客户端缓存访问过的元数据信息。应用对文件系统访问时,首先在客户端查找元数据,假设失败,再向主机发起访问,从而减少对主机的访问频次。(2)元数据信息存放在主机的硬盘中,同时在主机的内存中进展缓存,以解决上亿大文件的元数据规模过大的问题。为提升硬盘可靠性和响应速度,还可使用固态硬盘(ssd)硬盘,性能可提升10倍以上。(3)变分布式文件系统主机互为热备用的工作方式为1主多备方式(通常

17、使用1主4备的方式),通过锁效劳器选举出主用主机,供读存储系统进展改写的元数据访问效劳,假设只是读访问,应用对元数据的访问将被分布式哈希表(dht)算法分配到备用主机上,从而解决主机的系统“瓶颈问题对于分布式文件系统,外部应用通过文件系统提供的专用api对其进展访问,这影响了分布式文件系统的应用范围。对于标准的psix接口,可以通过fuse的开发流程实现,但将损失10%20%的性能。对于网络文件系统(nfs),在实现psix接口的根底上,可以直接调用linux操作系统的nfs协议栈实现。3.2key/value存储引擎key/value存储引擎最大的问题在于路由变更后,数据如何快速地实现重新分

18、布。key/value存储引擎如图4所示。可以引进虚拟节点的概念,将整个key值映射的ring空间划分成q个大小一样的buket(虚拟节点,key的映射算法推荐采用d5)。每个物理节点根据硬件配置情况负责多个buket区间的数据。同一个buket上的数据落在不同的n个节点上,通常情况下n=3。我们将dahe的q设定成10万,即把整个ring空间分成了10万份,假设整个dahe集群最大容量为50tb,每个区间对应的数据大小仅为500b。对500b的数据进展节点间的迁移时间可以少于10s。图4中,n=3,buketa中的数据存储在b、d3个节点。4完毕语云平台的构建是一个具有挑战性的课题,本文详细描绘了虚拟化和分布式架构两大核心技术。在根底设施即效劳(iaas)层面,着重描绘了虚拟化技术,以及异构的虚拟化云计算平台的建立和应用,同时介绍了云管理平台的功能。在分布式技术方面,介绍了分布式文件系统和key/value存储引擎。对于分布式文件系统,本文着重介绍了主机“瓶颈解决方案及存储接口标准化的想法;对于key/value存储引擎,本文提出了用于目录化存储的解决方案。5参考文献1张为民,唐剑峰,罗治国,等.云计算:深化改变将来.北京:科学出版社,2022.2刘鹏.云计算.北京