（计算机科学与技术专业论文）云存储中数据块资源分布及服务器效能优化问题研究.pdf

1 d i s t r i b u t i o no fd a t ab l o c k sa n do p t i m i z a t i o no fs e v e r u t i l i t y p r o b l e m sr e s e a r c hi nc l o u ds t o r a g e b y f e n g b e n m i n g b e ( c h a n g s h au n i v e r s i t yo fs c i e n c e & t e c h n o l o g y ) 2 0 0 6 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fs c i e n c e l n c o m p u t e rs c i e n c ea n dt e c h n o l o g y i nt h e g r a d u a t es c h o o l o f h u n a nu n i v e r s i t y s u p e r v i s o r d o c t o rt a n gz h u o m a y ，2 0 11 y 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：殇棚 日期驯侔易月j 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 日期： 口f 年 月日 日期：b 【f 年月1 日 硕十学位论文 摘要 云存储的概念是随着云计算的发展而出现的。本文对云存储机制进行研究， 分析了云存储系统中的数据存储方式及数据的访问方式。在云存储环境当中，数 据都是以多备份、固定大小数据块的形式存储在云集群服务器中，而所有数据块 都是以文件的形式存储在l i n u x 环境下。系统中有一个中心主节点，所有对数据 块的操作都是通过它进行协调。本文所做的主要工作包括： 通过对云存储环境的网络拓扑结构和基于地理位置信息的各服务器位置关系 的分析，得到数据块集合在云环境下层次化网络拓扑结构分布图。通过对数据块 集合结构分布图的分析，提出了云存储环境中存储资源的风险评估模型，并给出 了具体的风险计算算法和实例分析，为在云存储环境中对基于存储资源的风险研 究提供了理论依据。 针对云存储环境进行系统建模，形式化数据块资源和服务器资源的一些属性， 分析集合划分问题在资源分布中的重要性并给出了在集合划分问题中使用方差衡 量问题目标的数学证明。通过对云存储系统数据块资源属性的研究，对云存储系 统中数据块资源的分布问题进行数学建模，并提出基于云集群服务器性能的数据 块分布算法l p t i g a 。l p t i g a 算法是在l p t 算法的基础上改进的遗传算法。算 法首先改进遗传算法初始种群的产生，使用l p t 算法生成问题的许多解，然后使 用基于适应度值的轮盘赌选择算法选择得到遗传算法的初始种群；其次，对编码 进行改进，所有编码的方向都是按照数据块资源的被访问频率( 热度) 由大到小的 方向编码；最后，对交叉操作和变异操作提出一种随机地按照编码方向逐渐增大 概率的改进方法进行交叉和变异操作。 针对云集群中数据块服务器效能的优化问题，首先对云集群环境当中的服务 器效能最大化问题进行数学建模，在此数学模型的基础上给出f f d l p t 的近似算 法。f f d l p t 算法改进了d l p t 算法二分搜索的上界，使算法的搜索空间较小。 关键词：云计算；云存储；风险模型；负载均衡；效能优化；遗传算法 i i 云存储中数据块资源分布与服务器效能优化问题研究 a b s t r a c t t h ec o n c e p to fc l o u ds t o r a g e a p p e a r sw i t ht h ed e v e l o p m e n to ft h ec l o u d c o m p u t i n g t h i sp a p e rr e s e a r c h e st h ec l o u ds t o r a g em e c h a n i s m s ，a n da n a l y s i st h e c l o u ds t o r a g es y s t e md a t as t o r a g ea n dd a t aa c c e s s i nt h ec l o u ds t o r a g ee n v i r o n m e n t ， d a t ai sb a c k e du pb ym o r et h a nt h ef i x e ds i z ed a t ab l o c k sa r es t o r e di nt h ec l o u d c l u s t e rs e r v e r ，a n da l lt h ed a t ab l o c k sa r es t o r e di nt h ef o r mo fad o c u m e n tu n d e rt h e l i n u xe n v i r o n m e n t s y s t e mh a sac e n t r a lm a s t e rn o d e ，a l lo ft h ed a t ab l o c ko p e r a t i o n s a r ec o o r d i n a t e dt h r o u g hi t t h em a i nw o r ko ft h i sp a p e ri n c l u d e ： c l o u d s t o r a g e e n v i r o n m e n t t h r o u g h t h en e t w o r kt o p o l o g ya n dl o c a t i o n i n f o r m a t i o nb a s e do nt h er e l a t i o n s h i pb e t w e e nt h es e r v e rl o c a t i o na n a l y s i s ，c o l l e c t i o n o fd a t ab l o c k si nt h ec l o u de n v i r o n m e n t ，h i e r a r c h i c a ln e t w o r kt o p o l o g ym a p t h r o u g h t h ec o l l e c t i o no fd a t ab l o c kd i s t r i b u t i o na n a l y s i so ft h es t r u c t u r ep r o p o s e di nt h ec l o u d s t o r a g ee n v i r o n m e n tr i s ka s s e s s m e n tm o d e lo fs t o r a g er e s o u r c e s ，a n dg i v e ss p e c i f i c e x a m p l e so fr i s kc a l c u l a t i o na l g o r i t h m sa n da n a l y z e st h ee n v i r o n m e n ti nt h ec l o u d s t o r a g er e s o u r c e sb a s e do nr i s kr e s e a r c hp r o v i d e sat h e o r e t i c a lb a s i s c l o u ds t o r a g ee n v i r o n m e n tf o rm o d e l i n g ，f o r m a lr e s o u r c e sa n ds e r v e rr e s o u r c e s b l o c ks o m eo ft h ep r o p e r t i e s ，s e tp a r t i t i o n i n gp r o b l e mo ft h ei m p o r t a n c eo fr e s o u r c e d i s t r i b u t i o na n dt h es e tp a r t i t i o n i n gp r o b l e mi sg i v e nu s i n gt h ev a r i a n c eo fg o a l st o m e a s u r et h em a t h e m a t i c a lp r o o f s c l o u dd a t as t o r a g es y s t e mt h r o u g ht h er e s o u r c e p r o p e r t i e so f t h eb l o c k ，o nt h ec l o u ds t o r a g es y s t e m ，t h ed i s t r i b u t i o no ft h ed a t ab l o c k r e s o u r c em o d e lm a t h e m a t i c a lp r o b l e m s ，a n dp r o p o s ec l u s t e rs e r v e rp e r f o r m a n c eb a s e d o nc l o u dd a t ab l o c kd i s t r i b u t i o na l g o r i t h ml p t i g a l p t - i g aa l g o r i t h mi sb a s e do n t h el p ta l g o r i t h mf o r i m p r o v e dg e n e t i ca l g o r i t h m f i r s t l y ，i m p r o v e dg e n e t i c a l g o r i t h mi n i t i a lp o p u l a t i o ng e n e r a t i o n ，t h eu s eo fm a n yo ft h el p ta l g o r i t h mt o g e n e r a t et h ep r o b l e ms o l u t i o n ，a n dt h e nu s et h ef i t n e s sv a l u e b a s e dr o u l e t t ew h e e l s e l e c t i o na l g o r i t h ms e l e c t i o nb yg e n e t i ca l g o r i t h mi n i t i a lp o p u l a t i o n ；s e c o n d l y ，t o i m p r o v ec o d i n g ，a l lc o d i n gd a t ab l o c k si na c c o r d a n c ew i t ht h ed i r e c t i o no fr e s o u r c e s a r eb e i n ga c c e s s e d f r e q u e n c y ( h e a t ) d e s c e n d i n gd i r e c t i o nc o d i n g ；f i n a l l y ，t h e p r o p o s e d c r o s s o v e ro p e r a t i o na n d m u t a t i o n e n c o d i n g ar a n d o md i r e c t i o ni n a c c o r d a n c ew i t ht h ei m p r o v e m e n ti n c r e a s e st h ep r o b a b i l i t yo fc r o s s o v e ra n dm u t a t i o n m e t h o d so p e r a t i o n d a t ab l o c k sf o rt h ec l o u dc l u s t e rs e r v e rp e r f o r m a n c e o p t i m i z a t i o n ，t h e f i r s t a m o n gt h ec l o u dc l u s t e re n v i r o n m e n tt om a x i m i z es e r v e rp e r f o r m a n c ei s s u e so f i i i 硕f 二学位论文 m a t h e m a t i c a lm o d e l i n g ，i nt h i sm a t h e m a t i c a lm o d e lb a s e do nt h eg i v e na p p r o x i m a t i o n a l g o r i t h mf f d l p t f f d l p ta l g o r i t h md l p ti m p r o v e db i n a r ys e a r c ha l g o r i t h mi s t h eu p p e rb o u n do ft h ea l g o r i t h mt h es e a r c hs p a c es m a l l e r k e yw o r d s ：c l o u dc o m p u t i n g ；c l o u ds t o r a g e ；r i s km o d e l ；l o a db a l a n c e ； p e r f o r m a n c eo p t i m i z a t i o n ；g e n e t i ca l g o r i t h m i v 云存储中数据块资源分布与服务器效能优化问题研究 目录 学位论文原创性声明和学位论文版权使用授权书i 摘要i i a b s t r a c t i i i 插图索引。v i i 附表索引v i i i 第1 章绪论l 1 1 研究背景1 1 2 本文的主要工作一2 1 3 本文组织结构2 第2 章相关研究4 2 1 云存储概述4 2 1 1 云存储出现的背景4 2 1 2 云存储与云计算关系一5 2 1 3 云存储的结构模型7 2 2 云存储系统8 2 2 1g o o g l e 云存储8 2 2 2y a h o o 云存储1 0 2 3 云存储产品介绍：一1 0 2 3 1 国外云存储服务1 1 2 3 2 国内云存储服务1 1 2 4 小结1 2 第3 章云环境中存储资源的风险模型1 3 3 1 基于位置的云存储数据风险理论1 3 3 1 1 云存储环境中数据资源的风险分析1 3 3 1 2 基于地理位置的数据风险理论1 4 3 2 云存储环境拓扑结构的形式化1 6 3 2 1 云存储典型的拓扑结构1 6 3 2 2 云存储拓扑结构的形式化1 7 3 3 存储资源的风险计算模型1 8 3 3 1 存储资源风险模型1 8 3 3 2 风险计算算法1 9 v 硕十学位论文 3 3 3 实例分析一2 0 3 4 j 、结2 2 第4 章云存储中数据块资源分布及服务器效能优化问题2 3 4 1 云存储环境系统建模一2 3 4 1 1 负载均衡策略介绍一2 3 4 1 2 云存储环境形式化2 4 4 1 3 集合划分问题：2 5 4 2 云存储环境中数据块分布问题2 8 4 2 1 问题描述：2 8 4 2 2 数学模型2 9 4 2 3 问题分析3 0 4 2 4 遗传算法31 4 2 5l p t i g a 算法3 3 4 2 6 算法复杂度分析4 1 4 2 7 实验仿真4 1 4 3 云存储环境中数据块服务器效能优化问题4 3 4 3 1 问题描述4 3 4 3 2 数学模型4 3 4 3 3 问题分析4 4 4 3 4f f d l p t 近似算法4 4 4 3 5 实验仿真4 5 4 4 j 、l ! 占4 6 结论4 7 参考文献4 9 致 射5 3 附录a ( 攻读硕士期间所发表论文目录) 。5 4 附录b ( 攻读硕士期间参加的科研项目) 5 5 v i 云存储中数据块资源分布j j 服务器效能优化n d 题研究 插图索引 图2 1 云计算服务类型的预测比重一7 图2 2 云存储系统的结构模型8 图2 3g o o g l e 云存储架构9 图2 4h a d o o p 云存储架构1 0 图3 1 两个数据中心的云存储环境1 6 图3 2 云存储典型拓扑结构1 7 图3 3 云存储网络拓扑结构1 9 图4 1 数据块属性2 4 图4 2 数据块服务器属性：2 5 图4 3 负载均衡系统：2 8 图4 4 单点访问瓶颈2 9 图4 5 遗传算法与传统算法对比3 2 图4 6 遗传算法运算流程3 3 图4 7 选择操作轮盘赌图3 6 图4 8 单点交叉沁3 7 图4 9 染色体变异4 0 图4 1 0 算法性能仿真4 2 v l l 附表索引 表2 1 云计算的推动力5 表2 2 云计算关键技术6 表3 1 风险大小和磁盘利用率期望值、方差关系表一2 1 表3 2 风险大小和磁盘利用率期望值、方差关系表一2 1 表4 1 数据块在服务器上的二维分布3 4 表4 2 轮盘赌选择法的计算3 6 表4 3 数据块分布图3 9 表4 4 实验参数41 表4 5 实验数据及结果4 2 表4 6f f d l p t 算法优化性能一4 5 表4 7f f d l p t 算法优化性能4 6 v i i i 硕士学位论文 第1 章绪论 1 1 研究背景 云存储( c l o u ds t o r a g e ) l 】就是将储存资源放到网络上供人访问的一种新兴方 案。这样，使用者可以在任何时间、任何地方，透过任何可连网的装置方便地存 取数据。若云存储提供商能进一步确保数据的安全，同时又提供许多数据检索及 管理的功能，用户则可安心地定期花钱购买、安装、设定或扩充储存设备，尤其 对于定期会有庞大数据备份需求的使用者或企业来说，设备的管理及扩充绝对是 一大梦魇及负担。 云存储是云计算架构中的一部分。云计算【2 】就是将计算、储存、网络、软件 及平台等i t 资源，透过虚拟化资源，以及可量化计费的服务形态，经由网络分送， 给用户随时存取的一种服务平台。该服务就像水电等公共设施一般，使用者不需 了解其背后运作技术及状况，企业用户也不必耗费可观的人力及管理成本，进行 任何i t 设备及资源的管理。所有资源的分配及管理，设备的淘汰、更新与扩充， 全都由云计算服务提供商负责一切，并依使用者需求提供可扩展性的高可用性服 务，至于用户则只要按使用量付费即可。 云存储既可以看作云计算架构中的重要组成部分，当然也可以成为独立的服 务。就像云计算的组成架构一样，一个完备的云存储也有许多阶层，虽然划分方 式及名称不同，但与前者阶层架构仍有许多相似之处。 举例来说，云存储的核心即为储存层，是由分散在不同区域的各类型储存设 备所组成，不论是d a s ，抑或f c 、s a n 、i s c s i 或n a s 等i p 储存设备，皆可透 过支持储存虚拟化技术的集中化管理系统整合在一起。透过管理系统，可以进行 所有储存设备的远程监控、排错等作业；而最重要且最困难的部份则是应用中介 层，必须达到不同储存设备间的协同运作，并提供单一整合服务。 在使用上，使用者不论身在何处或任何时间，只要透过w e b b a s e d 应用程序， 即可上网直接存取数据。实时面对任何特定需求，例如串流数据文件之存取，云 存储系统也可随时动态新增扩充来加以支持。 云存储对传统的存储备份领域也带来了巨大的冲击和挑战。在云系统中，默 认数据被复制好几份存放在云存储系统的各个数据中心上，数据中心之间的距离 是地理位置相隔非常远的，而且在每个单个的数据中心中还保存着数据的几个备 份，这些备份和主数据没有任何的区别。因此，云存储不光解决了传统的数据备 份问题，而且更重要的是，在一个被很多客户端访问的数据系统当中，可以引导 数据的访问均衡分散在各个数据备份上，保证访问的实时性、可靠性，达到传统 云存储中数据块资源分布与服务器效能优化问题研究 备份技术的功能又为客户提供了高性能的访问的能力【3 j 。 1 2 本文的主要工作 信息化社会的快速发展，使企业存储的信息资源呈指数级增长，加大了企业 的成本。如何降低存储成本成为很多技术公司和研发人员的关注热点。云存储能 很好解决这个问题，这使得越来越多的企业选择云存储这种便宜的存储方式。存 储服务的增多意味着服务提供商承担的数据资源丢失的风险增大。为了提高数据 的安全性，如何衡量云存储环境中存储资源的风险，从而根据风险制定相应的存 储策略成为关键点。 在云计算环境当中，许多任务是并行运行的，而单个任务也被分割成许许多 多的小任务在云服务器集群当中并行运行，这样大大提高了整个系统的计算能力。 然而，计算能力的提高也同样意味着对数据资源输入速度的要求提高。当前，已 有很多关于任务调度的研究，能够得到较好的调度策略，减少了总任务的完成时 间，但是当任务需要的数据资源存储在某台服务器上，而被许多计算服务器频繁 访问时，必将造成数据服务器过载，最后影响任务的完成时间。 本文所做的主要工作包括四部份： 第一部份通过对云存储环境的网络拓扑结构和基于地理位置信息的各服务器 位置关系的分析，得到数据块集合在云环境下层次化网络拓扑结构分布图。最后， 通过对数据块集合结构分布图的分析，提出了云存储环境中存储资源的风险评估 模型，并给出了具体的风险计算算法和实例分析，为在云存储环境中对基于存储 资源的风险研究提供了理论依据。 第二部分针对云存储环境进行系统建模，形式化数据块资源和服务器资源的 一些属性，分析集合划分问题在资源分布中的重要性并给出了在集合划分问题中 使用方差衡量问题目标的数学证明。 第三部份通过对云存储系统数据块资源属性的研究，对云存储系统中数据块 资源的分布问题进行数学建模，并提出基于云集群服务器性能的数据块分布算法。 第四部分分析了云集群中的数据块服务器效能问题【4 1 ，对云集群环境当中的 服务器效能最大化问题进行数学建模，并给出基于f f d l p t 的近似算法。 1 3 本文组织结构 本文共分五章，具体内容章节安排如下： 第l 章：概述云存储系统出现的背景。 第2 章：对云存储出现的市场背景及与云计算的关系做了详细的介绍，并重 点介绍了g o o g l e 和y a h o o 的云计算和云存储系统，为后面的工作做铺垫。 第3 章：分析了对云存储资源风险研究的重要性，给出了存储资源风险模型 2 硕- l 学位论文 和算法，为以后基于云存储资源的风险研究奠定了基础。 第4 章：分析了云存储中数据块资源的属性，并根据属性而引出云存储环境 中信息块分布的问题，提出了问题的数学模型，并给出了基于l p t 的改进遗传算 法的算法。此外，根据数据块资源的属性，分析了云存储服务器的效能最大化问 题，提出了问题的数学模型，并给出了问题的近似算法。 最后对论文进行总结，并讨论了进一步可做的工作。 3 云存储巾数据块资源分布与服务器效能优化问题研究 第2 章相关研究 云存储系统是指通过集群应用、网格技术或分布式文件系统等功能，将集群 中许多不同类型的存储设备集合起来相互协同工作，最终虚拟成对外提供数据存 储以及数据访问功能的一个系统【5 9 】。云存储是以存储设备与应用软件相结合， 通过应用软件实现传统的存储方式向存储服务的转变。本章首先介绍了云存储概 念及云存储出现的时代背景，然后对各种类型的云存储系统架构进行介绍，最后 是本章小结。 2 1 云存储概述 2 1 1 云存储出现的背景 随着信息化社会的发展，越来越多的资源被数字化，这样造成了数据资源存 储在容量增长上的无止境。数据容量的增长是无限的，如果只是一味的添加存储 设备，那么无疑会大幅增加存储成本。因此，海量数据存储对于数据的精简也提 出了要求。同时，不同应用对于存储容量的需求也有所不同，而应用所要求的存 储空间往往并不能得到充分利用，这也造成了浪费。公司、企业等对成本的压缩， 更是造成了信息资源快速增长与企业成本之间的制约关系，一方面，公司、企业 等需要大量的信息资源，本身也产生了大量重要的数据；另一方面，存储这些数 据需要大量的存储设备。这样就形成了企业的发展需要信息资源，但存储这些信 息资源又同时制约了公司、企业的发展。因此，公司、企业需要新的数据存储方 式，它应该具有以下特点： ( 1 ) 存储虚拟化【l o 】 对于存储面临的难题，解决手段之一就是存储虚拟化。虚拟存储的概念实际 上在早期的计算机虚拟存储器中就已经很好地得以体现，常说的网络存储虚拟化 只不过是在更大规模范围内体现存储虚拟化的思想。该技术通过聚合多个存储设 备的空间，灵活部署存储空间的分配，从而实现现有存储空间高利用率，避免了 不必要的设备开支。存储虚拟化的好处显而易见，可实现存储系统的整合，提高 存储空间的利用率，简化系统的管理，保护原有投资等。虚拟化并不是一个单独 的产品，而是存储系统的一项基本功能。它对于整合异构存储环境、降低系统整 体拥有成本是十分有效的。 ( 2 ) 存储容量动态可扩展，1 2 】 随着存储技术及存储方式的发展，存储管理逐渐从传统的存储设备的管理转 变到存储资源的管理。在面对信息数据海量增长，如何在不影响原有系统业务的 4 硕士学传论文 情况下，动态扩展存储容量，使得系统满足存储的需求，这是对存储的一个新需 求。 ( 3 ) 数据的安全性、容灾性 数据的存储已经成为了人们日常生活与工作中必须要做的一项任务。随着企 业对数据的依赖程度越来越严重，逐渐的开始对数据存储安全重视起来。当前， 很多企业面临的挑战是如何找到安全与支出之间的平衡，当整个企业都在努力降 低成本的时候，往往对数据的安全性、容灾性忽视了。企业不能忽视安全问题， 即使预算紧张，安全泄漏、数据丢失和停机时间造成的总成本损失都远远超过企 业需要花在保护数据和网络上的钱。如果企业安全成为经济危机时期的另一个受 害者，那么短期收益将可能造成长期损失。 在上面这种市场力的推动下，云存储技术出现了。云存储能给企业提供低廉， 存储容量动态可扩展，存储数据安全、容灾性能好的存储服务。 2 1 2 云存储与云计算关系 云计算( c l o u dc o m p u t i n g ) 1 3 1 6 1 是在2 0 0 7 年第3 季度才诞生的新名词，它是 是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化和负载均衡 等传统计算机技术和网络技术发展融合的产物。“云”是一些可以自我维护和管 。、 理的虚拟计算资源，通常是一些大型服务器集群、包括计算服务器、存储服务器。 和宽带资源等。 云计算通过网络将应用、数据及i t 资源通过服务的方式来提供，旨在通过网 络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统，使用户 能够按需获取计算力，存储空间和信息服务。表2 1 显示了云计算的推动力。 表2 1 云计算的推动力 推动力说明 ， 商业需求 运营需求 计算需求 技术进步 降低i t 成本、简化i t 管理和快速响应市场变化 规范流程、降低成本、节约能源 更大的数据量、更多的用户 虚拟化、多核、自动化、w e b 技术 ( 1 ) 从技术角度看，云计算实质上就是“计算加“存储”的网络。云计算的 核心依然是数据中一t 二, ( d a t ac e n t e r ) ，且未来信息技术的发展方向将由过去强调计算 机单机性能( 如更快的c p u ) 转向虚拟化、分布式和智能化等方向。未来低成本服务 器将代替传统的高端专门服务器，分布式计算软件将替代单机操作系统。 由于云计算操作系统所涉及的虚拟化、分布式计算、自动化管理等技术均不是 5 云存储中数据块资源分布，o 了服务器效能优化问题研究 新技术，且硬件方面，服务器、以太网交换机等均为大家所熟知。所以，云计算实 质上不是技术创新，更多地是让“老”技术通过重新组合发挥出更大的商业价值， 是一种新的商业模式创新。云计算中涉及的关键技术如表2 2 所示。 ( 2 ) 从云计算的服务模式看，主要分为1 2 j 基础及服务( i a a s ) 1 7 】，平台即服务 ( p a a s ) ，软件即服务( s a a s ) 1 8 】，分别为客户提供构建云计算的基础设施，云计算操 作系统，云计算环境下的软件和应用服务。 表2 2 云计算关键技术 层次类型关键技术与目标 计算架构 计算架构 计算架构 云计算硬件 云计算硬件 云计算硬件 云计算软件 云计算软件 云计算软件 云计算软件 云计算软件 数据中心节能 非冗余设计基于软件可靠性 增加节点实现可扩展性 服务器：低可靠性，高性能i o 网络：高密度以太网交换机 存储：低成本、分布式、多备份 并行计算技术，负载均衡技术 分布式文件管理 数据管理、数据切分技术 网络管理与虚拟化技术 智能化云计算系统管理技术 软件即服务( s o f t w a r ea sas e r v i c e ，s a a s ) 指的是通过浏览器为用户提供应用程 序，为用户提供服务。根据云端部署情况的不同，有些在公有云上提供s a a s 应用， 有些则在私有云上定制。 平台即服务( p l a t f o r ma sas e r v i c e ，p a a s ) 指的是以服务形式为开发人员提供 应用程序的开发部署平台。开发人员可以利用这个平台来开发、部署和管理s a a s 应用服务。 基础架构即服务( i n f r a s t r u c t u r ea sas e r v i c e ，i a a s ) 以服务形式提供基础设施 架构，包括服务器、存储和网络硬件。这类基础架构通过网络计算和虚拟化的技 术实现。 从图2 1 中可知，在现有和今后的五年市场中，s a a s 占最大的份额，i a a s 增 长较快，而p a a s 尚处于起步期。从各自的比重来看，s a a s 与i a a s 分别占2 3 和 1 3 左右。i a a s 的成长更快主要是因为更多的企业机构尤其是大型企业机构在面 临数据应用激增需要降低i t 构建维护成本，同时又考虑到安全性，可靠性和对数 据的控制，因此更多的厂商愿意选择i a a s 以构建自己控制的私有云。p a a s 技术 尚未成熟，仍处于使用阶段。 6 硕 学位论文 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 o i a a ss a a sp a a s 图2 1 云计算服务类型的预测比重 从云计算的技术角度看，云计算中其实包含了云存储，因为云计算实质上就 是“计算”加“存储的网络，而它的核心是数据中，& , ( d a t ac e n t e r ) 。 从云计算的服务类型看，云计算提供数据存取的服务，而且还提供基础设施 架构，包括服务器、存储和网络硬件的服务。所以云计算中其实就包含了云存储， 它们是相辅相成的关系，任何一方离开了另一方就不能为客户提供好的服务。 当云计算系统以数据运算和处理为核心时，它就成为我们日常所说的提供计 算力的云计算系统；当云计算系统以数据存储和管理为核心时，它就成为提供存 储服务的云存储系统。 2 1 3 云存储的结构模型 与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存 储设备、服务器、应用软件、公用访问接口、接入网，和客户端程序等多个部分 组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储 和业务访问服务。云存储系统的结构模型【1 3 - 1 6 , 1 9 1 如下： ( 1 ) 存储层 存储层是云存储最基础的部分。存储设备可以是f c 光纤通道存储设备，可 以是n a s 和i s c s i 等i p 存储设备，也可以是s c s i 或s a s 等d a s 存储设备。 云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互 联网或者f c 光纤通道网络连接在一起。 存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟 化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。 ( 2 ) 基础管理层 基础管理层是云存储最核心，最难以实现的部分。基础管理层通过网格计算 集群技术和分布式文件系统等，实现存储的虚拟化，共同对外提供存储服务，并 7 云存储巾数据块资源分布与服务器效能优化问题研究 数据访问性能比传统的存储方式更好。 ( 3 ) 应用接口层： 不同的云存储服务提供商对应用接口层的要求不一样，许多服务提供商都开 发了自己特有的接口，以满足用户的需求。 ( 4 ) 访问层： 通过云存储服务提供商提供的存储访问公共接口，任何一个授权的用户可以 通过接口享受存储服务。 访问层 应用接口层(网络( 广域网或互联网) 接入、用户认证、权限管理 (公用a p i 接口、应用软件、w e bs e r v i c e 等 基础管理层 存储层r 雨耀压孺厢i 磊醪f 丽豸夏页忝蓝弪雍护并孩孳 (存储设备( n a s 、f c 、i s c s i 等) 图2 2 云存储系统的结构模型 2 2 云存储系统 2 2 1g o o g l e 云存储 g o o g l e 云存储是目前最成功的云存储方案，它让我们存储的数据更安全，使 用起来更方便。 g o o g l e 的云存储技术实际上是针对网络内部数据规模超大的特点，提出了一 套基于分布式并行集群方式的解决方案，并且利用软件的侦测能力来处理集群中 的节点失效问题。 g o o g l e 近几年连续在计算机系统研究领域的顶级会议与杂志上发表论文 2 0 , 2 1 】，揭示其内部的分布式数据处理方法，向外界展示其使用的云计算核心技术。 从其近几年发表的论文来看，g o o g l e 使用的云计算基础架构模式包括四个相互独 立又紧密结合在一起的系统，包括：g o o g l e 建立在集群之上的文件系统g o o g l ef i l e s y s t e m ，针对g o o g l e 云存储应用程序的特点提出的m a p r e d u c e 编程模式【2 2 , 2 3 】， 分布式的锁机制c h u b b y 2 4 , 2 5 1 以及g o o g l e 开发的模型简化的大规模分布式数据库 b i g t a b l e 。而其中的核心就是g o o g l ef i l es y s t e m 文件系统，它是g o o g l e 云存储 8 硕十学位论文 区别其它存储类型的主要标志。 为了满足g o o g l e 云存储迅速增长的数据处理需求，g o o g l e 云存储设计并实 现了g o o g l e 文件系统( g f s ，g o o g l ef i l es y s t e m ) 。g f s 许多目标，这与过去的许 多分布式文件系统相似，例如可伸缩性、性能、可靠性以及可用性。然而，g f s 又考虑到了许多新的数据存储特性。主要体现在以下四个方面： ( 1 ) 节点失效在集群中是一种经常发生的。 由于云存储集群当中，数据服务器的数量是巨大的，因此在每一时刻，都有 可能发生节点失效的情况。因此，需要通过程序监控系统的运行状态，并将信息 发送给相应的容错模块以自动恢复系统的运行。 ( 2 ) g o o g l e 分布式文件系统能够容纳单个文件为数个g 字节级别的文件。 ( 3 ) g o o g l e 分布式文件系统中的文件读写往往集中在文件的追加上，对文件 的修改被转换成对一个新文件( 修改后的文件) 的创建。 ( 4 ) 文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应 用程序和文件系统a p i 的协同设计提高了整个系统的灵活性。 一个g f s 集群包含一个单独的m a s t e r 节点( 这里的一个单独的m a s t e r 节点的含 义是g f s 系统中只存在一个逻辑上的m a s t e r 组件) 、多台c h u n k 服务器，并且同时 被多个客户端访问，如图2 3 所示。所有的这些机器通常都是普通的l i