




已阅读5页,还剩135页未读, 继续免费阅读
(计算机科学与技术专业论文)基于对象存储结构的可伸缩集群存储系统研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
国防科学技术大学研究生院学位论文 摘要 随着处瑗嚣和网络技术的飞速发鼹,大大的提离了l i l l u x 集群诗算的计算能力。 l i n u x 集群计算在高性能科学计算、商波应用和海蝥信息服务等领域得到了广泛应用, 逐渐发展成为高性能计算中的流行方法。而受传统存储结构的限制,其计算能力得不到 充分体现。构建满足l i n u x 集群计算需求的可伸缩、高性能、跨平台、安全、菇享数据 的存储结构对现有的存糖结梅提出了曩大豹挑战。 新兴的对象存储结构能够利用现有的处理技术、网络技术和存储组件提供空前的可 伸缩性和聚合吞吐量,为构建新一代的大规模并行存储系统提供了基础。本文在全面深 入了解对象存储结构与现有对象存储系统的基础上,对基于对象存储结构的大舰模集群 存诺系统涉及的几个关键技术进行了深入磷究,提出了耢颡骞效豹实用算法。主要的贡 献如下: ( 1 ) 提出一种基于确定性算法分布目录对象和数据对象的可伸缩集群文件系统的 框架结构,改进了现有对象存储系统的元数据和数据对象的管理方法。基于确定性算法 鑫主计算数据分布豹方法简化了大规模存储系统的管理,支持元数援觳务器、存储节点 的动态均衡扩展。 ( 2 ) 首次提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对 象存储结构。该方法能够有效避免因为目录属性的修改丽导致的大量元数据更薪与迁 移;通过减少前缀目录的重迭缓存提离了元数据服务器c a c h e 的利攥率和命中率;通过 减少遍历目录路径的开销和充分开发目漾访问的存储局部性,减少了磁盘i o 次数;通 过元数据服务器的动态负载均衡避免单个服务器过载。实验结果表明该方法在提高系统 性能、均衡元数据分布以及减少元数掇迁移等方面具有明显的优势。 ( 3 ) 曹次在研究数据对象的分匆中弓l 入m o n 把c 翻。方法,提出一种基于动态区间 映射的数据对象布局算法,支持权重分布和副本,在均衡数据分布和最少迁移数据方面 都是统计意义上最优的,脊效解决了动态存储系统的数据均衡分布问题,提高了系统的 阿扩展性。该算法的基本愿想是将数据对象与随机数对应起来,将枣储节点与容纳隧祝 数的区闻对应起来,将离散空间中的数攒对象分布问题转化为连续空闻中的区闽分割问 题。根据系统中存储节点的规模和权重将单位区间分割成不同长度的区间,并在区间与 存储节点之间建立映射关系,通过两次映射确定数据对象的存储位凝。理论分析和实验 续果表明数据对象分布具蠢统诗意义上的均衡性、基适应性霜迁移最优性,定位数据对 象速度快。 ( 4 ) 提出一种可伸缩分布式节点地址计算算法。该算法使得数据对象分配地址的 计算不依赖于中央节点计算或者访问一个集中式目录,所有计算节点和存储节点独立地 送行趣址计算,并豆对数据对象的访皤操作或薪璎节点弓l 起的系统规模变事匕不需要骧孑 受瓶到其他计算节点,计算节点通过视图校正算法自主学习,自动适应新的系统规模。 消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性。 第i x 页 嚣防萃斗学技术大学研究生院学位论文 ( 5 ) 分别提出基于镜像和分组的高可用数据对象布局算法,借鉴r a i d 的方法在 算法一级上实现数据的冗余分布。在数据对象霸存储节点失效时,利用冗余数据重构数 据对象和存储节点,保证存储系统的高可用性。采用马尔可夫激励模囊分嗣对基于镜像 和分组的高可用数据对象布局算法的存储系统进行定量的可用性分析,计算结果表明两 种方法能够有效保证存储系统的高可用性。 ( 6 ) 对基于动态区间映射的数据对象布鲻算法进于亍扩鼹,提出支持节点缀豹数掇 对象副本布局算法,支持多个节点同时挽量扩展,扩震后的数据对象布弱算法仍然保证 数据对象的分布是负载均衡的,支持权重分布和副本。理论分析和实验结果表明数据对 象分布具有统计意义上的均衡性、自适应性和迁移最优性,定位数据对象速度快。 ( 7 ) 翻薅上述研究成果,在l i n u x 操律系统上设计与实现了一令蒸于对象存继的 集群文件系统原型。 荚键词:对象存储,元数据管理,数据对象布局,可伸缩性,均衡分布,高可用性。 第x 页 塑堕型兰垫查奎兰塑鎏生堕兰堡鲨塞 a b s t r a c t w i 也t h or a p i da d v a n c e m e n to fp r o c e s s o ra n dn e t w o 矗慷g 章e c h n o l o g y ,m p u t 虹g c a p a b i 重i 移o fl i n u xc l u s t e rc 叩u t i n gg r o w sr a p i 出y l i n u xc l u s t l nc o m p u t 证g 抽sb e c o m e p o p u l a r 印p r o a c ht oh i g hp e r f o m a i l c ec o m p u t m gw i t hw i d e s p r e a da d o p t i o n i n h i g h p e r f o n n a n c es c i e n t i 丘cc o i n p u t i n ga p p l i c a t i o n s ,c o m m e r c i a la p p l i c a t i o l l sa 1 1 do fh i g hc a p a c i t ) , i n f o m l a t i o ns e i c e s h o 、e v e r ,t f a d i t 主o n a l 曲a f c ds t o r 8 9 e8 h i t e c 锄r el i 搬i t st h ep 程f o 黼a n c e p o t e n t i a lo f 撮e s el i n u xc o m p u t ec l u s t e r s ni sv e r yc h a l l e n g 趣gt ot r a d i t i o n a ls 圭l a r e ds t o r a g e a f c h j t e c t l l r et ob u i l das c a l a b l e ,h i g h 巾e r f o m a n c e ,c r o s s - p l a m ) n n ,s e c u r cd a 诅s h 撕n g a r c h i t e c t u r em e e t i n gt h es t o r a g cd e m a i l d so f “n u xc o m p u t ec l u s t e r s 确eo b j e c l - b a s e ds t o f a g e 眦h 沁c 铀辖i se m e 毽 n ga s 氐如脯d 戤 o nf o rk 雌n g m a s s i v e l yp a r a l l e ls 幻r a g es y s t e m st h a tl e v e r a g ec o n m o d i 哆p r o c e s s i n g ,n e t 删n ga l l d s t o r a g ec o i t l p o n e n t st od e l i v e ru n p r e c e d e n t e ds c a l a b i l 姆a n da g g r e g a t et h r o u g h p u t u n d e r i n v e s t i g a t 沁gt h ea d v a n t a g e so fo b j e c ts t o f a g ea 托h i t e c t 埘ea n dp r e s e n to 协e c ts t o r a g es y s t e m s , t 轴d i s s e n a t i f o c l | s e so n 馕ef e s e 8 f e ho nl a r g e s e 越ec l u s t e rs 圭。糟g es y s l e m 酝s e do | lo 动e c t s 姗鹳ea r c h 硷c t l l r ea i l dp m p o s e ss e v e r a ln o v e la 1 1 dp f a c t i c a la l g o r i t l l 】s m a i nc o n 打i b u t i o no f t h j sd i s s e n a t i o ni sa sf - o l l o w s : ( 1 )as c a l a b l e c l u s t e r s t 0 托喀es y s t e m a r c 址t e c t u r eb a s e do nad l 蚝e 础n i s t i c p s e u 曲r a n d o ma l g o r i 粗穗a tg 啦氍曲e sap f o b 曲i l i s d c a l l yb a i a n e e dd i s 埘b u t i o 王lo fd i f c 咖 a n dd a 协o b j e c t st h r o u g h o u tt h es y s t e r ni sp r o p o s e d ,w b i c hs i m p l i :e i e st h em a n a g e m e mo f s t o m g es y s t e m sa n ds u p p o r t sd y n a m i c a l l yb a l a i l c e ds c a l i n go fm e t a d a t as e r v e r sa n ds t o r a g e n o d e s ( 2 ) am o t a d 戤am a n a g e m e n tm e 毛圭l o dd i v i d i n gd i 糟c 扭拶p a m 拙i b 罐ef 吣md i r e c t o 翠 o b j e c ti sf i r s t l yp r o p o s e d ,、h i c he x t e n d st h ep r e s e n to b j e c ts t o r a g ea r c h i t e c t l l r e t h j sm e t h o d a v o i d se 髓c i e n t l y1 盯g e s c a l em e t a 出吐am i g r a l i o na c c o r d i n gt ou p d a t i n gd i r e c t o r y 删b u t e s ; i m p f o v e st h ec a c h eu t i l i z a t i o na n d 圭1 i t 托t e 姆f e d u c 遮gt h eo v e f l a pc a c b eo fp r e 蠡xd i 羚脚; r c d u c e sd i s k s ,0d e m 姐d sb yf e d l 瑶i n g 搬eo v e 西e a do ft r a v e r s 协gn l ed i r e c t o r yp a m 船d e x p l o i t i n gd i r e c t o 】叮l o c a l i t y ;a v o i d so v e d o a d i n gas i n g l em e t a d a t as e r v e rb yd y n a m i cl o a d b a i a i l c i n 昏e x p c r i m e n tr e s u l t sd e m o n s 觚t ct h a tt h i sm e m o dh a so b v i o u s8 d v a n t a g e si n i m p r o v n gt h e 觚u g h p u t ,s c a l a b i l i t y ,b a l 瓢c i n gm e 攮如t ad i s 哦b u 蛀o na 砖r e d 驻c i n g 撒e 妞d 啦 m i g r a t i o n ( 3 ) i n 廿o d u c i n gm o n t ec 耐om e m o di nm cr c s e a r c ho fd a t ao b j e c td i s n i u t i o nf i r s t l y , w ep r o p o s ead a t ao b j e c tp l a c e m e n ta l g 喇t l u nb a s e do nd y n 踟i c 触e r v a lm a 艘i n 岛w 嫩c h s u 卯o sw e i 曲t e da l l o e a t i o no fs t o r 8 9 en o d e s 鞠dv a r i 曲l el e v e i so fo 巧e c tr e p l 至c a t i o n 鞠di s p r o b a b i l i s t i c a l l yo p t i n l a li nb o t hd i s 衄b u t i n gd a t ae v e m ya n dm i n i m i z i n gd a t am o v e m e n t i t e 蕊c i e n t l yr e s o l v e st l l ep r o b l e mo fb a i a i l c i l l gd a t ad i s t r i b u t i o ni nd y n a m i cs t o r a g es y s t e m 柚d 第x i 页 国防科学技术大学研究生院学位论文 i m p r o v e st l l es c a l a b i l i t yo f m es t o r a g es y s t e m 1 1 1 eb a s i ci d e ao f t l i sa l g o r i t h mi st oe s t a b l i s h o n et oo n em a p p i n gr e l a t i o nb e t w e e nd a t ao 巧e c t sa l l dp s e u d o r a n d o mn 砌b e r s ,b e t w e e n s t o 撼g en o d e s8 n d 协l e r v 8 l sc o b t 砖n i n gp s e l d o 瑚飘d o mn u m b e r s 锄dt r a n s f o r m 重h ep r o b l e mo f d a t ao b j e c t sd i s t r i b u t i o ni nd i s c r e t e s p a c ei n t o t 1 1 e p r o b l e mo fi n t e r v a lp a r t i t i o n i n gi n c o n t i n u o u ss p a c e t h e ni td i v i d e st h eu 1 1 i ti n t e l 弋,a li n t 0d i 虢r e n tl e n g t li m e a l sa c c o r d i n gt o w e i 曲to fs 妇弼en o d e sa n de s t a b l i 热e so n e 圭oo n em a p p i n gf e l 甜i o nb e 撕e s t o r a g e d e s a n di n t e r 、强l s t h ew a yt o c o m p u t et h ep l a c e m e n to fa n yd a t ao b j e c t si sj u s tt w om 印s t h e o r e d c a l a n a l y s i sa 1 1 de x p e 恼_ i l e n tr e s u l t sd e m o n s t 】龇e t l l a tt i l ed a t ad i s t r i b u t i o ni s p 心a b i l 确c a l l y 印| i m a li nd i s 越b u 鞋n gd a 重ae v e n l y ,s e l s 积哪i 垤雠d 越n i i n i z i n gd a t a m o v e m e n t ,t h es p e e do f c o “l p u t i n gp l a c e n l e n to f d a t ao b j e c t si sf a s t ( 4 ) as c a l a b 王ed i s 舶u t e dn o d ea d d r e s s c a l c u l a t i n ga l g 矾t h mi sp r o p o s e d i nm c a l g o r i t h f n ,也e r ei sn om 嬲t e rs i t e 廿l a to 均e c t s8 d d r e s se o m p u a 重 o n sm u s tg o 拙f o u 醮键a c e e s s t oac e n 妇1 i z e dd i r e c t o r y a uc o m p u t en o d e sa i l ds t o r a g en o d c sc a l c l l l a t en o d ea d d r e s s i r 遁印e n d 嘲重y ,t 量l eo b j e c t sa c c e s sa n ds t o r a g en o d e sc h a n g en e v e r 他q u i r ea t o 武cu p d a t e st o m m t i p l ec l i e n t s + t h ec o m p u t en o d e s8 d a 塾t ot 量l ee h a n g eo fs 幻r a g en o d e s 谤c l i e n t 弧a g e a d j u s t m e n ta l g o r i t l l m i tc a nr e r n o v et l l ep r e s e n tc e n 打a la c c e s sb o t t l e n e c ka n da s s u r e 怕eh i 曲 s c a l 秘i l i t yo f s t o f a g es y s 钯m ( 5 ) ah i 曲一a v a i l a b i l 沁d a t ao b j e c t sp l a c e m e n ta l g 矾t h mb yo 域e c tg r o u p i n ga n d m i r r o r i n gi sp r o p o s e ds 印a r a t e l y ,w h i c hg r o u po b j e c t si n t or e d u n d a n c ys e t su s i n gr a i d a tt l l e a l g o r l t 嘶l e v e lt h er e d u n d a n c ya l l o w su st or e c o n s 蛐c ta n yc o 玳l p t e dd 矗ao b j e c t sa i l d s t o r a g en o d e s 、柚e ni tf a i l sa n da s s u r et h eh i 曲a v a i l a b i l i t yo fs t o f a g e 掣s t e m w q l l a n t 坶也e a v a i l a b i l i 锣o fs t o r a g es y s t e mu s i n gm a r k o v r e 、a r dm o d e l ,a i l dt 1 1 ec o m p u t i n gr e s 【l l t si n d i c a t e t h e w o 蠢g o r i t l m sa r ee 氆c i e n t _ ( 6 ) t h ed a t ao b j e c tp l a c e m e n ta l g o r i t h mb a s e do nd y n a m i ci n t e r v a lm a p p i n gi s e x t e n d e d ,a 1 1 dan e wd a t ap i a c e m e n ta l g o r i m ms u p p o r t i t l gm l l l t i n o d e si sp r o p o s e d t h e e x 童e 轴区遍ga l g o f i m ma l s os 磷警o n sw e i g h t e da l l o c 戤i o no fs t o r a g en o d e sa n dv a f i a b l e 圭e v e l so f o b j e c tr e p l i c a t i o na n di sp r o b a b i l i s t i c a l l yo p t i m a li n b o t hd i s t r i b u t i n gd a t ae v e m ya 1 1 d m i n i m i z i n gd a 吐am o v c m e n t t h e o r e t i c a la n 啦y s i s 姐de x p e r i m e mr c s u l t sd e m o n s m l t et 1 1 a tt h e d a 拯d i ! 赚b 瞧i o ni sp b a b i l i s t i c a l l y 婶l h 蠢i nd i 耐b 瞳i n gd 戤ae v e n l y ,s e l 枷 v e 赫d m i n i m i z i n gd a t am o v e m e n t ,t h es p e e do f c o m p u t i n gp l a c e m e mo f d a t ao b j e c t si sf 瓠t ( 7 ) b a s e do nm ea b o v ew o r k s ,、v ed e s i g na n di m p l e r n c mal i n u xc l u s t e rf i l e 科s t e m b a s e do no 域e c ts t o f a g ea r c h i l e e 雠c k e yw o r d s :o b j e c ts t o r 8 9 e ,m e t a d a t am a n a g e m e n t ,d a 住o b j e c tp l a c e m e n t , s c a i a b 鲴l l y ,b 建l 叠蛙c l n gb i s t r i b 娃l i o 硅,h i g ha v a 雏8 b 姐i t y 。 第x i i 页 堂堕型望垫查奎兰堕茎生堕兰堡垒兰。 图索引 鳖1 1 对比d a s 、s a n 和n a s 存储绩构一3 图1 2 基于n a s 存储结构的共享存储系统4 图1 3s a n 文件系统5 图1 4 对比传统的坟访阙模型与o s d 访疑模型6 图1 5 论文的组织结构1 5 图2 1 基于n a s d 的网络存储结构1 7 图2 2 基于0 s d 的存储系绕结构一1 9 图2 3 基于对象存储的集群文件系统的框架结构2 l 图2 ,4 基予服务器的孵络存储结构2 4 图2 5 基于o s d 的网络存储结构一2 4 图3 1 基于对象存储的存储系统结构3 0 图3 2 丑蒙路径对象的组成结构3 5 图3 3 目录路径访问控制属性的构造过程4 0 图3 4r e a d 操侔次数与m d s 数匿的变化关系4 3 图3 5c a c h e 中前缀目录所占的百分比与m d s 数目的变化关系4 3 图3 6 平均c a c f e 命中率与m d s 数嗣的变化关系4 4 鬻3 7 各个m d s 所分布静元数掘数壁4 5 图3 8 修改目录的比例与需要迁移的元数据所占比例的变化关系4 6 图3 9 从2 个m d s 增加到3 个m d s 后主m d s 映射表的变佬情况4 6 图4 1n 值的估算5 1 图4 2 基于动态区问映射的数据对象布局算法5 5 图4 3 数攒对象跌射算法5 7 图4 4 增加存储节点后的映射表示更新算法:一5 8 图4 5 去撑存储节点后的映射表示更瓤算法6 0 圈4 6 支持副本的数据对象映射算法6 l 图4 7 数据对象查找时间随节点组数爨的增加而缓慢增长6 5 图4 8 数据霹象查找对耀璞长越线与线性函数、n l o g n 函数进彳亍了比较6 6 图4 9 数据对象查找时间与数据对象总数无关6 6 图4 1 0 数据对象在各个存储节点问按权重均衡分布。6 7 图4 1l 增加1 个存储节点隧霜数据对象的重新分布情况6 8 图4 1 2 去掉1 个存储节点后数据对象重新分布情况一6 8 霆5 1 分毒式数据对象访翔和映菇表示 ! 鼙图更新7 3 图5 2 l a z y 数据对象迁移一7 6 图6 1 互为镜像的两个子集群8 1 第v 页 里陵型兰垫查查堂翌壅兰堕兰竺笙苎 图6 2 基于镜像方法的冗余集状态转移图8 4 图6 3 ( a ) 数攥对象分缎( b ) 数据对象与校验对象结聿句8 6 图6 4 基于分组方法的冗余集状态转移图8 9 图7 1 支持节点组的数据对象布局算法9 4 图7 2 数据对象剽本映射算法9 6 图7 3 增加节点组后的映射表示更新算法9 9 图7 4 存储系统由2 个节点组增加到3 个节点组9 9 图7 5 去掉节点组后的映射表示更新算法1 0 0 图7 6 存储系统由3 个节点组减少到2 个节点组1 0 l 图7 。7 数据对象5 i i 本畿找时闻蘧节点缝数量豹增加而缓慢增长一1 0 6 图7 8 数据对象副本查找时间增长曲线与线性函数、n l o g n 函数对比1 0 7 图7 9 数据对象副本查找时间与节点组腰包含的存储节点数量无关一1 0 7 图7 1 0 数据对象副本镬找时间与数据对象总数无关1 0 8 图7 1 l 数据对象副本在各个存储节点间按权重比例分布1 0 9 篷7 1 2 增热1 个节点缀螽数据对象重耨分布情况1 0 9 图7 1 3 去掉1 个节点组后数据对象副本重新分布情况1 1 0 图8 1o c f s 的系统组成1 1 3 图8 2 客户端文件系统的软件模块1 1 4 图8 3 目录路径索引服务器的软件模块1 1 5 图8 4 元数据服务器的软传模块1 1 7 图8 5 对象存储服务器的软件模块1 1 8 第v i 页 里堕型鲎垫查奎鲎竺塑竺堕主焦堡塞 表3 1 表3 2 表3 3 表4 1 表6 1 表7 1 表8 1 表8 2 表8 3 表8 4 表8 5 主m d s 映射表 从m d s 映射表 表索引 不同元数攒管理方法的综合比较4 7 套种德号和定义5 0 系统参数及意义8 5 各种符号和定义9 l m d sc l l e n l 支持的主要操作1 1 4 主要的数据库实体1 1 6 掰录路径驻务支持的主要操作1 1 6 元数据服务支持的主要操作1 1 7 对象存储服务提供的基本操作1 1 8 第v i i 页 国防科学技术大学研究生院学位论文 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知,除了文中特别加以标注和致谢的地方9 k ,论文中不包含 其他人已经发表和撰写道的研究成果,遣l 不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何黄献均已在论文中作了明确的说明并表示谢意。 学位埝文题目: 蒸孟越塞盎焦丝翅塑互熊塑篡壁壹篮歪筮堡壅 学位论灾作者签名:j 垫i 牡日期:一一 年j 7 月z 7 曰 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并囱国家有关部f 1 或枧构送交论文的复印件和电子 又档,允许论文被查阅和借阅;可以将学位论文的全部或帮分内容编入有关数据 库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目: 基王盟錾盔篮壁抱塑豆韭绫墓蕴壹丝基红丛巍 学位论文作者签名:叁舀! 尘 作者指导教师签名:习安岁劈 日期:口 年7 月z 7 日 日期:它。,年尹月切日 莲防科学技术大学研究生豌学位论文 第一章绪论 1 1 研究背景 在过去的几年中,l i n u x 集群计算在离性能计算、商业应用、海量倍息服务等领域 得到了广泛应用i l 】。大量的l i n u x 集群计算应用不仅是计算密集型,也是数据密集型应 用。随着处理器和网络通讯技术的飞速发展,极大的提高了l i n u x 集群计算的处理和遇 讯能力,两受传统存储结构的隈剖,其计算能力不能得到充分体现。l 抽腻集群计算对 可伸缩、高性能、黼可用、安全、共享数据的襻储需求对现有的存储结构提出了巨大的 挑战l 。 重1 1 集群计算的存储需求 高性能计算在科研领域和关键业务处理方黼占有举足轻重的地位【3 4 l 。通常支持这类 应用的解决方案多趋向于专有的、昂贵豹系统。随着用户对诸如7 x 2 4 小时的高可用性 以及复杂网络管理瓣需求日益掇惠、商业纯( c o m m o d i t y o 豢t h e 曲l f ,c o t s ) 系统携 计算能力呈指数增长、开放源代码的l i n u x 操作系统日趋成熟和广泛应用,l i n u x 集群 系统的高性能、高可用性、低成本、高灵活性的特点,使其逐渐广泛运用并向高端应用 发展芦,科。 离健能计算在科学研究和工程计算等领域旋用广泛f 芦j 。如能源研究和模拟,高熊物 理研究,地球、海洋和大气科学研究,全球气温变化和天气预报研究,用于航天设计的 复杂多物理场模拟研究,地震数据分析,大规模信号和图像处理应用研究等。现在,这 种流行趋势正出科学工程计算领域向商援领域整延,如医药发明,集成魄游设计模拟, 汽车设计模拟( 空气动力学和碰撞实验分析) ,财政金融的风险分析,数字媒体应用( 动 画、电影合成) 等。地质学家们雁致力于研究更强大的地震分析技术,以获取地球结构 更精细的图片,从而用来指导油困的钻探和开发;制药公司正在海量的纂函库中努力磊 求对人类疾癌更深入豹理解和认识,从丽可以开发出更有效豹药物或渗疗方法;箍我们 熟知的一些门户网站,如g o o g l e 州和y a l l o o f m l ,则需要对躐特网上浩如炳海的数据进行 检索和分类,从而提供给世界各地的人们使用。所有这些领域,都成为l i 肌x 集群计算 大显身手的地方。 集群计算利用分布式积并行菅 簿方法,馒溺“分甭治之”豹策珞,将霈要解决豹闷 题分解成许多独立执行的任务。常用的方法是开发问题固有的数据并行性,将问题分解 为多个予数据集的处理,然后将任务及相应的子数据集分配到各个计算节点上执行。例 如,在动画生成应用中( 这方面最早和最有名的例子是电影豢坦尼克号的特效生成, 它健焉了一个包含1 6 0 个葶点的l i n u x 集群系统) ,需要将场爨生成任务分发劐上百个 计算节点上,其中每个节点负责生成最终场景中一个单独的部分。共享的场景和人物信 第l 页 堕堕型鲎垫查奎鲎翌壅尘堕主垡堡奎 想,以及每一帧韵渲染指令必须能够为每一个参与讨算的节点所访问,丽每个节点计算 帧会产生大约5 0 m b 的输出。最后各个单独的帧依次组合,得到完整的一幅画面。这 样的滚程是许多袅群计算应用过程中常见豹数据访闷情形。 作为美国能源部的加遽战略计算计划( a c c e l e r a t e ds t r a t e g i cc o m p u t i n gi n i t i a t i v e , a s c i ) 项目1 1 1 1 2 j 一部分,美国l a 嗍c el i v e 舳o r e 、l o sa l a m o s 和s a i | d i a 国家实验室已 经明确表示需要一萃申新的标准化、谭倬缩l ,o 存储结构来适疲大规模并行计算系统不断 增长的并行性和计算能力。从开始之日到2 0 0 4 年,a s c i 计划分为五个阶段逐步实现最 终目标,分别是构造l 万亿次、3 万亿次、l o 万亿次、3 0 万亿次和l o o 万亿次的系统, 即每个阶段运算速度大约提高三倍,平均每两年为一个阶段。a s c i 的最终目标是研制 出每秒1 0 0 万亿次浮点运算计算能力和每秒1 0 0 g b 聚合i o 吞吐能力的超级计算机系统 及摇应豹软件和算法,实现在2 0 0 4 年真实地进行模拟核爆炸实验,确傈美国在不进行 核实验的情况下继续保持核武器的优势地使。 欧洲原子能研究机构( c e r n ) 正在进行的大型强子对撞机( l h c ) 项酲【i 3 】每秒产生 1 0 0 m b 原始数据,每年的数据量就为1 5 p b ( 1 p b = l o ”字节) ,存储这1 5 p b 数据量每年 需要使用两千万张c d ,分析则需要使用1 0 0 万台当今最快的计算机处理器。 g o o g l e 已经成走全世莽最受欢逸豹搜索弓l 擎,搜索的弼茭超过8 l 亿张,图片超过 1 0 亿张,每天提供超过2 亿次的查询网页服务嘲。为g o o g l e 搜索引擎提供存储访问支 持的不是传统的巨型机和昂贵的专用服务器,丽是由超过1 5 ,o 台廉价的普通p c 机构 成的g o o g l c 集群删。预计到2 0 0 4 年底,o o o g l e 集群中的p c 枕台数会超过1 8 ,0 0 0 台, 外存储器容量达到5 p b ,成为当前世界上最大的p c 机集群系统。g o o 西e 集群通过g o o g l e 文件系绞u5 】实现商效、可靠綦j 可律绡存储,b 玻实践检验是有效豹海爨存储餐决方法。 l i n u x 集群计算的广泛应用也带来了新的挑战【2 3 $ t 1 6 】。这些高性能计算应用不但需要 商性能的计算能力,而且需要高聚合i ,o 吞吐量的支持。为了使集群系统的计算能力得 到充分利用,它必须麓够对幅( 1 0 珏字节) 、p b ( 1 0 拈字节) 、甚至e b ( 1 0 绣字节) 量 级的共享数据进行快速访问,否则,集群系统的性能将会大幅降低。为了简化应用系统 的开发和维护,共事数据必须对集群计算上豹辑膏遴穗都可雳。随蓑集群系统的规模越 来越大、节点越来越多,为实现各个节点对共享数据的高效访问,对存储系统的要求也 越来越高,传统的存储系统已经不能提供满足这种共事数据访闷所必需的性能。 翔纳起来,l i 硼x 集群计算应用对存储系统的主要需求包括: 基享存储。集群计算开发人员希望提供一个欺享存储方案能够容纳全部的数据 集,集群中的所有节点能够访闽该数据集。共享存镶大大簿化了计算终她的开 发和管理,所有节点能够访问任何数据分割和副本,所以,计算任务能够分配 到任何节点。另外,计算任务的输出能够被任何地方直接访问,如桌面系统的 事后处理、可视位或者直接作为计算管道中露续执行经务豹输入; 商并发性。大规模集群计算包含数以千计的计算节点+ 每一个节点都需裴访问 共享数据池,存锗系统必须珂伸缩的支持数予个节点的并发访闯; 商聚合i o 。虽然革个节点的i o 需求可能是中等程度的( 几十m b ,s ) ,但是 整个集群的聚合i o 吞吐量可能非常高( 1 0 g b s 很常见) ,p b 规模的集群计 第2 页 国防科学技术大学研究生院学位论文 算应用的吞吐量将超过1 0 0 g b s ; 均德扩展。蘧着应用的复杂性增加,要求更高的数据获取能力、雯逼近豹数学 模型、更大的数据集容量和更高的计算能力。这要求存储系统容量、i o 能够 与系统的计算能力同步均衡扩展; 可伸缩管理。存储系统容量扩展时,能够以可伸缩豹形式被管理是至关重要豹, 包括易于增加存储容量,自动实现容量、负载的均衡分配,以充分利用新增容 量,提高系统器吐率。 1 1 2 现有的存储结构分析 理想的存储结构能够提供可伸缩、高性能、跨平台、安全的数据共享能力。不同的 应用根据具体藩求选择不同的存储结构。露蘸使用最多的存储结构主要有壹接附翔存储 ( d 酏c ta t t a c h e ds t o m g e ,d a s ) 、存储区域网络( s t o r a g ea r e a n e t w o r k ,s a n ) 和网 络附加存储( n e t 、v o r ka t 妇c h e ds t o r a g e ,n a s ) f 1 2 伽,最近出现的s a n 文件系统是综合 n a s 帮s a n 静优点箍提出的一种存储结构1 2 l 。 ( 8 ) 厂可硒两面f 一 二二二 二二二 存储系统 l 一一j l 存锫网络) 、,1 、一 璺陲兰兰三爿 存储设备 、 ( b )( c ) 图1 对比d a s 、s a n 相n a s 存储结构 d a s 是最简单和最常见的存储结构( 图1 1 ( a ) ) 。它以主枫为中心,各类块存储设 各通过s c s i 、i d e 、a 1 a 等i o 总线直接与主机连接。d a s 具有简单、可靠、易安装、 价格低廉等特点,主要瘸子小规模的阐络存储应弼。d a s 的一个重簧特征是将存储设备 与主机捆绑在一起,这种连接上的限制带来诸多弊端,如d a s 的存储容量受限于主机 i ,o 总线支持的设备数量( 如1 6 像的s c s l 总线最多支持1 6 个) ;存储资源豹利用率低 效,大量数据重复存储雀多个独囊主机上,空闲的存储容量不能被冀它主机共享;要求 管理员人工管理在物理上分散的不同平台的系统,增加了管理难度和存储系统的总拥有 成本;存髓数据瓣霹用拣差,当主撬失效对,与之相连的存储资源都不可访翔;访闷憔 能受限于主机的处理能力,存储资源的访问只能通过该主机进行,不能通过多个主机共 享负载实现并摇处理;对于大量d a s 组成的数据网络,维护困难,备份,修复必须针对 第3 页 里堕型兰垫查奎兰竺堑竺堕堂丝丝苎 每一台d a s 进行,管理难度大”。 为了克服d a s 在连接上的限制,出现了s a n 存储结构( 图1 1 ( b ) ) 。s a n 将存储 系统从主机系统分离,利用主机之外的一个专用存储网络代替i o 总线,使得存储设备 得以合并与共享。它是一种利用光纤通道等高速互联协议连接起来的、可以在主机和存 储设备之间直接传送数据的专用高速存储网络。由于s a n 采用可伸缩的交换网络结构 替代传统的总线结构,使所有的主机系统和存储设备之间都是通过高速的网络相连,提 供几乎不受限制的设备数量以及内部任意节点之间的多路可选择的数据交换。s a n 具有 高容量、高带宽、低延迟、高可靠性、高容错能力的优点,缺点是s a n 系统的价格较 高,互操作性较差,并且共享的是存储设备而不是数据,并且s a n 中主机系统对存储 设备的共享访问带来数据的完整性与安全问
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年城市生态修复项目社会稳定风险评估与生态修复项目风险评估与风险控制报告
- 信访知识培训课件
- 辽宁省丹东市东港市2024-2025学年七年级上学期期中教学质量监测道德与法治试卷(含答案)
- 中小企业公共服务平台建设方案
- 2025年传媒互联网行业投资策略分析报告:AI应用落地机会景气娱乐赛道
- 输电安全课件
- 小麦病虫害防治图谱课件
- 小鸭子课件模板
- 农业企业注销与土地流转及农民权益保障协议
- 城市四区住房保障家庭租赁补贴协议及资金监管执行
- 2025年高中学业水平合格性考试政治模拟试卷试题(含答案解析)
- 护理管理学考试题库与答案
- 建筑防火设计-教学课件作者-主编-李耀庄-徐彧-建筑防火设计课件
- 静脉输液风险评估
- 水力发电厂生产安全性评价
- 小学道德与法治学科教师专业素质考试试题及答案
- 全国质量奖现场汇报材料(生产过程及结果)课件
- 短歌行(优质课一等奖).课件
- 北师大版小学数学五年级上册第一单元《练习一》同步练习带答案
- 球墨铸铁管规格尺寸理论重量表
- 饮食习惯与健康
评论
0/150
提交评论