（电磁场与微波技术专业论文）光子网格中资源管理及数据传输机制关键技术研究.pdf

北京邮电大学博士论文 摘要 光子网格中资源管理及数据传输机制关键技术研究 摘要 稳定的网络是网格技术实现可靠服务的关键支撑之一。传统网格计 算的网络服务是基于i n t e m e t 架构的，但是随着网络的发展，这种架构 逐渐暴露出i p 固有的一些问题。尤其对于大规模计算和数据密集型业 务，能否提供一套快速、动态、可靠的数据传输更加重要。近来光通信 技术的飞速发展，为这一问题的解决提供了契机。对于这种大规模计算 和数据密集型业务，能够提供廉价带宽和可靠传输性能的光网络设施成 为构建网格网络的最优选择。如果将光网络以种协作方式作为网络资 源在网格系统中共享，就需要研究如何定义光网络资源，如何将这些资 源封装成服务，以及如何管理这些服务。全球许多的研究机构已经开始 这方面的研究工作，这些工作的结果普遍被称为光子网格。 光子网格的实现涉及到很多关键理论与技术问题，如体系结构、资 源管理、作业管理、光网络控制、接口、安全技术等。本论文在对光子 网格基本概念、特性及体系结构研究的基础上，对光子网格的资源管理 技术、综合考虑应用资源和光网络资源的资源联合调度技术、基于负载 均衡和可分负载理论的任务量分配技术、基于g r i d f l 曙协议的多通道传 输技术等进行了各有侧重又互相联系的研究，参与设计并实现了光子网 格系统实验平台，完成了相关新机制、新方法的实验和验证工作。 本论文总体分为3 个部分，共6 章：( 1 ) 第1 2 章，从网格的研究 谈起，引出光子网格研究的意义，接着进行了光子网格基本概念和特性、 光子网格体系结构及功能要求等方面的基础性研究；( 2 ) 第3 5 章，光 子网格关键理论与技术的研究，涉及资源管理技术、资源调度算法、基 于可分负载理论和负载均衡的任务量分配技术、基于g r i d f l 曙的多通道 传输技术等；( 3 ) 第6 章，进行了工作总结和进一步工作的展望。 本论文的主要创新点为： ( 1 ) 针对光子网格系统的特点，深入研究了光子网格资源调度的技 泰，提出7 综合考虑两格应甬资源和光嘲络资源的两种资源联合 掘笼第麦最纪缪径隼珐，该算法从优化光网络链路连接资源使 北京邮电大学博士论文摘要 用的角度，对网格系统中的应用资源进行调度，使源节点到目的 节点之间的路径代价最小；爱加行劈j 韩游该算法从作业执行代 价的角度对应用资源和光网络资源进行选择，是最优资源算法和 最优路径算法的一种折衷。以上两种算法可适合于不同性能要求 的光子网格系统。 ( 2 )将负载均衡和可分负载理论的概念引入到光子网格的任务量分 配中，蹇凹7 _ 多粒巍蓖坳绝访搓，并在此基础上，提出了考摩珂 鲴子的缆嫠茸适i 应旃蹙j 乒罄，应用于光予网格中的任务量分 配。仿真结果证明，该算法能够较好地均衡各个网格处理节点的 任务量分配，与传统算法相比较，明显降低了总的时间开销，从 而获得较好的性能。 ( 3 ) 据凹7 基于g 磁f 7 p 彭e 融多透澎詹赫刃名狁这种机制能够非 常有效地降低网格任务的执行时间，具有良好的任务并行处理特 性，是一种切实可行的并行传输技术。 ( 4 ) 基于实验平台对光子网格多通道传输模式的主要功能与方法进 行了功能验证和实验研究。实验分矽f 厂趁之鳜穆凹融多摇学艏笏 模式在光子礴格系统中的可行性和优缺点蕊偈与强论砥突_ 致的实验结论。 关键词：网格光子网格资源管理资源调度任务量分配多通 道传输 北京邮电大学博士论文 s o m ek e yt e c h n o l o g l e sf o rr e s o u r c e m a n a g e m e n ta n dd a ：i at r a n s f e rs c h e m el n o p l l c a lg r i d 1 1 l es t a b i en e t 、) i ，o r kl so n eo ft h ek e yt e c h n o l o g i e st op r o v i d et h er e l i a b l e s e r v i c ei n g r i dc o m p u t i i ! i g t h ec o m u n i c a t i 0 硒s e r v i c e i n t r a d i i o n a l 黟i d c o m p u t i n gi sb a s e d o ni n t e m e t ，b u tw i t ht h ed e v e l o p m e n to ft e c h n o l o g i e s ，s o m e i n h e r e n ts h o r t c o m i n g si nt h ei n t e m e t 笋a d u a l l ya r ce x p o s e d e k s p e c i a l l y “i s v i t a lf o rt h eb u l k - d a i at f a n s f e rw h e t h e ft ob ea b l et op r o v i d et h ef a s t ，d y n a m i c 柚df e l i a b l ed a t at f 柚s f e lt l l l e r e c e n yr a p i dd c v e l o p m e n t o f o p t i c a l c o m m u n i c a t i o n t e c l l i l o l o g i e s c r e a t e st h ec h a n c ct or e s o l v et h c p r o b l e m s u n d o u b t e d l y ，o p t i c a ln e 附o r kw i t hh i g ht h ef a t i oo fp e f f o 咖a n c et o 。c o s t b e c o m e st h eb e s tc h o i c et 0c s t r i l c tt h eg r dn e t w o r l i f0 p t i c a ln e t 、) l r o r ki s r e g a r d e da san e t 、) l r o r kf e s o u f c cs h a r e da m o n gt h eg r i du s e 瑙，i ti se s s e n t i a lt o r c s r e a c ht h ed c f i n i t i o no fo p t i c a ln e 俺，0 r kr c s o u r c e ，h o wt oe n c a p s u l a t ct h e mi n t o s e r v i c c s 加dm a n a g et h es e r v i c c s m a n yr e s e a r c ho 曙柚i z a t i o n si nt h ew o r l d h a v es t a r t e dt h er e s e a r c hw o r ka b o u tt h e m t h er e s u l t so ft h e s er e s e a r c hw o r k si s g e n e r a l l yc a l l e da so p t i c a lg f i d c o n s t m c t i n gt h co p t i c a lg d dw i nm o l v eal o to fk c yt h e o r i e s 柚d t e c h n o l o g i e s ，s u c h 弱r e o u r c cm a n a g e m e n tt h e 0 彤r c l e v 姐ta l g o r i t h m so fs o l n e o p e r a t i o n so fr e s o u r c cm a n a g e m e n t ，t h ca 1 9 0 r i t h m sa b 伽tl o a da l l o c a t i o n ，d a t a t f a n s m i s s i o n ，a n ds oo n t h ed i s s e n a t i o n1 u c u b r a t 既a b o u t h ea b o v e dp r o b l e m s b a s e do nt h es t i l d yo fi h ee s s e n t i a lc o n c c p t i o n ，c h a r a c t e r ! i s t i c s 她da r c h i t e c h t i l r c o fo p t i c a lg r i d ，t h ea u t h o r 圮s r c h e st t l ep r o b l e i 璐o fr c s o u r c cm a n a g e m e n t ， r e s o u l ec 0 一s c h e d u l i n gt 0c o m b i n ei 圮t w o r kr c s o u r o e sw i ma p p l i c a t i o nr c s o u r o 髓， l o a da l l o c a t i o nb 勰e do nl o a db a l 卸c c 卸dd l l ；m u l t i - p a t ht 舢s i i l i s s i o nb a d u p o ng 耐f 1 限m 0 r e l w e f t l l e 卸t h o rt a k e sa p a r ti i ld 髂i 鲈i n g 觚dc o n t m 硝n go f t h e 叩t i c a l 鲥dt e s t b e d s o m eo fn e ws c h e m e sa n dt c c l l i l i q u e sa r ev a l i d a t e db y 北京邮电大学博士论文 a b s t n c t t h ee x p e r i i n e n t sc a r f i e do u ti i lt h et e s t b e d t 1 l i st h e s i si sd i v i d e di m ot h ep a r t s ：( 1 ) t h es y s t e m a t i cr e s e a r c ho nt h e e s s e n t i a lc o n c c p t i o n s 蛐dc h 甜a c t c r i s t i c s e so fo p t i c a lg r i da n di t sa f c h i t e c n j 他 a n df i l n c t i o n a lr e q u i r c m e n t s ，( 2 ) t h er e s e a r c ho nk e yt c c l l i m l o 西e si r l c l u d i n gt h e r e s o u r m a n a g e m e n t ，r e s 叫- s c h e d u l i n 参l o a da i l o c a t i o n b a s e do nl o a d b a l a n c e 觚dd i v i d a b l el o a dt h 彤m u l t i - p a t hd a t at 删1 s r n i s s i 伽b 够e d g r i d 兀甲e t c ，( 3 ) t h e 蛳m u po ft h ea b o v e dc o n t e m 锄dt h ce x p c c t a t i o nt o r e s e a r c ha l ll 【i n do ft e c h n o l o 舀e sf l l n h e fi nt h ef i l t i l r e r h em a i ni n n o v a t i o n sc a nb e 蚰m m a r i z e da sf o o w s ： ( 1 ) d u et ot h ec h a f a c t e 娼o fo p t i c a lg r i d ，由脚h 删c d 哂c 舭咖舰g 口如砌懦m $c 硎6 伽伽g 行订h ，o j 噍 柳比比嚣纺蝴绒埘 脚h 邝嚣口心胛彤聊破西刎p 砌口冶d r 触m ， i ts c h e d u l e st h e a p p l i c a t i o nr e s o u r c e si nt h eo p t i c a l 鲈i ds y s t e mb yo p t i m i z i n gt h e c o m m u n i c a t i o nr c s o u f c e su s e df o rt h eg 瑚a p p l i c a t i o n ，t om i n i i n z e t h ec o s to fp a t hb e 腑e s o u r c en o d ea n dd e s t i n a t i o n n o d e ； 肼伽妇删俐以多n ，蚴啊i ts t a n sf r o mo p t i m i z i n gt h e s to f e x c u t i n gt h ej o ba n di n t e 伊a t c sn e t w o r kr e s o u r c ew i t ha p p l i c a t i o n f e s o u r t 0s e l e c tt h er c s o u 瞄st of i n i s ht h e 铲i dt a s k i ti sa c o m p r o m i s ea b o u tb e s tr c s o u r c ea l g o r i t h ma n db e s tp a t ha l g o r i t l l l n ( 2 ) l o a db a l a n c e 觚dd i v i s a b l el o a dt h e o 珂a mi n t r o d u c e dt ol o a d a l l o c a t i o ni no p t i c a l 鲥d 觚dm n 埘m 口船dl 缸d 施肠露c 口哪棚如妇 珥 耐b a s e d 咖沁舢l t i m 岫da d a p t i v ea l g o r i t h mf o rr c f i n i n g t h e t i l n 吨f a c t o r i sp r o p o s c d n ea l g o r i t 硒i s f o f l o a da l l o c a t i o n j n o p t i c a lg r i d t h es i i n u l a t i s u l 协s h o wt h a ti tc 孤b a l 柚c ct h el d c 咖t sa l l o c a 自c di ne 虻ho f 鲥d 础目啡r n o d 岱，柚di tc 姐 o b v i 帆s l yi m p m v e t h ct i l l 尬 s p e n d i n ga n d t h e n g e t b e t t e 】r p e r f b 蛐a n o e ( 3 ) 4 肋 ，“m 妊删4 踊加删蛔函打墨曲删t 西船以伽g j 谢f z p 豇 印傩耐t i i i ss c h e m ec 狮i m p r o v et h e 既c i l t i i l gn m e0 fg r i dt 舔k n e 伽t s t a i l d i n gp e 面珊a n t o g e t h e fw i mb e t t e rp a m l l e ld c a l i i l g c h a m c t e fw h e nt 啪s p o n i n gt h cb u l l ( 一d a l am a k e s “av e 巧a t t r a c t i v e n d i d a t ef 叫u 舱i i lp r a c t i ( 4 ) t h ef i l n c t i 伽a le x p c i i m e n t a t i o n so fb u l l 【- d a t ah a 啮m i s s i o ni i lo p t i c a l 北京邮电大学博士论文 a b s i n d g i f da i 弓m a d eo nt h cd e v e l o p e dt e s t - b e d z ，b 墨印e ，云哟口以d q ? p l i c a b i l j 姆耐m ep m p o s e d s c h e m e s口n d 主l i l p l e m e n 硼o n 叼p r 幽甜4 陀坩蒯如耐勿胁e “p 砌绷删锄喝佣d 飕蹦凰矿 t h ee x p 盯i l l i e n 绷噎。惦n 他c o 淞i s t e n tw i ht h e o 他t i c d 咒s e n r c 沁s k e yw o r d s ：g d d o p t i c a l g r i d r c u 瞄m a n a g e n t r e s o u 雠s c h e d u l i n g l d a d 舢l o c a t i o nm u l t i p a t h1 r 柚s f e r 北京邮电大学博士论文 缩略语 缩略语 n i o n 柚h 鲥h 他o f i v 硼划h 血出柚s c i c 噼柚d 蛐o l o 掣 冉啦酬o np | q 弘哪曲gh 缸舾 d 删甜& m 把g i c c 蛐叩u i n 窖h n i 撕 m h i a n 翻a n d a i d g o 出如f h 如啊i a 6 0 i h k 咖妒 知蛔啪l i c 棚ys w i d d i c d0 l m c d 1 w 埘k a 岫脚c 伽c ds c 鼬l i n g p o u c y 啪e d m 豳i 嘲咖忡血gs c h c d i l l i n g p 0 畸 b 耐p 锄 b 喇s h w c o n t c l d c l i v c l yn 咖o i k c c n t l a ip - o c i n gu n “ c o m p i i t i i i gr 啪u 眦s c h e d u 甑gp o l i c y c b m p u n gi 汹u f m b 明鲈疆 d 缸曲m e dm 柚a 萨删嘣h s k f b l d i v i s 曲kh a d l 伽i y 咖m 口i c d p 删d 乳啪萨s y 咖m 晰双o i 咎i 劬咖 d 妇问删1 i 瀚s kr 蒯l y d y n a 血u s c r 枷n i c 涮t 吐e d 唧t 伽n n k e q u i v 如n ta l l o c a l i o ns 曲c d i i u 鸭p o n c y e n k 惝g d da l l i a b c c l i j c p 蝴g d d f i 戚- f ns c l w f i i kp 擘”5 f n i n 伽i kp m 鲈帅m c6 f n c l l i s 衙p i o l g i g a b ne m c m c ii n 嘲t i g c n c d c 矗j m i n gp 加刊圳t g l o h 蚰( 蒯f o m m ( 枷h i g hp c f f o 哪n n c | w o k g c n c r 蚯z c d 协l l i 粕删l j b d 洲t c h i 雌 g 棚n c m l ks c 柙i - w t b 舶晤l n i c f h 删f 啦蛔n s 衙p f l 删 0 l i d 鼬* m i r m “a 薛m ts y 0 蛐 g f j dr a m r c cs c 呦u l c f - 9 l - 日奉国家高级产业科技研究所 应用程序接口 加速战略计算设施 美眉标准信息交换码 自动交换光网络 按指数多分的自适应调整调度策略 最优计算调度策略 最优路径法 最优资源法 内容传送网络 中央处理器 计算资源调度策略 计算资源管理器 分布式管理任务组 可分负载理论 分布式并行存储系统 数据存储接口 分布万亿次级计算设旖 用户为中心的动态交换光网络架构 等价分配调度策略 企业捌格联盟 电力列 首次命中资源法 第五框絮计划 第六框架计划 文件传输协议 吉比特以太网接口 通用成帧规程 全球两格论坛 喇格高性能网络 通用多协议标记交换 同格网络服务w 曲服务接口 同格文件传输协议 嘲格资源管理系统 嗣格资源调度器 ：篇裟：=嚣挈=鬟：g裟ll l ； 北京邮电大学博士论文 缩略语 0 i i ds c a 1 i l yi 叫嘟由q d u 坼 g l 曲哪! b o i 吐 g i d i 喀1 j j l 【h4 g 咖u o 玎n 矗w m k i m 盯自搿 蜥曲p c f i 衙m a n c o 删删慵 h 蛔胁d 缸l l i b 呻c ds 协f 孵i 赶舢灯眦船e i 眦i l i 萨吐c o 曲俎s c l v i m p m 碍 i 山舳l i o n 耐d 柏g l 瑚巾 i n t 啪c t h 嚼n l i n 9 1 础f o i i n 蛔n 鲥雌缸础d 骶曲ds c k d i l i 廿 i n “h n dp “h 哪i i n 蛔酣n e ds c r v i 谯s0 i i j l0 r 埘a 比h i o d m 他 h 山h n 锄i 蚰a 1 1 m 0 咖咖i n i c 岫n u _ i 0 且1 b i c c o i 儿s 船n d 锄_ d 虹s c c 吖 j 印m6 j g a b “n c i m i k 2 l d c 时 r n d 旧砸 l o c 面r 删f m a n 啦m c 毗 l 曲ks w i i c h i n gp a 也 m c g a b y 忙 m m i m u mc o 醴 n n 帅f k u n i t n 埘仰“埘曲p c 面蚴盘c o 呷删略e n 响加螂吐 n a i i 伽量，l n s l j m o f i 砸o f m 鲥o n a n d q 删朋n i a 陆地蛐0 1 9 酣 n d 啪f k i o n c t w o 矗h 址卅：a c e d 缸p a 咖h i p 缸 d v a c d 唧t 缅n a l 吲n 枷” n d - o i kr 洲f m 瓤忸i 乒m 咖s y s 址m n m i 咖由s d 蛐r ，蛐d a l i o n n 砸d 弛加l o 舒g l i d n 蛐1 州靴蛇h 碰c 蛐l i 雌p 曲c y n 矗w 咄b m 删i o - l a b o f 剐抽 咖卿i 盈l j 衙岫a d m 州o f 蛔咖一埘o d a l i o n 鼬耐岫 0 i m a i 嘲轴租越雌 0 p i c dd o 瞄hs c i i n 把咖o d o p c n g d d f b m m 呻g f 谢s 瓣 | 埔i 蛐t m 0 p l i 瞄l h 船m n 哪删n g h 咖 0 i 瞳i 血嚣m u m - 黜哪s c k d u l i 雌a l 罾o i i n m 0 p c n n 枞b 州m “锄 0 l ，酬h 酗踟袖蛙略 0 l t i c 粗o “c o m e d 9 2 同格安全结构 a o h m 开发工具包 6 i o b 开发工具包第4 版 同格用户网络接口 高性能计算机 f n c 吐分布式存储设旖 智能控翻服务代理 国际数据组 互联网工程任务组 国际网格平台调度 互联网协议 综合服务光子网格体系结构 目际电信联盟电信标准部 日本吉比特网2 局域同 本地资源管理 标签交换路径 兆字节 最小代价法 罔元 国家高性能计算环境 国家信息和通信技术研究所 罔络两络接口 国家高级计算基础设施 同络资源管理系统 国家自然基金 国家技术弼格 无调整随机调度策略 同络创新实验室 结构化信息标准促进组织 光突发交换 光域服务互连 开放同格论坛 开放嗣格服务体系结构 光互联同论坛 优化多资源调度算法 开放网络环境 光分组交换 光交叉连接 蓦=篡筹肼|；m ll=篡腿lb：=罴：啷罢?一竺嘴 北京邮电大学博士论文 缩略语 h * 咖c o 唧u d 鸭 h 掣b y k p i i m 酣c 呻q i h p “b l i c x 斜h 血j 蝌f u d w ” 0 i 山i i ，o f & 州 h 4 恤l 岫p r 沁c 脚 r 髑d 邮n o 曲 r _ n 蛔s a f v c f h 噼“蛐呻n 哪小n 豳ch l g i 雠盯i 柚g r ( 删p 1 抽c s i 唧| c0 嘶o d a o o c 略p i 哪d s c i v j c o 矗蚰t o d a “湘血o c h 岫埠 s h o r 躐p a t h1 h 等 n a 雎n 畸蟠i o nc 咖t m ii n 地面a t c g a b ”c 1 h n s 日c o n t r o lp m t o l 1 h 蚯ce n g 岫r i n g - l i i i k u o m 同【j g h t p a l h u n i v 翎d t yo f c a l i f o m - 憧s a n c 笋 u 血v c 船ld l 粼r i 吨i 珑螂c f y 柚dh t 镏棚 u d 锄鹅h mp r 呻，l t 胁啪i t yo f m j n o 缸砒c 岫：4 笋 u s * h v f ki m a l a o e d d n m d 1 kw b r l dw d c 、 k bc 叩n i u m l d c ，呦n n w o 血 w 曲s c f “嘲h 蛔o p m b 础t y0 喀柚i 翻l i 傩 w 出s c l v i c c s 咖i 蚰h n 霉啦萨 w b d d w i d c 懒 c x p l i 醯o m 刚p t o l e x t c n s 伽cm a f h pl a 8 9 嘲舻 9 3 对等计算 皮字节 个人计算机 公共密钥设施 服务质量 实时企业计算 资巍节点 随机赍源法 基于流量工程的资源预留协议 往返时延 简单对象访问协议 面向暇务的体系结构 最短路径树 传输控制接口 太字节 传输控翻协议 基于流量工程的链路 用户控制光路 加朋大学圣地牙哥分校 统一描述、发现与集成 用户数据报协议 伊利诺丈学芝加哥分校 用户网络接口 按需视频点播 万维嘲联盟 广域髑 w 曲服务互通组织 曲服务描述语言 万维网 直接控制协议 可扩展标记语言嘴胁k瞰：莹一姘髂一哪暑|婀砌皿俯一一一哪呲哪帅眦删一时舭 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：立：l 金盎驽 本人承担一切相关责任。 同期：翌z11 ：三 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学 位论文的全部或部分内容，可以允许采用影印，缩印或其它复制手段保存、汇编学位论 文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注释： 本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：盟z ! 兰 日期：丝2 ：z ：主 北京邮电大学博士论文第1 章绪论 第1 章绪论 生活在信息时代，人们生活中时时刻刻都离不开信息。在这个时代的最重要的工 具就是人们普遍熟悉的计算机。计算机和通信技术的结合产生的计算机网络，更是极 大地延伸了人类有限的触觉，极大地影响着人们的学习、工作、娱乐等各个方面，改 变着人们的生活方式。依靠互联网，用户只需坐在家里就可以浏览新闻、与人聊天、 订购商品、对打游戏、欣赏影片。互联网改变了人们工作、生活、学习、娱乐的 方式。国际互联网把地理空间上的距离缩小了，人们可以在互联网上和地球另一端的 其他人聊天，用鼠标轻轻一点，获取互联网上的各种信息。但是，仔细观察国际互联 网和万维网，很容易发现，国际互联网和万维网为人们提供的能力是非常有限的。现 在的整个互联网就像一座堆满了书籍、无人整理的图书馆，而用户只能通过手工检索 乱七八糟的书目，以求找到自己需要的信息。这种查找信息的方式像“地毯式轰炸”。 一点都不像“精确打击”，与插上插头就能用电那种便利无法相比。人们上网的时候， 虽然顺着超级链接一会儿到了这个网站，一会儿又进了那个网站，但消化和整理信息 的工作都是人工完成的。因此，现在这个“网络时代”，是可以加个限定词的，叫做“手 工作坊式的网络时代”【。 为了克服互联网所暴露的问题，使计算机和网络设施能够更好地服务于人类，需 要在国际互联网和万维网基础上建立网格( g r i d ) 。网格是把地理位置上分散的资源集 成起来的一种基础设施1 2 】。通过网格能够更好地管理网上的资源，将之虚拟成为一个 空前强大的一体化信息系统，在动态变化的网络环境中。共享资源和协同解决问题， 从而让用户从中享受可灵活控制的、智能的、协作式的信息服务，并获得前所未有的 使用方便性和超强能力。 通过将众多的分布在各地的异构资源联合起来，网格可以满足应用对处理能力日 益增长的需求，它远远超过了单个资源的处理能力。不同地理位置上的网格资源协同 工作，完成应用的需求，常常需要在不同网格资源节点之间传输数据，所以保障网格 资源之间的数据传输是极其重要的工作。尤其对于大规模计算和数据密集型业务，能 否提供一套快速、动态、可靠的数据传输机制显得尤为重要。近来在光网络研究上的 进步为实现这一目标提供了契机。因此，本论文将以光子网格这一最新技术作为研究 对象，将光予网格中的资源的管理控制与调度技术等直接影响光子网格实现与运行效 能的关键技术作为深入研究的重点展开系统、深入的研究。 1 1 网格技术的研究与发展 网格技术从2 0 世纪9 0 年代中期发展起来的构建在传统互联网上的一组新兴技术， 北京邮电大学博士论文第l 章绪论 被称作第三代互联网。网格将高速互联网、高性能计算机、大型数据库、传感器、贵 重设备等融为一体，使人们能够透明地使用资源，并能按需获取所有信息。 网格计算最初产生于设备利用率问题，可以参看下面的统计数据【3 l ： ( 1 ) 大型机有4 0 的时间处于空闲状态； ( 2 ) u n i x 服务器有9 0 的时间处于空闲状态； ( 3 ) 多数的p c 有9 5 的时问处于空闲状态。 另一方面，在一些科学研究和工程设计领域，解决科学运算等问题对计算机的处 理能力的要求也越来越高，有的甚至使用现有的超级计算机都无法完成。比如天文学 研究中，天文望远镜每年所产生的数据不少于l o p b 。假设计算机处理1 m b 的数据需 要1 s ，则处理l o p b 的数据需要大约3 年的时间，显然是不能满足要求的【z l 。在高能 物理、天文学、医学、基因研究等领域，都需要有超大规模的计算和数据分析能力的 计算机。为了达到这个目标，就产生了将大量的处理器联合起来协同使用，实现单个 处理器无法达到的处理能力的设想。 计算资源的实际使用情况和人们对计算能力的需求表明：一方面，有大量的计算 资源处于空闲状态，没有被有效利用；另一方面，又有不少的应用问题由于没有足够 处理能力的计算资源处理而无法进行求解。这些都造成了资源的极大浪费，有些人投 入大量的资金购置的设备，却有一半以上的时阃没有被有效利用：而有些人急需这些 设备，却没有购买这些昂贵设备的资金。如何解决这些问题呢? 网格的出现为解决以 上这些问题提供了可能。 网格一词来源于电力网( e p g ，e l t r i c p o w 盯g r i d ) ，其最终目的是希望用户在使 用网格计算能力时，就如同在使用电力一样方便。在使用电力时，不需要知道它是从 哪个发电站输送出来的，是用什么原科发电的，经过了什么电路输送到用户的插座， 不管是照明、取暖，还是给电动设备或电器供电，不管电器的内部设施简单还是复杂， 都仅仅需要人们将插头插入带电的插座和支付相应的电费即可。图1 1 和图1 2 分别是 经过抽象的电力网示意图和网格系统示意图。网格就是把电网作为比拟的对象而开始 建立和发展的，希望整合整个互联网上的资源，给最终的使用者提供一种与地理位置 无关、与具体实现设施无关的通用处理能力。 可见，网格将分布在不同地理位置的计算资源，包括c p u 、存储器、数据库等， 通过高速的网络组成充分共享的资源集合，从而为用户提供一种高性能计算、管理及 服务的能力。网格用户调用这些资源就像使用电能一样，不必对这些资源的来源和负 载情况进行繁琐的配置。 北京邮电大学博士论文第1 章绪论 图1 1 电力网示意图 姚。一 同格 逦鲈墨 p 佰a ，o 图l 一2 网格系统示意图 以技术发展的顺序作为划分标准，网格的发展主要经历了三个阶段，如图1 3 所 示1 4 l 。 黼臀。 裟开放僦霎煞结构。 i - w a y l l 碍i o n i “1 ”“”4 1 ” 第一阶段 第二阶段 第三阶段年代 图卜3 网格技术的发展阶段 第一个阶段是网格的萌芽阶段，大致从9 0 年代早期开始到1 9 9 5 年以前的网格。 典型代表是f a 肿r 【5 】和i 啪w 岬1 这两个项目。这个时期的网格都是把超级计算机节 点连接起来，为高性能应用提供计算资源，元计算睁m 】的概念就是这个时期提出来的。 主要解决的问题是通信、资源管理和远程数据管理。f a 聊岖r 发展之后出现了 s e l r i h 咖e 【1 1 】和d _ i s t 曲u t c d n e t l l 2 1 等项目，i w 发展之后出现了g l o b u s l 捌和 k 蜘n 1 1 4 j 等项目。 第二个阶段是一些早期的实验，时间大致是从1 9 9 5 年到2 0 0 0 年，出现了一些比 较重要的开创性和奠基性的研究项目。典型代表是g l o b u s 和k 西o n 项目，尤其是 g l o b 惦工具集的开发和应用，对网格的研究和发展起了显著的推动作用。这个时期的 网格要解决的问题涉及网格的异构性、可扩展性、适应性等，网格安全也得到越来越 多的重视。这个时期的主要工作是支持大规模数据和计算的中间件的开发，人们逐渐 认识了计算网格，建立了面向协议和模块的网格体系结构。 目前是网格发展的第三个阶段，也是迅速发展的阶段。关于网格的研究，开发和 北京邮电大学博士论文 第1 章绪论 应用项目大量涌现，出现了在网格界有很大影响力的全球网格论坛( g g f ，g 1 0 b a l g r i d f o 咖) ，通过发布规范、标准、建议、实验方法等推动网格技术的发展和应用。典型 代表是w 曲服务( w 曲s e r v i ) 和开放网格服务体系结构( o g s a ，o p c ng r i ds c i c c a k h i 僦：t l i m ) 。w 曲服务是面向商业领域的计算框架，其中的基本技术包括简单对象访 问协议( s q a p ，s i m p l co b j c c t a o 豁p r o t o i ) ，w 曲服务描述语言( w s d l w 曲s e n ，j c e d t 络c r i p t i 咖l 加斜a 弘) 和统一描述、发现与集成( u d d i ，u 面v e 啪ld e s c f i p t i o n 、d i s c o v c r y 柚d 鲫t i ) 等。这个阶段网格的主要特点是面向服务的网格结构。2 0 0 2 年2 月发 布的o g s a 把w 曲服务和网格计算结合起来，建立了以服务为核心的网格体系结构。 同时网格计算也不再仅仅局限于科学研究，工业界与学术界开展了广泛联盟，正致力 于使网格计算在更广泛的领域得到推广和应用。 很多人把网格看作今后网络的应用模式和服务提供机制。为了实现未来某个时间 向网格应用的平滑过渡，很多企业在现有的i n t e m e t 技术环境下引入网格技术，希望能 将接入h t e m c t 的资源进行更强力的整合，让网络对每个用户的每项业务都充当类似超 级服务器的角色，从而有效地提供现有w w w 网络无法很好提供的服务，彻底消除异 构网络系统和异构设备之间的壁垒。这方面已经提出的概念包括内容分发( c o m 曲t s d e l i v c r y ) 、服务分发( s e r v i c c d e l i v e r y ) 、电子服务( b s e r v i c e ) 、实时企业计算( r t e c ， r c a l m m c e n l c r p r i s ec o m p u t i n g ) 、分布式计算、对等计算( p e e r - t 0 p e e rc o m p u t i n g ) 、 w 曲服务( w 曲s e r v i c e s ) 等。不同的概念有着不同的侧重点：p 2 p 计算强调打破客户 端朋务器和浏览器月匪务器的主从模式，用对等模式( 或无服务器模式) 实现超级服务 器的功能；瑚【e c 则强调对在线事务处理的实时支持。 w 曲服务在上面提到的这些概念中影响最大。微软、s u n 、m m 等公司就可扩展 标记语言( ) ( 1 沮，e x t e 璐i b l cm a r l m pl 棚g i l a g c ) 、s o a p 、w s d l 、u d d i 等几个底层 标准协议达成了共识，先后开始了对w 曲服务系统的研发。2 0 年6 月，微软提出 了n l 玎构想，并于2 0 0 2 年2 月发布了用于w 曲服务的n e t 框架和开发工具包；2 0 0 1 年初，s u n 也提出了开放网络环境( o n e ，o p c n n e t 帅r k e n v i 啪m e n t ) 战略。 w 曲服务只是网格向现有网络技术渗透的第一步。众多厂商也没有放弃对计算网 格的产品化。c o m p a q 和p l a t f o 咖公司达成合作协议，最先推出超级计算机和网格计算 解决方案；m m 部署了一个内部的研究网格；s u n 与越，a 共同也签订了推进企业 采用全球网格模式的协议。 1 2 网格发展中对网络的需求 从网格的比喻性定义( 电力网格) 开始，网格的资源就被网络所连接起来。当前 的大多数网格项目都假设网格内的计算机网络可以提供足够的带宽和性能，网格应用 不太考虑底层传输的能力和质量，网格研究的重点和热点也均主要集中于对传统网格 北京邮电大学博士论文第l 章绪论 资源的管理和应用方面。只有少数的项目将目光投向网络，包括e u l o p c 柚d a t a g r i d i 冽 和一些独立的网络监控项目( g r i d m 咖) 1 2 1 铡。但是，随着科技的发展，现实存在的 一些网格应用对传输带宽和传输质量提出了较为严格的要求。从网格的角度来看，网 络是网格环境中的重要资源。网络对网格很重要，因为它联系起了网格中各个节点， 没有网络，网格就不能运行 目前，在网格系统中存在着各种不同业务特性的网格应用，这些网格应用在业务 流粒度、数据处理带宽、性能指标( 时延、丢包率等) 等方面的要求各不相同。以丢 包率为例，某些应用( 例如欧洲粒子物理研究中心的粒子物理研究实验【坍) 对丢包很 敏感，要求网络能够提供可靠的数据传输，因此使丢包最小化以提高网格性能是很有 必要的；此外，还有些应用1 1 6 】可能需要为数据库备份或负载均衡等进行大规模数据传 输。 归纳起来，不同的网格应用对网络有一些共同需求【1 5 l ： 。 ( 1 ) 按需提供和调度大量廉价带宽； ( 2 ) 网格用户或者应用对网络资源的管理和控制，即管理自组织分布式计算资源 和促进大数据传输。 现有的网格系统中数据传输主要是通过基于矾：p i p 协议簇的互联网或者通过固 定带宽的光纤链路实现，对于数据密集型网格应用的需求存在着缺陷，很难满足它们 对于网络的一些需求。这些缺陷主要表现在： 首先，对于数据密集型网格应用，互联网中p 包本身存在的缺陷是长度有限。基 于t c p ，i p 的网络对于短数据包的突发传送具有非常高的效率，例如：网页浏览、远程 登录和电子邮件等。每1 5 0 0 字节1 2 3 l 的转发决策对于电子邮件或1 0 k - 1 0 0 k 字节内容的 网页已经足够了。但是，对于某些具有海量数据的网格应用就很难满足需求，例如， 复制1 5 t b “的数据在互联网中需要沿着若干路由器做数十亿次相同的转发决策【1 7 l 。数 据包的数目过多、转发次数过多都会导致时延大和网络拥塞的问题。由此可见，目前 的口网络无法很好地提供低时延保证下的大数