（计算机科学与技术专业论文）高性能计算机光互连网络体系结构研究.pdf

国防科学技术大学研究生院学位论文 摘要 近年来，高性能计算机正在朝着多处理器化、大规模并行化的方向发展，研 究人员普遍依靠增加处理器的数量来提高计算机的性能，这必然会给实现处理器 访存及处理器间相互通信功能的互连网络带来极大的挑战。传统的电互连网络在 可用带宽、互连密度、时钟扭曲、能耗等方面限制了其性能的提高，而光互连技 术随着v c s e l 、w d m 、s o a 等光器件的成熟而蓬勃发展。光互连网络具有带宽 高、衰减小、抗干扰、可并行的优点，满足未来高性能计算机发展的需要。目前， 基于光纤和高速光器件的光电混合互连网络已经成功应用于高性能计算机系统， 全光互连网络是未来互连网络发展的必然趋势。 本课题首先对光互连网络的特点与优势进行简要的介绍，并详述了当前光互 连网络技术的研究现状和发展方向，然后重点研究了d a t av o r t e x 光分组交换网络 的关键技术，主要从拓扑结构，同步机制，分组的竞争与冲突解决方案四个方面 进行深入了研究。 在了解d a t av o r t e x 网络拓扑结构和报文传输机制的基础上，通过建立数学解 析模型和o m n e t + + 模拟的方法，深入研究和对比了拓扑参数对d a t av o r t e x 系统性 能的影响，从而优化了d a t av o r t e x 的拓扑结构。结果表明，在网络交换规模固定 的前提下，角度参数越小的d a t av o r t e x 网络，延迟和吞吐率性能越高。 本课题对d a t av o r t e x 网络拓扑进行了深入的分析和优化之后，结合最新的 c m o s 光开关技术，提出了一种基于环形谐振器光开关的新的光分组交换互连网 络模型- d d p ，并通过模拟对比了优化后的d a t av o r t e x 网络。模拟结果显示d d p 具有明显的性能优势，特别是吞吐率性能方面获得大幅度的提高。 主题词：光互连网络，光分组交换，偏射路由，d a t av o r t e x ，平均报文延迟， 可接受流量，o m n e t + + 第i 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht o d a y sh i g h - p e r f o r m a n c ec o m p u t e r sb e i n gc o m p r i s e do ft e n so ft h o u s a n d so f p r o c e s s o r s ，t h et r e n di sf o rm o r ep r o c e s s o r sa n dm o r em e m o r yt oa c h i e v eb e r e r p e r f o r m a n c e c o n s e q u e n t i a l l y ，t h e i n t e r c o n n e c t i o nn e t w o r ka sam e d i u mf o r c o m m u n i c a t i o n sb e t w e e np r o c e s s o r sa n dm e m o r yi nah i 曲一p e r f o r m a n c ec o m p u t i n g s y s t e m ( h p c s ) i sf a c i n gg r e a tc h a l l e n g e s t r a d i t i o n a le l e c t r i c i t yi n t e r c o n n e c t i o ni s r e s t r i c t e di nb a n d w i d t h ，i n t e r c o n n e c t i o nd e n s i t y ，c l o c kd i s t o r t i o n ，e n e r g yc o n s u m p t i o n a n do t h e rr e s p e c t s h o w e v e r ，a sm a n yp r o d u c t so fo p t i c a ld e v i c e sa r er i p e n e di n t o m a t u r i t y ，s u c ha sv c s e l ，w d m ，s o aa n ds 0o n ，o p t i c a li n t e r c o n n e c t i o ni sd e v e l o p i n g f u l lo f v i t a l i t y b e c a u s eo f r e m a r k a b l ea d v a n t a g eo fo p i t c a ii n t e r c o n n e c t i o nn e t w o r k ，f o r e x a m p l e ，h i g hb a n d w i d t h ，l o wl o s s ，a n t i - j a m m i n ga n da v a i l a b l ep a r a l l e l i z a t i o n ，i tc a n m e e tt h en e e do fd e v e l o p i n gh p c s a tp r e s e n t ，t h ef i b e r - b a s e da n dh i g h - s p e e do p t i c a l d e v i c e so p t o - e l e c t r o n i ch y b r i di n t e r c o n n e c t i o nn e t w o r kh a sb e e ns u c c e s s f u l l ya p p l i e d t oh p c s ，a n dt h et r e n di st od e v e l o pa l l - o p t i c a ln e t w o r ki n t e r c o n n e c t i o n t h ep a p e rf i r s t l yi n t r o d u c e dt h ea d v a n t a g e ，r e c e n tr e s e a r c ha n df u t u r eo fo p t i c a l i n t e r c o n n e c t i o nn e t w o r k ，a n dt h e na n a l y z e dk e yt e c h n o l o g i e so ft h ed a t av o r t e xo p t i c a l p a c k e ts w i t c h i n gn e t w o r k ，s u c ha st o p o l o g y ，s y n c h r o n i z a t i o n ，a n dt h es o l u t i o nt op a c k e t c o n f l i c t o nt h eb a s i so fr e s e a r c hi nt o p o l o g ya n dp a c k e tt r a n s f e rp r i n c i p l eo ft h ed a t a v o r t e xn e t w o r k ，t h i sp a p e rc o m p a r e dh o wm u c hd i f f e r e n tt o p o l o g yp a r a m e t e r si m p a c t o nt h e s y s t e mp e r f o r m a n c et h r o u g hm a t h e m a t i c a la n a l y s i s a n ds i m u l a t i o nb y o m n e t + + t o o l sa n dt h e no p t i m i z et h et o p o l o g yo ft h ed a t av o r t e x r e s e a r c hs h o w s t h a t ，w h e nt h ee x c h a n g es i z eo ft h ei n t e r c o n n e c t i o nn e t w o r ki sf i x e d ，t h ed a t av o r t e x w i t hs m a l l e ra n g l ep a r a m e t e ra c h i e v e sb e n e r l a t e n c ya n dt h r o u g h p u tp e r f o r m a n c e b a s e do nt h ea n a l y s i sa n do p t i m i z a t i o no ft h ed a t av o r t e xa n dc o n s i d e r i n gt h e n o v e lo p t i c a ls w i t c h i n gd e v i c ei nc m o sp r o c e s s e s ，w eb r o u g h tu pan e wp a c k e t s w i t c h i n gn e t w o r km o d e lb a s e do nr i n gr e s o n a t o rs w i t c h s - - - d d p ac o m p a r i s o nw i t h t h eo p t i m i z e dd a t av o r t e xw a sm a d ea n dt h er e s u l t ss h o w e dt h a tt h ed d p p e r f o r m e d b e r e r ，e s p e c i a l l yo nn e t w o r kt h r o u g h p u t k e yw o r d s ：o p t i c a l d e f l e c t i o nr o u t in g ，d a t a o m n e t + + i n t e r c o n n e c t i o nn e t w o r k ， v o r t e x ，a v e r a g ep a c k e t o p t i c a lp a c k e ts w i t c h i n g ， l a t e n c y ，a c c e p t e dt r a f f i c ， 第i i 页 国防科学技术大学研究生院学位论文 表目录 表1 1 论文结构8 表4 1 基于f d l 的谐调的d a t av o r t e x 交换节点协议4 2 表4 2d d p 外层交换节点协议4 5 表5 1t y p e 类型51 表5 2d e s 详细说明5l 表5 3h e a d 和t a i l 在组播管理中的用途5 2 第1 v 页 国防科学技术大学研究生院学位论文 图目录 图1 1 高性能计算机体系结构示意图一2 图1 2r a p i d 系统5 图1 3o s m o s i s 系统6 图1 4d a t av o r t e x 网络拓扑6 图2 1 光分组交换模块结构示意图9 图2 2 光输出缓存、光共享缓存和光循环共享缓存的示意图1 4 图2 3m a n h a t a n 和s h u f t l e n e t 网络结构1 5 图2 4d a t av o r t e x 拓扑结构，其中c = 4 ，h = 8 ，a = 5 1 7 图2 51 2 x1 2 的d a t av o r t e x 系统寻址示意图2 0 图2 61 2 x1 2 的d a t av o r t e x 系统结构图2 0 图2 7d a t av o r t e x 网络偏射路由策略2l 图2 8 偏射路由工作原理示意图2 2 图2 9d a t av o r t e x 交换节点结构示意图2 3 图3 1d a t av o r t e x 的延迟受角度参数变化的影响，其中h = 6 4 ，a = i ，5 3 0 图3 2d a t av o r t e x 的吞吐率受角度参数变化的影响，其中h = 6 4 ，a = i ，5 3l 图3 3d a t av o r t e x 延迟受h 变化的影响，a = 6 4 ，h 由2 3 指数变化到2 6 3 2 图3 4d a t av o r t e x 吞吐率受h 变化的影响，a = 6 4 ，h 由2 3 指数变化到2 6 3 2 图3 5 在6 0 均匀负载下d a t av o r t e x 性能随拓扑参数的变化3 3 图3 6 均匀流量模型下平均延迟和可接受流量的比较3 4 图3 7 非对称流量模型下平均延迟和可接受流量的比较3 5 图3 8 突发流量负载下实时延迟比较3 6 图3 9 均匀流量模型下d a t av o r t e x 系统基于成本的性能比较3 7 图3 1 0 非均匀流量模型下d a t av o r t e x 系统基于成本的性能比较3 8 图3 1l 三种d v 拓扑在突发流量模型下实时延迟比较3 8 图4 1 基于f d l 的阻塞交换节点结构示意图4 0 图4 2 交换节点的执行逻辑4 1 图4 3 基于f d l 的非阻塞交换节点结构示意图4 2 图4 4 硅基环形谐振器结构和示意图4 3 图4 5 基于环形谐振器的2 2 光开关4 3 图4 6 基于环形谐振器的非阻塞4 x4 光开关4 4 图4 7d d p 外层交换节点结构4 4 图4 8d d p 最内层交换节点结构4 5 第v 页 国防科学技术大学研究生院学位论文 图4 9d d p ( 3 ，8 ) 拓扑结构，其中c = 3 ，w = 8 4 6 图4 1 0 均匀负载下d d p ( 6 ，6 4 ) 与d v ( 6 ，6 4 ，1 ) 性能的比较4 7 图4 1 1 非均匀负载下d d p ( 6 ，6 4 ) 与d v ( 6 ，6 4 ，1 ) 性能的比较，p = 1 1 6 4 7 图5 1 互连系统拓扑示意图5 0 图5 2 基于光学背板的互连系统结构示意图5 0 图5 3 帧格式5l 图5 4 单播a r q 协议5 3 图5 5 帧形成过程5 4 图5 6f p g a 逻辑控制模块5 4 图5 7 状态转换图5 6 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名：受熏重日期：r 年f 月叫，日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：耋墨! i 兰日期：训孑年i 月影妇 国防科学技术大学研究生院学位论文 第一章绪论弟一旱三百v 匕 1 1 课题研究背景和意义 现代科学的发展依靠三种重要手段：理论研究、科学实验与计算技术，三者的 融合导致现代科学迅速发展。而计算技术的发展导致了理论研究的深入和科学实 验速度的加快、成本降低。计算技术这些年来发展迅速，它包括计算机系统和计 算方法。随着计算机技术的迅速发展，除了存在不断升级的微机、工作站外又出 现了高性能计算机( h p c ) ，高性能计算机系统技术水平已成为衡量一个国家综 合实力的重要标志。 高性能计算系统技术是计算机技术乃至整个信息技术发展的制高点，其基础 研究与技术的突破一直以强大的辐射力带动着计算机技术与信息技术的发展。上 世纪9 0 年代以来，以高性能计算机为基础的计算科学得到了长足的发展，它与理 论科学和实验科学相辅相成、彼此印证，成为人类科学研究必不可少的方法之一。 在许多工业领域，如汽车、航空航天器的设计制造，石油勘探、地震资料处理及 国防( 核爆炸模拟) 等，科学计算已经成为首选研究方法。在教育、科研领域， 高性能计算有着更广泛的施展空间，在生命科学、材料设计、气象气候研究等学 科中已成为科学研究的必备工具。继“加速战略计算创新( a s c i ) 计划之后，美 国在科学论证、严密组织之下，又提出一项高性能计算领域研究计划一“高产出 率计算系统( h p c s ) ”，h p c s 旨在填补起始于8 0 年代的h p c 计算与未来的新概 念计算之间的空隙，以取得新结构、新技术、新器件、新工艺的突破性进展，将 高性能计算机技术的研究推向新的高潮。 高性能计算机系统的发展趋势是采用高性能大规模并行机体系结构。其最突 出的代表就是超级计算机的研制，超级计算机利用多个高速处理器并行执行来获 得所需要的运算能力。最新公布( 2 0 0 8 年6 月) 的全世界最快的超级计算机t o p 5 0 0 中所显示川，目前全世界运算速度最高的超级计算机是i b m 公司的r 0 a dr u n n e r ， r o a d r u n n e r 配置了6 5 6 2 个a m d 的双内核处理器和1 2 2 4 0 个改进的c e l l 微处理器， 其峰值计算性能为4 7t e r a f l o p s ，而经过加速之后的峰值计算性能为1 0 2 6 p e t a f l o p s ；同时统计结果显示t o p 5 0 0 中9 8 以上的超级计算机都拥有超过一千个 的处理器，最快的三台拥有超过1 2 0 0 0 0 个的处理器。随着处理器数量的增大，负 责处理器间的相互通信的互连网络面临巨大的压力和挑战。高性能计算机系统必 须在计算能力、存储能力、高速互连网络及i o ( 输出输入) 等四个方面均衡发展 ( 如图1 1 ) ，才能保证实际应用系统性能的提升。在这四个方面中，计算能力随 着处理器频率的不断提高以及增加处理器数量的方法可以迅速提高；存储能力一 第1 页 国防科学技术大学研究生院学位论文 直以来也在高速发展。而处于整个体系结构骨架地位的高速互连网络由于受到种 种因素的影响其发展速度落后于其它几个方面。在大规模并行计算机系统中，处 理器之间的相互通信已成为提高系统整体性能的瓶颈，无论是对称多处理s m p 、 机群系统c l u s t e r ，还是大规模并行处理( m p p ) ，大容量、高速、高效的互连网络都 是发挥系统性能的关键。 1 1 1 电互连网络的制约因素 互连网络是并行计算机系统中连接处理器、存储器、i o 设备的重要组成部分， 承担不同的处理器中执行体间的同步和通信，包括点点通信、组播、广播等多种 通信模式。 互连网络在并行计算机的性能中发挥着十分重要的作用，设计或选择合适的 互连网络受很多因素的影响，这些因素包括： 1 ) 性能指标：互连网络中消息传输的延迟和带宽是两个重要的指标，它直接 影响处理器空闲时间和远地存储器的访问时间；吞吐率是单位时间网络发送的最 大信息量，如果网络饱和，则发送结点不能注入消息，会限制并行计算机的实际 通信能力。 2 ) 可扩展性：由于用户一般不会一次性购买一台全配置的并行计算机，可能 会逐步增加处理器数目和存储器容量，直到达到满意的系统配置。某些互连网络 中，处理器的数目必须是2 的整次幂，这使得它们难以扩充，互连网络应该提供 递增的可扩充性，允许每次只增加少量的结点，使资源浪费降到最低限度。同时， 如果增加处理器，它们的存储器带宽、i o 带宽和网络带宽也要相应增加。否则， 那些带宽没有相应增加的部件就会成为系统其余部分的瓶颈，从而降低整体效率。 3 ) 可分割性：从应用角度来讲，并行计算机通常有多个用户在同时使用，通 第2 页 国防科学技术大学研究生院学位论文 常希望一个用户产生的网络流量不会影响其它应用的性能，这就要求互连网络可 以分割成小的功能子系统，以保证子系统间不相互影响；从实现角度来讲，互连 网络通常安装在许多物理组装单元中( 如计算机柜、i o 机柜、通信机柜等) ，这 就要求互连网络具有良好的可分割性，以保证物理组装单元尽可能采用同样的组 装部件和结构，以减小设计和实现代价。 4 ) 可靠性和可修复性：互连网络工作过程中，由于环境变化和干扰，不可避 免的会出现少量的突发或偶发故障，在此情况下，网络应该能够通过某种技术( 如 网络冗余、校验重传等) ，使得系统能够连续地正确运转，保证系统的可靠性； 同时互连网络应该采用模块化设计，以利于网络的升级和维修，并允许故障节点 能方便地进行隔离维修，系统能降级继续运行。 5 ) 成本：互连网络是影响整体性能的关键因素，对互连网络高性能和高可靠 性的要求，推动了高性能计算机互连网络的发展，是并行计算机系统设计必然要 考虑成本问题，因此，必须尽可能地降低互连网络的设计和实现成本。 传统的互连网络都是采用电互连网络，其技术水平已经较为成熟，应用非常 普遍。随着高性能计算机技术的飞速发展，计算节点数目的急剧增加，对高性能 互连网络的传输带宽，传输延时都有更高的要求，但由于电信号自身的一些特点， 使得进一步提高电互连网络的性能的潜力非常小，电互连网络的发展主要受限于 以下几个方面1 2 j ： 1 ) 集成电路发展限制 随着互连网络结构与实现技术的逐步成熟，进一步提高网络性能，主要依靠 集成电路技术的发展。近几十年来，集成电路技术按摩尔定理高速发展，但其发 展必然受到限制，散热、电流泄漏、热噪声、基本物理大小将是难以逾越的障碍。 2 ) 电信号传输限制 由于电信号传输过程中的衰减、反射、串扰、电源噪声等影响，工作频率的 提高面临挑战；随着工作频率的提高，位时间减小，使得数据的采样窗口变小， 同时电缆上的衰减增加，影响了有效带宽的增大，系统的可靠性面临挑战；随着 工作频率的提高，商业软件工具对下一代产品的设计、验证、布局布线、物理验 证的支持有限，系统的可制造性面临挑战。 3 ) 物理封装限制 互连网络的实现需跨越多个层次，每层中的材料和制造工艺不同，导致物理 特性和约束不同，随着层次的增加，互连代价增加，密度减小，必然限制系统规 模的扩展；随着系统规模的增加，互连网络的等分带宽、工作频率互相制约，严 重影响网络性能的提高。 4 ) 带宽限制 第3 页 国防科学技术大学研究生院学位论文 从某种意义上讲，导线是低通滤波器，其有限带宽会导致信号的严重失真， 传输带宽可提高的余地非常小。 因此，对新的互连技术的研究迫在眉睫。 1 1 2 光互连网络的优势 由于电互连存在这上面所说的缺点，同时随着各种光技术的成熟，各种光器 件的研制成功，这就为将光互连引进到研制下一代巨型计算机中打下了基础。早 在2 0 世纪8 0 年代初，用光互连来解决计算机系统中通信的“电子瓶颈”问题就已经 被提上日程。所谓“光互连”是以光的波粒二相形与物质相互作用的各种现象实现数 据和信号的传输与交换的理论和技术。光互连( o p t i c a li n t e r c o n n e c t i o n ) 以光子作 为信息传递的载体。充分利用光的各种优势。许多文章对光互连和电互连进行了 详细的比较【3 1 4 1 5 】【6 】。在大多数情况下，光互连具有明显的优势，主要体现在以下 几方面： 1 ) 功耗减小：由于电互连线密度增大，电容增大，互连线之间的充放电，以 及互连线间的转发器使得功率消耗增大，尤其对较长的互连线。而光互连可以减 小功率损耗。 2 ) 电压绝缘：光信号传输不受电压影响，这一点对将来的芯片设计更显得重 要，因为工作电压的减小，使得信号对电压噪音更加敏感。而光互连不受电压噪 音影响。光信号在传输过程中质量稳定，所以排除了信号计时中的时钟歪斜。 3 ) 高带宽：可以通过波分复用技术增大带宽。 4 ) 光互连的性能与连接距离无关：在几十米的范围内，光信号在传输过程中 质量和所需的能量和距离无关。并且支持大量交叉连接，因为光的独立传播性质， 在传播过程中互不干扰，所以在自由空间和波导中都能交叉连接。而电互连随着 距离增加导致很多困难，包括引脚上的电感和导线上的电容等因素，信号质量急 剧下降。所以电互连需要根据距离大小，建立不同的设计层次。而光互连设计则 免去了这些困难。 5 ) 与信号频率无关：光频比信号频率高的多，光信号在几十米的范围内传送 时质量不会下降，所以当时钟频率增加时，不必重新设计光学系统 可见，光互连能够弥补电互连的以上缺陷，有望彻底解决高性能计算机系统 中普遍存在的通信瓶颈问题，实现通信系统中的大容量、高速率、高效、低功耗 的数据交换。 1 1 3 国内外研究现状 目前，光互连与光交换技术的研究在国外已经成为了热点，在美国、日本等 第4 页 国防科学技术大学研究生院学位论文 国许多的科研机构和实验室制定了许多的研究计划，同时也取得了许多成果， 些新技术相继投入应用，一些实验系统相继在各个研究机构出现，每年关于光互 连与光交换技术的优秀的论文都有许多篇，这些都极大的推动了光互连与光交换 技术的迅速发展。 2 0 0 4 年，a r i z o n a 大学研制了r a p i d ( r e e o n f i g u r a b l e a n ds e a l a b l e a l l p h o t o n i c i n t e r e o a n e c tf o rd i s t r l b u t e ds h a r e dm e m o r y ) 系统 t l l s ，如图21 所示。该系统采用了 多级层次化互连网络结构，主要分为三个层次：组内互连、组间互连、c l u s t e r 间 互连，在每一级巾按照一定的策略为每个结点分配一定的接收波长利用波长路 由技术实现系统内各个结点之问的互连。 _ 栅j i。：端“i ：陋翠陉可1 墨习匠习 、 、 一 1 、“1 j 、 j | 口= 两n i ；* n 目= 际m w - r f p r 吼“。r ”i “”“h “。r “”“”? “”“”“” 窭童三三堕! 奎三至囱 、c a l | l ，lpo 小r ( 1 u r i n l c n n n 训i i s l _ ：巍篡；? ；。 ：， ：勰。 镄- j - 图l2r a p i d 系统”l 2 0 0 5 年，美国i b m 和康宁公司采用工作在4 0o b i t s 的数据通道，联合开发了 6 4 个结点的o s m o s i s ( 0 p t i c a ls h a r e dm e m o r ys u p e r c o m p u t e ri n t e r c o n n e c ts y s t e m ) 系统i 驯，如图2 2 所示。该结构是实现一个同步广播和选择( s y n c h r o n o u s b r o a d c a s t a n d s e l e c tb s ) 的数据交换，采用半导体光放大器( s o a s ) 在8 条光纤中组 合8 个波长以达到6 4 通道。为了提高性能在每一个端口一采用多个突发模式光接 受器提供个单出口队列( e g m s sq u e u e ，e q ) 。系统包括6 4i n p u t 和o u t p u t 端1 7 1 ，用 7 5 的用户载衙工作在4 0 g b s ，1 0 。2 误码率用硬件进行前向误差校正( f o r w a r de r r o r c o r r e c t i o n ，f e c ) 。在扩展系统中数据通道中，由请求到请求( a p p l i c a t i o n a p p l i c a t i o n ) 要小于l p s 时延，以及有扩展能力系统设计要有较高行频( 1 i n er a t e s ) 和端口计数 ( p o t tc o u n t s l 。可扩展到2 0 4 8 个结点要配置9 6 组6 4 x 6 4 丌关( s w i t c h e s ) 分两层( 3 级) 胖树型拓扑。 第5 页 国防科学技术大学研究生院学位论文 卜二：o 。p t l c i d 鼬l t o h c o n 匍t r o l l e r l ! 竺竺l t s c 枷圳 i l 1t w n u m ?l 图1 3o s m o s i s 系统【1 0 】 1 9 9 9 年，哥伦比亚大学提出了一种全新的光互连网络d a t av o r t e x ( 简称 d v ) 【1 1 】【12 1 ，如图2 3 所示。d a t av o r t e x 网络采用分层拓扑结构、偏射路由和同步时 隙策略，降低了必要的路由逻辑操作，避免了光缓存的使用( 下一节将做详细介 绍) 。 。一。一 图1 4d a t av o r t e x 网络拓扑【1 1 】 国内对光互连网络的研究起步较晚，并且受限于半导体加工、封装等工艺水 平的限制，发展受到一定制约。但是国防科技大学、华中科技大学、西安交大等 高校仍然做了许多研究工作，并取得丰硕的成果。我们学院对于光互连与光交换 技术的研究主要集中在高性能计算机中光互连网络和光交换技术等方面，已经初 步研究成功了总速率为3 7 5 g b i t s 的1 2 路并行光发射模块、总速率为3 0 g b i t s 的 1 2 路并行光接收模块，掌握了研制v c s e l 列阵光源的高速并行光发射模块和并行 光接收模块研制所需的关键技术。 1 2 课题研究的研究方法与主要贡献 1 2 1 课题的研究方法 本课题所采用的研究方法如下： ( 1 ) 通过深入学习目前国际上现有的研究成果和研究经验，掌握实现光互连 第6 页 国防科学技术大学研究生院学位论文 网络的基本原理和基本方法。 光互连网络技术是目前信息技术的前沿课题，本课题的研究通过深入调研国 内外在高性能计算机光互连网络领域的研究动态和先进技术，掌握实现光互连的 基本原理和基本方法，深入学习和掌握在国内外具有领先水平的科研成果，继承 他们已取得的相关成就，汲取他们在研究过程中的教训，总结他们在研究中取得 的经验，为我所用。对光交换技术这种技术复杂性高、涉及专业知识面广、创新 度高的研究课题，必须坚持借鉴、继承和创新相结合的研究方法和技术路线。 ( 2 ) 紧密结合光器件技术与光互连网络技术的研究，面向具有相对成熟度光 器件支持的光互连网络实现方案研究。 本课题的研究一方面与参与的项目“面向高性能计算应用的光背板系统”密 切结合，涉及到目前v c s e l 、接收器、光波导等光器件的实际应用水平；另一方 面光互连网络技术的研究百花齐放，有许多新颖的模型和机制，因此本课题紧密 结合光器件技术与光互连技术的研究，面向具有相对成熟度光器件支持的光互连 网络实现方案研究。 ( 3 ) 理论分析与模型模拟相结合，探索实现光交换新结构、新机制和新方法 本课题在光互连技术、光交换器件技术研究的基础上，采用理论分析与模型 模拟相结合方法，对提出的新的光互连网络拓扑结构模型采用模型模拟进行与现 有系统的对比分析，一方面验证新模型的先进性，另一方面可深入了解工作原理， 进一步完善其结构。 1 2 2 课题研究的主要贡献 本课题的主要贡献如下： ( 1 ) 本课题深入研究和分析了光分组交换的基本原理、实现方法和关键技术， 给出了当前光互连网络的研究现状和发展趋势，并着重强调了如何克服光互连网 络的缓存和报文冲突问题； ( 2 ) 对d a t av o r t e x 网络进行了深入的研究，详细分析了其拓扑结构、节点寻 址原理和路由策略，并在各种负载情况下对其性能进行了模拟，分析了拓扑参数 对整个系统的影响，从而优化了d a t av o r t e x 的拓扑结构； ( 3 ) 在深入分析d a t av o r t e x 拓扑结构与性能关系的基础上，提出了一种功能 更强集成度更高的交换节点的模型，在此基础上提出一种光分组交换互连网络模 型d d p ； ( 4 ) 采用o m n e t + + 模拟工具1 3 1 ，对d d p 的拓扑结构、工作机制和结点设计 进行了建模、模拟和分析，结果表明d d p 模型具有较高的吞吐率和较低的网络延 迟性能。 第7 页 国防科学技术大学研究生院学位论文 1 3 论文结构 本文共分六章，各章节的主要内容如下表： 表1 1 论文结构 章节 内容 第一章课题的背景、意义、国内外研究现状以及论文结构。 课题研究的技术背景：主要介绍光分组交换网络的关键技术以及 第二章 d a t av o r t e x 网络的拓扑结构、寻址原理和路由策略。 d a t av o r t e x 网络拓扑参数与性能关系研究：主要是对d a t av o r t e x 第三章结构进行深入分析和研究，并从三个角度出发模拟了拓扑参数对 系统性能的影响，最终得出优化的拓扑结构。 对d a t av o r t e x 结构的改进与测试：首先对d a t av o r t e x 网络交换 第四章节点结构进行了改进，然后提出了新的光互连网络拓扑结构，并 通过模拟给出了其性能上的优势。 第五章基于光学背板的光互连体系结构研究 第六章总结全文。 第8 页 国防科学技术大学研究生院学位论文 第二章光互连网络关键技术研究 本章首先对光互连网络的特点与优势进行简要的介绍，并详述了当前光互连 网络技术的研究现状和发展方向，然后重点研究了d a t av o r t e x 光分组交换网络的 关键技术，主要从拓扑结构，同步机制，分组的竞争与冲突解决方案以及光分组 格式与编码技术四个方面进行深入研究。 2 1 光分组交换( o p s ) 技术 2 1 1 光分组交换原理及特点 光分组交换可以看作是电分组交换在光域的延伸，交换单位是高速传输的光 分组，光分组交换是面向非连接的“存储一转发”方式，不需要建立实际的物理 链路。但目前由于在光域内还缺乏类似电域的缓存器等逻辑器件，导致在纯光上 还不能实现光的分组交换，目前只能使用光纤延迟线( f d l ) 作为缓存器【l4 。，但 其缺乏足够的灵活性和精度，国际上通行的做法也是采用光电混合的办法来实现 光分组交换，即传输和交换在光域完成，而控制信号在交换节点被转换成电信号 后再进行处理。 光分组交换网络节点由四部分组成：输入接口、光交换矩阵单元、控制单元 和输出接口( 如图2 1 ) 。输入接口完成光分组读取和同步功能，对来自不同输入 端口的光分组进行时间和相位对准并保持数据净荷的透明传输。光交换矩阵单元 为同步的光分组选择路由并解决输出端口竞争问题，光交换矩阵单元具有光分组 缓存功能，对于本地交换节点，光交换矩阵单元同时完成上下路功能。控制单元 利用光包头信息控制核心交换。输出接口通过输出同步和再生模块，降低内部不 同路径的光分组的相位抖动并进行功率均衡，同时完成光分组头的重写和光分组 再生来补偿光交换矩阵所带来的消光比和信噪比恶化。 图2 1 光分组交换模块结构示意酬1 4 i 第9 页 i j ：一 国防科学技术大学研究生院学位论文 光分组交换目自i f 都使用混合的解决方案：传输与交换在光域实现，路由和转 发功能以电的方式实现。尽管对光分组交换作了大量的研究，但是对全光分组交 换节点，仍然没有权威性的结构设计。全光分组交换节点有两个特征：交换在光 域发生，没有o e o 的转换，全光交换能够保证较高的信道利用率和低的能量损 耗；交换应该能够在分组的水平上实现，原理上交换结构也应该能在更粗的粒度 上实现。 2 1 2 光分组交换网络的关键技术 全光分组交换网可以被分成两大类：时隙和非时隙。在时隙网络中，分组长 度是固定的，而且在时隙中传输。时隙的长度应大于分组的时限，以便在分组的 前后设置保护间隔。在非时隙网络中，分组的大小是可变的，而且在交换之前， 不需要排列，是非同步的，自由地交换每一个分组。这种网络竞争性较大，而且 分组丢失率较高。但是结构简单，不需要同步，分组的分割和重组不需要在输入 输出节点进行，这样的网络更适合于原始i p 业务。缓存容量较大的非时隙型网络 性能良好。 对于光分组交换网络，其关键技术主要有以下几个方面： ( 1 ) 光分组交换时隙网络的同步 有比特级上的同步和分组级上的同步。比特同步能容忍比特的抖动：分组同 步能容忍分组的抖动。同步是光分组交换网的关键，在粒度上，又分为粗同步和 细同步。为了保持比特率和编码的端到端的光透明传输，粗和细同步都必须在光 域完成。在同步实现过程中，时钟的恢复与提取也是非常重要的，这涉及到o e o 的转换。 ( 2 ) 光分组交换的交换策略 全光交换的核心是交换机。为了能在分组级上实现吉比特交换，交换速度必 须达到纳秒量级。光交换的大多数技术是使用半导体光放大器作为光门。在无源 缓存网络中，当前的技术水平是，在4 英寸的模块上集成几十个门，运行速度可 达每秒几十吉比特。这些器件也能实现一些无源功能，如波长的复用与解复用， 在城域网上，实现非常简单的波长上下路功能；缺点是噪声系数和信道串扰高， 但是合理的设计能克服这些缺点，信道容量能达到t b s 的量级，主要有波长路由 交换( w r s ) 和广播选择交换( b s s ) 两大类。 ( 3 ) 分组头和分组格式 分组头含有分组的路由与负载的信息，目前分组头的处理在电域内完成，就 中期网络情况而言，使用电控制和分组头处理的o p s 已经比较成熟了，现在o p s 一个重要的特征是负载是透明的，而标记和交换控制是电的。在电域内，分组头 第1 0 页 国防科学技术大学研究生院学位论文 与分组在| j 一速率上传送，但在光域内，一个典型的波长信道速率可以达2 5 g b s ( o c 4 8 ) 。尽管电与光都可以每秒吉比特的速率检测和辨认分组头，但是电的分 组头的处理很难在这个速率上进行。其中，副载波复合技术( s c m ) 是最有吸引 力的方案，头和负载数据复用在同一个光载波上，在调制激光器的电流中，负载 是基带编码，头比特是在合适的副载波频率上，以较低的速率编码。因为激光器 与光电探测器的频率响应必须达到副载波频率，因此，副载波频率尽量少、低、 间隔小，因为副载波的间隔是头比特率的两倍，所以头比特率要低，但是太低也 会引起较长的时延。在许多路由交换协议中，需要分组头在每个节点的更新；另 一个方案是分组头与分组不在同一个光载波上，这个方法将受到光纤色散的影响， 优化在每个节点的分组的功率大小及分组的长度，使目的节点的负载与分组头的 误码率平衡，时隙分组格式在时间长度上是固定的，但是负载的大小是可变的， 分组头低速率运行，负载对速率和格式是透明的。在k e o p s 项目中，分组头使用 1 4 个字节，传输速率6 2 2 m b s 。 ( 4 ) 光分组交换协议 o p s 与已有的协议相结合：如网络可以使用已有的m p l s m p s 协议，路由信 息分布，可以使用i p 路由协议。对全光分组交换，不需要额外的协议层，受广义 m p l s 支持的全光分组交换网络可以支持不同粒度( 如：分组、突发和电路) 及不 同的用户数据格式。多协议标签交换加速了互连网的速度，全光分组交换非常适 合m p l s 的观点，它具有灵活性，高比特率，而且消除了潜在的电子瓶颈的优点。 光标签技术是实现简单的、可升级的光信道路由的关键，无需高速的电终端。在 光传输网( o t n ) 上，m p l s 能提供端到端的透明性，但是需要接入比特流，因而 需要把光信道的光信号转换为电信号。 ( 5 ) w d m 光分组的波长复合方案 共享波长通道( s h w p ) 是在光分组层上，每个光通道有一个特定的波长，两 个或更多的光通道允许共享同一个波长，当每个波长的负荷降低时，所需要的