（计算机科学与技术专业论文）面向高性能计算的光互连技术研究.pdf

国防科学技术大学磅究生跷学位论文 摘要 高性能计算系统对处理速率和链路带宽的需求不断提升，新兴的光互连技术 具有带宽高、抗干扰能力强、互连密度大和功耗低等诸多优势，为解决高性能计 算系统中普遍存在的通信瓶颈问题提供了新思路。研究光互连网络及相关技术是 高性能计算系统互连技术发展的必然趋势，具有重大意义。 本文介绍了光互连技术、高性能计算机豆连网络、w d m 光互连网络的发展历 史及研究现状，综述了现有的光互连系统，指出高性能计算光互连的需求及其发 展趋势。在此基础上，本文对广播选择结构( b s ) 进行抽象，提出了一种光互 连交换模型w d m s r ，该结构充分利用了w d m 技术，伸缩性好，带宽扩展潜力 大，非常适用于高性能互连网络。根据w d m s r 的特点和现有交换方式，研究了 几种适用子该结构的交换策略、控制协议等。由予w d m s r 蠡冬扩展髓力被限制在 3 2 个结点内，难以满足高性能计算系统大飙模互连的需求，结合w d m 双环网、 2 d t o r u s 结构，本文研究并提如了基于w d m s r 的w s r n e t 互连单元，进而提出 w s r n e t 链式结构、二维结构和三维结构，指出其存在的非严格正交式网络互连方 式，给出了系统的高可伸缩性解决方法，初步研究了该网络结构的路由策略。 理论分析和实验结果表明，采用突发交换机制的w d m s r 结构，响应迅速， 实时性强。蠢于信息控制和信息传输并行运行，控制数据包短小，在中等负载情 况下，遗信建立时廷( 1 b i t 传输时延) 非常小，平均在l u s 以内，数据的传输效率 很高。由w d m s r 组成的w s r n e t 继承了w d m s r 的优点，其传输时延大约为数 据所要经历w d m s r 结构的个数与单个w d m s r 传输时延之积，在轻载网络中其 传输时延甚至可以达到单个w d m s r 的水平。 最后我们设计并实现了一套基于广播选择式( b & s ) 的光互连背板系统，本 文参与了系统中的总体逻辑方案设计，完成了光器件背板的工程工艺及f p g a 的 流接协议设计等工作，并对系统进行了性能分析和评价。 关键字；高性能计算，光互涟，波分复用，体系结构，光学背板 第i 页 阑防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h ee v e rb o o s t i n gn e e df o rp r o c e s s i n gs p e e da n db a n d w i d t ho fh i g h p e r f o r m a n c ec o m p u t e rs y s t e m ，t h eb r a n dn e wo p t i c a li n t e r c o n n e c tt e c h n o l o g yh a sg r e a t a d v a n t a g e s ，s u c h a s h i l g hb a n d w i d t h ，e x c e l l e n ta n t i - j a m m i n ga b i l i 够a n dh i 业 i n t e r c o n n e c td e n s i t ya n dl o wp o w e rc o n s u m p t i o n t h e r e f o r ei ti sp o t e n t i a lt os o l v et h e u b i q u i t o u sp r o b l e m so f c o m m u n i c a t i o n sb o t t l e n e c k o p t i c a li n t e r c o n n e c tt e c h n o l o g yi s v i t a la n ds u r e l yat r e n di nt h ef i e l do fh p ci n t e r c o n n e c tt e c h n o l o g y 。 f i r s t l yt h et h e s i s i n t r o d u c e st h eh i s t o r ya n da c t u a l i t yo fo p t i c a li n t e r c o n n e c t t e c h n o l o g i e s 。h p cn e t w o r k sa n dw d mo p t i c a ln e t w o r k s ，a n ds u m m a r i z e so p t i c a l i n t e r c o n n e c ts y s t e m s a n dt h e nt h en e e do fh p cn e t w o r k sa n dt h e i rt r e n di sp u tf o r w a r d b a s e do nt h er e s e a r c ha b o v e ，b ya b s t r a c t i n gt h eb & ss t r u c t u r e ，t h et h e s i sb r i n gf o r w a r d as t r u c t u r eo fo p t i c a li n t e r c o r m e c t i o ns w i t c h i n gc a l l e dw d m s r , w h i c hh a sp o t e n t i a lt o e x p a n db a n d w i d t h ，g o o dr e t r a c t i l i t y ，a n dw o u l dm e e tt h en e t w o r ki nh p cv e r yw e l l b a s eo nt h ec h a r a c t e r i s t i co fw d m s ra n dt h es w i t c h i n gm e t h o di nu s e ，t h es w i t c h i n g s t r a t e g ya n dt h ec o n t r o lp r o t o c o la r er e s e a r c h e d 。d u et ot h er e s t r i c tt h a tm o s t3 2n o d e s c a nb eu s e di nw d m s ；ra n dc a n n o tm e e tl a r g es c a l ei n t e r c o n n e c t i o nf o rh p c ，r e f e rt o t h ew d m d u a l r i n gn e t w o r ka n dt h e2 d t o r u ss t r u c t u r e ，au n i tc a l l e dw s r n e tw h i c h b a s e do nw d m s ri sp u tf o r w a r d ，a n dt h e ni t sc h a i ns t r u c t u r e ，2 ds t r u c t u r ea n d3 d s t r u c t u r ea r ea d v a n c e d 。t h e nt h es c h e m eo ft h eh i g hs y s t e mr e t r a c t i l i t yi sp o i n t e do u t a n dt h er o u t i n gs t r a t e g i e so ft h i sn e t w o r ka r er e s e a r c h e d 。 t h et h e o r ya n a l y s i sa n de x p e r i m e n tr e s u l ti n d i c a t e st h a tt h ew d m s rw h i c hu s i n g b u r s ts w i t c h i n gh a sar a p i dr e s p o n s ea n dag o o dr e a lt i m e b e c a u s ec o n t r o l l i n gm e s s a g e a n dt r a n s m i t t i n gm e s s a g ea r ep a r a l l e lr u n n i n ga n dt h ec o n t r o ld a t ap a c k e ti sv e r y s h o r t n e s s 。t h elb i tt r a n s m i s s i o nl a t e n c yi sv e r yl i t t l et h a ti t sa v e r a g ev a l u ei sn og r e a t e r t h a n1u si nt h es i t u a t i o no fm i d d i n gl o a d mw s r n e tc o n s t i t u t e do fw d m s ri n h e r i t s i t se x c e l l e n c ea n di t slb i tt r a n s m i s s i o nl a t e n c ye v e nc o u l dr e a c ht oas i n g l ew d m s r l e v e l f i n a l l y w eh a v ed e s i g n e da n di m p l e m e n t e da no p t i c a li n t e r c o n n e c t i o nb a c k b o a r d s y s t e mb a s e do nb & s ，a n dt h et h e s i sh a sp a r t i c i p a t e di nt h ec o l l e c t i v el o g i cd e s i g n i n g a n di m p l e m e n t e dt h et e c h n i c so f0 d ba n dt h ef l o wc o n t r o lp r o t o c o lo ff p g a ，a n dt h e n a n a l y s e st h ep e r f o r m a n c eo f t h i ss y s t e m 。 k e yw o r d s ：h i g hp e r f o r m a n c ec o m p u t i n g ，o p t i c a li n t e r c o n n e c t ，w d m ， c o m p u t e ra m h i 蹴u m ，o p t i c a lb a c k p l a n e 第i i 页 圜防科学技术大学研究生院学位论文 表目录 表1w s r n e t 与o s m o s i s 、r a p i d 性能对比5 5 表2o d b 加工前后光通道插入损耗对比6 1 第l v 页 国防科学技术大学研究生院学位论文 图目录 图2 1 互连网络的分类1 2 图2 2 静态互连网络l3 图2 3 交叉开关踺络1 3 图2 4 多级互连混合网络1 4 图2 5w d m2 1 2 作原理2 0 图2 ，6w d m 波长寻址原理2 0 图2 7o a d m 结构示意图2 2 图2 8w d m “广播一选择式交换2 2 图2 - 9w d m 波长路由式交换。2 3 图3 。lw d m s r 结构示意嚣。2 7 图3 - 2w d m 拓扑结构2 8 图3 3o n i c 结构示意图2 9 图3 4o s m 结构示意图3 0 图3 。5 改进型o s m 结构图3 0 图3 。6d w d m 波长间隔3l 圈3 7c w d m 和d w d m 复用3 2 图3 蔼控制网络帧结构示意图3 3 图3 - 9w d m s r 运行时序图。3 4 图3 1 0 突发机制时间序列图一3 7 图3 1 1 突发机制状态转换图3 7 图3 1 2 预请求机制时间序列图4 l 图4 1w s r n e t 互连单元4 4 图4 乏w s 至b 融链4 5 图4 。3 二维w s r n e t 结构j 4 5 图4 _ 4p xq 二维w s r n e t 结构。4 6 图4 5 三维w s 对呵e t 结构4 7 图4 6 二维w s r n e t 确定性路由算法4 8 图4 。7 改进型二维w s r n e t 确定性路由算法流程图5 0 图4 8 二维w s r n e t 部分自适应路由算法5 0 图4 - 9 二维w s r n e t 同环迁移路由算法流程图。5 l 图4 - 1 0w d m s r 的数据传输时闻5 3 图4 1 1w d m s r 的通信建立延迟5 4 第v 页 黧防科学技术大学研究生院学饿论文 图4 1 2 不同结点数嚣的通信建立延迟5 4 图碡1 3 单级w d m s r 与二维w s r n e t 对比5 5 图5 1p o b 系统拓扑结构5 6 图5 2p o b 系统总体架构5 7 图5 3o d b 总体布局设计5 9 图5 4 光器件埋入槽设计6 0 图5 5 光接插耦合结构设计6 0 图5 6 发送窗嚣滑动示意图6 2 图5 7 接收窗墨滑动示意圈6 3 第页 独创性声明 本人声明所量交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文串特别加以橡注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育撬梅酌学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 孛作了明确的说姨并表示谢意。 学位论文题嚣：重叁蠹鳖筵荭篡鲤煮塞蓬塑壅受壅 。一 学位论文作者签名：荔磊 日期：洳垮7 年怠舅2 ；簦 学位论文版权使用授权书 本入党金了鬃国防辩学技术大学有关保留、使攥学位论文酶规定。本人授权匿 防科学技米大学可以保留并商国家有关部f 1 或机构送交论文的复印件和电子文档，允 许论文被查阅和借阗；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以果罔影毋、缝玲或扫描等复割手段保存、汇编学位论文。 保密学位论文在解密后遣媾本授权书。) 学位论文题目： 重逮壶丝熊盐篡鲮羞曩羹挞盛鲤窒一一一 。 学植论文作者签名：玺磊 律者指导教簿签名： 基期：沙7 年 工月琴基 噍唧年歧宾乎 黧防科学技术大学研究生貌学位论文 第一章绪论 随着计算机硬件、软件以及算法的发展和进步，一些理论科学和实验科学的 领域已经被计算科学取代，很多原来需要大量实验的场合现在已经由计算机模拟 来实现，大大节约了科研成本，加快了科学进步的速度。而在国际高科技竞争日 益激烈的今天，代表计算科学重要研究工具的离性能计算机系统，已经成为体现 一个国家综合实力的标志，在保障国家安全、加快科技进步、促进经济发展方面 有着不可替代的作用。 在高性能计算机系统中，互连系统是整个系统构成的关键部分，直接决定着 系统的通信性能，其通信带宽和通信延迟将直接影响到高性能计算机系统能力的 发挥【l 】皤滋。 1 1 论文背景 高性能并行计算机技术及并行核心路毒器技术是计算机技术乃至整个信息技 术发展的制高点，在高性能并行计算机中，高速互连网络是其重要的组成部分， 是系统整体性能受制约的关键因素，直接影响系统的可扩展性1 4 1 ( 5 1 。在美国提出的 “加速战略计算创新( a s c i ) 和“高产出率计算系统( h p c s ) 6 j 高性能计算 领域的研究计划中，高速互连网络的设计是其重要的关键技术之，同时美国军 方与半导体工业协会联合建立了一个专门研究互连的研究中心，自1 9 9 8 年以来， 以每年近五百万美元的投资力度，专门研究高速互连的解决方案。 匿前传统的电互连网络由于存在带宽小、时延大等髑限性，邑成为制约高性 能计算机和路由器性能进一步提高的瓶颈之一。除此之钋，随着处理速度的进 步提高，电互连表现出来的在串扰、功耗等方面的缺点，也成为高速电互连技术 进一步发展的巨大障碍【4 】。光苴连作为一种新的互连方法，具有许多电介质不可比 拟的优点。光波作为信息载体，具有极高的时间、空间带宽积，高度的并行性和 无干扰性，在信息高速传送和处理时具有光功率损耗小、干扰低和抗电磁干扰等 优点，在信患高速处理的系统中用光互连替代电互连，邑成为人们的共识，也是 国内外些研究团队正致力研究的课题1 7 j 。 在带宽需求量迅猛增长的背景下，光通信技术成为2 l 世纪初最具发展潜力的 技术之。互联网和数据通信业务的迅速增长对传输带宽和核心路由器的处理能 力提出了前所未有的要求。为了突破传统计算机的瓶颈，迸一步提高计算机及互 连网络的性能，需要对高性能计算机和核心路由器内部高速光互连技术开展积极 的具有前瞻性的研究嚼。在高速光互连技术上的研究成果，将对未来5 至l o 年高 性能计算机互连技术和并行核心路由器技术的发展具有重要的指导意义。 第3 燹 豳防科学技术大学研究生陵学位论文 计算机网络技术对国民经济的发展有巨大的推动作用，高性能计算机技术的 发展将促进国家核心竞争力和综合实力的提高。计算机阚络中的全光网络和高性 能计算枫内部的光互连网络都面临共同的闯题，都需要共同的光网络技术。光网 络技术的发展和突破将极大的推动计算机网络中的全光网络和高性能计算机内部 的光互连网络的共同发展。 1 2 研究现状 光互连技术是从光学数字计算机的研制过程中衍生出来的，现在已初步发展 成为一门独立的网络通信技术。当前大规模并行计算机和高速核心路由器对高速 互连网络的迫切需求刺激了光互连网络技术的发展，使其成为信息技术发展的基 础之一，故丽成为各国高技术研究鲍热门课题。美国、日本、英国及加拿大等国 皆投巨资进行光互连网络的研究和开发 9 1 。日本n 玎公司相继报道了c o n s i n e 1 型、i i 型和i i i 型高速光互连网络系统，美国a t & tb e l l 实验室也报道了第一代和 第二代光学数字通讯交换网络实验系统。当今的集成电路技术及光电混合集成技 术为其实现提供了基础n o 】，使光互连技术逐步走向实用化。 高性能计算机和并行核心路由器中高速光互连的研究主要集中在芯片问光互 连技术、计算机板闯光互连技术以及光电混合互连体系结构等方面1 3 】【瓣l 。 国外已经开始了在芯片之间进行光互连的研究工作【5 】【u 】【1 3 l 。美国半导体王韭 协会联合美国军方在1 9 9 8 年以每年近五百万美元的投资力度建立了一个专f 研究 互连的研究中心，试图找到一个有效的互连解决办法，而芯片间及芯片内光互连 的研究在此中心占了约4 0 的比例。更有甚者，美国军方在2 0 0 3 年投入三千万美 元巨资，希望i b m 及a g i l e n t 能够在三年内为其研制出一套利用光学方法连接 芯片的可行方案，可见光互连技术已经是大势所趋。德国d a i m l e r c h r y s l e r 研究中 心正使用光互连技术来连接计算机中的芯片1 1 4 。该技术使用了聚合物材料，使得 系统更容易集成进光底板中。约翰霍普金斯大学的科研人员正在研究将蓝宝石 用于芯片间光互连，以便设计出体积更小、功耗更低的芯片，其传输速率要比传 统技术快1 0 0 倍。这种微型系统使用e m c o r e 公司生产的波长为8 5 0 n m 的v c s e l 激光器和美国陆军研究实验室专门设计的v c s e l 激光器，通过蓝宝石实现同一芯 片两部分之间的互连，或通过光纤把信号从一块芯片传送到另一块芯片上，不再 使耀普通的附属金属线或半导体器件瑟翻。a g i l e n 公司和南加州大学的研究人员提 出的p w d m 技术，采用v c s e l 列阵激光器和粗波分复用( c w d m ) 技术，遴过 使用1 2 路并行扁平光缆，每根光纤中网时传4 路不同波长的1 0 g b i t s 光信号，可 以使系统的总带宽达到4 8 0 g b i t s 。s u n 公司的h e r o 计划中就采用了多芯片模块 ( m c m ) 封装技术以支持高集成度的芯片问光互连，将在单一硅芯片上集成光互 第4 页 国防科学技术大学研究生院学位论文 连模块，以提供超过高带宽的的能力。在h e r o 芯片中，具有3 2 个处理器芯片 和1 1 3 个存储器，以及对外3 6 个高速v c s e l 光端嚣，来实现芯片闻的光萎连。 蠢前，板闻光互连的技术逐步戒熟1 1 5 1 。刀，许多相关的产品已经润世，如a g i l e n t 和i b m 公司开发的并行多波长光互连模块，韩国多所学校和三星公司联合开发的 光互连系统，i b mz u r i c h 实验室的嵌入式波导背板技术等等。加州大学圣地亚哥 分校开发了一个系统，包括三个由1 6 个芯片组成的芯片组，彼此均可通过光束进 行互连。1 6 x1 6 的v c s e l 激光器阵列在自由空间中把光束送到集成微透镜，由微 透镜将其聚焦，藉由光栅对其进行重新定向，结果形成一个紧凑的三维紧密互连 的芯片阵列。英鏊格栋威治大学2 0 0 3 年采用聚含物光波导和v c s e l 技术实现了 板闻光互连系统。 由予光传输技术的发展，光纤的巨大带宽已褥到了很大的开发，但对光子能力 的利用和开发还仅只是开始，目前国内外在光通信领域中研究的重点都已从点对 点的系统转移到了对光网络的研究。人们对光网络的积极研究产生了多种光网络 交换技术，如光分组交换o p s ( o p t i c a lp a c k e ts w i t c h i n g ) 、i po v e r 技术、多协 议波长交换m p 天s ( m u l t i p l e p r o t o c o lo p t i c a lw a v e l e n g t hs w i t c h i n g ) 、光突发交换 o b s ( o p t i c a lb u r s ts w i t c h i n g ) 等。 ， 在光电混合互连网络体系结构的研究方面，美国哥伦比亚大学提出的d a t a v o r t e x 计划【i 羽，主要面向高性能计算机研究了光互连技术，在该计划中，提出并 设计了d a t av o r t e x 互连结构，为数据传输提供了虚拟的缓冲机制，消除了报文之 间的潜在冲突，实现了不需要光缓冲器的全光互连。d a r p a 最近在其d o d - n ( d a t a i nt h eo p t i c a ld o m a i nn e t w o r k i n g ) 计划下开展7 对全光甄连的研究，该计划主要 集中于对采用光缓冲器的路由器的研究，在这个系统中，数据始终以光的形式传 输，不进行o e o 转换。由于光缓冲器容量小，该计划允许少量的丢包和乱序。l b m 公司与c o m i n g 公司进行合作，也在进行高性能计算机之间的高速光互连网络的研 究，该互连网络中，使用具有低切换时间的s o a 光开关，来实现电信号控制下的 数据光交换，该网络每个端口速率将达到4 0 g b p s ，并且具有良好的可扩展性h 9 11 2 0 1 。 国内对高性能计算机高速光互连技术的研究也已经开始。天津大学、国防科 技大学等单位对计算机光互连技术已经开展了相当长一段时闻的研究，并成功研 制了具有光互连系统的高性能并行计算机。中科院半导体所在甚短距离光传输技 术、硅基光波导技术以及基于s o i 的光互连技术方颟都进行了深入的研究，并取 得了相应的研究成果。东南大学、华中科技大学等单位针对计算机的光互连技术 也开展了研究工作，取得了以嵌入式光纤背板、v s r 光收发器等为代表的成果。 另外，国内华为等从事通信的企业也对计算机和路由器的光互连技术进行了积极 的研究。 第5 炙 因防科学技术大学研究生院学位论文 1 3 研究思路及主要工作 影响互连网络性能的主要因素有三个，即交换技术( s w i t c h i n gt e c h n i q u e ) ， 缓冲管理( b u f f e rm a n a g e m e n t ) 和链路仲裁( p h y s i c a ll i n ka r b i t r a t i o n ) 阴。光互连 网络与电互连网络类似，其性能也受这三个因素的影响。在光互连网络中，如果 在链路的中间结点不采用o e o 转换，丽是直接进行全光交换，即数据不在中间结 点进行缓冲和路由选择，数据报文到达中阆结点之闻网络链路已经建立。这样， 在交换技术和缓冲技术方面，已经将躁络延迟降到最低。此时，影响互连网络性 能的最主要因素就是链路请求和仲裁机制。 综合现有光交换模型和理论，如双波长w d m 互连环网、i b m 公司的o s m o s i s 等，充分汲取和利用现有理论、技术，如光突发交换技术( o b s ) 、令牌总线网 络等，根据高性能互连特点，将w d m 技术用于高性能互连交换中，进行改造和 完善，将光突发交换的思想用于小规模互连系统。本文将传输光阏络和控制光网 络结合在一起，提出了一种新型的光互连交换结构w d m s r ，给籀了其链路请求 和仲裁机制，并对其性能进行了分析和模拟。为了满足高性能计算系统的扩展性、 可伸缩性要求，本文将w d m s r 结构进行了环间互连和结构重组，形成一种称 w s r n e t 的可伸缩性扩展结构网络，并根据w d m s r 的特点，提出了相应的路由 策略，并对其进行了性能分析。 最后，结合工程可实现性，本文设计出一种广播选择式( b s ) 光互连背板 系统，用来探索、研究和验证光互连中的新型技术，研究在高性能计算系统中应 用光互连的可能性，并取得了很多经验和成果。 1 4 论文组织结构 根据课题的研究内容，本文的章节内容组成如下： 第一章是绪论，介绍了本文的研究背景和技术背景知识，指出了本文的研究 意义、目的及研究思路，最后简要介绍了本文的主要工作。 第：章概述了现有的高性能光互连网络技术，介绍了光互连技术的基本概念 及主要研究方向，概述了高性能互连网络的基本类型和主要技术，对w d m 光互 连髓络技术也进行了简单的概括，最后介绍了世赛上几种著名的光互连实验系统。 本文正是根据这些知识，加以提炼、综合、运用，设计出了一耪适用于高性能计 算的光互连系统。 第三章介绍了w d m s r 光互连系统的模型结构，包括模型的总体设计方案， 器件描述，器件功能定义。阐述了支撑w d m s r 的s t a r 网络控制协议和w d m 光交换协议，并给出了冲突解决策略，最后对系统进行了简单的性能分析。 第朗章提出了由w d m s r 交换结构组成的网络w s r n e t ，并研究了其链式结 第6 页 国防科学鼓米大学研究生院学位论文 构、二维结构和三维结构，提出了非严格正交式网络互连方式，给出了高可伸缩 性解决方案。研究并提出了两种支持该网络结构的路由策略，对其优缺点进行了 分析。最后对网络的性能进行模拟仿真和分析。 第五章设计并实现了种基于广播选择式的光互连背板系统，完成了系统的 总体逻辑方案设计、光器件背板的工程正艺及f p g a 的流控协议设计等工作。 第六章对全文的内容进行总结，指出了本文工作的创新之处，并展望了本文 相关研究内容的下一步工作。 第7 页 图防科学技术大学研究生院学饶论文 第二章高性能光互连网络技术研究综述 2 1 光互连技术概述 光互连技术就是以光的波粒二相性与物质相互作用的各种现象实现数据和信 号传输与交换的理论和技术。光在理论上也属予电磁波的一种，简单计算就可以 得到常照的8 5 0 r i m 激光棚当予3 5 0 t h z 的电磁波，耀光 乍载波，将有5 0 t 左右的 可用带宽用来调制数据【2 0 】。随着光纤技术的发震，光的长距离传输河题得到解决， 利用光纤信号传输的百公里损耗和功耗都远远小于电信号。这使得光在长距离通 信领域已经取得了不可替代的地位。即使在近距离，光传输也有非常大的优势， 除了高带宽、低失真的特点外，光还具有无串扰的特点，不同波长的光可以通过 同一条光纤进行传输，而空间上多数光可以同时通过一个点而互不干扰，这为各 种形式的复用提供了可能。 光互连可具体理解为用光技术实现两个以上透信单元的链接结构，以实现协 同操作。通信单元包括系统、网络、设备、电路和器件等。光互连技术是可能解 决高性能计算机与核心路由器内部各处理结点之间高速互连的关键技术之一。自 1 9 8 4 年国际著名的光学专家j w g o o d m a n 提出在v l s i 中采用光互连方案以来， 光互连技术已经取得巨大的进步，并开始在计算机系统和通信系统中代替电互连 技术。光互连作为改善通信系统带宽瓶颈的一种有效方法已经被广泛接受，并逐 步走向实用。 随着信息技术和光电技术的发展，光互连技术发展非常迅速。按照光信号传 输距离来分，光波导互连系统可分为长距离传输( 距离超过4 0 k m ) 、中等距离传 输( 距离为2 - - 一4 0 k m ) 、短距离传输( 6 0 0 m , - 一2 k m ) 及甚短距离传输( 距离在6 0 0 m 以内) 。在长距离光传输上，采用d f b 激光器，使用长波长的光信号，来实现远 距离的高速传输；在短距离光传输上，可以采用垂直腔面发射激光器( v c s e l ) 光源，使用短波长的光信号，实现低成本的光传输。 光互连技术基本上可以分为盘由空间光互连和光波导互连两类。自由空闻光 互连是通过光学器件转拆和控制在空间传输的光束进行互连；光波导互连是采用 光纤或集成光学波导作光束传输介质，光束的传输方向由介质控制。虽然自由空 间光互连在组成各种互连拓扑结构方面具有较强的灵活性，但是相比之下，采用 光纤或集成光学光波导进行互连更具有实用价值。 在未来的高性能计算机中，系统的总连接速率达t b p s 量级，单个链路上的速 率超过1 0 g b p s ，视枢之闻的传输距离为十凡米，传统的基于铜线的技术很难满足 要求，在高性能计算机中采震光互连系统是技术发展的必然。根据连接的距离， 可将光互连系统分为三个层次：机柜间光互连、板闻光互连和芯片闻光互连。 第8 页 国防科学技术大学研究生院学位论文 采用铜线的机柜问互连被限制在5 g b p s ，5 m 的范围，因此机柜之间的互连崧 须采用光互连。另一方面，机柜闻光互连对器件集成度要求低、可以容忍较大的 延迟、对带宽要求高、一般采用点到点连接等一系列与通信领域相似的特点，决 定了它先于其它两个层次的技术在实际中 ! 导到应用。在国防科技大学已经成功研 制出此种光互连技术，并将其应用于多种计算机系统中，取得了良好的性能和稳 定性。未来的发展方向主要集中于迸一步提高带宽和研究新型的光互连体系结构 两个方面，其中提高带宽的关键在于研究新型的高速收发器件，光通路的容量已 经非常大。新型的光互连体系结构是一个研究热点，充分发挥光互连的优势、规 避光互连的不足是在光电器件性能有限的前提下进一步挖掘光互连资源的有效手 段。 板间光互连的思想是采用光互连方式实现系统中各个子板问的通讯，主要有 光纤带互连和光背板互连两种实现方式，目前在一些系统中已经采用了光纤带互 连方式【2 2 l ，它的缺点是连接器带来的高成本，集成度低等。当单个链路的速率为 5 l o g b p s 时，可以考虑采用光互连。当速率更高时，必须采用光互连，因为采用 铜线互连将带来很大的开销，例如采用低损耗的板材，复杂的信号处理等。在c p u 多核心他、内存集成度越来越高、单扳计算能力越来越强、数据流越来越大的发 展趋势下，板间光互连技术能极大地增加各计算子板间的互连带宽，解决通讯瓶 颈，从丽使高密度的高性能计算系统成为可能。 芯片间光互连技术尚处于研究阶段，它要求高速、高集成度的光电器件，精 密高效的耦合方式以及高密度的传输波导以实现芯片级装配，目前这些关键的支 撑技术还不成熟，从而导致芯片闻光互连技术难以实用化。但从长远来看，这种 技术能解决c p u 与c p u 之闯、c p u 与内存之阀的通讯瓶颈，对离性能计算机的 发展有至关重要的作用，国内外多家研究单位都在积极进行研究和探索。 2 ，1 1 光电集成器件与光波导的制备技术 由于高性能计算机互连系统对带宽要求很高，需要有超高速的光电收发模块， 进一步提高光电器件的速度是当今研究热点之一，单光纤、单波长型光互连模块 的信息传输速率邑达到1 0 g b i t s 。芯片阂光噩连系统的高速、蒿密度特点，需解决 高速光电电路设计、低功耗芯片设计等技术，进一步提高光电器件的集成度，增 强光电器件的可靠性，满足离性能计算机系统的可靠性和可维护性要求【2 0 】。 光纡一般用于远距离传输，在基于短距离互连的计算机互连系统中，尤其在 板问光互连系统、芯片间光互连系统中，光纤难于布线集成、互连密度低、可靠 性差、不易规模化生产的特点凸现出来。为了与现有的p c b 生产工艺相容，提高 光互连的集成度、可靠性，有必要解决规模化的光波导制备技术恻。 影响光互连技术发展的关键器件： o 集成化的高速光收发器。光收发器的速度直接影响网络的速度，必须继续 第9 页 国防科学技术大学研究生院学位论文 商更高的速率发展，丽光收发器作为光互连系统中最昂贵的部分，其畿否 规模化、集成化生产也是决定网络规模的重要因素。 集成化的光开关。光开关是光交换的基础部件，也是o x c ( 光交叉连接) 的重要组成部件，高集成度、价格低廉的光开关是实现光交换的前提【2 训。 波分复用器件。目前w d m 技术是光互连扩容的最有效手段，同样高集成 度、低成本的波分复用器件也是大容量、高通道数d w d m 的前提。 聚合物光波导。醑前光互连技术已经在向板内互连渗透，但其最亟待解决 酌关键阆题就是寻找适合于p c b 的聚合物光波导。 2 1 2 全光交换技术 目前光互连系统主要采用点到点互连，交换系统采用o e o 的模式，由于光电 转换需要一定时间，使得整个系统的延迟较大，尤其在大规模光互连系统中，会 带来令高性能计算机无法容忍的延迟，严重限制了系统互连的可扩展性，影响了 系统的规模。 全光交换技术可以分为三种技术： l 。光路交换技术( o p t i c a lc i r c u i ts w i t c h i n g ) 1 2 娜。这种方式类似于传统的电话交 换网。是面向连接的交换方式。传输数据前，要建立光路连接。光路连接跨越一 跳或多跳光纤链路，且独占光纤链路上的一个波长通道。光路交换技术是目前最 为成熟的一种技术。光路交换技术又可以细分为三种：“广播一选择 网络、波 长路由网络和线性光网络强割。 在“广播一选择阏络中，结点传出的光信号被分成多份，广播到其余的每 一个结点，卷接收结点选择是否接收，是一种类似予以太露的踺络形式。比较有 代表性的有l b m 的o s m o s i s 2 6 | 。 在波长路由网络中，基于波长交换的光学交叉互连的一个优点是交换部件只 与光束或波长相关，而与光束中调制的信息量或者带宽无关。即使技术的进步导 致单束光的信息量加倍，光交换部件也无需做任何改变【2 n 。这个优势是传统电路 交换无法比拟的。而细粒度的分析和路由则是电交换的强项。但由于波长数目的 有限性以及其带来的器件成本，在短期以来是难以实现大规模化交换系统的，因 此这种交换方式一般用于中等规模的交换系统，并采用其它方式进行扩展。未来 的光互连交换很可能仍是一神光电混合的技术，即在前端用电交换技术进行预处 理，而骨干的交换采用粗粒度的全光交换技术。也有可能是予交换系统采用点到 点光互连模式，而核心交换系统采用全光交换技术。例如美国s t a n d f o r d 大学研究 中豹一个1 0 0 t b 级的交换系统就采用了多个1 6 x 5 5 的电交换模块和4 0 x 4 0 的全光 模块的结合。 2 光分组交换技术( o p t i c a lp a c k e ts w i t c h i n g ) 2 8 1 1 2 9 1 。这种方式类似与现在的计 算机网络，是面向非连接的交换方式。源结点不需建立连接即可蛊接发送光分组。 第1 0 页 国防科学技术大学研究生院学位论文 中间结点缓存光分组，根据光分组的地址信息选路，然后转发光分组。光分组交 换需要高速的光控制包头的处理能力，非常高速的光开关和光缓存 3 0 1 。由于器件 的复杂性很高，嚣前o p s 不成熟且非常昂贵。 3 。光突发交换技术( o p t i c a lb u r s ts w i t c h i n g ) 口s 】。这种方式介于光路交换和光分 组交换，是这两种技术的一个折衷。这种方式中，控制信息和数据信息分开传送。 控制信息用分组交换方式，数据信息用光路交换方式。需要预先得知交换信息， 并在恰当的时间对交换矩阵做出变换，比较适用于中粒度、大容量的交换，典型 的代表有光突发交换、全息交换等。光突发交换是目前的一个研究热点。 本论文中，我们将主要研究光突发交换技术。 2 。1 3 光网络体系结构研究 可扩展的互连网络拓扑结构、路由策略、交换策略、报文缓存、仲裁策略、 流控策略、错误处理策略及聚合通信机制等是目前互连交换网络中的关键技术， 需结合光技术特点以及各种光学器件的特性，探索新的实现机制。此外，国于光 互连交换网络具有一些区别于瞧互连网络的特性，在解决以上关键技术问题时可 能存在不同的方法并由此弓| 出掰的亘连交换网络研究课题。例如： 1 w d m 技术使得在同一条物理链路上提供多条数据通道成为可能，由此衍 生出基于波长的路由和交换策略研究，典型的如对w d m 网络的路由和波长分配 问题r w a ( r o u t i n ga n dw a v e l e n g t ha s s i g n m e n t ) p 1 1 ； 2 在光互连交换网络中，信号的分割和归并更容易实现，从而使得聚合通信 很容易实现，在高性能计算机中如何利用好这种聚合通信特性是一顼有重大意义 的研究课题； 3 传统的电互连网络中，由于结点闻电链路的不可配置性，互连网络的拓扑 结构不可改变，丽在光互连交换网络，则可以利用w d m 技术光波长可以配置、 s o a 参数可配置、s m a r tp i x e l 可配置等特性，研究新型的动态可重构的互连拓扑 结构，或者对互连交换网络进行灵活的分割优化，以适应不同的应用模式，提高 系统性能； 4 电信号由于存在互相干扰闻题，不毵在空闻上叠加，所以现在的电互连嬲 络遂常为二维平面网络，丽剩用光信号可以在三维空间内无予扰传输的特性，可 以研究新型的三维网络拓扑结构。 第l l 贾 囡防科学技术大学研究生院学位论文 2 2 高性能互连网络 高性能互连网络一般是指用在高性能并行计算机内部，连接处理器、存储器 以及其它外部接口或设备的通信予系统，不同结构的并行系统一般需要有特别定 制的互连网络。和普通的计算机臃络不同，高性能互连阙络一直难以标准化、通 用化，更加无法用商品化的系统来实现，因此，设计高效的互连网络已经成为改 善高性能计算机性能的一个关键问题。 2 2 1 高性能互连网络的类型 传统的互连网络根据操作模式可以分为同步或异步，根据网络控制方式可以 分势集中式或分布式，磊墨翦愿岛并行计算机的互连网络基本上都是分布式控铡 的异步网络，有必要对其进行另一层次的划分，根据网络拓扑可将现有的豆连网 络分为4 大类： 3 2 1 共享介质网络、静态互连网络、动态互连网络和混合网络，并 可将每一类分成若干层次的子类。如下图： 互连网络 茫享介质网络l| 静态互适两络|l 动态互连两络|l 混合网络 局域瞬 底板总线