（计算机科学与技术专业论文）高性能计算机光互连网络技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 随着高性能计算机系统对处理速率和链路带宽的需求不断提升，传统的电互 连网络的带宽、时延、串扰、功耗等问题日益严重，已经成为高性能计算机的内 部互连网络性能提高的瓶颈。与电互连相比，新兴的光互连技术具有带宽高、抗 干扰能力强、互连密度大和功耗低等诸多优势，有望解决高性能计算系统中普遍 存在的通信瓶颈问题。因而，研究高性能计算机的光互连网络及相关技术是高性 能计算机系统互连网络技术发展的必然趋势，具有重大意义。 本文以提升高性能计算机系统的内部互连网络整体性能为最终目标，在深入 分析了当前高速发展的光互连技术、光电子技术及波分复用( w d m ) 技术的基础 上，深入研究了高性能计算机光互连网络体系结构技术，面向高性能计算机互连 网络应用的光学背板技术和光互连中关键光学器件的设计技术，全方位的探索了 光互连网络技术的各个层面。 本文首先介绍了光互连技术的发展历史以及高性能计算机光互连的研究现 状，综述了现有光学背板技术，提出高性能计算机光互连网络需求，指出该技术 的发展趋势。在此基础上，提出了一种层次式动态可重构的高性能计算机光互连 网络系统。该网络以组合w d m 光网络方式支持处理器间通信和远程文件访问， 采用基于预约和预分配的混合介质访问控制协议以支持基于光互连背板的全光互 连网络通信，并可根据负载状况的变化动态地调整系统的带宽分配，使得该系统 具有极高的应用价值。 光学背板是支撑光互连体系结构的硬件基础和平台，本文提出了一种综合采 用w d m 技术和光纤互连技术的光学背板技术。在高性能计算机光互连网络环境 下，该技术可以快速高效地支持局部处理元素间的通信以及全局聚合通信，并具 备足够的弹性和可扩展性，可满足不同的链路速率和系统规模的互连需求。 光学器件技术决定了光互连方案的可实现性、成本和性能。本文最后研究了 光互连应用的关键器件光功率等分器。在深入分析各种光功率等分器技术之后， 我们选择多模干涉光功率等分器为突破点进行研究，分析并模拟了分束器的各个 参数对其性能的影响，得出了分柬器性能与多模干涉波导长度、波导与覆层折射 率差等因素之间的关系。 最后，本文设计并实现了一种高带宽、可扩展的单波长光电混合互连背板系 统。 主题词：高性能计算，光互连网络，光学背板，波分复用，光功率等分器 第i 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h ee r e r b o o s t i n g n e e df o rp r o c e s s i n gs p e e da n db a n d w i d t ho fh i 【g h p e r f o r m a n c ec o m p u t e rs y s t e m , t h et r a d i t i o n a le l e c t r i c a ln e t w o r kt o o ko nt h ed r a w b a c k s i ns o m ea s p e c t ss u c ha sd e l a y , e r o s s t a l ka n dp o w e r , w h i c hh a v eb e c o m et h eb o t t l e n e c k o ft h ei n t r a - n c t w o r ko fh p c c o m p a r e dw i t he l e c t r i c a li n t e r c o n n e c t , t h eb r a n dn e w o p t i c a li n t e r c o n n e c tt e c h n o l o g yh a sg r e a ta d v a n t a g e s ，s u c ha sh i g hb a n d 丽d t h ，e x c e l l e n t a n t i - j a m m i n ga b i l i t ya n dh i g hi n t e r c o n n e c td e n s i t ya n dl o wp o w e rc o n s u m p t i o n , t h e r e f o r ei ti sp o t e n t i a lt os o l v et h ep r o b l e m sa b o v e o p t i c a li n t e r c o n n e c tt e c h n o l o g yi s v i t a la n d s u r e l yat r e n di nt h ef i e l do f h p c i n t e r c o n n e c tt e c h n o l o g y a i m e da ti m p r o v i n gt h ep e r f o r m a n c eo fi n t r a - n e t w o r ks y s t e mo fh p c ，b a s e do n t h ea n a l y s i so ft h ee v e r - d e v e l o p i n go p t i c a li n t e r c o n n e c tt e c h n o l o g i 韶p h o t o e l e c t r o n t e c h n o l o g i e sa n dw d mt e c h n o l o g i e s n o to n l yd i dw eh a v eaf u l l e rr e s e a r c ho nt h e a r c h i t e c t u r eo fo p t i c a li n t e r c o n n e c t i o nn e t w o r k , o p t i c a lb a c k p l a n et e c h n o l o g i e su s ei n h p c ，b u td e v e l o p e dt h ek e yo p t i c a la c c e s s o r i e so fo p t i c a li n t e r c o n n e c ts y s t e m sa l m o s t c o n t a i na l lt h ea s p e c t so f o p t i c a li n t e r c o n n e c tt e c h n o l o g i e s ， f i r s t l yt h et h e s i si n t r o d u c c s t h eh i s t o r yo fo p t i c a li n t e r c o n n e c tt e c h n o l c i g i e s ， s u r m n a r i z e so p t i c a lb a c k p l a n et e c h n o l o g i e s ，t h e nt h er e q u i r e m e n ta n dk e yt e c h n o l o g i e s t r e n d so ft h eo p t i c a li n t e r c o n n e c t i o nn e t w o r ki sp u tf o r w a r d b a s e do nt h er e s e a r c h a b o v e ，ah i e r a r c h i c a l ，d y n a m i c a l l yr e c o n f i g u r a b l eo p t i c a li n t e r c o n n e c t i o nn e t w o r ko f h p ci sp u tf o r w a r d t h eo p t i c a ln e t w o r ks u p p o r t sc o m m u n i c a t i o nb e t w e e np r o c e s s o r s a n dr e m o t ef i l ea c c e s sw i t hc o m b i n i n gw d m o p t i c a ln e t w o r km o d e , s u p p o r t st h e o p t i c a lb a c k p l a n e - b a s e da l lo p t i c a li n t e r c o n n e c tc o m m u n i c a t i o nu s i n gah y b r i dm e d i a a c c e s sc o n t r o lp r o t o c o lb a s e do nr e s e r v a t i o na n dp r e - a l l o c a t i o n , a n da l s oc a n d y n a m i c a l l ya r r a n g et h e b a n d l ) l ，i d t ha l l o c a t i o na c c o r d i n gt ot h eo u r r e n tl o a ds i t u a t i o n o p t i c a lb a c k p l a n ei st h ep l a t f o r mt or e a l i z eo p t i c a li n t e r c o n n e c ta r c h i t e c t u r e t h e t h e s i sa l s op r o p o s e san o v e lo p t i c a lb a c k p l a n et e c h n o l o g yw i t hc o m b i n i n gw d ma n d f i b e ro p t i c a li n t e r c o n n e c tt e c h n o l o g i e s t h i st e c h n o l o g yc a nn o to n l ys u p p o r tl o c a l c o m m u n i c a t i o nb e t w e e np r o c e s s i n ge l e m e n t s 韶w e l la sc o l l e c t i v ec o m m u n i c a t i o n b u t p o s s e s s e sg r e a tf l e x i b i l i t ya n ds c a l a b i l i t yt os a t i s f yw i md i f f e r e n tl i n kr a t ea n dd i f f e r e n t s y s t e ms c a l e o p t i c a la c c e s s o d e sd e t e r m i n et h er e a l i z 洳a b i l i t y , c o s ta n dp e r f o r m a n c eo f o p t i c a li n t e r c o n n e c tp l a n t h et h e s i sa l s or e s e a r c h e st h eo p t i c a ls p l i t t e rw h i c hi st h ek e y a c c e s s o r yo ft h eo p t i c a li n t e r c o n n e c ts y s t e m ，b a s e do nt h ea n a l y s i so fd i f f e r e n to p t i c a l s p l i t t e rt e c h n o l o g i e s ，w ec h o s et h em m is p l i t t e rt or e s e a r c ha n da n a l y z e dd i f f e r e n t p a r a m e t e r sa f f e c t i n gt h ep e r f o r m a n c eo ft h es p l i t t e r w eg o tt h er e l a t i o n s h i po ft h e s p l i t t e rp e r f o r m a n c ea n dt h ek e yp a r a m e t e r ss u c ha sm u l t i m o d ew a v e g u i d el e n g t h , c l a d d i n gr e f r a c t i v ei n d e x ，e t c 第i i 页 国防科学技术大学研究生院学位论文 f i n a l l y , w ed e s i g n e da n dr e a l i z e dah i 曲b a n d w i d t h , h i g hs e a l a b i l i t ys i n g l e w a v e l e n g t hh y b r i do p t o - e l e c t r o n i c sb a c k p l a n es y s t e m k e yw o r d s ：h i g hp e r f o r m a n c ec o m p u t i n g ，o p t i c a li n t e r c o n n e c tn e t w o r k ， o p t i c a lb a c k p l a n e ，w d m ，o p t i c a ls p l i t t e r 第i i i 页 国防科学技术大学研究生院学位论文 表目录 表2 1 高性能计算机系统对光互连网络的需求1 4 表2 2 高性能计算机系统对高性能光学背板的需求1 7 表2 3 现有光学背板技术概况1 8 第页 国防科学技术大学研究生院学位论文 图目录 图1 1 自由空间光互连示意图3 图1 2 波导光互连原理图4 图1 3w d m 系统原理示意图8 图1 4 w d m 波长路由网络示意图1 0 图2 1m m 光波导背板系统结构图1 8 图2 2 嵌入式p c b 波导背板层次结构图1 8 图2 3t e x a s 大学全息波导背板示意图1 9 图2 4 自由空间光互连背板系统( 加拿大n c e 计划) 1 9 图3 1 高性能计算机的胖树互连网络示意图2 3 图3 2 互连网络拓扑结构示意图2 5 图3 3 波长分离器的功能特性图2 5 图3 4 波长分离器的详细结构示意图2 6 图3 5 一个两层互连系统示意图2 7 图3 6h y b r i dm a c 报文格式图2 9 图3 7 一个h y b r i dm a c 协议的分配图。j 。2 9 图3 8 对称配置模式示意图3 0 图3 9 非对称配置模式示意图3 l 图3 1 0 过载信道分配( s i m p l e ) s t a r t 3 4 图3 11 过载信道分配( s i m p l e ) m o v e 3 4 图3 1 2 过载信道分配( s i m p l e ) f i n a l 3 4 图3 1 3 过载信道分配( c o m p l e x ) - s t a r t 3 4 图3 1 4 过载信道分配( c o m p l e x ) - m o v e 3 5 图3 1 5 过载信道分配( c o m p l e x ) f i n a l 3 5 图3 1 6 重构步骤1 一发起点广播配置报文3 6 图3 1 7 重构步骤2 一超叶节点向上发出确认3 6 图3 1 8 重构步骤3 一第一级波长分离器向上发出确认3 7 图3 1 9 重构步骤4 一向顶级波长分离器向上发出确认3 7 图3 2 0 重构步骤5 一发起点广播同步报文_ 3 7 图3 2 l 系统重启的对序过程3 8 图4 1b & s 结构示意图4 2 图4 2 波长路由选择结构示意图。4 2 图4 3w o b 逻辑图4 3 图4 4w d m 光背板整体结构示意图( 仅显示一路数据收发) 4 4 第v 页 国防科学技术大学研究生院学位论文 图4 5e a b 具体逻辑图4 5 图4 6w o b 板间单播与广播示意图5 0 图5 1 阶跃型多模波导的二维近似5 9 图5 2 模波导中的导模函数( 0 - 4 阶模) 6 0 图5 3 二维8 5 0 t u n l 8 m m is p l i t t e r 结构图 ，6 4 图5 4 二维8 5 01 1 1 1 11 x 8m m is p l i t t e r 的光场分布6 5 图5 5 二维8 5 0n n l1 x 8m m is p l i t t e r 的功率分配6 5 图5 68 5 0 r i ml x 4m m is p l i t t e r 的光场分布6 5 图5 7 插入损耗与多模干涉区域长度1 钿，的关系6 6 图5 , 8 插入损耗与波导折射率差血的关系6 6 图5 9 波导折射率差与导模数的关系曲线6 7 图5 1 0 输入波长与分束器输出特性的关系6 7 图6 1h o e i b 总体结构图6 8 图6 2h o e i b 逻辑结构图6 9 图6 3 多通道高密度高速光收发器逻辑图 图6 4f p g a 总体功能示意图7 1 图6 5f p g a 模块功能结构图7 2 图6 6 数据接收组帧结构图7 2 图6 7 光器件布局布线示意图7 5 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：垄坚鲻塾墅堡竺至竺塾 学位论文作者签名：矬塑日期：勿。6 年，月巧日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：高! 壁：! 芝逝塑垄至垦堕丝至墼塑壁塾 学位论文作者签名：圣垒膣陋 作者指导教师签名： 日期：加占年，月5 1 j 日期：0 硌，月，厶日 国防科学技术大学研究生院学位论文 第一章绪论 1 1 研究背景和意义 高性能计算机技术是现代科学研究、工程技术开发和大规模数据处理的关键 支撑技术，没有高性能计算机，大量复杂问题的计算和事务处理就无法在合理的 时间内完成。利用高性能计算机还可以解决一些仅靠理论及实验的方法无法解决 的问题，例如核爆炸模拟、宇宙的形成及演变过程研究、中长期天气预报、石油 地质勘探和大规模事务处理等，人类对高性能计算( h i g hp e r f o r m a n c ec o m p u t i n g ： h p c ) 能力的需求永无止境【1 1 。在国防、太空、汽车制造和科学领域已经出现了大 量具有巨大挑战性的应用问题，它们要求计算机具有每秒钟万亿次级浮点运算， 甚至更为强大的计算能力。高性能计算机系统技术水平已成为衡量一个国家综合 实力的重要标志。 在 c 系统中，处理器问的相互透信已成为提高系统整体性能的瓶颈，无论 是对称多处理系统，或者机群系统，还是大规模并行处理系统，高带宽、低延迟、 高效的内部互连网络都是发挥系统性能的关键。随着h p c 系统的处理速率和链路 带宽的大幅提升，高性能计算机系统所采用的传统电互连的时延、串扰等问题变 得尤为突出，这使得电互连在很高的带宽下传输信号显得无能为力。研究显示， 对于1 0 g h z 的信号，铜线互连仅能传输几厘米i s ，这在大多数的情况下不能满足 系统的需要。而随着集成电路工艺的特征尺寸遵循摩尔定律继续迅速缩小【6 l 以及电 路工作频率的不断提高，电互连所固有的局限性逐渐显示出来【日： 1 带宽受限：从某种意义上讲，导线是低通滤波器，其有限带宽会导致信号 的严重失真； 2 时钟歪斜：逻辑时钟信号无失真地传输是正确处理数据的基础。但由于导 线的有限带宽会引起逻辑门输入信号前沿的畸变，因而可能导致其输出的 误码： 3 串扰严重：导线以高频率传输信号时，其辐射能量与其传输频率的高次方 成正比，故而就会变成其临近导线的发射天线或者接收天线，且在高频率 传输时更为严重； 4 易受电磁场的干扰； 5 功耗过高； 6 寄生效应：金属导线的分布电感和电容往往会造成误码； 另外，由于高性能计算机系统对数据传输速率的要求不断提高，当系统的时 钟频率达到g h z 甚至t h z 时，冯诺依曼“瓶颈”日益严重。因此，高性能计算机 第1 页 国防科学技术大学研究生院学位论文 系统急需一种新的互连技术来克服电互连所面临的难题，光互连技术便应运而生。 所谓“光互连( o p t i c a li n t e r c o n n e c t i o n ) ”是以光子作为信息传递的载体，以光的 波粒二相性与物质相互作用的各种现象实现数据和信号的传输与交换的理论和技 术啊。2 0 世纪7 0 年代末，光纤光学在长距离通信领域取得了可喜的进展，促进了 人们利用光学手段研究互连问题 9 1 ；特别是光计算的提出和兴起，更加速了人们对 光互连的研究。1 9 7 9 年，c a t h y 等人首次提出一种用于计算机内部的自由空间光互 连并行数据总线【埘。1 9 8 3 年，a h u s a i n 等人首次提出自由空间的光互连方法i l l 】， 从而产生了大规模集成光互连的概念。1 9 8 9 年的一份研究报告表明，光互连可以 提供阻抗转换，从而使人们看到了光学方法在通信方面的潜在优势f 1 2 】。到了9 0 年 代，人们在光互连的具体应用上展开了更系统的研究。研究结果表明，光互连在 数字光计算系统的各个层次上都是非常有意义的。在单元之间、模块之间、印刷 电路板之间、芯片之间及芯片内，光互连都可以得到应用1 3 1 4 】f 1 5 】。 光互连作为一种新的互连方式，具有许多电互连不可比拟的优势。从光的本 性可以发现光互连具有如下的优判8 】： 1 时空带宽积极高：由于自由空间具有无色散的性质，载波空问带宽大约为 1 0 0 t h z ，时间和空间带宽积可以认为无穷大； 2 抗干扰能力强：光波的传播遵循独立传播原理，没有辐射，多路光信号可 以相互交叉而独立无干扰地传输信息，并且不受电磁场的干扰； 3 互连密度高：光互连系统通常可认为是物平面上的信息传递到像平面上相 应部分的光学系统，其互连总数理论上可达1 0 6 ； 4 通道等程：光互连通道路径的等程性保证了各对应点之间的等程互连； 5 低能耗：光波传递信息的机理是光量子阻抗变换，功耗极低，且不随信号 传输速率的提高而增加； 一 6 低延时： 光互连的这些特性使其非常适合应用于大规模并行处理中，有望解决高性能 计算和超高速交换系统中普遍存在的通信瓶颈问题，实现大容量、高速率、高效、 低功耗的高性能计算机内部互连网络系统。 自上个世纪8 0 年代以来，光纤光学在通信领域飞速发展，光纤链路已经广泛 应用于广域网和城域网，并且已经在局域网和短距离并行系统中成为电互连链路 的替代选择【2 】。在高性能计算机领域，光互连技术也已经得到成功的应用，并正在 向高性能计算的深层次应用渗透。尤其是2 0 世纪9 0 年代后期提出了波分复用 ( w a v e l e n g t hd i v i s i o nm u l a p l e y i n g ：w d m ) 技术【3 】【4 】，这种技术可以将光纤中的 带宽分成不同的通信信道，各个信道使用不同频率的波长进行通信，从而将光纤 的传输速率提升至t b p s 的范围。近年来，基于w d m 技术的全光网络己逐渐成为 通信网络研究的重要方向，利用全光互连网络具有的商宽带、低延迟等优点来进 一步提高并行计算的速度有着巨大的潜力。因此，光互连网络作为并行体系结构 第2 页 国防科学技术大学研究生院学位论文 通信网络的发展趋势，引起学术界越来越多的关注。因而，研究高性能计算机的 光互连网络技术，既是技术发展的迫切需求又是把握历史机遇的关键，具有重要 意义。本文将主要探索面向高性能计算的高带宽、低延迟的光互连网络技术及光 学背板技术。 1 2 光互连的分类及关键器件 光互连按照传输介质可以划分为两大类：自由空间光互连和波导光互连。 1 2 1 自由空间光互连 自由空间光互连是指光束在空闯中自由传输，并利用光学器件转折和控制光 束的传输，如图1 1 所示。在数据发送端，发射端调制光发送器发光，携带数据信 号的光束通过光学器件转折和控制光束的传输后到达数据接收端，再由接收端的 光探测器将携带数据的光信号转换为电信号进行处理。 图1 1 自由空间光互连示意图 自由空间光互连的优点是可以利用三维空间结构，构成各种拓扑结构的互连 方式，能够充分发挥光的宽频带和光波独立传播无干扰的特性，使得数据传输率、 互连数和互连密度都可大大提高：光功率损耗低，无相干误码。自由空间光互连 早期的研究主要集中在如何利用自由空间光互连技术构成c r o s s b a r 、m 1 n 、m e s h 等互连网络，以及如何利用自由空间光互连技术在传统二维平面结构电子插件的 三维空间上实现光通信。现在，自由空间光互连技术已经深入到v l s i 器件内部， 已经有大量的研究对三维v l s i 内的自由空间光互连技术进行了深入的探讨，这些 研究表明，三维v l s i 内的自由空间光互连技术具有非常广阔的应用前景。 1 2 2 波导光互连 波导光互连又可分为光波导光互连和光纤光互连。 第3 页 国防科学技术大学研究生院学位论文 光波导光互连采用集成光学波导作为光束传输介质，光束的传输方向由传输 介质控翩。光波导一般是双层或多层结构，外层媒介( 又称包层) 的折射率要大 于内层( 又称芯层) 媒介的折射率。这样，当光束的入射角度满足全反射条件时， 光束便发生全反射并沿着波导传播，其互连原理如图1 2 所示。这种互连方式结构 紧凑，稳定性也比较好。若充分利用成熟的半导体制造工艺，研究与v l s i 电子器 件制作兼容性好的波导制作工艺，波导光互连可望应用于印刷电路板、m c m ( m u 掀 c h i pm o d u l e ，多芯片组件) 0 6 等层次的光互连。光波导光互连技术的研究进展非 常显著，将在高性能计算机系统中发挥重要作用。部分商用计算机中已经采用了 简单的波导光互连技术，如c r a yt 9 0 计算机中已经采用光纤分发时钟信号。 n 九麓射篓滢光波导毙密媒介n n 接收囊踺 图1 2 波导光互连原理图 光纤光互连可以看成一种特殊的光波导光互连，它利用光纤作为传输介质。 由于光纤技术早在2 0 世纪8 0 年代就已成熟，因此光纤光互连更具有实用性。光 纤互连的机械性能好，可靠性及稳定性高，并且很容易与光波导器件相结合，构 成高速的光互连网络，可望在国防、军事等保密环境下得到广泛应用。美国光纤 通道协会( f c a ：f i b e r c h a n n e la s s o c i a t i o n ) 针对当前光互连技术和光通信技术的 发展已经制定了一系列的光纤通道标准，对光纤在光纤通信和计算机互连中的使 用制定了全面的规范。这些标准的制定，将全面推进光纤光互连技术在计算机系 统中的使用。 1 2 3 光互连的关键器件 光互连技术的发展和应用与光器件的发展水平密切相关。经过几十年的发展， 光互连的关键器件主要有光源、光探测器、光功率等分器、光复用器与光解复用 器、空间光调制器等。 1 光源 光源主要用于携带数据的光信号的产生。早期的光源研究很多基于外部光源， 研究精力集中在如何使各个光束光能分布均匀、减少光能损耗，部分研究还基于 发光二极管。现在，光互连的研究主要考虑采用垂直腔面发光激光二极管( v e r t i c a l c a v i t ys u r f a c ee m i t t i n gl a s e r ：v c s e l ) 阵列。v c s e l 在垂直于衬底的方向上可 并行排列多个激光器，具有稳定性好、寿命长、调制速率高、集成度高、发散角 小、耦合效率高、价格便宜等优点，非常适合应用在并行光传输以及并行光互连 领域。v c s e l 与多模光纤的耦合效率大于9 0 ，v c s e l 的光腔长度极短，导致 第4 页 国防科学技术大学研究生院学位论文 其纵模间距拉大，可在较宽的温度范围内实现单纵模工作，动态调制频率高；腔 体积减小使得其自发辐射因子较普通端面发射激光器高几个数量级，这导致许多 物理特性大为改善；可以在片测试，极大地降低了开发成本；出光方向垂直衬底， 可实现高密度二维面阵的集成：最吸引人的是它的制造工艺与发光二极管( l e d ) 兼容，大规模制造的成本很低。目前投入到实际应用的v c s e l 主要集中在 8 5 0 9 8 0 n m 波长范围内，适合于短距离传输。人们正在将目光更多地集中到长波长 v c s e l 的研制中，希望能将波长为1 3 t t m 和1 5 5 t t m 的v c s e l 应用到并行光通信 领域中，实现长距离的并行光传输。 2 光探测器 光探测器主要用于将光信号转换成电信号，以便电子逻辑器件对数据进行处 理。目前的单个光电二极管灵敏度已经非常高，有的光电二极管的光电转换效率 可达9 0 ，且光电二极管易于大规模集成。德国已于1 9 9 8 年1 2 月成功研制出 5 5 0 g h z 的光探测器【1 7 】。 3 光复用器与光解复用器 光复用器( m i ) 和光解复用器( d e m u x ) 分别用于光信号的复用与解复 用，是光互连尤其是w d m 光互连的关键器件。在通信系统的发送方，多个波长 信号通过光复用器复用成一个光信号，在接收方再通过光解复用器将各个波长分 离。典型的解复用器有棱镜、衍射光栅、阵列波导光栅( a r r a yw a v e g u l d eg r a t i n g s ： a w g ) 和干涉滤光片等。 4 光功率等分器 光功率等分器又称光分束器( s p l i t t e r ) ，它是光互连的关键器件，更是基于 分束的光互连网络及光学背板的核心器件。本文的第五章将详细研究光分束器。 5 空间光调制器 空间光调制器( s p a t i a ll i g h tm o d u l a t o r ：s l m ) 主要用于对光的各种物理特性 进行调制，如改变光的波长、光的强度等。s l m 分两类，一种是电串行寻址的s l m ， 另外一种是光并行寻址的s l m 。目前，s l m 的性能还不能满足光互连、光计算的 需要。s l m 的研究需要在提高s l m 的性能与规模上作进一步的努力。 1 3 高性能计算机光互连的研究现状 光互连技术的研究中心目前仍集中在美国、日本和欧洲几个国家，既有研究 机构、高等院校，也有许多公司参与。我国“8 6 3 ”高技术基金以及国家自然科学 基金等也都大力支持相关的理论和应用技术研究。 1 3 1 国外研究现状 第5 页 国防科学技术大学研究生院学位论文 目前，国外高性能计算机系统研究机构都已经或计划将光互连技术运用到高 性能计算机系统中。美国能源部2 0 0 4 年提出要研制出采用光互连技术的1 0 0 t b s 超级计算机。美国s u n 公司2 0 0 5 年1 1 月宣布该公司开发的下一代高性能计算机 系统将采用光互连技术，它将利用l u x t e r a 公司的光互连技术实现芯片问的光互连。 同时，s u n 公司在h e r o 计划中重点研究解决的课题之一也是光互连技术。i b m 公司、m r r 、n a s a 的喷气动力实验室以及加拿大m c g i u 大学等都已开展光互连 的研究；美国d e l a w a r e 大学提出了采用全光互连用于大规模并行处理的方案。 我们发现，目前国际上光互连的研究主要集中在高性能计算机光互连网络体 系结构、高性能计算机光学背板技术和芯片问光互连技术等方向的研究。在光互 连网络体系结构的研究方面，美国哥伦比亚大学提出的d a t a v o r t e x 计划，主要面 向高性能计算机研究了光互连技术。d a r p a 最近在其d o d - n ( d a t ai nt h eo p t i c a l d o m a i nn e t w o r k i n g ) 计划下开展了对全光互连的研究，该计划主要集中于对采用 光缓冲器的路由器的研究，在这个系统中，数据始终以光的形式传输，不进行o e o 转换。由于光缓冲器容量小，允许少量的丢包和乱序。i b m 公司与c o m i n g 公司进 行合作，研究高性能计算机之间的高速光互连网络，该互连网络中，使用具有低 切换时间的s o a 光开关，来实现电信号控制下的数据光交换，该网络每个端口将 达到4 0 g b p s ，并且具有良好的可扩展性。 高速光学背板技术也是国外研究机构积极研究的重点。高速光学背板技术具 有并行度高、端口密度大、可扩展性好、功耗低等显著特性。在高性能计算机中 使用光学背板替代传统的电背板，实现芯片问、板问和机柜间的光互连，可极大 地提高高性能计算机的效能。美国t e x a s 大学2 0 0 4 年提出了一个基于共享光总线 的芯片与内存间的互连原型系统，该系统可进行光信号的广播并可作为高性能计 算机的光学背板。韩国电信的研究人员2 0 0 4 年设计了基于聚合物嵌入式波导印制 板，可在收发器和光背板问实现高达8 g b s 的数据交换。英国格林威治大学2 0 0 3 年采用聚合物光波导和v c s e l 技术实现了光学背板。此外，美国洛杉矶大学采用 基于s e e d 的灵巧象素阵列实现了光学背板，美国亚利桑那大学的研究人员利用 空间光互连实现光总线背板。美国p h y s i c a lo p t i c 公司研制了基于全息技术的光背 板用于连接分布式并行处理器系统。 国外已经开始着手研究芯片间光互连技术。德国d a i m l e r c h r y s l e r 研究中心使 用光波导底板技术，来连接计算机中的芯片。该光波导使用了聚合材料，使得更 容易集成进光底板中。p r i m a r i o n 公司也正在进行基于光波导技术的处理器间光互 连的研究，将光纤一端连接到处理器中，电信号从电路板进入激光驱动芯片，由 该芯片处理电信号，然后发送出去。连接到激光驱动器的是另一个模板，包含一 个由1 2 个垂直腔面发射激光器组成的阵列。激光光束通过光纤进入另一块电路板 上的类似装置，在那里光电探测器发送信号到接收芯片，转换成电信号以待进一 步处理。约翰霍普金斯大学的科研人员正在研究将蓝宝石用于激光芯片通信， 第6 页 国防科学技术大学研究生院学位论文 因为蓝宝石具有良好的绝缘性能，所以它能够设计成体积更小、功率更低的芯片， 其传输速率要比传统技术快l o o 倍。这种微型系统使用e m c o r e 公司生产的 8 5 0 n m v c s e l 和美国陆军研究实验室专门设计的v c s e l 激光器，通过同一芯片两 部分之间的蓝宝石，或通过光纤把信号传送至另一块芯片，而无需使用普通的附 属金属线或半导体器件。加州大学圣地亚哥分校开发的一个系统包括三个由1 6 个 芯片组成的芯片组，彼此问均可通过光束互连。1 6 x1 6 的v c s e l 阵列把光束在自 由空间中送到集成微透镜，由微透镜将其聚焦，再由光栅对其进行重新定向，结 果形成一个紧凑的三维紧密互连的芯片阵列。 1 3 2 国内研究现状 在计算机光互连技术方面，国内的研究大体上可以分为3 个阶段：“八五” 计划期间研究了并行机内点到点的光互连系统和器件；“九五”计划开始的前3 年，工作重点转向了通用计算机总线之间的并行互连，即采用p c i ( 并行控制接 口) 总线的通用机系统总线之间的互连，应用目标是计算机集群系统的互连网络， 并兼顾有关器件及互连系统的研究；后两年将在实现商速传输的基础上，研究波 长寻址光互连网络技术，目标是解决计算机集群系统互连网络的交换延迟问题【1 8 l 。 国内在面向高性能计算机的光互连网络技术和光学背板技术研究方面同国外 相比存在一定差距。中科院计算所在“网格化动态自组织体系结构d s a g 及光互 连高性能计算机的实现”项目( h p c o g ) 中，对光互连技术应用在高性能计算机 中进行了尝试。天津大学精密仪器系对光互连技术研究较早，曾实现了6 4 个处理 器之间的光互连。华中科技大学的光学实验室、江南计算所、联想集团在光互连 领域也开展了研究。国防科技大学计算机学院已成功的将光互连技术应用于高性 能计算机的研制中。 国内面向高性能计算机的光互连技术研究方兴未艾，高速光背板更是未见报 道。因而研制并行度高、端口密度大、可扩展性好、功耗低的高速光背板，对推 动光互连技术的发展，刨新大规模并行处理技术方案，改善高性能计算机互连网 络结构、大幅度提高高性能计算机效能提供了强有力的技术支持。 1 4w d m 光互连网络简介 1 4 1w d m 技术及其优势 自2 0 世纪9 0 年代以来，数据业务( 电子邮件、电视会议、点播电视等) 爆 炸式地增长，因特网的数据流量迅猛增长，人们对网络带宽和容量的需求持续稳 定地增长。波分复用技术正是适应这种需求而迅速发展起来的。 第7 页 国防科学技术大学研究生院学位论文 光波分复用技术是光纤通信中的一种传输技术。它利用了一根光纤可以同时 传输多个不同波长的光载波的特点，把光纤可能应用的波长范围划分成若干个波 段，每个波段用作一个独立的通道传输一种波长的光信号。光波分复用的实质是 在光纤上进行光频分复用，只是因为光波通常采用波长而不用频率来描述、监测 与控制。波分复用技术的基本原理如图1 3 所示，在传输系统豹发送端采用复用器 将不同波长的光信号组合起来，并把信号耦合到光缆线路的一根光纤中进行传输， 在接收端采用解复用器分离出不同波长的光信号，然后分别处理。 图1 3w d m 系统原理示意图 根据系统设计的不同，每个波长之间的间隔宽度也有不同。按照通道间隔的 不同，w d m 可以细分为稀疏波分复用( c w d m ) 和密集波分复用( d w d m ) 。 c w d m 的信道间隔为2 0 r i m ，而d w d m 的信道间隔从0 , 2 r i m 到| 2 r i m ，所以相对 于d w d m 。c w d m 称为稀疏波分复用技术。 w d m 技术具有的主要特点【1 9 1 ： 1 w d m 技术可以充分利用光纤的巨大带宽资源，使一根光纤的传输容量比 单波长传输增加几倍至几十倍，极大地缓解传输的带宽问题。 2 w d m 系统多用于大容量长距离传输，以便多信道复用光放大器，简化系 统结构和设计，减少投资和维护费用。 3 w d m 技术使n 个波长复用起来在单模光纤中传输，则在大容量长途传输 时可以节约大量光纤。另外，对于早期安装的芯数不多的光缆，利用w d m 技术可以不必对原有系统做较大的改动，进行升级扩容比较方便。 4 由于同一光纤中传输的信号波长彼此独立，因而可以传输特性完全不同的 信号，完成各种电信业务的综合和分离。 5 w d m 技术对数据格式是透明