（计算机软件与理论专业论文）hpc中光互连网络体系结构的研究.pdf

摘要 摘要 随着对计算机速度要求的不断提高，大规模并行计算机系统中的计算节点数 不断增加，传统的电互连网络产生了系列的问题，如带宽低，延迟高，能耗高 等。本文首先分析了电互连网络的不足以及光互连网络所具有的优势，然后在研 究并消化目前已经提出的一些光互连网络体系结构的基础上，将光环和t o m s 结 合，提出了可扩展性非常好的基于光环和t o m s 的体系结构( i 玎0 i n ) ，以及分层 的光环体系结构( l r o 烈) ，并与其它光互连网络进行了对比和模拟仿真。模拟结 果显示r t o i n 网络具有良好的性能。最后对提出的r t o i n 网络给出物理实现方 法及其所需的组件。 基于光环和t o r u s 的网络结构r t o i n 结合了光环和t o m s 的各自优点。因为 利用了光的w d m ( 波分复用) 特性，在每个光环中，任意两个节点之间只有一跳， 这从某种程度上降低了网络的延迟。t o r u s 则使r t o i n 网络具有较好的物理属性， 如恒定的节点度，网络直径小，易于扩展等。在r t o i n 网络结构中采用了w d m 和t d m ( 时分复用) ，并详细描述了波长的分配方案，从而保证了该网络结构是 一个严格无阻塞的网络。通过与其他比较流行的网络结构的比较，表明该结构具 有良好的物理属性。然后，对组成该网络的计算节点，交换节点等组件的结构进 行了描述。最后，通过试验模拟证明r t o i n 网络结构具有很好的网络延迟。 同r t o i n 网络一样，分层网络l r o i n 也是基于光环的。使用分层的结构， 一方面可以在不同的光环内和不同的层上重复利用波长；另一方面，该结构有利 于系统规模的扩展。与其他一些网络结构的比较表明，在某些属性上具有良好的 特性，如，节点度，网络直径，平均消息距离等。 关键词：高性能计算光互连体系结构可扩展非阻塞延迟 a b s t r a c t a bs t r a c t w i t ht h ei n c r e a s i n gd e m a n df o rt h es p e e do fc o m p u t i n g ，t h en u m b e ro fc o m p u t i n g n o d e si nh p cc o n t i n u a l l yi n c r e a s e sa c c o r d i n g l y , t r a d i t i o n a le l e c t r i c a li n t e r c o n n e c t i o n n e t w o r kt h u sp r o d u c e sas e r i e so fp r o b l e m s ，e g 1 0 wb a n d w i d t h ，h i g hd e l a ya n dh i g h p o w e rc o n s u m p t i o ne t c f i r s to fa l l ，t h ep r o b l e m so fe l e c t r i c a li n t e r c o n n e c t i o na n d a d v a n t a g e so fo p t i c a li n t e r c o n n e c t i o na r ea n a l y z e d o nt h eb a s i so fad e e ps t u d ya n d c o m p r e h e n s i v eu n d e r s t a n d i n go fs o m eo ft h ep r o p o s e do p t i c a li n t e r c o n n e c t i o nn e t w o r k a r c h i t e c t u r e ，t w on e wo p t i c a li n t e r c o n n e c t i o nn e t w o r kt o p o l o g i e sa r ep r o p o s e d o n eo f w h i c h ( r t o i n ) i sac o m b i n a t i o no fo p t i c a lr i n ga n dt o m s ，a n dt h eo t h e r ( l r o i n ) i s b a s e do nl a y e r e dr i n g s b o t hh a v ev e r yg o o ds c a l a b i l i t y a r c h i t e c t u r er t o i ni sb a s e do no p t i c a lr i n ga n dt o m s ，w h i c hc o m b i n e st h e a t t r a c t i v ef e a t u r e so fo p t i c a lr i n ga n dt o m s s i n c ew d mi su s e d ，i ne a c ho fa no p t i c a l r i n g ，t h eh o pb e t w e e na n yo f2n o d e si so n l y1 ，t h ed e l a yi sd e c r e a s e di ns o m ed e g r e e ； t o m sm a k e sr t o i na r c h i t e c t u r eh a sg o o dp h y s i c a lp r o p e r t i e ss u c ha sc o n s tn o d e d e g r e e ，s m a l ln e t w o r kd i a m e t e ra n de a s yt os c a l ee t c w d ma n dt d ma r eu s e di n r t o i n ，t h ew a v e l e n g t ha l l o c a t e i o ns c h e m ei sa l s od e s c r i b e d a l lt h e s eg u a r a n t e et h a t r t o i ni sas t r i c t l yn o n b l o c kn e t w o r k c o m p a r a t i o n sa r em a d eb e t w e e nr t o i na n d s o m eo t h e ra r c h i t e c t u r e s t h er e s u l t ss h o wt h a tr t o i nh a sb e u e rp r o p e r t i e s t h e ns o m e e x p e r i m e n t sa r em a d et ov e i l f yt h eg o o dp r o p e r t yo fn e t w o r kd e l a y a tl a s t ，t h e s t r u c t u r e so ft h ec o m p o n e n t sc o m p o s i n gt h en e t w o r ki e p r o c e s s i n ge l e m e n t sa n d s w i t c h i n ge l e m e n t sa r ed e s c r i b e d a sr t o i na r c h i t e c t u r e ，t h el a y e r e dr i n go p t i c a li n t e r e o n n e c t i o nn e t w o r k ( l r o i n ) a r c h i t e c t u r ea l s ob a s e so no p t i c a lr i n g s b yu s i n gl a y e r e dr i n ga r c h i t e c t u r e ，o no n eh a n d ， w d mc a l lb eu s e di nd i f f e r e n tr i n g sa n dd i f f e r e n tl a y e r s ；o nt h eo t h e rh a n d ，t h i s a r c h i t e c t u r em a k e sf o rt h et h es c a l a b i l i t yo ft h es y s t e m t h ec o m p a r a s i o nw i t hs o m e o t h e rn e t w o r k ss h o w st h a t ，s o m eo ft h ep r o p e r t i e ss u c ha sn o d ed e g r e e ，n e t w o r k d i a m e t e ra n da v e r g a g em e s s a g ed i s t a n c ee t c a r eb e t t e r k e y w o r d ：h p co p t i c a li n t e r c o n n e c t i o na r c h i t e c t u r e s c a l a b l en o n b l o c kd e l a y 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谓 意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期砌 关于论文使用授权的说明 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 篡兰翌骧骺硼椴权盟当本人签名：土生墓日期! 墅：f j 导师签名： 乏纽日期丝丑兰：簟 、 第一章绪论 第一章绪论 1 1研究的价值与意义 科技是第一生产力，计算机是最活跃的第一生产力。国民经济和国防建设都有 一些“巨大挑战”( g r a n dc h a l l e n g e ) i h l 题需要极高速度的计算机才能解决，例如能 源、材料、环境、工业制造、基础研究等领域。超高性能的大规模并行机是一个 国家综合国力的代表】。 最近几十年，微处理器时钟速度和性能不断增长，但h p c 系统的性能关键取决 于该系统从处理器传输数据的能力而不是微处理器的性能，所以互连网络通常决 定系统的性能。 不幸的是，互连网络一直都追不上微处理器速度快速前进的步伐。在过去，微 处理器速度不足以接近互连网络的通信界限，因此，高性能计算系统的性能主要 取决于处理器的速度而不是网络。随着微处理器性能的改进，对其带宽和时延要求 提高的速度远远高于网络能够提供这些服务的能力，性能瓶颈逐渐转移到连接处 理器的互连网络上来。 电互连由于其自身存在的诸多限制，例如带宽低，延迟高，能量消耗高等，已 经逐步成为高性能并行计算机性能提高的瓶颈。而光具有天然的优势，例如带宽 高，延迟低，能量消耗低等。因此，有必要对光互连网络的特性进行研究。 体系结构对于大规模计算系统的性能的影响也是很重大的。一个好的体系结构 对于系统的维护或者扩展是非常有益的。例如，可扩展的体系结构。微处理机芯 片升级换代很快，如果每一次处理机芯片升级都要重新设计并行机的每一个节点 机，并行机的升级换代就很困难。而对于具有良好可扩展性的体系结构的系统， 可以保证并行机与微机或工作站完全同步升级，几乎没有延迟。所以，提出高性， 能计算系统的一个好的体系结构是非常有必要的。 综上所述，研究光互连网络的特性从而取代电网络，有利于提高系统的通讯带 宽，降低系统延迟，以及减少能量的消耗。对体系结构特别是对其可扩展性的研 究有利于提高系统的维护成本和升级的速度，对提高我国高性能计算机的性能水 平意义重大，有利于提高我国国家的综合科技实力。因此，开展这方面的研究不 仅具有重大的理论意义，而且具有重要的战略意义。 1 2h p c 中的电互连 电互连中的一些技术和体系结构方面的限制有如下几种： 1 2 1 技术限制 电信号的一些技术限制包括：( a ) 延迟，( b ) 带宽( c ) 能量损耗 1 2 1 1延迟 随着系统规模端1 ：3 数的增多，网络直径n ”持续增长。结果，包在网络中所 2 一 h p c 中光互连网络体系结构的研究 经过的跳数( h ) 变大，造成了系统响应的高延迟，这可能有损系统的整体性能。 1 2 1 2 带宽 不断增加的芯片计算能力应与芯片通信带宽的增加成比例。然而，不同的系统 组件，带宽提高的程度是不同的，如图1 1 ( a ) 【9 1 1 所示。电子信号的互连造成的带宽 问题，将最终成为h p c 系统性能进一步提高的瓶颈。 中c 刚b a n d w i d t h l 4 - o ，- c h i pbandwidth-memoryb a n d w i d t h v r e n c r h ，* i _ 帕咖洲伽气徽- o r i pr z a d u i d l 么1 一痒簟鬟 y e a r 图1 1 ( a ) c p u ，外围芯片，内存和i 0 带宽增长 趋势图i 叭1 1 2 1 3 能量损耗 i n t e r c o n n e c tl e n 口t hl m l 图1 1 ( b ) 电连接与光连接在不同速率，不 同长度条件下的能量消耗对比图【9 l j 根据国际固态集成电路会议( i n t e r n a t i o n a ls o l i ds t a t ec i r c u i t s c o n f e r e n c e ：i s s c c ) 的有关数据，自2 0 世纪8 0 年代以来的2 5 年内，芯片功耗 在前l o 年( 1 9 8 0 年 一1 9 9 0 年) 以每3 年增加4 倍的速度上升，在后1 0 年( 1 9 9 5 年- 一2 0 0 5 年) 以每三年增加1 4 倍的速度上升。尽管节能降耗技术对微处理器的 功耗和散热控制作用比微处理器发展的前1 0 年有所增加，但仍然无法遏制功耗的 上升。 高性能系统中的电子互连为满足带宽和时延的要求所消耗电力也越来越高。 每一代技术，耗费在传输，缓冲和电子信号交换的电力随着数据传输率以二次方 ( 在某些情况下，甚至是三次方) 增长矧。此外，随着系统的空间变得更大，需要 更多的能量来克服在远距离输电线路( 电缆和背板) 上的损失。随着高性能系统的 进步，花在通讯上的供电量的比重不断增长，整个系统耗电也一样。 芯片产生的巨大热量若不及时排出，会使芯片不能正常工作，甚至造成芯片的 损坏。在许多数据中心，服务器和高性能装置的功耗和散热问题，成为重要的业 务因素口。 第一章绪论 1 2 2 体系结构限制 随着系统规模增大，未来h p c 系统中会有更多的通讯延迟，因为大多数时间 花在了互连网络上。由于实际延迟大致上与消耗的带宽相反，没有无限或近乎无 限的带宽，通讯延迟就基本上不能容忍。 h p c 系统的每个节点都有一个可用数据端口的极限数，规模扩展时，通常加 入更多的节点以适应额外的点对点连接，结果急剧增加了远程通讯延迟【3 6 】【3 7 】【3 舯。 由于技术和体系结构限制的综合效应，基于电子的点对点串行连接在2 0 g b p s 以上时是非常昂贵的，几乎是不可行的。然而，未来的h p c 系统，预计总共需要 4 4 0t b p s 数量级的计算和通讯带宽【4 2 】【4 3 】【4 4 1 。取得这个目标带宽将会是电互连的一 个主要挑战。 在平面上的互连网络要满足上述要求证明是非常困难的，特别是扩展到大量的 p e ，而同时仍然保持小直径和成本低等优点时。电互连的种种限制，使我们把目 光投向了具有广阔发展前景的光互连技术。 1 3h p c 中的光互连 光互连为h p c 系统提供了几个显著的优势。例如更高的空间和时间带宽，独立 于数据率的低串扰，更高互连密度，高频率的更好信号集成，更高数据率下的更 低信号衰减和更低能量消耗4 2 m 3 瑚m 5 儿帕m 7 瑚1 ：例如，从图1 1 ( b ) 中可以看到，随着 距离和比特率的增加，光互连提供比电互连更高的性能。 最近几年，光和光电设备( 垂直腔表面发射激光其和光探测器阵列畸嵋啼2 瑚1 ，阵 列波导光栅5 5 1 ，微光组件矧等) 以及封装制作技术( 0 e v l s i 异种集成瞄钉，智能 点技术嘲1 ，光p c b 和光背板) 取得了重大进步。而且，虽然这些高速光互连器件的 成本减少了超过一个量级，但其性能却大为改善。这使得光互连成为为高性能系 统建设高带宽，低延迟，低能耗，可扩展的互连网络的一个可行且代价有效的方 案。 1 3 1 光互连网络拓扑结构 拓扑结构对网络性能有直接影响，很大程度上决定了网络传输的数据类型、通 信速率以及应用范围。 一 h p c 中光互连网络体系结构的研究 匝叵 二维 环 树型 星型 1 2 - d m e s h 三维 全连接l | t o r u s 3 d 立方体 图1 2 多处理器结构 图1 3 静态互连网络类型 有两种类型的互连网络，静态的和动态的。 1 ) 静态互连网络 在静态互连网络中，所有处理器之间的连接是固定的【7 7 1 。当网络比较规整并 且通讯模式可预测的情况下，静态互连网络是更好的选择【7 7 1 。 节点互连的方式称为拓扑。静态互连拓扑结构可以根据网络的维度进行分类。 图1 3 显示了静态互连拓扑的分类。 2 ) 动态互连网络 因为处理器之间的连接是通过开关而不是直接的线缆，所以它们之间的连接是 可以改变的动态互连，当然这种互连的价格比较昂贵。 下面给出一些多处理器网络体系结构的示例： i l ji ji l 卜 rr1rr1 卜叫l 一 h j l 一 - w 阳“岫删i l 瞳盹脯6 d 【霉x 母( b ) 8 s m m d d m 图1 42 个不同的m e s h 网络的示例 图1 6m u l t i m e s hn e t w o r kw i t h3 x 3 m e s h e s z i 气 广y x 吣岳审 iv u ，岳串 u ill 吣岳串串 i 吣f 、申 r j l 、 l丫 u 1 1 一i 一 l 图1 54 x 4t o r u s 网络 图1 73 - dm e s h p r o c e s s o r i m a - b l o c k l i a k 第一章绪论 1 3 2 主要贡献 5 一 本文探讨应用光学互连设计高带宽，低延迟，可扩展性强，严格无阻塞的互连 架构的高性能计算系统。为此，在第二章提出r t o i n 光互连网络体系结构，在第三 章提出l r o i n 光互连网络体系结构。提出的这些光互连设计是既适用于跨处理器又 适用于跨计算机通讯连网的。 i 淝i n 网络体系结构的主要特点包括： 一 ( 1 ) 高带宽 r t o i n 利用光纤互连的高容量：通过结合波分复用( w d m ) ，空分复用( s d m ， 双环结构) 和时分复用( t d m ，利用时隙分配波长) 把光纤的巨大可用带宽分割 到多个非重叠，易管理，高速通道中。 ： w d m 技术把来自不同p e 的w 个波长复用到一根光纤中，其示意图如图1 8 ( a ) 所示。 s d m 技术允许在物理光纤链路空间上重复。多波分复用( m w d m ) 技术 ( 如图1 8 ( b ) 所示) 结合了w d m 和s d m ，使每组w 个波- k ( 4 , ， ，气一，) 复用到 m 个来自不同p e 的不同链路。前提是，只要没有两个一样的波长由不同的p e 插 入到同一个链路。举个例子，w d m 技术对w = 1 6 以1 0g b p s 位率，提供了有效 带宽为1 6 0g b p s ( = w x1 0g b p s ) ，具有1 6 个w d m 链路的多波分复用技术( m = 1 6 ) ， 提供了有效带宽2 5t b p s ( = m x w x l 0g b p s ) 。在r t o i n 中，应用了w d m 和 m w d m 技术以取得高带宽。 ；王!：。：_：f一k v c 。a 撕、e ；l 硝e n 。，n g l h i w 一i t h o 1g6。w一a，ve，leng，、th。sai i1 3 1 50 ut 1 d ，si 皋 、i i ，n o l uu ，。l si 三焉燮一”mul翟iip釜le舞-v*avclength 。：! ：! ：i ：= ：。2 。；i 。 1 l i 、i s i t ，n _ ：煎广_ i 产鼎墼 p i c op e z i ：二一二二= 一二：二：二= = 二j ( 2 ) 低延迟 r t o i n 具有恒定的节点度和低的网络直径。低的网络直径，从物理上为r t o i n 的低延迟提供了物质基础。而使用的波分复用技术，可以理解为把串行的消息传 递变成了并行的消息传递。效率的提高，变相的降低了消息传递的延迟。时分复 用可以保证在一个时间周期内，所有处理器节点在为它们分配的时隙内都有机会 6 一 h p c 中光互连网络体系结构的研究 向任何其他的处理器节点发送消息，从而确保了消息通信的及时性，降低了消息 传递的延迟。空分复用则是使用双环结构把本地通讯和远程通信分离开来，彼此 之间可以不受影响。 ( 3 ) 合理的造价 提出的光互连网络的造价通过下列几种方法的组合得以维持到一个合理的水 平： ( a ) 波长重用贯穿整个网络的设计。互连网络的每一级的波长重用放大了w d m 通 道的效用并减少了需要的w d m 通道的数量，从而降低构建光互连网络所需的资 金消耗。 ( b ) 光无源元件用于r t o i n 中的传输媒介的设计，无任何有源开关，从而降低功 耗，减少成本并加速通讯速度。 ( 4 ) 可扩展性强 r t 0 1 n 提供了几种灵活的扩展系统规模的方式，包括增加波长数、增加基本 环中的计算节点数、增加基本环个数( t o m s 尺寸) 等。由于r t o i n 中使用的波 长数与基本环中的计算节点数，基本环个数关系密切，所以，波长数跟基本环中 计算节点的个数，基本环的个数或者t o m s 的维数需要保持同步。r t o i n 中各种 设计元素的组合提供了最大限度的可扩展的灵活性。 ( 5 ) 严格无阻塞 在r t o i n 网络中，使用了波分复用( w d m ) 技术和时分复用( t d m ) 技术。 w d m 保证了任意两个不是同一波长的消息路由不会有任何冲突，而t d m 则保证了 在任意时刻，传送到任意计算节点的数据包都只能有一个源。这样就保证了网络 中任意两个计算节点间进行通讯的时候都不会发生阻塞。从而提供一个严格无阻 塞的网络体系结构。 ( 6 ) 容错 r t o i n 中的容错有两个方面的含义。一方面，由于提供了双环结构，本地通 讯和远程通讯线路从物理上分离，从体系结构上提供了一定的信息容错保证：另 一方面，在t o m s 结构( t o r u s 结构用于构建r t o i n 网络的高层结构) 中任意两个 交换节点间可以有多条路径可达，从而对容错提供了一定的支持。 1 3 3 目前国内外研究现状 目前，已经有好多为h p c 系统设计的基于光互连的体系结构“2 铆泓1 嘲1 嘲3 。 然而，他们中的一些缺乏可扩展性和模块化设计，因此限制了它们的发展和在并 行计算领域的应用。例如：目前并行计算机中最流行的网络是二元n 立方体，即 超立方体网络。其特征是它的直径小。1 个二元i 1 立方体有2 ”节点，直径是n 。这 第一章绪论 个特点，是适合信息在网络中传输的。但其缺点是缺乏可扩展性和可扩展性。由 于维度每增加一，就需要为超立方体中的每个节点再增加一条连接。除了节点配 置的改变外，要保持一个超立方体网络， 络也有类似的限制。虽然它的连接简单， 是直径大。为了保持一个相对小的直径， m e s h 网格的可扩展性。 需要的节点数就需要增加一倍。m e s h 网 连接数少，所以易于实施，但它的缺点 处理单元数目不宜过大，这最终限制了 在羽中，提出一个连接多处理器应用的单个处理单元的基于自由空间的设计。 光元件的未对准是任何一个基于自由空间的并行光互连网络的重大问题。 最近，针对芯片对芯片通信提出了具有共享空间和时间的两级带宽的多环光互 连的动态重构钥。以前的这些工作重点放在了网络中有源电光交换元素上，从而 增加了成本以及网络延迟，或在时间空间重新分配带宽，或二者兼而有之。 即中提出了一种分级光环的互连网络。它由一个恒量无阻塞，容错的单跳可升 级互连拓扑组成，并通过波分多址技术充分地利用了光纤的t e r ah z 带宽。这种光 互连网络融合了分级环的互连节点接口简单，节点度恒定、容错等各种吸引人的 特征以及光通信的各种优点。提出了分级光环互连拓扑，分析了其结构特征并描 述了光设计的方法，导出了一个简短可行的分级光环互连研究。通过波长再利用， 在本地通信和远程通信中实现了高效路由选择。而且，分级光环互连还有容错性 和无阻塞寻址等其它的特征，给出网络的一个光设计方法，说明了该结构是高度 的适合光应用。在现存的光硬件上实施该网络可以实现简单的低成本的光应用。 但是因为不同级别的光环分配了不同的波长，波分复用发挥的并不充分。- 因为目 前可用的波长数有限，从而限制了系统可以扩展的规模，即处理单元的数量。 文献口明中提出了一种利用超立方体和m e s h 结合的互连网络结构。它综合了超 立方体( 直径小，连接度高，对称，控制和路由简单，容错等) 和m e s h 环网( 恒定 节点度和可扩展性) 的优点，弥补了超立方体缺乏规模的可扩展性和m e s h 环网直 径大的不足。分析和模拟结果表明，这种互连网络可扩展性非常强。这意味着，对 已存在的节点的配置对于网络规模的增长不敏感，但通信却更有效。同时表明， 这种互连网络是高度容错的。 在文【8 0 】中，提出一种跨多通道连接的超立方体( s m l h ) 。这种结构是可以逐 步扩展的光互连网络。该s m l h 利用超立方体拓扑结构作为基本建造块并使用二 维多通道链接连接这些建造快。这样，s m l h 结合了超立方体( 小直径，高连通 性，对称性，简单路由，和容错) 和跨越式总线超立方体( s b h ) ( 常数节点度， 可扩展性和易于物理实现) 的积极特征，而同时，规避其缺点。该s m l h 拓扑支持 多种通信模式，如基于总线的，基于网格的，基于树的，以及基于超立方体的。 s m l h 网络一个非常吸引人的特点，是它能够支持大量的处理器，并有可能保持一 个常数度和恒定的直径。其他积极的特性包括对称的，渐进的可扩展性和容错性。 8 一 h p c 中光互连网络体系结构的研究 这表明该s m l h 网络提供了比许多同类网络更好的平均消息距离，平均流量密度， 排队时延，其中包括二元超立方体，s b h 等等。此外，s m l h 有与其它高性能超 立方体网络可比的性能，包括广义超立方体和h y p e r m e s h 。 l j 中提出了一类对于并行计算系统的高度可扩展的光c r o s s b a r 连接的互连网 络( s o c n s ) 。提出的这类网络结合了可调谐垂直腔表面发射激光器( v c s e l ) ，波 分复用( w d m ) 和一个可扩展，层次化的网络体系结构，以实现基于光交叉开关 的大型网络。提出一个在本地簇内，互连处理单元的基于自由空间和光波导的交 叉开关互连，这种互连利用了可调v c s e l 阵列。提出一个相似的使用光纤的 w d m 光交叉开关实现簇间c r o s s b a r 的连接。两种技术的组合产生大规模光扇出 开关，可用于实现相对低代价，大规模，高带宽，低延迟，全连接交叉开关簇， 支持多达成百上千个处理器。同时，提出交叉开关网络体系结构的一个扩展，它 实现了具有更好可扩展性的混合网络体系结构。在多处理器配置中，这可以用于 连接成千上万的处理器而保持低的延迟和高的带宽。这样一个体系结构非常适合 构建相对便宜，高可扩展性，高带宽，容错的大规模并行计算机系统。 1 3 4 光互连技术展望 1 ) 对光互连的研究，以美国、日本、欧洲为中心正日趋高涨。今后，光互连仍然 是研究的热点。 2 ) 经过近2 0 年的研究，一些用于光互连的分立器件的特性已经接近于设计的指 标，但是，对于分立器件的集成，至少在今后很长时间内，还是以采用混合集 成的方法为主。 3 ) 基于与硅基的集成电路技术的兼容和成本等考虑，仍然会有很多新颖的技术和 工艺被提出。采用波导光互连的集成光路，减少波导的传输损耗和降低散射尤 为重要。 4 ) 光互连最先可能的应用，是并行多处理器计算机之间的高速数据传愉、高速多 芯片组件( m u l t i c h i pm o d u l e ，m c m ) ，a t m 开关和一些传感器的互连。 5 ) 虽然金属互连在今后的技术发展中会面临很多的问题，但是通过采用如铜布 线、低k 的介质材料和电路设计的布局优化，金属互连仍然在电路系统的互连 中扮演重要的角色。 6 ) 虽然光互连在计算机中己经有了成功的应用实例，但光互连走向商业化还需要 研究低成本的光学材料与光电子器件，光电子器件与微电子芯片的综合集成技 术，封装制作技术，以及光互连的电子接口技术等。 7 ) 光互连技术不但在计算机中有应用，在高速网络，大容量交换，军事装备以及 智能民用电器等领域均有应用价值。光互连是一个新兴的、有着广泛应用前景 第一章绪论 9 一 的技术领域。 1 4 论文组织结构 第二章提出r t o i n 体系结构，讨论该体系结构的拓扑，波长分配，消息路由， 阻塞性，路经多样性以及互连属性，最后与其它网络的物理属性，如：节点度， 、 网络直径，对分带宽，平均消息延迟等方面做出比较；第三章提出l r o i n 体系结 构，讨论该体系结构的拓扑，波长分配，消息路由，路经多样性以及互连属性， 最后与其它网络的物理属性做出比较；第四章讨论r t o i n 网络的物理实现所需要 的组件，提出r t o i n 网络延迟试验的模拟的方法，并通过实验与其他网络的网络 延迟特性进行对比，证明r t o i n 网络网络延迟性能的优越性；最后一章对全文做 出总结。 第二章r t o i n 体系结构 、 第二章r t o in 体系结构 r t o i n 是一种基于光环和t o r u s 的光互连网络体系结构。它结合了光环和 t o r u s 的优点，例如节点接口简单，节点度恒定，更好的支持本地通讯和远程通讯， 对分宽度大，可扩展性良好等。这种结构可在大规模并行计算机系统用于连接数 以千计的处理单元，同时保持低延迟和高带宽。研究结果表明，与其他流行的网 络比较，r t o i n 具有良好的节点度，网络直径，链接数，对分宽度和平均信息距离。 此外，结果也表明其优良的可扩展性，所以在今后几年它可能会被广泛使用在并 行计算领域。 2 1 体系结构概述 本章提出的r t o i n 光互连网络，除了具有光互连网络普遍的优势以外，其模块 化和可扩展性都是非常好的。采用波分复用( w d m ) ，互连网络配置的灵活性得 到提高。结合光环与t o r u s 后，可扩展性的问题得到了很好的解决。同时，利用 光作为传输介质，节点间通信瓶颈得以解决，因此，整体系统性能可以得到极大 改善。 本章的其余部分组织结构如下：在第2 2 节，描述了基于r i n g 的t o r u s 光互 连网络拓扑结构：在第2 3 节，讨论r t o i n 网络的波长分配；2 4 节描述r t o i n 网 络的消息路由方案；2 5 节讨论网络的路径多样性：2 6 节讨论网络的互连特性： 2 7 节中与其他受欢迎的网络进行物理特性比较：在最后一节2 8 ，对本章做出结 论。 2 2 拓扑 r t o i n 的基本建造块为环，基本体系结构为t o r u s r t o i n 的总体结构如图2 1 所示。r t o i n 网络由p e 和s e 组成。p e 是处理单元( p r o c e s s i n ge l e m e n t ) 的缩 写，而s e 是交换单元( s w i t c h i n ge l e m e n t ) 的缩写。p e 用来处理消息，然后把这 些消息发送到特定的目标p e 或者s e ，而s e 的主要功能就仅仅是发送消息( 到目 标p e 或者转发到特定s e ) ，并不进行消息的任何处理。 假定在每个环中有1 1 个p e ，t o r u s 的大小为fx m ，那么r t o i n 网络中总共的 p e 数量为n xz m ，总共的s e 的数量则为fx m 。 h p c 中光互连网络体系结构的研究 再趟 铺 、 。、 bj 当 j 移 蔓杰 笋桫 鹱奄 b 爹 妊墨9 - 鎏 拶、o ：一 庭a鲶南 争 囊 弋爹妙 压 a 孙 萝 姜 桫 弋 ；尹 ：； 了 图2 1r t o i n 网络的总体结构 在图2 1 中，t o r u s 上每一个用点填充的圆表示一个基本环。对每一个基本环， 没有任何东西填充的圆表示一个p e ，用点填充的圆表示一个s e 。每个s e 上的水 平方向的线表示t o r u s 上水平方向的链路，垂直方向的链路表示t o r u s 上垂直方向 的链路。 每一个环由两个单向环组成，即内环用于当地通信，外环用于远距离通信。这 个结构提供了r t o i n 网络的某种程度的路径多样性。如有必要，p e 可以与位于远 程环内的p e 通过s e 进行通讯。可以通过t o r u s 拓扑连接所有s e 构建基于环的 t o r u s 网。 可用波长数已经多达上百条，所以当n = 1 6 ，f = 1 6 ，m = 1 6 ( 即每个环 上有1 6 个p e ，t o r u s 的大小为1 6 1 6 ) ，那么互连网络中总的p e 数量达到1 1 f x m = 1 6 1 6 1 6 = 4 0 9 6 ：若n = 3 2 ，l = 3 2 ，i n ：3 2 ，那么互连网络中总的p e 数量达到n f m = 3 2 3 2 3 2 = 3 2 7 6 8 。再举一个示例，若n = 6 4 ，f = 6 4 ， m = 6 4 ，那么互连网络中总的p e 数量达到1 1xf m = 6 4 x 6 4 x 6 4 = 2 6 2 1 4 4 。 随着时间的推移，光学元件的发展，可以识别的波长数会增加，这为扩展r t o i n 网络提供了很大的优势。所以，这个网络在未来数年内为提升电脑性能方面，有 信心能够满足体系结构方面的要求。 2 2 1 计算节点 计算节点的拓扑结构相对比较简单，每个计算节点有两个输入，两个输出。其 拓扑结构如图2 2 所示。 第二章r t o i n 体系结构 图2 2 计算节点的拓扑结构图2 3 交换节点的拓扑结构 2 2 2 交换节点 1 交换节点除了具有与计算节点相连的两个输入两个输出以外，还有两个输入两 个输出。一个输入输出用于水平方向t o m s 上的消息路由，另一个用于垂直方向 t o m s 上的消息理由。其拓扑结构如图2 3 所示。 2 3 波长分配 如果不考虑实际可行性，那么最简单的波长分配方案就是为每个处理单元分配 一个波长。这在计算单元数目比较少( 例如在3 2 个以下) 的时候还是可行的。但 是，一方面，目前的并行计算机系统需要大量的处理单元，当计算单元数迅速增 长( 例如达到几千个) 的时候，这种方案显然是不可行的，况且对计算单元的数 量要求还在不断增长；另一方面，目前可用的波长数目远远低于上述要求。幸运， 的是，波分复用( w d m ) 技术可降低需要的波长数，因为分配给一个p e s e 的波 长可以再次分配给另一个p e s e 。 为了使得分配的波长数尽可能地少，有必要考 虑波长复用。 图2 4r t o i n 网络的波长分配 2 3 1 本地通讯波长分配 对每一个环，其上的每一个p e 都分配了一个独特的波长，所以，分配给一个 1 4 h p c 中光互连网络体系结构的研究 环的波长数等于这个环上的p e 的数量。由于分配给一个环的波长可以再次分配给 另外一个环，所以，所有的环都可以使用同一个波长分配方案。因为每个环上的 p e 数量可能不一样，分配给每个环的波长数也就不一样。为了统一，分配给每个 环的波长数设定为所有环中p e 数量的最大值。可以用n 表示如下： 、t m j 瞳 州2 = m a x ir ( i ) i ，1 i fx m )( 2 - 1 ) 其中ir ( i ) j 表示第i 个r i n g 中p e 的个数 例如，对于有n = 1 5 个p e 的环，波长分配方案如图2 所示。 2 3 2 远程通讯波长分配 对于远程通讯，位于本地环上的p e 与位于远程环上的p e 进行通讯。为了做到 这一点，就需要为每一个环分配一个波长。那是因为，位于环上的所有的p e 都可 以接受到为它们所在的环分配的波长。在r t o i n 中，因为每个w d m 物理链路负载 有几种不同的波长通道，这使得多组数据可以同步被传输。对于z m 的t o r u s ， 每一行需要m 个不同的波长，每一列需要个不同的波长，所以在水平方向，有带 有m 个波长通道的2 z 个物理链路，在垂直方向，有带有f 个波长通道的2 m 个物理链路。由于w d m ，分配给远程通讯的总波长数应该等于f 和m 之间的较大 值，可以用符号n p 表示如下： 、t t o m l 州2 = m a x z 。m )( 2 2 ) 例如：对于一个lx m = 6 5 的t o r u s ，分配给t o r u s 的波长总数为n p = m a x ( 6 ，5 ) = 6 图2 4 给出了一个波长分配方案的示例。 因此，r t o i n 需要的波长总数将是分配给本地通讯的波长数和分配给远程通信的波 长数之间的较大值，可以用符号n 尹表示如下： n 产= m a x n 7 戤，n p ) ( 2 3 ) 从上面可以看到，通过使用w d m ，需要的波长数大大减少了，从而简化了实现， 因为需要的物理链路会因此急剧下降。这样，w d m 在一定意义上增强了网络的可扩 展性。此外，无论在基本环或在t o r u s 结构，w d m 使得在发送信息时可以使用不同 的波长通道，用这种方式避免拥塞。 2 4 消息路由 路由算法的性能对互连网络的性能有很大的影响，所以要设计一个好的路由算 法。 在r t o i n 中，每一个环由两个子环组成，即内环和外环，第一个用于本地通 第二章r t o i n 体系结构 讯，第二个用于远程通信。 2 4 1 本地通讯 同一个环上的任意两个p e 之间的通讯称为本地通讯。由于环上的每一个p e 被 分配了一个唯一的波长，这些p e 之间可以直接进行通讯。 图2 4 显示了一个示例。假定从1 到1 5 的p e 被分别分配了从丑到元的波 长。如果p e1 要发送消息到p e3 ，那么p e1 首先把波长调制到入。( p e3 分 配到的波长) ，然后通过发射机以一定的顺序( 顺时针或者逆时针) 发送出去。这 样，p e3 就可以接受到来自p e1 的消息了。 2 4 2 远程通讯 本地p e 和任何位于其他环里面的p e 进行通讯就是所谓的远程通信。显然， 由于r t o i n 网络中存在多路径，从而提高了远程通信的路径多样性。 首先，源p e 应该将信息发送到与该p e 位于同一个环内的s e ，然后s e 把波长 转换成为目标p e 所在的环分配的波长，接着把消息发送出去。根据目标p e 所在 的环的位置，消息会在水平方向或者在垂直方向发送，或者既有水平方向也有垂 直方向发送。既有水平方向也有垂直方向发送的情况下，消息先在水平方向发送， 到达适当位置后，然后在垂直方向发送。或者先在垂直方向发送，然后再以水平 方向发送消息。 ； 如果源p e 所在的环和目标p e 所在的环在t o r u s 的同一行或者在同一列，那 么源p e 首先把消息发送到该源p e 所在的环上的s e ，然后该s e 在垂直方向或者水 平方向把消息发送到目标p e 所在的环。 如果源p e 所在的环和目标p e 所在的环既不在t o r u s 的同一行，也不在t o r u s 的同一列，那么就需要为这条消息改变方向。 举例来说，假设环上的某个p e 位于t o r u s 的第四行，第五列，该p e 要与t o r u s 中第三行，第五列的环中的一个p e 进行通讯，信息将会首先被发送到第四行第五 列，然后再发送到第三行第五列。( 或者首先发送到第三行第一列，然后向目标环) 。 消息的路由路径在图2 4 中用粗线表示。用斜