（计算机科学与技术专业论文）多处理器系统光互连网络技术研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 随着高性能计算的发展，多处理器系统对处理器芯片之间、处理器与存储器 之间互连网络的性能要求也日益增加。由于传统的电互连技术存在带宽受限、串 扰严重、功耗过高等问题，人们开始探索新的技术以提高互连带宽，降低通讯延 时。光互连作为一种新的互连方式，具有带宽高、功耗低、延迟小、抗干扰能力强 等许多电互连不可比拟的优点，近年来已经逐渐应用到板间和片间的互连网络系 统中。由于短距离光互连技术发展时间短，许多关键技术的发展依然不成熟，有 许多难点需要克服。研究芯片间光互连网络技术，需要结合光通讯互连特性，设 计专用的网络结构和适合于作短距离通信的光互连技术。 本文针对多处理器互连网络的特点，结合已有的短距离光通信技术，对互连 网络的结构特点和光传输技术做了理论和实验研究。首先分析了现有的几种光总 线互连网络的互连性能特点，总结了其中用到的光互连结构的优势，并研究了其 中存在的不足。在总结多种光总线型网络结构的互连特点和优势的基础上，提出 了一种适用于多处理器系统下的新型网络结构c s a p i d 。在c s a p i d 网络中利用 光波长作为互连节点的地址信息，对网络中传输的光信号做路由交换。这种网络 结构中数据传输延时低，节点问互连带宽高，可以有效改进系统节点间的互连性 能。与同样使用这种机制的r a p i d 网络相比，在c s a p i d 的设计中考虑到多处理 器系统的互连实际，对相邻节点之间的互连性能做了进一步优化。使用o m n e t + + 对网络性能做模拟实验验证，在网络中节点数目较多时，c s a p i d 比r a p i d 网络 的数据延时低。当远程访问发生概率较小时，与之相比对网络信号传输延时的降 低更明显。 本文针对多处理器光互连系统中遇到芯片间互连的物理需要出发，对光信号 在传输过程中遇到的信号传输损耗问题进行了分析研究，提出了板间光互连网络 的转向损耗计算方法。对上述研究在分析的基础上，使用实验数据对结论进行了 验证。 实验评测结果表明，c s a p i d 网络可以有效改进多处理器系统的互连网络性 能，特别对于相邻节点间的互连有较大的改善效果。本文提出的板间光互连技术 的信号损耗计算方法，符合实际情况，可以作为实现板上光互连网络的参考。 主题词：多处理器系统，光互连技术，光互连网络，c s a p i d ，甚短距离光传 输，光互连损耗 第i 页 国防科学技术大学研究生院硕士学位论文 a bs t r a c t t h ee x p a n d i n gg a pb e t w e e nm i c r o p r o c e s s o r sa n di n t e r c o n n e c t i o nn e t w o r k p e r f o r m a n c e h a si n f l u e n c e dt h e d e v e l o p m e n t o ft h e h p c ( h i g hp e r f o r m a n c e c o m p u t i n g ) a st h ee l e c t r i c a li n t e r c o n n e c t si sl i m i t e dd u et ot h ec r o s s t a l ka n dl o s s e s ， e l e c t r i cl i n k sw i l ln o tm e e tt h en e e do fh i g hs p e e di n t e r c o n n e c t i o nt e c h n o l o g y o p t i c s o f f e r si m p o r t a n ta d v a n t a g e s ，i tc a nc o n n e c t et w on o d e sw i t hh i g hb a n d w i d t h ，l o wp o w e r d i s s i p a t i o n ，l i t t l ec r o s s - t a l ka n dl o wl a t e n c y ，a n do p t i c a lt e c h n o l o g yh a sb e e nu s e di n i n t r aa n di n t e rs y s t e mc o n n e c t i o n s a l t h o u g ht h eo p t i c sc a ni m p r o v et h ep e r f o r m a n c eo f t h ei n t e r c o n n e c t i o nn e t w o r kg r e a t l y ，i ti ss t i l ln o te a s yt os o l v et h ep r o b l e ms u c ha st o h a v eaw e l l w o r k e dt o p o l o g yi no p t i cn e t w o r ka n das u i t a b l eo p t i cl i n k si nb o a r d t h i sp a p e r c a r r i e so u tac o m p r e h e n s i v er e s e a r c ho nt h et o p o l o g yo fo p t i cn e t w o r k a n di n v e s t i g a t i n gt h ea d v a n t a g e sa n dt h ed i s a d v a n t a g e so fd i f f e r e n to p t i cb u sn e t w o r k t h ei n t e r c o n n e c t i o nn e t w o r ko ft h em u l t i p r o c e s s o rs y s t e mh a ss o m es p e c i a l t i e s ，a n dt h e t r a d i t i o n a lo p t i cn e t w o r km a yn o tm e e ti t sn e e d i nt h i sp a p e r ，an e wt o p o l o g yc a l l e d c s a p i d ( c e n t r a l i z e d s c a l a b l ea l l p h o t o n i ci n t e r c o n n e c tf o rd i s t r i b u t e ds h a r e d m e m o r y ) i sp u tf o r w a r dt os o l v et h ep r o b l e m t h ec s a p i dp r o v i d e sh i g hc o n n e c t i v i t y b ym a x i m i z i n gt h ec h a n n e la v a i l a b i l i t yf o rm u l t i p r o c e s s o rs y s t e mi n t e r c o n n e c t i o n n e t w o r kb yu s i n gac o m b i n a t i o no fa g g r e s s i v e l yd e s i g n e dw a v e l e n g t h ，t i m ea n d s p a c e - d i v i s i o nm u l t i p l e x i n gt e c h n i q u e s t h i sp a p e re v a l u a t e sc s a p i db a s e do n n e t w o r kc h a r a c t e r i s t i c sa n dm i n i m i z e st h er e m o t em e m o r ya c c e s sl a t e n c yb yr e d u c i n g t h el a t e n c yb e t w e e nn e a r b y h o o dn o d e s ，a n de x p e r i m e n t a l i z e st h ep e r f o r m a n c eo ft h e c s a p i db yu s i n go m n e t + + c o m p a r et h ec s a p i dw i t l lr a p i d ，t h ed a t at r a n s m i t t e d i nt h en e th a sal o w e rl a t e n c yw h e nt h en e ti sl a r g e a st h ed e s i g no ft h eo p t i cl i n k so n b o a r di sa n o t h e ri m p o r t a n tt e c h n o l o g yo ft h eo p t i cn e t w o r k ，t h i sp a p e ra l s oa n a l y s et h e l o s s e si nt h eo n b o a r do p t i cl i n k si nt h en e t w o r k ，a n dr e s e a r c ho nt h em e t h o d st o c a l c u l a t et h eb e n d i n gl o s si no p c b e x p e r i m e n t a lr e s u l t ss h o wt h a to u rc s a p i dn e t w o r kh a sag o o dp e r f o r m a n c eb y r e d u c i n gt h el a t e n c yd u r i n gc h i p - t o - c h i pi n t e r c o n n e c t si nd s ms y s t e mi nt h ec a s et h a t t h er e m o t em e m o r ya c c e s sm o s t l yo c c u r sb e t w e e nn e i b o r h o o dn o d e s t h ea n a l y s i so f t h eo p t i cl i n kl o s si sa l s ob e e np r o v e db ye x p e r i m e n t k e yw o r d s ：m u l t i p r o c e s s o r ，o p t i cn e t w o r k ，o p t i cc o n n e c t i o n ，c s a p i d ，v s r ，o p t i c 1 i n kl o s s 第i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1 处理器速度增长示意图1 图1 2 分布式多处理器系统结构示意图3 图1 3 论文组织结构图7 图2 1 美国t e x a s 大学光背板9 图2 2 芯片间互连技术示意图9 图2 3l a r p b s 网络互连结构图1 1 图2 4 节点通信链路的选择1 2 图2 5r a p i d 网络示意图1 5 图2 6r a p i d 组间通讯示意图1 7 图2 7r a p i d 网络中组间数据的发送1 7 图2 8r a p i d 网络性能1 9 图3 1c s a p i d 网络示意简图( 1 ) 2 2 图3 2c s a p i d 网络示意简图( 2 ) 2 2 图3 3 组内部节点间的连接方式2 4 图3 4 组内路由策略示意图2 4 图3 5 组间通信路由机制2 5 图3 6 组问路由策略2 6 图3 7 由总控制节点构成的组2 9 图3 8 波分复用可以减少光通路的数目31 图4 1c s a p i d 与r a p i d 数据传输延时比较3 8 图4 2c s a p i d 与r a p i d 网络的总延时比较3 8 图4 3 远程访问概率较小时数据总延时比较3 9 图4 4c s a p i d 网络中数据传输延时示意图4 0 图5 1o p c b 示意图4 2 图5 2 光纤弯曲引入光程差4 4 图5 3 高斯基模在z = 3 m m 处的i - r 曲线；4 7 图5 4 高斯t e m l 0 、t e m 2 0 模在z = 3 m m 处的i - r 曲线4 8 图5 5 光纤转向3 6 0 度的损耗5 0 图5 6 光纤转向7 2 0 度的损耗5 1 图5 7 光纤9 0 度转向损耗理论值5 1 第1 v 页 国防科学技术大学研究生院硕士学位论文 表目录 表1 1o r i g i n2 0 0 0l a t e n c i e s 4 表2 1r a p i d 网络中的波长分配列表1 8 表4 1 模拟用到的参数3 6 表4 2 不同规模情况下网络的性能3 7 表4 3 凡廿i d 网络的性能3 7 表4 4 区分本地和远程访问情况下的平均传输延时3 9 表5 1 光纤转向3 6 0 度的弯曲损耗5 0 表5 2 光纤转向7 2 0 度的弯曲损耗5 0 表5 3 光纤在不同半径下弯曲9 0 度损耗理论计算值51 表5 4 不同材料的反射损耗5 2 第1 i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名：垒垃 日期：弦吖年f z 月二夕日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：至硅 作者指导教师签名：蝉 1 日期：伊彤年i 。月77 日 e t 期：勘乒年l - 月廿日 国防科学技术大学研究生院硕士学位论文 第一章绪论 本章首先说明课题的研究背景及意义然后在介绍国内外相关研究的基础上，概括本 文的主要工作，给出全文的组织结构。 1 1 1 课题研究背景 11 互连网络技术发展现状 网络通信和高性能计算机技术是整个信息技术的制高点，己成为衡量一个国家综合实 力的重要标志。在现阶段的技术条件下，芯片性能的增长速度已远远超越了互连网络性能 的增长速度。随着计算机技术的不断发展，处理器芯片的i 0 带宽需求越来越大。现有的 计算机系统逐渐向多处理器方向发展，在高性能计算领域，一个大型的计算系统往往包括 数以千计的处理器芯片，这种情况导致处理器之间互连网络性能受到越来越巨大的挑战。 需要注意的是，在过去的三十年里，处理器的运算速度基本上遵循摩尔定律，平均两年增 长一倍。与之对应的，处理器问的互连网络性能的增长已经逐渐不能满足处理器间通讯对 带宽的要求【1 1 1 2 1 。“ 。纛豢翥；i i ；i 商5 ” 。嚣意意兰；簪” 嘲 ，点鬻势” ! 。= ：面彩。 i ，。 “。2 6 ，f l 一“。饵 1 。 。基墓爹 v 舅 羔：兰：至；z 并一1 ； 图ll 处理器速度增长示意图 在连接多处理器芯片的互连网络结构中，存在电互连和光互连两种技术手段。传统的 芯片间电互连技术存在带宽受限、串扰严重、功耗过高等问题，不能满足大容量数据传输、 新一代通信设备和高性能计算机等方面的系统应用需求。随着多处理器系统对互连网络性 能要求的进一步提高，电互连技术的局限性越来越明显，已经逐渐不适应多处理器系统互 第l 页 国防科学技术大学研究生院硕士学位论文 连网络埘通信带宽、延迟速度的要求。光互连作为一种新的互连方式，具有带宽高、功耗 低、延迟小、抗干扰能力强等许多电互连不可比拟的优点。当前，高性能微处理器的外部 接口多采用并行和源同步时钟双沿传输技术，采用的前端总线单时钟源的工作频率一般只 能达到数百m h z 。目前最高性能之一的i t a n i u m 2 双核微处理器的并行1 2 8 位前端总线的传 输带宽约为1 0 6 7 g b s ，芯片间并行电信号传输技术的发展受到明显的限制。由于i ob u f f e r 技术的发展，现正试图采用g h z 工作频率的串行传输方式( 如2 5 g b p s 的s a t a - - i i ) 或降低 并行链路的位宽、提高传输工作频率的方法( 如单线传输频率达8 0 0 m h z 左右的 f b d d i m m 、h y p e r t r a n s p o r t 等) 来提高芯片间电信号的传输带宽。但是，由于芯片间电信 号传输涉及到高速1 0b u f f e r 、芯片内p a d b a l l 间的连线、p c b 传输介质的高频特性、p c b 设计和生产工艺、信号线的数目大等技术问题，使得芯片间电信号的单线工作频率在数百 m h z 和g h z 水平上艰难发展，提升技术水平的难度越来越大【4 】。考虑目前高性能微处理器 和存储控制部件间单路传输6 2 2 m b p s 的信号，则1 2 8 位并行电互连带宽达到8 5 g b p s ，若 采用光互连，采用单路1 0 g b p s 的光收发模块，1 2 路并行通道即可实现1 2 0 g b p s 的互连通 信。由此可见，光互连技术在提高通讯带宽和降低传输延时有较强的优势。国际上在短距 离光通讯领域制定了一系列的标准，在其中对互连系统中光电转换器件，载波波长，并行 光信号传输的速率，信号的串并转换等做了统一的说明，有力的推动了光互连技术的发展。 1 - 1 ：2 多处理器系统体系结构发展现状 现代多处理器多采用d s m ( d i s t r i b u t e ds h a r e dm e m o 巧a r c h i t e c t u r e ) 体系结构，采用数 以百千计的处理器并行处理数据以提高计算速度。在d s m 多处理器体系结构中，众多的 芯片组成一个通信网络，通过共享物理上独立分布的存储器，构成计算机系统。系统中存 储器的访存速度受到价格、容量等因素的影响，在同期的增长速度远低于处理器运算速度 的提高。磁盘增长的定律为存储器密度平均每年增加4 0 6 0 ，约每3 - - 4 年增加4 倍。 正是由于这种状况，发展了多级c a c h e 结构以缓解访存延时所带来的性能瓶颈。d s m 多处 理器系统中，由于远程访问延时远大于本地高速缓存访问延时，系统的性能受到数据一致 性协议的影响，需要更多的时间用来等待远程数据，而不是用于计算。从m o w r y 5 】的论文 所用测试用例的执行时间分类可以看出，科学计算程序中，平均有近5 0 的执行时间都是 存储延迟造成的，个别案例v p e n t a 的存储延迟时间占了执行时间的7 0 。为了满足计 算机对数据访问速度的要求，现代的多处理器系统在发展了多级c a c h e 结构的基础上，采 用预取等延迟隐藏技术以减少访存失效率，增加存储器的访问带宽。延迟隐藏技术一方面 有效的减少了处理器的失效率，但是与之对应的，大量冗余数据流占据了处理器的i o 资 源，使得系统需要更大的数据访问带宽，增加了处理器对i o 带宽资源的需求【2 1 。 分布式共享存储系统由于其结合了共享存储多处理机系统的易编程性和易扩展性，随 第2 页 国防科学技术大学研究生院硕士学位论文 着人们对计算速度的追逐，特别是工作站集群系统的广泛使用，已经逐渐得到了越来越广 泛的应用。 d s m 系统结构在物理连接上使用各种互连技术构建互连网络连接所有节点，通过节点 内部运行一致性协议达到协同工作的目的。在每个节点中都包括有处理器、高速缓存c a c h e 模块、本地存储器、互连网络的i o 等部件。各处理器间通过i o 通道访问互连网络，共 享分布于各节点的所有存储器资源。这种访问对节点中的处理器来说是透明的，因为所有 存储器在物理上独立分布在各节点，但在逻辑上对处理器来说可以看作是一块独立的资 源，对其数据的访问和写入在地址上无法区别目的地址所对应的存储器在网络中的实际分 布情况。如图示： 2 1 图1 2 分布式多处理器系统结构示意图 d s m 系统可以支持高速缓存一致性，也可以不支持。数据的一致性定义为在一个存储 器系统中读取任何一个数据的返回结果都是最近写入的数值。这种一致性模型对于编写正 确的共享存储程序都是至关重要的，只有保证数据的一致性才可以获得正确的程序模块。 一致性模型包括了两方面的含义，第一个方面规定了读操作可以返回什么样的数值，第二 个方面定义了写入的数值什么时候才能被读操作返回。 随着高性能计算的发展，多处理机系统趋向于多节点和非严格一致性。在高性能计算 的d s m 系统中，多处理器间通过共享高速缓存构建运算速度远大于单处理器的超节点， 提高了节点的运算速度，有利于整体性能的提高。非严格一致性协议，则有利于隐藏数据 的访存延时，可以有效提高处理器的运算速度。从上述分析可以看出，当前多处理机结构 的发展主要趋向于整体性能的改进，这种改进不再仅仅受限于单个处理器的运算速度，而 且受到系统其他组成部分性能的影响，如节点的i o 带宽、互连网络的性能等。特别是前 文提到的存储瓶颈问题，已经成为影响多处理器系统性能增长的主要因素。 一般的，多处理系统中，访存延时是影响整体性能的主要因素，这种延时极大的限制 第3 页 国防科学技术大学研究生院硕士学位论文 了处理器运算速度的进一步提高，往往大量的运算会因为某一个数据的访问延时被迫挂 起。在大型的d s m 系统中，远程访问延时带来的负面影响相比较于本地访问对整体性能的 影响更大，往往成为影响系统性能进一步提高的瓶颈。如在文献【6 中以o r i g i n2 0 0 0 为例列 举在d s m 结构的高性能计算机中，处理器的远程访问延时与本地访存延时之间的差异。如 表( 2 1 ) 所示，一个节点在访问本地资源时，直接命中情况下数据的访问延时为5 1 n s ，一级 c a c h e 失效访问延时为5 6 4 n s ，二级c a c h e 失效后访存的延时增加为3 1 0 n s 。相比较于本地访 存时间，远程数据的访问随着网络规模的增加，节点数每增加一倍，数据访存延时增3 1 1 0 0 n s 左右。当节点数扩展到1 2 8 时，总的延时增加到了9 4 5 n s 。与命中的时间相比，可以看出远 程访存延时有了几百倍的增长。 表1 1o r i g i n2 0 0 0l a t e n c i e s 6 】 m e m o r yi e v e l l 1c a c h e l 2c a c h e l o c a lm e m o r y 4 pr e m o t em e m o r y 8 pa v g r e m o t em e m o r y 16 pa v g r e m o t em e m o r y 3 2 pa v g r e m o t em e m o r y 6 4 pa v g r e m o t em e m o r y 12 8 pa v g r e m o t em e m o r y l a t e n c y ( n s ) 5 1 5 6 4 3 1 0 5 4 0 7 0 7 7 2 6 7 7 3 8 6 7 9 4 5 访存延时严重的限制了多处理器系统的进一步发展，根据a m d a h l c a s e 定律，在一个 平衡的计算机系统中，应该是每m i p s 的c p u 性能对应1 m b 存储器和1 m b s 的i o 带引2 1 。 由于受到访存延时的限制，多处理器系统性能的提高需要可以传输更高带宽和更小延时的 互连网络。 预取等延迟隐藏技术可以有效缓解高性能计算的访存瓶颈问题，但同时更加加剧了互 连网络的带宽负载。为了保证数据的一致性，需要将节点问通信的数据及时广播到所有需 要此数据的节点。预取技术中，大量的冗余信息被保存在本地的高速缓存中，这种机制保 证了处理器在工作时，可以尽可能的命中数据块，降低由于命中缺失所带来的数据访存延 时。然而由于这种冗余信息并不是处理器运算所必需的，系统在处理这些信息的同时，加 大了互连网络的负载，进一步提高了互连带宽的要求。 多处理器系统可以采用层次化管理的方法，进一步降低本地访存失效造成的延时。为 了保证尽可能少的数据是从远程存储器中获得的，多处理器系统往往采用将多个处理器组 成超节点的方式，令节点中的处理器通过共同完成一个运算达到减少远程通讯的目的。在 这种结构中，要求超节点中的互连速度尽可能高，且大部分的访存指令发成在相邻的节点 之间。在这种结构下，超节点中芯片的互连速度影响了整个多处理器系统性能的提高。 第4 页 国防科学技术大学研究生院硕士学位论文 1 2 课题研究的意义 在当前技术条件下，处理器等高速芯片之间的互连通信，有电互连和光互连两种技术 途径。传统的电互连方式，具有技术成熟，设计简单等优点，得到了广泛的应用；但电互 连在高速信号传输中所表现出带宽进一步提升受限、功耗大、互连密度小、并行线线间干 扰大，抗干扰能力差等不足，已经严重制约了高速芯片间互连通信性能的进一步提高，同 时也限制了系统性能的进一步提甜。 光互连技术在解决这些问题方面具有明显优势：光互连具有很高的空间和时间带宽 积；光波的传播遵循独立传播原理，抗干扰性强；光波并行性好，可进行高密度的波分复 用，互连密度很大；光互连信号损耗小，传输距离远。因此，光互连技术已成为解决大容 量数据传输系统、新一代通信设备和高性能计算机中高速芯片间互连通信的关键技术之 一。自1 9 8 4 年国际著名的光学专家j w g o o d m a n 提出在v l s i 中采用光互连方案以来， 光互连技术已经取得巨大的进步，并开始在计算机系统和通信系统中逐渐代替电互连技 术，得到越来越广泛的应用瞵j 。 在大容量数据传输系统、新一代通信设备和高性能计算机内部，高速芯片相距几到几 十厘米，可采用甚短距离光传输( v s r ) 技术【9 】f l o j 。由于距离较短，可以不考虑复杂的光传 输参数设计，不需要考虑色散和非线性等问题，不需要光放大中继，对光源功率和线宽的 要求相应降低。还可采用并行传送方式以提高带宽、降低对单通道光器件的速度要求并降 低光互连成本。光互连论坛( o i f ) 在2 0 0 0 年到2 0 0 3 年间，相继通过了1 0 g b p s 的v s r 4 的 5 个建议及4 0 g b p s 的v s r 5 的部分建议，其目的是采用最经济的光通信技术实现甚短距离 光传输。v s r 5 采用1 2 路并行v c s e l 光通道、每路3 3 1 8 g b p s ，实现了4 0 g b p s 高速数据 传输。 光互连具有很高的空间和时间带宽积，根据通信原理，信号的载波空间、时间带宽积 越大，信号传输能力越强。对于光波，其传播遵循独立传播原理，抗干扰性强，并行性好， 可进行高密度的波分复用，互连密度大。不同波长光波同时占用同一波导，在信号传输过 程中相互之间不会有影响。由于光互连信号在传输过程中能量损耗小，现有的技术条件下， 每传输几十千米才需要补充一次能量。对于v s r 协议下的光传输系统，光信号的传输还可 以进行光信道的分束，支持广播功能【8 j 。 现阶段光互连网络受到了广泛的关注，各大学和研究机构主要对光网络的互连结构模 型和光网络的物理连接技术进行了大量的研究。其中具有代表性的光网络模型研究成果有 d a t av o r t e x 、o b s 、r a p i d 、l a r p b s 等【1 1 】1 2 】1 3 】【14 1 。在国际知名杂志、会议中有多篇文章 介绍和分析了上述网络模型的特点和性能，对光网络模型的发展有积极的推动作用。从相 第5 页 国防科学技术大学研究生院硕士学位论文 关文章的性能模拟结果叮以看出，上述网络结构都取得了较传统电互连技术更小的数据延 时。由于电信号可以由芯片直接输出和接收，不必使用专有的转换器件就可以对信号进行 处理，因此在上述的几种结构中，大部分采用电信号作为网络中报文传输的控制信息，通 过光电混合互连的方式实现网络的构建。 对于光互连技术的物理连接技术，国内外的许多研究都致力于实现板间和板内的光互 连，即光学背板和光p c b 板技术【1 6 】【1 7 】【1 引。光背板是指采用光纤或者光波导等与电互连 连接线路一起构建背板，实现p c b 板间光互连技术。光p c b 板是指进一步扩大光电互连 通讯范围，在芯片间互连中采用光纤等光互连材料，并开发芯片上的光互连i o 通路，实 现芯片间的全光互连。 在现有基础上研究多处理器系统的光互连网络技术，可以有效地推动光互连技术应用 于多处理器系统，有望通过增加互连网络的带宽和降低网络中数据的延时达到缓解系统存 储瓶颈的目的，提高系统性能。 1 3 本文的主要工作 随着多处理器体系结构规模的扩展，单个机器中用到的处理器的数量逐渐增加，实现 处理器间高效的全互连网络技术也出现了巨大的挑战。采用d s m 系统的高性能计算机其 访存时间远大于处理器的数据处理速度，在现有的技术条件下普遍采用延迟隐藏技术以降 低访存延时对系统性能的影响 2 1 。然而，由于延迟隐藏实际上将大量的冗余数据读入处理 器中，更加大了处理器的访存带宽需求。 采用光互连技术可以有效提高网络中数据的传输带宽，从而可以改善处理器的访存效 率。本文从多处理器系统的实际出发，针对d s m 系统结构下远程访问发生概率较小的特 点，提出一种基于光总线结构的集中可扩展式多处理器互连结构c s a p i d ( c e n t r a l i z e d s c a l a b l ea 1 1 p h o t o n i ci n t e r c o n n e c tf o rd i s t r i b u t e d s h a r e dm e m o r y ) ，采用光总线和波长分层复 用的思想，利用光通讯技术缓解了访存瓶颈。c s a p i d 采取分层的结构，可以有效的实现 数量巨大的节点之间的全光互连，易于扩展并可以令节点间拥有较小的数据访存延时和较 大的数据通讯带宽。在网络的组织构建中同时考虑物理链路中光信号传输过程中的衰减和 器件可以接收信号能量的范围，避免了在一些全光网络结构中存在的与实际技术条件脱节 的情况。 针对上述网络结构特点，使用o m n e t + + 对c s a p i d 进行网络性能模拟，并与r a p i d 网络模型在网络节点数目，网络直径，平均访存时间和最长访存时间等关键参数进行比较， 得出在远程访问概率发生较小时，各种光互连网络结构中c s a p i d 网络的平均延时较小的 结论。 本文针对芯片间互连网络需要考虑能量损耗的问题，对光链路传输损耗做出分析比 第6 页 国防科学技术大学研究生院硕士学位论文 较，提出应尽量使用同一介质传输光信号的结论。并对各种链路传输策略做了分析和比较， 研究了针对不同转向技术手段下的转向损耗计算问题，并使用相关的实验数据和自主设计 的单模光纤在不同弯曲半径下的转折损耗测试实验做验证。试验结果证明了本文提出的理 论分析的正确性，可以认为本文的工作对相关的工程实践有一定的指导意义。 1 4 文章的组织结构 本文立足于利用光互连的优势优化系统中互连网络，使用光通信技术改善多处理器体 系结构节点间的互连性能。文章的组织结构如下图所示： 图1 3 论文组织结构图 第7 页 国防科学技术大学研究生院硕士学位论文 第二章光通信互连网络技术 本章针对d s m 体系结构下处理器间互连网络的特点，对影响系统性能的访存带宽和 瓶颈问题，从采用光互连技术的角度出发，分析光网络解决上述问题的优势。 2 1 光通信技术在高性能计算中的应用 研究光互连技术在高性能计算中的应用是当前信息领域的一个重要研究方向。现有的 技术条件下，光互连技术已经广泛应用于远程数据通讯领域。在城域网的构建中，使用波 分复用技术，可以达到t b s 级别的通讯带宽。随着电互连技术在传输高频数据时受到越来 越大的限制和影响，光互连技术开始应用于部分的局域网和电路板间的互连网络中。 2 1 1 光通信技术在板间互连的应用 高速光背板技术具有并行度高、端口密度大、可扩展性好、功耗低等显著特性。在高 性能计算机中使用光背板替代传统的电背板，实现芯片间、板间和机柜间的光互连，可极 大的提高高性能计算机的运算速率。国外研究机构都在积极研究高速光背板技术，如美国 t e x a s 大学2 0 0 4 年提出了一个基于共享光总线的芯片与内存间的互连原型系统，该系统可 进行光信号的广播并可作为高性能计算机的光背板【l9 。，如图2 2 所示。韩国电信的研究人 员2 0 0 4 年设计了基于聚合物嵌入式波导印制板，可在收发器和光背板间实现高达8 g b s 的数据交换【2 0 1 。英国格林威治大学2 0 0 3 年采用聚合物光波导和v c s e l 技术实现了光背板 1 2 。此外，美国洛杉矶大学采用基于s e e d 的灵巧象素阵列实现了光背板【2 2 】，美国亚利桑 那大学的研究人员利用空间光互连实现光总线背板1 2 引。美国p h y s i c a lo p t i c 公司研制了基于 全息技术的光背板用于连接分布式并行处理器系统【2 4 1 。 光背板具有并行度高、端口密度大、可扩展性好、功耗低等优势，对推动光互连技术 的发展，创新大规模并行处理技术方案，改善高性能计算机互连网络结构、大幅度提高高 性能计算机效能提供强有力的技术支持。国内光背板系统发展起步较慢，受到光波导材料 制备工艺的限制，多集中于研究开发光纤背板工艺。 2 1 2 光通信技术在片间互连的应用 高性能计算机、海量服务器和核心路由器都迫切需要高速、高密度、高可靠性、低功 耗的光互连设计技术，以适应高性能微处理器、高速通信芯片和高速存储器等高速芯片之 间互连的需要。目前世界各国都在积极开展芯片间光互连技术的研究。 第8 页 国防科学技术夫学研究生院硕士学位论文 固盈日m m 亡= = 呻“- 矗r o 叼_ o - i n 翻2 i 美国t e x a s 大学光背板 图2 2 芯片间互连技术示意圈删 片问光互连的研究包括光电转换器件的设计和选型片问光互连链路的制备和结构设 计，网络组织设汁等多方面的内容。如图示，为一个简单的片闻互连结构，其中使用光互 连技术连接两个i c 芯片，在芯片内部使用一个4 x 1 2 的v c s e u v e r t i c a l - c a r i l v s u r f a c e - e m i t i n gl s e r ) 激光器阵列作为芯片光信号的输出，使用4 x 1 2 的p d ( p h o t od e t c t o r l 对接收到的光信号做光电转换成为芯片可以处理的电信号。 第9 页 函豳 国防科学技术大学研究生院硕士学位论文 在如今的许多幽内外研究机构、院校以及各大公司都分别成立了专门用于研究光通讯 在片间的互连技术。研究的重点一方面在于对光电混合互连模式下的光电转换器件的设计 和与i c 芯片的集成，另一方面在于研究如何扩大芯片间光互连网络的光信号传输速率和 数据带宽。现有的技术条件下，已经可以生产单通路2 5 g b p s ，共1 2 路并行传输的光电转 换器件，更高速率的器件也已经在研究阶段。光链路方面，在短距离条件下的光传输长度 可以选择光纤或者波导材料。现阶段短距离范围内多采用在硅基上生成氧化硅的方法制备 波导【2 6 j ，也有报道使用聚合物作为光互连的波导材料，且聚合物波导性能已经达到了 0 1 0 2 d b c m 的性能，可以满足现阶段大部分的片间光互连的要求【2 7 1 。为了提高片间互连 网络的数据传输速率，光路多采用并行传输的方式传输光信号。光信号较电信号其并行性 更好，抗串扰能力强，且高速信号的能量损耗不会随传输距离的增加而有显著的增长，并 行传输时可以达到较高的性能。光互连技术依赖于各种光电器件的发展，这不仅包括前文 提到的光电转换器件、光链路等，还包括各种光波分复用、解复用器件，光能量增益器件、 光缓存器件等。 芯片间光互连研究在国际上得到了广泛的关注，许多公司和研究团队都将目标投入到 相关领域的研究。如日本n e c 等公司拟计划研制的一台高性能计算机中，为了减少传输 线数目，n e c 公司和东京理工学院联合开展了c p u 与存储器芯片之间光互连技术的研究， 目标是实现c p u 和存储器之间1 0 0 0 个光通道，每个通道2 0 g b p s ，总带宽达2 0 t b p s 的光 互连。在其计算机系统中，预测到2 0 1 0 年c p u 的处理能力将达到1 0 0 g f l o p s ，c p u 与存 储器之间需要至少2 5 0 0 0 根数据传输线( 假设每根数据线传输速率o 5 g b p s ) ，才能满足c p u 的处理速度【2 8 1 。与之相比，采用光互连技术可以极大的减少互连链路的数目，降低系统设 计的复杂度。 国内在9 0 年代末开始，许多科研院所对芯片间光互连相关的各项技术都进行过很有 成效的研究。天津大学、中国科学院半导体研究所、北京邮电大学、武汉邮电科学院、上 海交通大学、东南大学、国防科技大学、华为、中兴、西安光机所、中科院计算所、华中 科技大学、吉林大学、山东大学等单位都进行了光互连相关技术研究。 国内外光互连技术的发展受到了广泛的关注和重视，因此，研究在现有技术条件下的 光网络构建、光互连技术实现，对推动光互连在高性能计算中的进一步应用有很大的作用。 2 2 总线型光网络 光通信技术传输延时较低，数据通讯带宽较大，且并行性好，可以将多个不同波长的 光信号在复用在同一条光信道中。针对光互连结构