（计算机科学与技术专业论文）芯片光互连技术研究.pdfVIP

国防科学技术人学研牛院硕士学位论文 摘要 电互连传输带宽小、时延大、高速信号之间串扰大、功耗大等缺点，已经成 为电互连进一步发展的巨大障碍。光互连作为一种新的互连方式，具有极高的通 信带宽，极小的功耗，能够很好地解决电互连发展受限的问题。随着工艺的发展， 高速光电器件已经越来越微型化、低功耗，光互连技术的应用范围也慢慢向芯片 之间和芯片内部发展。 由于传统的片上通信结构( 如总线) 已经无法适应当前的设计需求，以通信 为中心的片上网络( n o c ) 技术为多核处理器或者多核s o c 通信问题提供了新的 解决方案，但是传统的电互连片上网络仍然摆脱不了电互连的各种负面凶素。光 互连技术在降低通信系统功耗方面有着无可比拟的优势，且有着极高的通信带宽 和极小的传输损耗，是理想的片内互连技术。针对当前光互连技术中的无法进行 光缓存和光处理的难题，本文提出一种新颖的片上光互连网络结构o n o c ，通过电 控制网络进行链路预约，光传输网络进行数据传输的方法，实现光信号的无缓存 传输。本文的主要工作如下： 1 ) 提出一种新颖的片上光互连网络o n o c ，采用电控制网络进行路由及光链 路预约，光传输网络进行光数据传输的方式，实现光数据的无缓存传输。 2 ) 对o n o c 网络进行相关的性能分析。分析结果表明，o n o c 网络的功耗与 普通的电互连网络相比降低8 5 以上。采用o m n e t + + i 具对o n o c 的网络性能 进行仿真，仿真结果表明，o n o c 具有良好的通信性能。 3 ) 针对o n o c 网络只能进行单向光数据传输的缺点，本文提出一种适用于直 接网络的5 x 5 无阻塞光交换开关n b o s 5 ，并且基于n b o s 5 对o n o c 结构进行 改进，构建可以进行双向光数据传输的片上光互连网络o n o c 2 。实验结果表明， o n o c 2 与o n o c 相比有更低的传输延时、更高的网络吞吐率。 4 ) 高速芯片间光互连技术的设计与实现。设计实现了芯片间光互连技术试验 平台，完成了试验平台的硬件逻辑设计、1 0 g b p s 高速信号的布局布线，参与芯片 间光互连试验平台其他相关技术研究，如多：签片立体组装技术、光互连的转向耦 合元件设计等。 主题词：光互连技术，片上光互连网络，无阻塞光交换开关，芯片间光互连， 功耗分析 笫i 页 国防科学技术大学研牛院硕士学位论文 a b s t r a c t t h ee l e c t r i c a li n t e r c o n n e c t i o nn e t w o r k se x h i b i tm a n yd i s a d v a n t a g e s s u c ha si o w b a n d w i d t h ，h i g hp o w e rd i s s i p a t i o n ，p o o ri m m u n i t ya g a i n s te m i ，w h i c ha r et h ek e y d r a w b a c k st oi m p r o v et h en e t w o r kp e r f o r m a n c e o p t i c a li n t e r c o n n e c t i o nn e t w o r ki sa n e wm e t h o do fi n t e r c o n n e c t i o n ，w h i c hg e t sm a n ya d v a n t a g e ss u c ha sh i g h e rb a n d w i d t h ， l o w e rp o w e rd i s s i p a t i o nt h a tr e s o l v et h el i m i to ft h ei m p r o v e m e n to ft h ee l e c t r i c a l i n t e r c o n n e c t i o n w i t ht h ed e v e l o p m e n to ft h es e m i c o n d u c t o r st e c h n o l o g y ，t h eh i g h s p e e dp h o t o e l e c t r i cd e v i c e sb e c o m em o r es u b m i n i a t u r ea n dc o n s u m el e s sp o w e r ，w h i c h m a k e st h eo p t i c a li n t e r c o n n e c t i o nt e c h n o l o g yt ob eu s e di nt h ef i e l do fi n t e r - c h i pa n d i n t r a c h i p t r a d i t i o n a lo n - c h i pc o m m u n i c a t i o ns t r u c t u r e s ，s u c ha sb u s e s ，c a n ts a t i s f yt h e r e q u i r e m e n t o fc u r r e n tm u l t i - c o r e p r o c e s s o r o rm u l t i - c o r es o c d e s i g n s n e t w o r k - o n c h i p ( n o c ) ，ac o m m u n i c a t i o n - c e n t r i ct e c h n i q u e ，p r o v i d e sa n e ws o l u t i o n f o rc o m m u n i c a t i o np r o b l e m b u ti ts t i l lc a nn o tg e tr i do ft h ed i s a d v a n t a g e so ft h e e l e c t r i c a l i n t e r c o n n e c t i o n o p t i c a li n t e r c o n n e c t i o nt e c h n i q u eg e t st h ei n c o m p a r a b l e a d v a n t a g ei nl o w i n gt h ep o w e rd i s s i p a t i o no ft h ei n t e r c o n n e c t i o nn e t w o r k ，a n dt h e a d v a n t a g e so fe x t r e m e l yh i g hb a n d w i d t h ，e x t r e m e l yl o ws i g n a ll o s s ，t h a tm a k ei tt ob e t h ei d e a li n t e r c o n n e c t i o nt e c h n i q u ei nc h i p s c a l ei n t e r c o n n e c t i o n s t h em a i nw o r k so f t h i st h e s i sa r ea sf o l l o w s ： 1 ) p r o p o s e san o v e lo p t i c a ln e t w o r k - o n - c h i p ( o n o c ) i na l lo n o cn e t w o r k , a e l e c t r i c a lc o n t r o lp a c k a g ei sr o u t i n gi nt h ee l e c t r i c a lc o n t r o ln e t w o r k ，w i t ht h ep u r p o s e t op r e c o n t r a c tao p t i c a lc h a n n e l ，t h e nt h eo p t i c a ld a t ai st r a n s m i t t e di nt h eo p t i c a l t r a n s m i s s i o nn e t w o r k ，s ot h eo p t i c a ld a t ai st r a n s m i t t e db u f f e r l e s s l y 2 、t oa n a l y z et h ep e r f o r m a n c eo ft h eo n o cn e t w o r k t h er e s u l ts h o w st h a tt h e p o w e rd i s s i p a t i o no ft h eo n o cn e t w o r ki s8 5 l o w e rt h a nt h et r a d i t i o n a le l e c t r i c a l n e t w o r k o n - c h i p 3 1a i m sa tt h ed i s a d v a n t a g eo ft h ep r o p o s e do n o cn e t w o r kt h a tt h eo p t i c a ld a t a c a nb et r a n s m i t t e du n i l a t e r a l l y ，t h i st h e s i sp r o p o s ea5 5n o n - b l o c k i n go p t i c a ls w i t c h w h i c hs u i t sf o rt h ed i r e c tn e t w o r k n b o s - 5 ，a n db a s e do nt h en o n b l o c k i n go p t i c a l s w i t c h ，w ec o n s t r u c tan e wo p t i c a ln e t w o r k o n c h i p ，w h i c hc a l l e do n o c - 2 t h e e x p e r i m e n t r e s u l t ss h o wt h a t ，c o m p a r e dw i t ht h eo n o c ，o n o c 一2g e t sl o w e r t r a n s m i s s i o nd e l a ya n dt h eh i g h e rt h r o u g h p u t 4 1t h ed e s i g na n di m p l e m e n to ft h eo p t i c a li n t e r c o n n e c t i o nb e t w e e nt h eh i g hs p e e d c h i p s w ed e s i g nt w ot e s tp l a t f o r m sw h i c ho p t i c a li n t e r c o n n e c t i o n - o r i e n t e d i nt h e s e p l a t f o r m s ，if i n i s ht h ew h o l ew o r kt h a tt h eh a r d w a r ed e s i g n ，t h el a y o u to f t h e10 g b p s s i g n a l s ，a n dp a r t i c i p a t ei nt h er e s e a r c ho fo t h e rk e yt e c h n o l o g y ，s u c ha sm u l t i c h i p m o d u l et e c h n i q u e k e yw o r d s ：o p t i c a li n t e r c o n n e c t i o n ，o p t i c a ln e t w o r k o n c h i p ，n o n b l o c k i n g o p t i c a ls w i t c h ，o p t i c a li n t e r - c h i pi n t e r c o n n e c t i o n ，p o w e ra n a l y s i s 第i i 页 圜防科学技术大学研牛院硕士学位论文 表目录 表2 1几种典型规则网络的特性9 表3 1e r 需要纪录的内容2 5 表4 1能耗分析的相关条件。3 3 表4 2o r i o n 功耗模拟数据3 3 表4 3 模拟实验参数3 6 表4 4n b o s 5 中所有输入输出端口的组合情况3 9 第1 v 页 国防科学技术大学研牛院硕士学位论文 图1 1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 1 0 图3 1 l 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图目录 随着信号频率的增大，光互连的优势越来越明显3 一个简单的4 x 4 n o c 结构7 路由节点的一般模型7 n o c 拓扑结构分类7 两种2 d 直接网络8 间接网络拓扑结构8 两种典型定制网络9 e t h e r e a l 的路由器结构示意图1 4 p r o t e o 路由器示意图l5 s p i n 的路由器结构示意图1 6 一个2 d3 x 3 的类t o r u s 拓扑结构1 8 实现片上光网络的几种关键器件。一2 0 光开关示意图2 0 网络节点的有向图2l 一个3 x 3 的光传输网络示意图2 2 e r 内部结构示意图2 2 一个3 x 3 的电控制网络示意图2 3 电控制报文的格式2 4 光电传输的时序图2 5 p a t h s e t u p 报文路由过程中的各种可能情况。2 6 p a t h s e t u p 报文的路由算法一2 7 p a t h s u c c e s s 报文的路由算法2 8 p a t h t e a r d o w n 报文的路由算法2 8 x 方向死锁实例2 9 x 方向的环路3 0 死锁检测流程3 0 o n o c 中各部分能耗的分布图3 5 不同网络负载下的网络性能3 6 最基本的双向光交换开关3 7 一种5 x 5 的无阻塞光交换开关3 8 无阻塞实例3 9 基于环形谐振器的5 5 的无阻塞光交换开关n b o s 5 构造图4 0 第v 页 困防科学技术大学研牛院硕士学位论文 图4 7 图4 8 图4 9 图4 1 0 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图5 1 l 图5 1 2 图5 1 3 图5 1 4 两种对光交换开关的对比4 l 基于n b o s 5 的双向光传输网络一4 1 n b o s 5 输出端口冲突示例4 2 o n o c 2 的网络性能4 4 高速芯片间光互连试验平台系统框图4 7 试验平台侧视图。4 7 光电转换模块4 8 a c e 控制器与各接口的连接示意图4 9 时钟模块的电源与地层的设计。4 9 试验平台的时钟模块5 0 电源结构图5 0 多芯片组装的内嵌高性能微处理器的高速光互连芯片。5l 转向耦合元件示意图5 2 通用试验平台系统框图5 3 复用解复用示意图5 4 时钟提取测试模块5 4 1 0 g b p s 信号差分阻抗计算参数及结果5 5 1 0 g b p s 高速信号线布线规则5 6 第v l 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：蕊丘光亘整技苤盟窥 学位论文作者签名：奎警譬l 日期： 1 年i 二月均日 学位论文版权使用授权书 本入完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可p j , 保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印，缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目： 茎肚光亘垄技盎盟究 学位论文作者签名：塾壁也一 日期：力盼7 年 lz 月嘶 作者指导教师签名：名啦 魄矽产肘砑日 国防科学技术人学研牛院硕士学位论文 第一章绪论 1 1 课题的研究背景 计算机互连网络是计算机信息处理系统中负责连接处理器、存储器、i o 设备 等的重要组成部分，承担着计算机各部件间以及计算机节点之间相互通信的重要 任务。传统的互连网络通常是指计算机节点之问的互连网络。随着多核处理器时 代的来临，一个处理器之内集成的处理器核数也越来越多，s o c 的集成度和复杂 度也在不断增加。在不久的将来，单芯片内将集成数百甚至上千个内核。传统的 片上通信结构( 如总线) 已经无法适应当前的设计需求，以通信为中心的片上网 络( n o c ) 技术为多核处理器或者多核s o c 通信问题提供了新的解决方案，并逐 渐成为计算机互连网络中的热点问题。 1 1 1 电互连网络的制约因素 传统的互连网络都是采用电互连网络，其技术水平已经较为成熟，应用非常 普遍。随着计算机技术的发展，计算节点数目的急剧增加，对高性能互连网络的 传输带宽、传输延时都有较高的要求。但由于电互连自身的一些缺点，使得进一 步提高电互连网络性能的空间变得狭小，且难度更大。电互连网络的发展主要受 限于以下几个方面： ( 1 ) 集成电路发展的限制 随着互连网络结构与实现技术的逐步成熟，进一步提高网络性能主要依靠集 成电路技术的发展。近几十年来，虽然集成电路技术按摩尔定律高速发展，但其 发展受到散热、热噪声等凶素的限制，已经很难再有较大的突破。 ( 2 ) 电信号传输限制 由于电信号传输过程中的衰减、反射、串扰、电源噪声等因素，工作频率的 提高面临着挑战；工作频率的提高，使得数据的采样窗口不断减小，同时电缆上 的衰减增加，影响了有效带宽的增大，系统的可靠性面临挑战；工作频率的提高， 商业软件工具对下一代产品的设计、验证、布局布线、物理验证的支持有限，系 统的可制造性同样面临着挑战。 ( 3 ) 物理封装限制 互连网络的实现需跨越多个层次，每层中的材料和制造工艺不同，导致物理 特性和约束不同，随着层次的增加，互连代价增大，密度减小，必然限制系统规 模的扩展；随着系统规模的增加，互连网络的带宽、工作频率相互制约，严重影 响网络性能的提高。 第l 页 困防科学技术入学研牛院母! 士学位论文 ( 4 ) 带宽限制 增加节点之间的通信带宽通常有两种途径，一是增加并行数据传输线的宽度， 二是提高信号频率。增加数据传输线的宽度，需要芯片提供更多的i o 引脚，给芯 片的封装工艺带来很大的困难；提高信号的频率，传输线上将消耗更多的能量， 传输线之间的串扰也将增加，使得信号的传输距离缩短。从某种意义上讲，导线 便是低通滤波器，其有限带宽会导致信号的严重失真，传输带宽可提高的余地非 常小。 随着高性能计算机的不断发展，工作频率的不断提高，传统的电互连技术的 缺点显得更加突出。电互连网络带宽小、时延大、高速电信号之间串扰大、功耗 大等缺点，已经成为高速电互连进一步发展的巨大障碍，对新的互连技术的研究 已经迫在眉睫。 1 1 2 光互连网络的优势 光互连技术就是以光的波粒二相性与物质相互作用的各种现象实现数据和信 号传输与交换的理论和技术【7 】，具有带宽高、功耗小、可并行等优点。近几十年以 来，各种光技术的成熟，光器件的研制成功，极大的推动了光互连技术的发展。 光互连作为一种新的互连方式，能够很好地解决上述电互连发展受限的问题，许 多文章对光互连和电互连进行了详细的比较2 】【3 】【4 】【5 1 。在大多数情况下，光互连具 有明显的优势。光互连可具体理解为用光技术实现两个以上通信单元的连接，以 实现协同操作。光互连技术具有带宽高、功耗小、可并行的优点，这是因为光在 理论上也属于一种电磁波，用光作载波，将有几十t h z 左右的可用带宽用来调制 数据 9 1 1 0 1 ；利用光纤传输数据信号，光能几乎不会转化成热量损耗掉，其信号衰减 和功耗都远远小于电信号；同时光作为一种电磁波，其波长很短，多个光信号之 间的干涉和衍射非常微弱，故在进行数据传输时，不会产生数据串扰，可以在同 一根光纤中复用不同的波长，并行传输数据。 从图1 1 可以看出，随着信号频率的增大，光互连技术相对于电互连技术的优 势显得越来越明显【6 j 。光互连逐渐替代电互连，已经成为高性能计算机系统内部各 节点之间高速互连的关键技术。 自1 9 8 4 年国际著名的光学专家g o o d m a nj w 提出在v l s i 中采用光互连方案 以来p j ，光互连技术已经取得巨大的进步，并开始在计算机系统和通信系统中代替 电互连技术。光互连作为改善通信系统带宽瓶颈的一种有效方法已经被广泛接受， 并逐步走向实用。 第2 页 | 1 _ 缉， ! 。； 自上世纪七十年代光纤制造工艺和半导体激光器技术取得突破进展以来，光互 连技术在理论研究与器件工艺技术创新等方面日趋成熟，光互连技术在计算机系 统中取得了广泛的应用。 自1 9 9 8 年以来，美国国防部高级研究计划署先后投入2 亿6 千多万美元用于 光互连相关的项目研究，其中4 5 0 0 万美元用于2 0 0 3 兰2 0 0 7 年的芯片问光互连 1 ”， 并取得以下成果：i b m 与a g i l e n t 实验室开展了t e r a b u s 技术的研究【i “以解决光 电领域最棘手的挑战利用光束向电气接口准确传送数据。2 0 0 5 年，t e r a b u s 技 术实现了二维4 x 1 2 通道的垂直腔面发射激光器( v e r t i c a l - c a v i t ys u r f a c e e m i t t i n g l a s e r ，v c s e l ) 阵列和探测器阵列印制电路板上4 8 个通道互连，总带宽近i p o p s 发送方单通道带宽达2 0 g b p s t ”】。 2 0 0 4 年，南加州大学和a g i l e n t 公司合作开发了f t t p ( f i b e r - t o - t h e - p r o c e s s o r 光纤到处理器) 技术【l ”。光接口采用4 个波长的稀疏波分复用( c o a r s ew a v e l e n g t h d i v i s i o nm u l t i p l e x i n g ，c w d m ) 技术每个波长的最高传输速率为1 0 g b p s ，每通 道4 0 g i , p s ，5 个光接口，每个接口1 2 通道，总带宽为2 a t b p s 。 口本n e c 公司等预测到2 0 1 0 年c p u 的处理能力将达到1 0 0 g f i o p s 。c p u 与 存储器之间至少需要2 5 0 0 0 根数据传输线才能满足c p u 的处理速度。日本的 k e i s o k u 超级计算机计划，其目标之一是实现c p u 和存储器之间1 0 0 0 个光通道， 每个通道2 6 g b p s ，总带宽达2 0 t b p s 的光互连。 在国内，天津大学、华中科技大学、东南大学、国防科技大学等科研院所都 开展了对光互连技术的研究。天津大学张以谟教授是国内较早从事计算机光互连 技术的研究者之一，以其为首的研究小组曾提出了多种实现计算机光互连的结构 芾3 页 圈防科学技术大学研牛院硕士学位论文 和技术，如双层并行光且连网络结剧1 7 j 、采用红外技术的自由空间光且连【l 引、具 有旋转连接功能的双层光互连网络【1 9 】【2 0 1 、波分复用光互连网络 2 1 1 等等。华中科技 大学的曹明翠也较早从事计算机光互连及光互连背板技术的研究【2 引。中国科学院 半导体研究所陈弘达等对以v c s e l 技术为基础的甚短距离光互连技术进行了研究 【2 3 1 。 1 2 课题研究的意义 作为计算机的核心部件，单芯片处理器内部集成的处理器内核数在不断增加。 在i n t e l 公司2 0 0 7 年发布的实验性处理器芯片中，内部集成的内核数多达8 0 个1 2 4 1 。 除了多核处理器，未来s o c 的集成度和复杂度也将继续增大，单个芯片上将集成 数百个i p 核，包括r i s c 核、d s p 核以及存储单元核等。无论是多核处理器，还 是多核s o c ，核与核之间如何进行通信都是一个关键问题。由于传统的片上通信 结构( 如总线) 已经无法适应当前的设计需求，以通信为中心的片上网络( n o c ) 技术为多核处理器或者多核s o c 通信问题提供了新的解决方案。 但是基于电互连的片上网络摆脱不了电互连本身带来的各种限制，如带宽小、 串扰大、功耗大等。当单芯片内集成的内核数增加、系统的工作频率提高，电互 连的限制因素将显得更加突出。如何实现一个低功耗、高性能的片上网络，已经 成为当前的一个研究热点。光互连技术在降低通信系统功耗方面有着天然的优势， 且有着极高的通信带宽和极小的传输损耗，是理想的片内互连技术。随着高速光 电器件工艺的成熟，各种光电器件逐渐向微型化、低功耗发展，已经能够满足构 建一个片内互连网络的需求。但是光互连技术的应用也而临着难题，那就是光缓 存和光处理。 本文将对芯片级的光互连技术展开研究，包括芯片内的光互连技术和芯片间 的光互连技术。根据光互连技术面临的两大难题，本文将研究一种无缓存的片上 光互连网络，研究这种网络的功耗性能和网络通信性能。同时，本文将对芯片问 光互连技术展开研究，研究芯片间光互连实现的关键技术，实现高速芯片问的光 互连试验平台。 1 3 课题研究的主要内容 本文的主要研究内容如下： ( 1 ) 针对片上网络对低功耗、高带宽的需求，课题研究了基于光互连技术的 片上网络的实现，为解决光缓存和光存储的难题，提出光电双网的片上光互连网 络o n o c ，并实现相关的交换机制及路由算法； 第4 页 困防科学技术大学研牛院硕士学位论文 ( 2 ) 对o n o c 进行相关的性能分析，使用o r i o n 模拟器验址o n o c 在降低系 统功耗方面的优势，同时用o m n e t + + 对o n o c 的网络性能进行仿真分析： ( 3 ) 针对o n o c 网络结构中只能进行单向光数据传输的缺点，提出一种无阻 塞的5 x 5 光交换开关，基于此结构的光交换开关构建可以进行双向光传输的 o n o c 2 片上光互连网络结构，通过o m n e t + + 验证证明o n o c 2 具有更好的网络 通信性能。 ( 4 ) 设计实现芯片间光互连技术试验平台，完成了试验平台的硬件逻辑设计、 1 0 g b p s 高速信号的布局布线，参与芯片间光互连试验平台其他相关技术研究，如 多芯片立体组装技术、光互连的转向耦合元件设计等。 1 4 论文的结构 本文一共分六章。 第一章介绍了本文的研究背景，指明了本文的研究意义，引出本文的研究内 容。 第二章介绍片上网络的特点，从拓扑结构、路由算法、交换机制到性能参数， 分别进行了阐述。 第三章针对片上网络对低功耗、高带宽的需求，提出一种新颖的片上光互连 网络结构o n o c 。采用电控制网络进行路由及光链路预约，光传输网络进行光数据 传输的方式，实现光数据的无缓存传输。 第四章对o n o c 进行相关性能分析，首先验证o n o c 在降低系统功耗方面的 优势，然后对o n o c 的网络通信性能进行仿真、分析。针对o n o c 只能进行单向 光传输的缺点，提出一种无阻塞的5 x 5 交光换开关，并基于此交光换开关提出 o n o c 2 结构，并通过实验验证o n o c 2 对网络性能的优化程度。 第五章设计实现了芯片间光互连技术试验平台。完成试验平台的硬件逻辑设 计、1 0 g b p s 高速信号的布局布线，参与芯片间光互连试验平台其他相关技术研究， 如多芯片立体组装技术、光互连的转向耦合元件设计等。 第六章总结全文，并展望了下一步的研究工作。 第5 页 国防科学技术人学研牛院硕士学位论文 第二章片上网络互连技术 作为计算机的核心部件，单芯片处理器内部集成的处理器内核数在不断增长， 在i n t c l 最新发布的实验性处理器芯片中，内部集成的内核数更是多达8 0 个。除了 多核处理器，未来s o c 的集成度和复杂度也将继续增大，单个芯片上将集成数百 个i p 核，包括p d s c 核、d s p 核以及存储单元核等。无论是多核处理器，还是多 核s o c ，核与核之间如何进行通信都是一个关键问题。 随着硅工艺的进一步发展，基于总线的连接方式面临许多问题【2 5 】：( 1 ) 总线 限制了所连接的计算资源的数量。总线只能实现芡享信号的通信，适合连接少数 几个资源。未来几年内，处理器内部的处理器核数将达到数百甚至上千，总线方 式将远远不能满足通信需求； ( 2 ) 深亚微米的物理层带来的问题。长而细的全局 总线，电阻大，消耗的能量多，传输线之间干扰大，这些问题随着时钟频率的提 高显得愈加严重；( 3 ) 系统信号同步问题，大量的计算单元很难实现全局信号同 步； ( 4 ) 总线通信方式限制了系统的设计效率。 为解决总线模式的上述问题，一些研究机构提出以通信为中心的集成设计方 法片上网络( n o c ，n e t w o r k o n c h i p ) 【2 6 】【2 7 1 。n o c 的基本思想是把多核处理 器视为由组件互连而成的微网络，将处理器内部的处理单元作为节点组件连接到 n o c 上，借用传统网络中的分层协议堆栈，对n o c 的电气特性、逻辑特性和功能 特性进行抽象、分析和综合，以期方便处理器内部互连结构设计的同时，最大限 度的提高处理单元之间的通信性能。 本章我们将从片上网络的拓扑结构、路由算法、交换机制、性能参数和典型 实例几个方面进行阐述。 2 1 一个简单的n o c 实例 图2 1 给出了一个简单的4 x 4 m c s h 结构的n o c 实例【2 7 】，它将s o c 内各个i p 核加上网络适配器及路由节点构成网络，路由节点之问通过全局链路连接。 通常，n o c 包括以下几种基本部件：( 1 ) 网络适配器，即i p 核连接n o c 的 接口，它的功能是将计算与通信分离；( 2 ) 路由节点，根据选定的协议传输数据， 通常包括缓冲区队列、内部c r o s s b a r 、路由及仲裁逻辑以及相关链路控制器等，如 图2 2 所示1 2 引。缓冲区用于存储经过该路由节点的报文，c r o s s b a r 用于连接输入缓 冲和输出缓冲，路由与仲裁逻辑控制c r o s s b a r 的开关，即为报文选择合适的输出 端口，链路控制器则用于连接i p 核或路由节点的输入输出。( 3 ) 全局链路，用 于连接各个路由节点，由一个或者多个逻辑的或物理的通道构成。 第6 页 国防科掌技术大学研生阮硕上学f 7 = 论文 f i f o = 缓冲区队列l c = 链路控制嚣 图2 2 路由节点的一般模型 2 2n o c 的拓扑结构 n o c 的拓扑结构定义了网络中各个节点与链路的布局和互连方式，对网络的 延时、吞吐率、面积、容错、功耗等性能有着重要的影响作用，同时影响着网络 中所能应用的路由策略等。n o c 的拓扑结构很大程度上借鉴了宏观网络的构成， 包括规则拓扑结构和定制拓扑结构两大类1 2 8 1 ，如图2 3 所示。 n o = ? 拓扑结构 r 网格 r 直接网络1 多维环面 i1 超立方 规则拓扑? 【间接网络丁树状网络 l 蝶形网络 f 分层网络 定制拓扑 专用网络 l 网络总线混合结构 图2 3n o c 拓扑结构分类 第7 页 国防科学技术大学研生院硕上学何论立 22 1 规则拓扑 规则拓扑可以分为两大类( 1 ) 直接网络，网络内任懈由节点都弓处理单 元直接相连，相邻处理单元之问通过传输链路相连报文从源节点到目的节点过 程中，需要择过其他的中问节点：( 2 ) 问接列络。间接网络的处理单元可能同时 与多个路由节点相连。 流行的直接蜘络包括二维网格( 2 d m e s h ) ，二维环面网络( 2 d t o r u s ) 和超 立方，当然还有一些其他直接网络，如一维线性阵列、环刚结构、星形结构等。 如图2 4 所示。 f a l2 d4 x 4 m e s h 网络 捧押押押 i j 甲 柙 柙 唧 焊押柙_ ：甲 归唧却书 f b l2 d4 x 4 t o r u s 阿络 图2 4 睹种2 d 直接两络 一个n x n 规模的二维m e s h l 叫络中，除边界节点外，每个节点都分别和与其相 邻的上、下、左、右四个节点相连，故节点度为4 ，网络直径为2 ( n - 1 ) 。由于二 维m e s h 嘲络具有结构简单、便于分析和实现等特点在n o c 领域有较广泛的应 用，如n o n r 岫+ a e 吐m m a l 【“i ，s o c i n t 3 ”，s o c b u s l 3 2 1 等。将二维m e s h 网络中的边 界节点与其水平或者垂直方向的对应边界节点相连，便构成二维环面网络，2 d t o m s 网络的节点度仍为4 ，但是网络直径为2 x ( n 2 1 1 。 问接网络主要包括树状网络、蝶形网络等，其中树状网络和蝶形网络比较常 见，如斟2 5 所示： a ) 树状网络 图25 间接网络拓扑结构 b ) 蝶形网络 第8 页 国防科学技术大学研生疏硕上学位论文 树状网络中的内节点是交换节点，1 1 | _ 结点为处理单元。除了根节点，每个内 节点都与其父节点和若干子节点相连。对于一个包含n = 2 n 个叶结点的二叉树，节 点度为3 ，网络直径为2 ( n - 1 ) 。网络的延迟取决于树的深度，即n 的大小。传统 的k 叉树根节点是系统的性能瓶颈，l e i s e r s o n 提出胖树结构，一个节点可以拥有 多个父节点，s p i n 结构便是基于这种胖树 b 9 络发展而成口”。 表21 总结了典型的规则州络的特性，这些特性是估算列络的复杂性、通信性 能、成本等的重要依据。 = 是21 几种典型规则网络的特性 阿络拓扑 i 节点数 l 节点度 网络直径 l 链路数 2 dn x n 4 2 ( n 1 )2 扣) n n 2 ( 【“2 】) 一 - - 7 # 12 ( a - 1 1 蝶形网络2 n ( n - 1 ) 2 22 定制拓扑 与规则网络不同，定制拓扑结构主要是面向特定的应用领域，根据特定的需 求进行定制。根据定制的方式不用，可以分成阴类：( 1 ) 专用网络，完全根据具 体的应用需求生成，没有遵循一定的规律，在特定的应用环境中可以有效提高网 络性能，降低系统的占用面积和功耗；( 2 ) 基于规则拓扑，是在规则网络拓扑的 基础上做一些布局改动增加或者删减某些链路，如图2 6 ( a ) 所示：( 3 ) 分层 网络一般包括全局网和局部网两个层次在每个层次上都可以采用规则拓扑或 者定制拓扑结构；( 4 ) 网络一总线混合拓扑严格上也属于分层网络的一种，只不 过在局部网络上采j 1 总线方式，如图2 6 ( b ) 所示。网络- 总线混合拓扑结构与总 线结构相比增加了嗍络带宽，与规则或者定制蚓络相比又缩短了节点距离。 a ) 基于规则拓扑结构 攫引或g 宦制目镭 飞r 弋弋 ( b ) 网络总线混合拓扑 围2 6 曲种典型定制网络 第9 页 国防科学技术人学研牛院硕士学位论文 2 3 n o c 的路由算法 路由算法用于确定源节点到目标节点的路径，通常划分为确定性路由和自适 应路由两类。 2 3 1 确定性路由算法 在确定性路由算法中，个报文在网络中的路由路径仅由该报文的源节点地 址和目标节点地址决定，所有源地址和目标地址相同的报文所经历的路径都一样。 所以当某条链路处于重负载状态下，所有需要经过此链路的报文的传输延时将大 大增加，且对链路或者交换节点的失效非常敏感。常见的确定性路由算法有维序 路由及源节点路由。 由于其算法的简单性，占用的逻辑电路及功耗相对较小，确定性路由算法在 当前的片上网络中得到了广泛的研究及应用。 2 3 2 自适应路由算法 自适应路由算法可以根据通信链路的拥塞情况动态地改变路由方向，同时自 适应路由算法是容错的。所以，自适应路由算法可以更有效地利用链路通信带宽。 常见的自适应路由算法有最小自适应路由，全自适应路由，回转路由，q 路由等。 自适应路由算法与确定性路由算法相比，虽然能获得更好的网络性能，但是 其实现逻辑要复杂许多，同时为了实现无死锁的自适应路由，需要占用更多的硬 件资源，给通信系统的占用面积和功耗带来不小的挑战。 2 4 n o c 的交换机制 片上网络中所应用的交换机制主要可以分为两类，即面向连接和无连接。面 向连接的交换机制主要是电路交换，无连接的交换机制主要有分组交换、虚跨步 和虫孔交换。 2 4 1 电路交换( c i r c u i ts w i t c h i n g ) 电路交换是一种典型的面向连接交换机制【3 4 】。在开始通信之前，一般先发出 一个预约报文，该报文按照一定的路由规则在源节点与目标节点之间进行路径选 择，同时预约所经过的信道资源。通信链路预约成功之后从目标节点沿原路返回 一个应答，源节点在收到应答之后开始传输数据。数据在传输过程中不再进行路 由选择。通信结束后，源节点向目标节点发出传输完成的消息，并释放沿途的链 第l o 页 国防科学技术大学研牛院硕士学位论文 路资源。这便是一次电路交换传输的主要过程。 使用电路交换协议，数据的传输丢失率很低、链路延时小，不会造成数据乱 序，是实现可靠传输的有效协议。但是使用电路交换需要长时间占用链路，如果 网络的通信带宽较小，传输的数据量较大，链路的使用率将很低。另一方面，如 果节点之间需要频繁的发送小数据报文，建立链路及释放链路所带来的开销将严 重影响系统性能。 2 4 2 分组交换( p a c k e ts w i t c h i n g ) 分组交换删，也叫存储转发方式，在这种交换协议中，每一个交换节点将存 储每一个完整的数据包，并等待输出端口空闲，若输出端口可用且传输链路窄闲， 则将该报文发送出去。在每个分组的头部，有源节点地址、目标节点地址及其他 一些路由控制信息。 由于每次交换需要将整个报文缓存，所以交换节点内部需要很大的缓冲区， 对芯片的面积和功耗都有较高的要求。且传输延时与报文大小密切相关，如果不 计算等待传输链路空闲的等候时间，报文的传输延时为： 锄2 ( 日+ 1 ) 云+ 日o 其中，h 为报文经过的跳数，b 为报文大