（通信与信息系统专业论文）片上互连网络组件设计及其验证研究.pdf

浙江大学硕士学位论文 摘要 近5 0 年来，半导体工艺和集成电路技术飞速发展，单个芯片集成的晶体管数量越来越 多，完成的功能越来越复杂，系统芯片( s o c ，s y s t e mo nc h i p ) 的概念应运而生。系统芯片指 在单一芯片上实现完整的系统级功能，主要特征为知识产权( i p ，i n t e l l e c t u a lp r o p e r t y ) 核重用 和总线技术。随着s o c 集成度的不断扩大，基于总线技术的s o c 设计遇到了一系列瓶颈， 如吞吐量受限，功耗、面积迅速增加，全局时钟难以同步，系统扩展性受限等，这大大制约 了芯片规模的扩大和性能的提高。为了克服总线结构的不足，一些研究组织提出将片上互连 网络( o c i n ，o n c h i pi n t e r e o n n e c t i o nn e t w o r k s ) 结构应用于s o c 设计，借鉴并行计算机互连网 络的思想来实现大量l p 核的互连，称为网络化芯片( n o c ，n e t w o r k so nc h i p ) 。n o c 采用全局 异步局部同步( g a l s 。g l o b a l l y a s y n c h r o n o u sl o c a l l y s y n c h r o n o u s ) 技术，支持并行通信，具 有良好的扩展性。 片上互连网络一般由资源节点、通信节点和通信链路组成，资源节点完成系统运算，通 信节点实现资源节点间的通信，通信链路连接资源节点和通信节点。论文论述片上互连网络 通信节点的设计实现，研究片上互连网络的仿真验证方法。 论文提出片上互连网络路由器设计参数和设计流程。将参数融入到设计流程中，设计并 实现了参数化路由器( p r n o c ，p a r a m e t e r i z e d r o u t e r f o r n o c ) 。参数化路由器设计参数分为基 本参数、扩展参数和性能约束参数，具有参数化、分布式、可测试、可扩展的特性。实验结 果表明，p r n o c 在t s m c0 1 3 u m 标准单元工艺下，w o r s tc a 主频超过4 0 0 m h z ，占用 0 2 5 m m 2 硅片面积。 论文针对异质多处理器片上互连网络系统，设计了5 类基于连接的、无丢失的网络通信 协议。系统网络接口的设计依赖于资源节点的特性，根据资源节点的不同特性，论文设计实 现了3 类i 旬9 络接口，分别称为主节点网络接口，计算节点网络接口，从节点网络接口。网络 接口与通信协议有机配合，极大地提高了网络通信效率。实验结果表明，网络接口在t s m c 0 1 3 u m 标准单元工艺下，w o r s tc 舔e 主频超过4 0 0 m h z 。 在设计片上互连网络通信节点的基础上，论文提出了片上互连网络的仿真验证方法。采 用层次化仿真验证方案，自下而上、软硬件协同进行。仿真验证过程分为四层：基本组件仿 真验证、链路层仿真验证、网络层仿真验证及系统联合仿真验证。论文在m o d e l s i m 及f p g a 平台上构建了片上互连网络各层仿真验证j f 台，对设计的网络组件进行了功能仿真验证及性 能评价。 关键字：片上互连网络，参数化路由器，通信协议，网络接口，仿真验证 浙江大学硕士学位论文 ab s t r a c t t h eg r o w i n gd e v e l o p m e n to fs e m i c o n d u c t o rt e c h n o l o g ya n di n t e g r a t e dc i r c u i t se n a b l e sm o r e a n dm o r et r a n s i s t o r st ob ei n t e g r a t e di n t oas i n g l es i l i c o nd i e ，w h i c hi sk n o w na ss y s t e mo n c h i p ( s o c ) s o cc a nc o m p l e t ef u n c t i o n so f t h ew h o l es y s t e mi nas i n g l ec h i p i ti sc h a r a c t e r i z e db y i pr e u s ea n db u st e c h n o l o g y w i t ht h eg r o w i n gn u m b e ro fi pc o r e s ，s o m ep r o b l e m si nb u sb a s e d s o cr e s t r i c tt h ed e v e l o p m e n to fc h i ps i z ea n dp e r f o r m a n c e t h ep r o b l e m si n c l u d el i m i t e d t h r o u g h p u t , p o w e r , a r e a , s y n c h r o n i z a t i o na n ds y s t e ms c a l a b i l i t y i no r d e rt os o l v et h e s ep r o b l e m s ， s e v e r a lr e s e a r c h g r o u p sp r o p o s e an e wa r c h i t e c t u r ec a l l e d o n - c h i p i n t e r c o n n e c t i o n n e t w o r k s ( o c i n ) ，w h i c hi sa l s oc a l l e dn e t w o r k so nc h i p ( n o c ) n o ct a k e st h ep r o f i t so fp a r a l l e l c o m p u t e rn e t w o r kt oc o n n e c tl a r g en u m b e r so fi pc o r e si nac h i p n o ci m p l e m e n t sg a l s ， s u p p o r t sp a r a l l e lc o m m u n i c a t i o n ，h a sg o o ds c a l a b i l i t y n o ci sc o m p o s e do fr e s o u r c en o d e s c o m m u n i c a t i o nn o d e sa n dl i n k r e s o u r c en o d e st a k e t h er e s p o n s i b i l i t yo fc o m p u t a t i o n ，c o m m u n i c a t i o nn o d e sa n dl i n kc o n n e c tt h en e t w o r k i nt h i s p a p e r , t h ec o m m u n i c a t i o nn o d e sa r ed e s i g n e d ，a n dt h es i m u l a t i o na n dv e r i f i c a t i o nm e t h o di s d i s c u s s e d t h i sp a p e rp r o p o s e sd e s i g np a r a m e t e r sa n dd e s i g nf l o wf o rn o cr o u t e r , w h i c hi n c l u d e sb a s i c p a r a m e t e r s ，e x t e n dp a r a m e t e r sa n dp e r f o r m a n c ep a r a m e t e r s ap a r a m e t e r i z e dr o u t e r ( p r n o c ) i s d e s i g n e da n di m p l e m e n t e d p r n o ci sp a r a m e t e r i z e d ，d i s t r i b u t a b l e ，t e s t a b l ea n ds c a l a b l e e x p e r i m e n ts h o w sp r n o cc a nw o r ka t4 0 0 m h zw i t ht s m c13 gt e c h n o l o g yi nw o r s tc a s e t h i sp a p e rc o n s i d e r sah e t e r o g e n e o u sm u l t i p r o c e s s o r sn o c a c c o r d i n gt ot h ec h a r a c t e r i s t i c s o ft h es y s t e m ，5t y p e so fn e t w o r kp r o t o c o la r ed e s i g n e dw h i c ha r eb a s e do nc o n n e c t i o na n d l o s s l e s s a c c o r d i n gt ot h ep a r t i c u l a r i t yo fr e s o u r c en o d e s ，3t y p e so fn e t w o r ki n t e r f a c e s ( n i s ) a r e d e s i g n e d , w h i c ha r ec a l l e dm a s t e rn i ，c o m p u t a t i o nn ia n ds l a v en i n e t w o r ki n t e r f a c eu n i t e sw i t h p r o t o c o l st or a i s et h ec o m m u n i c a t i o ne f f i c i e n c y e x p e r i m e n ts h o w sa l ln l sc a l lw o r ka t4 0 0 m h z w i t ht s m ci3 gt e c h n o l o g yi nw o r s tc a s e b a s e do nt h ec o m m u n i c a t i o nn o d e ，t h i sp a p e rp r o p o s e st h em e t h o d s o fs i m u l a t i o na n d v e r i f i c a t i o ni nn o c a c c o r d i n gt ot h ep a r t i c u l a r i t yo fn o c ，ah i e r a r c h i c a ls c h e m ei sp r o p o s e d w h i c hu s e sb o t t o mu pa n dh a r d w a r es 0 1 a r ec o - s i m u l a t i o nm e t h o d s t h ep r o c e s s e so fs i m u l a t i o n c o n s i s to fb a s i cc o m p o n e n ts i m u l a t i o n ，l i n kl e v e ls i m u l a t i o n ，n e t w o r kl e v e ls i m u l a t i o na n ds y s t e m c o m b i n e ds i m u l a t i o nl e v e l f o u rs i m u l a t i o np l a t f o r m sa r ec o n s t r u c t e di nm o d e l s i ma n df p g a ， w h i c hs u p p o r tt h ef u n c t i o ns i m u l a t i o na n dp e r f o r m a n c ee v a l u a t i o no fn o c k e y w o r d s ：o n c h i pi n t e r c o n n e c t i o nn e t w o r k s ，p a r a m e t e r i z e dr o u t e r , c o m m u n i c a t i o np r o t o c o l ， n e t w o r ki n t e r f a c e ，s i m u l a t i o na n dv e r i f i c a t i o n 浙江大学硕士学位论文 图表索引 图1 1 总线结构2 图1 2 片上互连网络结构6 图1 - 3 直接网络拓扑( a ) m e s h 拓扑( b ) t o m s 拓扑( c ) o c t a g o n 拓扑7 图l 4 间接网络拓扑( a ) b u t t e r f l y 拓扑( b ) 胖树拓手t ( s p i n ) 7 图1 5 基本延时计算示意图( r = 路由器) 8 图1 6 路由算法分类9 图1 7 片上互连网络通信协议1 1 图1 8 通用路由器模型1 2 图1 9 网络接口结构示意1 2 图2 1 路由器设计流程l7 图2 2 微片格式示意图l8 图2 3 路由器整体结构1 8 图2 - 4 输入通道框图2 0 图2 5 异步f i f o 框图2 0 图2 6 格雷码计数器框图2 1 图2 7 二进制与格雷码转换算法2 l 图2 8 判断f i f o 空满示意2 2 图2 - 9 虚通道示意2 3 图2 1 0 二维网格中的x y 路由算法。2 4 图2 i l 二维网格中的转弯模型二i 2 5 图2 1 2 二维网格最小西向优先路由算法2 5 图2 1 3 二维网格中的d u a t o 自适应路由算法2 6 图2 1 4 单播与多播比较2 7 图2 1 5 多播节点划分及路由示意2 8 图2 1 6 输出通道设计框图2 8 图2 17 温度计编码2 9 图2 18p p e 结构图2 9 图2 1 9 测试路由器连接性的三种设置方式3 0 图2 2 0 路由器关键路径分析3 2 图2 2 1 路由器延时比较3 2 图2 2 2 路由器面积比较3 2 图2 2 3 ( a ) 不同注入率下功耗比较( b ) 功耗组成3 2 图2 2 4 不同路由器功耗比较3 3 图3 1 异质多处理器片上互连网络系统框图3 8 图3 2 请求微片载荷组成4 l 图3 3 数据微片填充方式4 2 图3 4 主请求发送传输过程4 3 图3 5 主请求接收传输过程4 3 图3 6 从请求发送传输过程4 4 图3 7 从请求接收传输过程4 5 图3 8 多播请求发送4 6 图3 - 9 网络接口设计流程4 7 v 浙江大学硕士学位论文 图3 1 0 主节点网络接口结构图。4 8 图3 1 l 主节点网络接【j 控制状态机51 图3 1 2 计算节点网络接口结构图5 3 图3 13 处理器与网络接口通信示意图5 3 图3 1 4 从节点网络接口结构图5 6 图3 1 5 从节点网络接口状态机5 7 图4 1 片上互连网络仿真验证过程6 0 图4 2 基本组件仿真验证流程6 2 图4 3 传统仿真与硬件加速仿真的仿真速度比较6 3 图4 4 链路层软硬件仿真平台框图“ 图4 5 网络数据包产生模块框图6 5 图4 6l f s r 电路结构图6 6 图4 7 数据包控制模块状态机6 6 图4 8 网络控制和性能分析模块框图6 7 图4 9u s b 上位机界面6 9 图4 1 0 仿真器界面。7 0 图4 1 1 超级终端界面7 0 图4 1 2 仿真程序执行流程图。7 l 图4 - 1 3 传输脚本格式一7 2 图4 - 1 4 系统联合仿真框图。7 3 图4 1 5 不同负载模型下路由算法比较7 7 图4 1 6 单播与硬件多播比较7 7 图4 1 7 多核调试器界面一：7 8 表1 1n o c 实例介绍4 表2 1 路由器参数特性3l 表2 2 不同路由器带宽比较3 3 表2 3 基本参数与扩展参数对性能参数的影响3 4 表2 - 4p r n o c 与其它路由器比较3 5 表3 - l 资源节点分类4 0 表3 2 网络接口配置寄存器地址4 9 表3 3 网络接【j 配置寄存器内容5 0 表3 4 网络接口任务命令字5 4 表3 5 任务链表内容5 5 表3 6 网络接口实验数据5 8 表4 1 寄存器接口寄存器内容6 8 表4 2 各模块在f p g a 上的延时评估7 4 表4 3 各模块在f p g a 卜的面积评估7 5 表4 4 不同包长度时的网络传输延时7 8 表4 58 * 8 矩阵乘法多核测试结果7 9 浙江大学硕士学位论文 第一章绪论 1 1 课题背景 1 9 5 8 年8 月1 6 日，集成电路( i c ，i n t e g r a t e dc i r c u i o 在德州仪器发明，这一仅包含2 个晶 体管的集成电路为电子产品制造带来了巨大的革命。在过去5 0 年中，集成电路的复杂度以 每年5 0 以上的速度增长，成为史上持续发展最快的一项技术【l l 。集成电路的发展很好地印 证了摩尔定律( m o o r el a w ) ，即单一芯片上集成的晶体管数目将随时间成指数规律增长，其 集成度大约每1 8 个月翻一剥2 1 。2 0 0 8 年，i n t e l 发布的p e n r y n 四核处理器已经集成了8 2 亿 个晶体管，使用4 5 r i m 制程工艺。 集成电路技术的发展经历了从小规模集成电路( s s l ，s m a l ls c a l ei n t e g r a t e dc i r c u i t s ) 到中 规模集成电路( m s i ，m e d i u ms c a l ei n t e g r a t e dc i r c u i t s ) 、大规模集成电路( l s i ，l a r g es c a l e i n t e g r a t e dc i r c u i t s ) 、超大规模集成电路( v l s i ，v e r yl a r g es c a l ei n t e g r a t e dc i r c u i t s ) 的历程，今 天已经进入特大规模集成电路( u l s i ，u l t r al a r g es c a l ei n t e g r a t e dc i r c u i t s ) 阶段。在单一芯片上 能完成信号采集、转换、处理、输入输出等功能，从而只使用单一芯片就能实现完整的系统 功能 3 1 ，系统芯片( s o c ) 的概念应运而生。s o c 的主要特征为知识产权( 1 p ) 核重用和总线技术。 l p 核重用使设计的单元能最大限度的被重新使用，从而缩短设计时间，降低设计难度，提 高资源利用率；总线结构保证系统通信需求，使多个l p 核之间能够方便地互连，提高通信 能力，简化系统通信设计。 现在流行的总线结构有a r m 公司的a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 总线，i b m 公司的c o r ec o n n e c t 总线，s i l i c o r e 公司的w i s h b o n e 总线及o c v - i p ( o p e nc o r e p r o t o c o li n t e m a t i o n a lp a r t n e r s h i p y 提出的o c p 总线等1 4 j 。常用的总线结构如图1 1 所示，一般 包括一条高速总线和一条低速总线。高速总线上可挂接多个主设备( m a s t e r ) 和从设备( s l a v e ) 。 主设备一般包括精简指令集计算机( r i s c ，r e d u c e di n s t r u c t i o ns e tc o m p u t e r ) 、数字信号 处理- 器( d s ed i g i t a ls i g n a lp r o c c s s o o 、直接存储访问设备( d m a ，d i r e c tm e m o r ya c c e s s ) 等。 主设备通过请求占用总线，使用时分复用技术，同一时问片内只能有一个主设备占用总线， 防止访问冲突的发生。当有多个主设备同时请求时，总线使用仲裁器决定总线所有权的归属， 没有得到所有权的主设备需要等待直到得到总线所有权。 总线上的从设备不具有主动访问总线的权利，只能被动等待被访问，从设备包括片上存 储器( o n - c h i pr a m ) 、存储器控制器( m e m o r yc o n t r o l l e r ) 等。 低速总线通常工作在相对较低的频率上，它通过高速总线分频得到，其上挂接慢速设备， 如定时器( t i m e r ) 、串i = i ( u a r t , u n i v e r s a la s y n c h r o n o u sr e c e i v e rt r a n s m i t t e r ) 、通用可编程输 入输出l i ( g p i o ，g e n e r a lp r o g r a m m a b l ei n p u to u t p u t ) 等。低速总线与高速总线之间不能直接 通信，需要通过总线桥相连。总线桥将高速总线的请求转换到低速时钟域后访问低速总线上 的设备。 总线结构的出现大大降低了片内通信的设计难度，提高了系统通信能力，接口只要符合 总线标准，就能连入现有的s o c 系统中，总线结构一度成为片内通信的最佳选择。 浙江大学硕+ 学位论文 图1 1 总线结构 工艺技术持续发展，系统的复杂度越来越高，产生了多处理器系统芯片( m p s o c ， m u l t i , p r o g e s s o rs y s t e m o n , c h i p ) t ”，m p s o c 使得在一个芯片内部容纳多个处理器成为可能。 但总线结构在互连m p s o c 系统时，表现出了明显的局限性，主要体现在以下6 方面1 4 j ： 1 吞吐量、带宽限制。在总线结构中，所有总线主设备共享有限的总线带宽，其通信 带宽不会随着设备数量的增加而相应增大。随着主设备数量的增多，在多个设备并 发传输数据时，它们将竞争有限的通信资源。这时总线的数据带宽和吞吐量将无法 满足大量数据通信的要求。 2 能量消耗大。随着工艺技术的发展，逻辑门的功耗不断减小，但互连线上的功耗却 没有相应的减小，互连线功耗成为系统功耗的重要组成部分。随着总线设备的不断 增加，总线上的容性负载显著变大，将直接导致传输数据所需的功耗变大。同时， 总线上任意两者之间的数据传输都要通过整条总线，其能量有效性很低。 3 信号完整性受损。随着集成度的不断增加，晶体管之间的连线变得非常稠密，极易 受各种形式的电子噪声的影响，如串扰、电磁干扰等。总线使用竞争策略，竞争要 求对分布系统进行同步，可以看成一个噪声源。噪声的影响将导致线上传输的信号 更加不可靠，影响信号完整性。 4 信号延时增加。随着工艺技术的发展，逻辑门的延时不断减小，但互连线延时却没 有很大的变化，信号在互连线上的延时将占据总延时越来越大的比例。在总线结构 中，总线需要连接所有的设备。随着系统规模的不断增加，总线常常需要穿过整个 芯片，其长度将变得很大，信号在总线一卜传输将产生很大的延时，从而降低了总线 的工作频率，影响整个系统的通信效率。 5 全局同步约束困难。总线结构需要在整条总线上使用同一工作频率，跨越芯片大部 分面积的全局连线的传播延时是s o c 设计的一大挑战。随着连线长度的增加和时 钟频率的提高，信号传播延时将可能超过时钟周期。同时，构建全局同步的时钟树 也将耗费人量的芯片面积、功耗，同时合理控制时钟偏斜也变得非常困难。未来最 可能的同步机制将使用多个不同的时钟，并使用全局异步局部同步( g a l s ) 技术嘲。 6 扩展性有限。总线标准通常限制了总线主设备的数量，如a m b a 2 0 总线标准中用 限制其高速总线上最多可以有1 6 个丰设备，这人人限制了其扩展性。同时，即使 总线上可以挂接更多的主设备，由于总线使用集中式仲裁，对大量主设备的仲裁也 将变得非常复杂而无法使用。 2 浙江大学硕士学位论文 针对总线结构的诸多缺陷，研究者提出了许多措施来加以缓解，如使用多层总线提高总 线可用带宽，使用突发传输、分裂传输提高总线利用率等。这些方法的使用在一定程度上提 高了总线性能，增加总线适用性，延长总线结构的寿命，但并没有从根本上解决总线结构的 缺陷，人们希望构建一种全新的通信结构来解决上述问题，以满足发展的需求。2 0 0 0 年， 多个研究小组先后提出了一种全新的互连结构片上互连网络似o c ) 1 8 9 1 , n o c 的核心思 想是将并行计算机互连网络技术移植到芯片设计中来，从而在体系结构上解决总线结构所带 来的上述问题。 片上互连网络将解决多个处理器之间的互连问题，理论上可以互连无限多个处理器。片 上互连网络的各个节点将不再局限在一条总线上，而是通过一个网络连接起来。每条网络的 链路较短，仅连接有限数量的节点，这使得每条链路上的延时、功耗得以减小，信号完整性 得到加强。网络中不同节点之间的通信有多条路径可以选择，不同路径间的通信互不影响， 这大大提高了并行通信的能力，提高了网络带宽。网络的另一个特点在于它没有全局同步的 约束，可以很好地采用全局异步局部同步( g a l s ) 技术进行运行。g a l s 技术避免了总线结 构中所需的庞大的全局时钟树，可以有效地减小时钟树的构建难度及占用的面积和消耗的功 率。片上互连网络所表现出来的高带宽、低功耗、可扩展、并行通信方式、g a l s 运行方式 特点，使其具有了总线结构无法比拟的优势。 片上互连网络相比总线技术有着巨大的优势，但它并不能完全取代总线结构。总线结构 在互连规模较小时设计简单、可靠，具有较好的性能。为了达到性能和复杂度的平衡，片上 互连网络和总线将相互结合，共同存在于未来的设计中，例如局部系统仍使用总线连接，降 低设计复杂度和通信协议引起的延时；在全局范围内则采用网络进行互连，增加通信带宽、 传输可靠性和系统可扩展性。 1 2 片上互连网络研究动态 1 2 1 国际研究动态 随着技术的发展和应用的深入，越来越多的研究机构认识到片上互连网络的巨大潜力， 纷纷参与其中并推动它的发展，片上互连网络研究成为活跃的学术前沿领域。目前国际上有 超过3 0 个研究单位正在积极从事片上互连网络的：r = 作m ，表1 1 列出了现在已经有较大影 响的实例。 3 浙江大学硕士学位论文 表1 1n o c 实例介绍 t r i p s 1 4 1 c e l l 1 i ，1 2 】 r a w 1 3 】s p i n 1 习 o c n o p n 美国麻省理德州大学奥斯汀分 巴黎第六 研发单位i b m 、东芝、索尼 工大学校大学 研发时间2 0 0 52 0 0 32 0 0 32 0 0 0 1 个p p e ，8 个s p e s ，1 个 网络规模高速存储器和1 个外设单 1 64 02 53 2 元1 ) 4 1 0 5 * 5 拓扑结构双向环状网络e i b ( 1 ) 4 * 4 m e s h 4 列胖树 m e s hm e s h 交换方式电路交换 无2 ) 虫孔交换单微片 虫孔交换 制程工艺 o 0 9o 1 5o 1 3o 1 30 1 3 ( u m ) 工作频率 1 6 0 02 2 53 6 6 3 6 6 2 0 0 ( m h z ) 面积( m m 2 ) 1 4 83 3 1 2 41 05 44 6 网络位宽 1 9 23 21 2 8 + 1 0 ( 3 )13 8 + 4 ( 3 )3 2 ( b i t s ) 网络带宽 3 0 2 72 3 04 06 01 2 5 ( g b s ) 【i ) p p e ：p o w e r p r o c e s s o r e l e m e n t ，s p e s ：s y n e r g i s t i c p r o c e s s o r e l e m e n t s , e i b ：e l e m e n t i n t e r c o n n e c t b u s ( 2 ) 文献中没有给出 ( 3 ) 增加的部分为头信息，用于流量控制，不传输敦据 表中各种片上互连网络都有各自不同的网络规模、拓扑结构、交换策略、物理设计等， 适用于不同的系统，对片上互连恤疃络的研究起到了很好的推动作用。除上述实例研究外，人 们还对片上互连网络的各个方面进行了细致的研究。2 0 0 0 年至今，有关片上互连网络的研 究论文大量涌现【2 8 ，3 6 , 6 0 1 ，研究课题包括片上互连网络系统结构、多任务映射、网络系统路 由及通信协议设计、路由节点与网络接u 设计、多时钟处理与网络功耗研究、物理布局布线 设计等方面。 1 2 2 国内研究动态 自2 0 0 5 年度开始，国内一些研究型大学和研究所也陆续开展了片上互连网络方面的研 究工作，研究内容主要集中在流量分析【1 6 j ：拓扑结构、设计方法【7 9 1 ；路由算法【2 们、通信 算法和协议；低功耗和网络时钟2 2 1 等方面。总体上来说，困内对于片上! i ：连网络方面的 研究尚处于起步阶段，与国外相比存在较大差距，国内开展这方面的深入研究已经到了刻不 容缓的地步。 4 浙江大学硕士学位论文 1 2 3 片上互连网络研究问题 随着研究的不断深入，许多关于片上互连网络的问题陆续得到解决，但仍有许多问题至 今仍然没有能够很好的被解决 2 3 , 2 4 】，总结起来包括： 片上互连网络工艺和电路设计。随着深亚微米技术的不断发展，电路设计理念、方 法也在不断的发生变化。如何在更为先进的工艺水平下设计片上互连网络是一个仍 待研究的问题。 片上互连网络结构和微结构设计。结构设计考虑网络的系统结构( 包括拓扑结构、 交换策略、路由算法、流量控制方式等) ，微结构设计考虑网络通信组件( 网络接口 和路由器) 的设计，选择怎样的网络结构和微结构能够最好地适应片上互连网络系 统是一个尚未解决的问题。 片上互连网络c a d ( c o m p u t e za i d e dd e s i g n ) i 具设计。c a d - i - 具可以加速设计的 过程，减少设计的难度和复杂度。对片上互连网络而言，设计怎样的c a d 工具进 行设计支持仍是一个未决问题。 片上互连网络评价。在设计了片上互连网络后，如何评价所设计的片上互连网络。 片上互连网络应用程序的划分、映射和调度。在设计片上互连网络系统后，如何将 应用程序分割映射到网络多个节点处运行，如何调度各个节点上的应用程序，发挥 片上互连网络的优势是一个仍需要研究的问题。 上述问题既是_ 今个独立的问题，它们之间也相互影响、制约，共同决定着片上互连网 络系统的发展。 1 3 片上互连网络体系结构 片上互连网络的思想起源于大规模并行计算机网络，它借鉴计算机互联网和大规模并行 计算机网络中的概念和方法，将其应用于单芯片内多个处理器或i p 核的集成，代替现有的 总线结构。片上互连网络与大规模并行计算机网络有很多相似点，如两者具有相似的基本概 念，网络拓扑，路由算法，流控方式等。但它们之问又有不同，主要表现在： 1 硬件资源不同。并行计算机网络具有专门的芯片连接各个节点，处理网络数据的路 由、交换、仲裁，硬件资源比较丰富；片上互连网络将所有资源节点和通信节点集 成在单一芯片内，可用硬件资源相对受限。 2 网络位宽不同。并行计算机网络中，网络节点间的连线在芯片外部，信号干扰较大， 且受到芯片封装管脚数量的约束，一般使用串行或较小的网络位宽；片上互连网络 中，各资源节点间的连线均在心- - t 门l 内部，信号干扰相对较小，且它不受封装约束， 可以使用更人的网络位宽。 3 连线延时不同。并行计算机网络巾，节点间的连线的长度较大，节点问工作完伞异 步，一般使用握手的方式进行数据同步。片上互连网络中，一般使用g a l s 处理 时钟，节点问的时钟转换使用异步缓存( f i f o ，f i r s ti nf i r s to u t ) 。 片上互连网络二般由资源节点、通信节点和通信链路三部分组成，如图1 - 2 所示。通信 5 浙江大学硕士学位论文 节点负责网络中的信息交换，完成网络中信息的接收和转发；资源节点可以是通用处理器、 数字信号处理器、高速外设、可编程器件等，通过网络接口州i ，n e t w o 出i n t e r f a c e ) 接入网络。 路由器与路由器、路由器与网络接口之间通过通信链路连接起来。 图1 2 片上互连网络结构 1 3 1 拓扑结构 拓扑结构主要体现片上互连网络中的通信节点是如何分布和连接的。为了满足不同的性 能和成本的需要，人们设计了很多种不同的网络拓扑结构。总体来说，片上互连网络拓扑结 构可以分为直接网络和间接网络两类【2 孔。直接网络指每个节点处理器通过网络直接相连， 每个节点执行数据流路由和仲裁。问接网络指节点处理器通过一个或多个中间节点开关相 连，开关节点执行路由和仲裁，也称为多阶段互连网络( m i n 。m u l t i s t a g ei n t e r c o n n e c t n e t w o r k s ) 。常用的直接网络包括二维网格拓s b ( m e s h ) ，二维环绕网格拓s b ( t o r u s ) 、八角形 ( o c t a g o n ) 拓扑等：间接网络拓扑有蝶形( b u t t e r f l y ) 拓扑、胖树( f a tt r e e ) 拓扑等。 二维网格( m e s h ) 拓扑。二维网格是目前片上互连网络研究中最常使用的拓扑结构， 如图l - 3 ( a ) 所示。在这种结构中每一个节点都与周围四个相邻的节点相连。二维网 格结构简单，具有良好的规则性，扩展性好，但是其带宽、延时等性能上却不是最 优的。 二维环绕网格( t o m s ) 拓扑。二维环绕网格在二维网格的基础上将位于边缘的话个节 点也连接起来，如图1 3 ( b ) 所示。t o r u s 的优点在于增加的连线增强了边缘节点间 的通信能力，提高了可用带宽；其缺点在于增加的连线与已有连线产生交叉，会增 加后期布线难度，同时也增加了死锁的可能。 八角形( o c t a g o n ) 拓扑。o c t a g o n 是为网络处理器提出的一种片上通信结构，如图 1 - 3 ( c ) 所示。在这种结构中，8 个处理器通过一个o c t a g o n 环和三条直径相连，在 一个o c t a g o n 环内的任意两个处理器之间的延迟不超过两个内部连线。不同的 6 浙江大学硕士学位论文 o c t a g o n 环通过资源节点连接起来。 州匐裥酗 ，唪簿阐剞胖 山嘲螂 嶂牌删 缈 ( a ) ( c ) 图1 3 直接网络拓扑( a ) m e s h 拓扑( b ) t o r u s 拓扑( c o c t a g o n 拓扑 蝶形( b u t t e r f l y ) 拓扑。b u t t e r f l y 拓扑是一个间接网络结构，如图l - 4 ( a ) 所示。在 b u t t e r f l y 结构中，每个源节点到目的节点的路由固定，且任意两个节点之间的延时 是一样的，延时由开关结构上的中间阶段数目决定。 胖树拓扑。与b u t t e r f l y 不同，胖树结构在源节点到目的节点间提供了多条数据路 径，它可被看作是一个扩展的多个根节点的n 列树网络，其网络延时依赖于树的 深度。s p i n 2 6 1 网络就是一个4 列胖树拓扑，每个处理器位于胖树的叶子节点，如 图1 4 ( b ) 所示。 1 1s w i t c h 口n o d e ( a )( b ) 图1 - 4 间接网络拓扑( a ) b u t t e r f l y 拓扑( b ) 胖树拓 i ( s p i n ) 拓扑结构的特征参数主要包括直径、连接度、带宽、延时【2 7 1 。直径指连接任意源节点 与目的节点之间的最大节点数；连接度指网络中与每个节点直接相邻的节点数量；带宽指网 络中通信的最大流量；延时指信息从源节点到目的节点的传输时间。 1 3 2 交换技术2 5 1 交换技术决定了内部开关连接路由器的输入和输出端口的时机和方式，以及消息可以沿 着这些路径传输的时间。常用的交换技术包括电路交换、报文交换、虚跨步交换、虫孔交换 等。为便于比较，我们对每种交换技术计算基本延时，它指l 位消息在没有任何堵塞条件 下通过网络所需的延时。假设微片( f l i