（微电子学与固体电子学专业论文）mpsoc通信互连技术研究.pdf

摘要 摘要 伴随着v l s i 设计技术的进步，将更多的i p 模块集成到一个s o c 芯片上已经成为 必然的趋势。由于这些s o c 的复杂性，我们需要重新考虑片上通信技术，以往的总 线技术已经_ 再适应多核s o c 的设计工作。片上9 6 9 络n o c ( n e t w o r ko nc h i p ) 的概 念被提出来解决多核s o c 片上通信的问题，大量的片上网络拓扑结构被提出来，用 来连接可重用的i p 核到通信网络。本论文首先介绍了片上网络的出现及其必然性， 然后洋细阐述了基于片上划络的多核s o c 的通信特点，深入分析了其设计的关键技 术，如拓扑结构、传输协议等。 随着集成电路工艺尺寸的不断缩小和集成电路频率与集成度的不断提高，互 连寄生效应越来越大，导致互连的延时、功耗和串扰噪声不断增大，使其成为影 响集成电路设计整体性能的重要因素。如何降低产品成本和缩短设计周期也因此 成为当前电路设计者所面临的严峻挑战。针对片上全局互连进行设计优化，以加 快时序收敛，降低功耗和面积开销，增强信号完整性和可靠性，是当前集成电路 物理设计的研究热点之一。本论文详细分析研究了目前用于片上全局互连的几种 方法，并且提出了一种基于m c m l 电路的低摆幅差分互连电路，具有较好的性能。 在n o c 的设计中，为了实现i p 核与通信网络的连接，网络接口模块是必不可少 的，本论文完成了一个简单的网络接口部分模块的设计，实现了i p 核与通信网络之 间不同时钟域、不同数据宽度的信息交换。 关键词：多核s o c片上网络片上长线互连网络接口 a b s t r a c t a b s t r a c t a d v a n c e si nv l s id e s i g nt e c h n i q u e sh a v em a d el a r g ec o m p l e xs y s t e m so nc h i p ( s o c ) ar e a l i t y t h ec o m p l e x i t yo ft h e s es o c sc a l l sf o rr e v i e wa n dr e v i s i o no fo n c h i p c o m m u n i c a t i o nt e c h n i q u e s ，t h et r a d i t i o n a l o n c h i pb u si sn o ts u i t a b l ef o rt h e m u l t i p r o c e s s e rs o c ( m p s o c ) ，t h en e w o n c h i pc o m m u n i c a t i o nt e c h n o l o g ys h o u l db e c o n s i d e r e d n e t w o r ko nc h i p ( y o c ) h a sb e e ns u g g e s t e da st h ec o m m u n i c a t i o nr e s o u r c e t oo v e r c o m et h eo n c h i pp h y s i c a li n t e r c o n n e c ti s s u e sf o rt h em p s o c s an u m b e ro f a r c h i t e c t u r e sh a v eb e e np r o p o s e df o rn o c sw h i c hc o n n e c tr e u s a b l ei pb l o c k so na c o m m u n i c a t i o nn e t w o r k t h ed i s s e r t a t i o ni n t r o d u c e st h en e c e s s i t yo ft h en o c ，t h e n f o c u s e so nt h en o c sc o m m u n i c a t i o nc h a r a c t e r sa n dt h ek e yd e s i g nt e c h n o l o g y ，s u c ha s t o p o l o g ya r c h i t e c t u r e ，t r a n s m i s s i o np r o t o c o l ，e t c a st h ei n t e g r a t e dc i r c u i t st e c h n o l o g yc o n t i n u e ss c a l i n g ，t h ec i r c u i t s f r e q u e n c ya n d i n t e g r a t i o ns c a l ec o n s t a n t l y g r o w s ，t h ep a r a s i t i cp a r a m e t e r so fi n t e r c o n n e c th a v eb e c o m e ak e yf a c t o ri nv l s id e s i g n i ti n c r e a s e st h ed e l a ya n dp o w e rc o n s u m p t i o na n dm a k e s t h ec r o s s t a l kn o i s em o r es e r i o u s l y a tt h es a m et i m e ，h o wt ol o w e rt h ec o s ta n ds h o r t e n t h et i m et om a r k e th a sb e c o m eag r e a tc h a l l e n g et ov l s id e s i g n e r s 。t h ei n t e r c o n n e c t o p t i m i z a t i o nt e c h n i q u e sw i l lh e l ps p e e d i n gu pt i m i n gc o n v e r g e n c e ，d e c r e a s i n gp o w e r a n da r e a ，i n c r e a s i n gs i g n a li n t e g r i t ya n d r e l i a b i l i t y i th a sb e c o m e so n eo ft h eh o tt o p i c s i np h y s i c a ld e s i g n t h ed i s s e r t a t i o nd i s c u s s e ss e v e r a lt e c h n o l o g i e so ft h e o n c h i p i n t e r c o n n e c t ，a n dan e wl o ws w i n gd i f f e r e n t i a ls i g n a l i n gc i r c u i tf o rt h eo n c h i pg l o b a l i n t e r c o n n e c ti s p r o p o s e d ，w h i c hc a nr e d u c e t h ei n t e r c o n n e c t d e l a y a n dp o w e r d i s s i p a t i o n f o rt h ec o n n e c t i o no ft h ei pb l o c k sa n dt h ec o m m u n i c a t i o nn e t w o r k ，t h en e t w o r k i n t e r f a c ei sn e c e s s a r y ，w h i c hi sp r o p o s e df o rg l o b a ls y n c h r o n i z a t i o n t h ed i s s e r t a t i o n d e s i g n e d as i m p l en e t w o r ki n t e r f a c em o d u l et oc o m m u n i c a t et h ei pc o r e sa n dt h e c o m m u n i c a t i o nn e t w o r k k e y w o r d ：m p s o cn o co n c h i pg l o b a li n t e r c o n n e c tn e t w o r ki n t e r f a c e 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文。f l 特别加以标注 和致谢i l - 所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果： 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使l j 过的材 料。与我。同t 作的同志对本研究所做的任何贡献均已在论文i i i 做了明确的说明 并农示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 纠勇 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使，h 学位论文的规定，即：研究生 在校攻读学位期问论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采刚影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适川本授权书。 本人签名：型盈日期竺! ! ：么丝 导师签 第一章绪论 第一章绪论 随着集成电路设计复杂度的提高以及产品上市时间压力的增大，基于i p 核复用 的s o c 设计已成为一种重要的设计方法。为了达到更高的处理效能，多处理器系统 单芯片( m p s o c ) 已成了新一代s o c 的主流设计趋势。当m p s o c 中集成的i p 核越 来越多时，i p 核的互连策略和方法就成为了影响m p s o c 性能、数据吞吐率等指标 的重要因素。 在m p s o c 的设计中，一个重要的课题就是i p 核的互连问题，即当一个m p s o c 中需集成几十个，甚至更多的i p 核时，如此多的i p 核以什么样的方式进行数据交互。 i p 核互连的不同形式会影响到m p s o c 芯片的数据带宽、时延、数据吞吐率及功耗 等指标。总线是目前s o c 设计中广为使用的i p 核互连方式，常用的总线有a r m 的 a m b a 总线、i b m 的c o r e c o n n e c t 总线、s i l i c o r e 公司的w i s h b o n e 总线、a l t e m 的a v a l o n 总线、p l a m c h l p 的c o r e f r a m e 总线、m i p s 的e c v mi n t e r f a c e 总线、a l t e r a 的a t l a n t i c r m i n t e r f a c e 总线、i d t 的i p b u s t m ( i d tp e r i p h e r a lb u s ) 总线等。当s o c 变得越来越复杂 时，总线也逐渐成为限制芯片速度、功耗、面积、数据吞吐率的一个瓶颈问题。 在总线的发展中，增加总线的宽度、提高总线的时钟、支持流水线、采用多 路选择器替换三态门及采用多总线方案等都可以一定程度的缓解以上问题。然而， 总线架构的不断发展与进步却给i p 核复用及s o c 设计实现带来了一定的不利影响。 一方面，总线的技术变更或升级有可能使以前支持的i p 核不再适用，需要做修改； 另一方面，可能会给s o c 的系统级设计带来影响，如总线中引入灵活的流水线方式 就给系统架构及事务级设计带来很大的影响。针对总线在i p 核互连中存在的一些问 题，出现了片上网络n o c ( n e t w o r ko nc h i p ) 的设计理念【1 】1 2 】【3 】【4 1 。其核心思想是 将计算机网络技术移植到芯片设计中来，从体系结构上彻底解决总线架构带来的 问题。n o c 不仅具有良好的空间可扩展性，还提供了很好的并行通讯能力，势必 将成为替代总线通讯方式的一种理想的解决方案。n o c 以分组交换作为基本通讯技 术，采用全局异步一局部同步g a l s ( g l o b a l l ya s y n c h r o n o u sl o c a l l ys y n c h r o n o u s ) 瞪1 的通讯机制，每一个资源节点都工作在自己的时钟域，而不同的资源节点之间则 通过路由节点进行异步通讯，从而很好地解决了多个时钟域之间数据传输的同步 问题。n o c 理念的核心是分层互连，将s o c 设计中的i p 核与互连的线分开来，使得 系统的设计优化和i p 核的设计优化互不影响。目前已经有利用n o c 的设计理念完成 了的芯片，壶l ：l t i l e r a 公司的t i l e 6 4 芯片，其采用i m e s h 的结构；而a r t e r i s 公司则提供 n o c 的解决方案。 本章简要介绍了目前几种主要的总线技术和n o c 的出现及其发展状况，接下 m p s o c 通信互连技术研究 来介绍了本人在硕士研究生阶段的主要研究工作及取得的成果，最后对本论文所 作的主要工作和论文结构作一介绍。 1 1 课题的研究背景 在复杂的m p s o c 设计时代，在异质多核心次系统之间提供一个稳定且高效能 的沟通机制，已成为极重要的课题。今日的芯片中是由多个核心和大量的i p 单元 区块所组成，存此环境下，提升处理器的频率并4 i 能保证处理效能的提升，如何 建立优化的：笛片上总线( o n c h i pb u s ，o c b ) 拓扑架构和路由算法，反而是主导芯 片效能的关键所在。 1 1 1 片上总线技术的发展现状 片上总线与电路板上的总线有类似之处，但前者在结构、时序以及接口上都 要求更为简化；片上总线也得具备更大的灵活性，包括可变的数据和地址宽度， 支持点到点、数据流、共享总线( s h a r e db u s ) 和交叉开关( c r o s s b a rs w i t c h ) 等多 样化的互连结构，以及灵活的仲裁机制等；此外，片上总线还得尽可能降低功耗。 片上总线是通过仲裁和译码的方式来完成不同主、从部件的互连及总线复用的， 比较常用的主要有a r m 公司的a m b a 总线、i b m 公司的c o r e c o n n e c t 总线、s i l i c o r e 公司的w i s h b o n e 总线。下面我们来分别介绍一下这三种总线形式： ( 1 ) a m b a 总线。 高带宽外部存储 器接口 高性能a r m 处理器i f 高带宽片上r a m 桥ia p b 接- 器l p 1 0 d m a 总线控制器il 计时器i键盘 图1 1 基于a m b a 总线的s o c 系统简图 典型的基于a m b a 总线的s o c 核心部分如图1 1 所示。a m b a 定义了三种不同 类型的总线：a h b ( a d v a n c e dh i g h p e r f o r n l a n c eb u s ) 、a s p ( a d v a n c e ds y s t e mb u s ) 和a p b ( a d v a n c e dp e r i p h e r a lb u s ) 。a m b a 协议是一个开放式的片上总线标准， 可作为s o c 中c p u 、d s p 、内存及外围的链接接口。系统总线和外设总线之间的桥 接器提供a h b a s p 部件与a p b 部件间的访问代理与缓冲。 第一章绪论 a m b a 的a h b 适用于高性能和高时钟频率的系统模块。它作为高性能系统的 骨干总线，主要用于连接高性能和高吞吐量设备之间的连接，如c p u 、片上存储 器、d m a 设备和d s p 或其它协处理器等。其主要特性有：支持多个总线主设备控 制器；支持猝发、分裂、流水等数据传输方式：单周期总线主设备控制权转换； 3 2 1 2 8 位数据总线宽度；具有访问保护机制，以区分特权模式和非特权模式访问， 指令和数据读取等；数据猝发传输最大为1 6 段；地址空间3 2 位；支持字节、半字 和字传输。 a m b a 的a s b 适用于高性能的系统模块。在刁i 必要使用a h b 的高速特性的场 合，可选择a s b 作为系统总线。它同样支持处理器、片上存储器和片外处理器接 口与低功耗外部宏单元之间的连接。其主要特性与a h b 类似，主要不同点是它读 数据和写数据采用同一条双向数据总线。 a m b a 的a p b 适用于低功耗的外部设备，它已经过优化，以减少功耗和对外 设接口的复杂度；它可连接在两种系统总线上。其主要特性有：非常简单，加上 c l o c k 和r e s e t ，总共只有4 个控制信号；3 2 位地址空间；最大3 2 位数据总线； 读数据总线与写数据总线分开。 ( 2 ) c o r e c o n n e c t 总线 图1 2 基于c o r e c o n n e c t 总线的s o c 系统简图 c o r e c o n n e c t 总线规范是i b m 公司设计的一种s o c 总线协议，它能够使处理器、 内存摔制器和外设在基于标准产品平台设计中的集成和复用更加灵活，从而提高 整个系统性能。c o r e c o n n e c t 总线采用了总线分段的方式，共提供了三种基本类型 总线：处理器局部总线p l b ( p r o c e s s o rl o c a lb u s ) 、片内外设总线o p b ( o n c h i p p e r i p h e r a lb u s ) 和器件控制寄存器总线d c r ( d e v i c ec o n t r o lr e g i s t e r ) 。此外， m p s o c 通信瓦连技术研究 c o r e c o n n e c t 还提供连接高性能总线和低性能总线的o p b 桥。c o r e c o n n e c t 总线结构 如图l 。2 所示。 c o r e c o n n e c t 总线中的p l b 总线是一种高带宽、低延迟、高性能的处理器内部 总线。高速的c p u 核、高速存储器控制器、仲裁器、高速的d m a 控制器等高性能、 宽带宽的设备都连接在p l b 上。c o r e c o n n e c t 总线中的o p b 总线用于连接具有不同 的总线宽度及时序要求的外设和内存，以使这些外设和内存能够尽量减少对p l b 性能的影响。通常，一些低性能的设备都连接在o p b 总线上。在p l b 和o p b 之间有 一个o p b 桥，用来实现p l b 主设备与o p b 从设备之间的数据传输。c o r e c o n n e c t 总 线中的d c r 总线主要用来配置p l b 和o p b 主从设备中的状态寄存器和控制寄存 器，该总线可以使p l b 从低性能状态中减小负荷，更有效的控制读写传输。d c r 总线取消了内存地址映射配置寄存器，因此，可以减少读取操作，增加处理器内 部总线的带宽。c o r e c o n n e c t 总线是一种完整的、通用的解决方案，它被认为是一 种很好的结构性总线，主要应用于高性能嵌入式系统的设计。 ( 3 ) w i s h b o n e 总线 图1 3w i s h b o n e 总线的互连架构 w i s h b o n e 总线规范最先是由s i l i c o r e 公司提出，现在已被移交给o p e n c o r e s 组织 维护。由于其具有开放性的特点，目前已经有不少的用户群体。w i s h b o n e 总线规 范的目的是作为一种i p 核之间的通用接口，因此它定义了一套标准的信号和总线周 期，用以连接不同的模块。w i s h b o n e 总线结构十分简单，它仅仅定义了一条高速 总线。在一个复杂的系统中，可以采用两条w i s h b o n e 总线的多级总线结构，其中 一条用于高性能的系统部分，一条用于低速的外设部分，两者之间添加一个接口， 该接口实现较简单。w i s h b o n e 总线有很强的灵活性。i p 核的灵活性，使得其间的 第一章绪论 5 连接没有统一的方式。在w i s h b o n e 总线协议中提供了四种不同的i p 核互连方式： 点到点( p o i n t t o p o i n t ) ，用于两个i p 核的直接互连：数据流( d a t af l o w ) ，用于多个 串行i p 核之间的数据并发传输；共享总线( s h a r e db u s ) ，用于多个i p 核共享一条总线； 交叉开关( c r o s s b a rs w i t c h ) ，同时连接多个主从部件，提高吞吐量；此外还提供一 种片外连接方式，可以连接到以上任何一种互连网络中，如可以将两个有w i s h b o n e 接口的不同芯片之间用点到点的方式进行连接。由于w i s h b o n e 总线的简单性和可 移植性，它的应用领域非常广泛。它可以应用于简单的嵌入式控制器中和一些高 速系统中。但是在高性能的系统中，它往往不能准确地从多个执行程序中终止相 应的单个执行程序。 从以上三种总线的分析来看，a m b a 总线和c o r e c o n n e c t 总线较为相似，而 w i s h b o n e 总线已经开始有了内部互连交叉开关的概念，具有了一些片上网络的特 性，但因其缺乏分层互连的思想，故仍归入总线一类。目前多数的片上总线设计 是基于共享总线来达成通讯需求，此类型的总线架构具有低成本的优势。共享总 线架构用菊花链仲裁、集中式平行仲裁等多种方式来区分作业的优先次序，但当 指定的主控器接管总线后，其他作业就会搁置在一边，这就限制了芯片上传输效 能的延展性。 此外，传统的片上总线作法虽可通过一些先进的技术来改善效能，但基本上 其处理程序的传输仍与物理层混在一起，因此不论是延展性、最大频率、线路拥 塞度、芯片尺寸，或i p 核的再利用性等，都会受到限制。新一代的n o c 技术就是希 望发展出一套机制，让多个资源能同时存取总线，在满足个别应用需求的同时， 仍具有为其它重要作业提供确定性及实时性响应的能力。 1 1 2n o c 为m p s o c 提供更大优势 采用n o c 技术来进行i p 核互连的理念是逐渐演进的，w i s h b o n e 总线已经初步具 备了一些n o c 技术的特性，如交叉开关的概念。n o c 是一个弹性和可延展性的封包 式的芯片上微网络，它能比传统的芯片上传输方式提供更高的效率、具有模块化 和资源共享的特色，更重要的是，它能让基于i p 及处理器核心的s o c 设计更简单、 快速，i p 也能够在不同的设计案中重复被利用。 n o c 由大量的异质处理资源所组成，其目的是产生优化的网络拓扑及路由法 则。自2 0 0 0 年起，很多科研院所提出了各种各样的创新的芯片上网络架构，这些 研究机构包括b o l o g n a 、k a i s t 、k t h 、l i p 一6 、m i t 、u c s d 、m a n c h e s t e r 、s t a n f o r d 、 t a m p e r e 和t e c h n i o n 以及飞利浦研究实验室、意法半导体和v t t 技术研究中心等产 业研究实验室。目前已有许多的n o c 架构已被提出，包括2 d m e s h 、2 d t o r u s 、r i n g 、 s p i d e r g o n 等。这些网络拓扑的特色包括具有高效缓冲存储器管理、流量控制和路 6 m p s o c 通信互连技术研究 由机制的普通规则拓扑，它们针对不同的运算区块所提出的实体性链接作法，会 对m p s o c 的效能和建置成本产生重大的影响。而o c p i p 的o c p ( o p e nc o r e p r o t o c 0 1 ) 协议将i p 核和互连总线通过o c p 界面分开来，已经具备了层次化互连的 理念，因此可以将o c p 纳入到n o c 的技术范畴。o c p i p 的主席i a nr m a c k i n t o s h 先 生也一再强调o c p 的协议不是总线协议。步o c p i p 之后，已经有多家公司致力于 研究n o c 相关的技术和产品，较为突出的几家是法国的a r t e r i s 公司、英国的s i l i s t i x 公司及美国的s o n i c s 公司。 n o c 概念采用基于包的方法和分层方法来替代原先的固定总线。它将诸如服务 质量( q o s ) 这样的联网概念带到了芯片级，q o s 包括能够预测包延时和包到达的 能力。n o c 的支持者认为，其潜在的优势包括大幅提高的数据传输速率、更大的灵 活性和更容易的i p 复用。a r t e r i s 公司首席技术官a l a i nf a n e t 表示，其n o c 工具可以 解决i p 复用的问题，因为它能很容易地实现采用不同总线格式的i p 的连接。此外， 它的可重配置性能消除了硅芯片设计返工的风险。a r t e r i s 和意法半导体公司( s t ) 都将n o c 定义为一个灵活的、可扩展的和基于包的片上网络。但s o n i c s 的首席技术 官d r e ww i n g a r d 贝i j 有一个更简单的n o c 定义，最i n o c 就是“在片上通信中应用网络 技术”的芯片【0 1 。 今日的s o c 已从过去一颗处理器核心与其他内部i p 沟通的模式，进展到由多颗 异质处理器核心次系统所组成的复杂环境。传统的芯片上总线技术已无法满足此 类多核s o c 的需求，因此有必须发展出新的n o c 拓扑架构。新一代的n o c 拓扑除了 能提升传输率及降低延迟外，更重要的是要能在低成本和标准化的条件下，让 m p s o c 能更容易建置，而不同的i p 也能被广泛的重复使用。产业领导者也需要开 发出方便的开发工具及流程，让设计者能缩短i p 整合与验证的时程。 1 2 主要的研究工作 本课题以国家8 6 3 项目多核处理器共享存储器互连技术为背景，总结与 分析了基于片上网络的m p s o c 的通信互连方式。并在其子课题片上全局互连和网 络接口的设计方面进行了深入的研究与分析。 在课题的进展过程中，主要完成了以下工作： ( 1 ) 大量阅读各种最新文献，搜集到了n o c 领域国际国内研究的热点问题， 以及研究进展情况。本论文分析了片上网络的通信技术及其物理层路由节点和网 络接1 3 的设计工作，对片上嘲络做了一个全面的分析与介绍。 ( 2 ) 本论文重点讨论了物理层中片上长线互连的各种方式，分析了长线互连 的不同实现方法及其不足，并提出了一种新的低摆幅差分互连电路，获得了较好 的性能。n o c 领域研究的一个重点问题是片上i p 核之间的长线互连问题，互连及其 第一章绪论 收发电路，特别是总线、时钟等全局互连信号及其相关电路，消耗了芯片4 0 以上 的功耗1 4 9 1 。所以，降低互连的功耗可以有效地降低整个芯片的功耗水平。我们详 细分析研究了用于片上长线互连的几种方法，如传统的中继器插入方式、各种低 摆幅收发电路的方式以及流水化的设计方法。 ( 3 ) 最后，本论文对网络接口单元进行分析研究，完成了一个基本的网络接 口部分单元的设计工作，实现了在不同时钟域、不同数据位宽条件下信息的传输。 网络接口单元是n o c 的重要组成部分，是i p 核连接到n o c 网络的接口，它的功 能是将计算与通信分离。 1 3 论文的组织结构 本论文相关章节的安排如下： 第一章绪论介绍课题的研究背景，包括当今总线技术的发展现状和片上网 络的出现与发展，进而阐述了课题研究的内容，最后说明了本论文的内容安排。 第二章基于n o c 的m p s o c 设计介绍了片上网络的基本概念及其研究情 况，深入研究分析了片上网络的通信技术及其物理设计，使我们对片上网络有了 一个全面的了解与认识。 第三章片上长线互连的分析与设计研究分析了片上长线互连的几种方式， 并对其进行了比较，提出了一种新的片上长线低摆幅差分互连电路。 第四章网络接口结构的研究对网络接口的功能与结构进行了分析，设计了 一个简单的网络接口部分模块，可以完成不同时钟域与数据宽度下的数据传输。 第五章结束语对整篇论文进行全面的总结和评价，并对所研究内容进一步 的发展进行了讨论。 第二章基于n o c 的m p s o c 设计 第二章基于n o c 的m p s o c 设计 9 随着c m o s 工艺特征尺寸的缩小以及芯片设计复杂度的增加，传统的总线型 片上通信结构遇到了很多设计障碍。总线是应用最为广泛的片上通信结构，如a r m 公司的a m b a 总线、i b m 公司的c o r e c o n n e c t 总线以及s i l i c o r e 公司的w i s h b o n e 总线，但是总线的广播特性使得信号延迟和功耗急剧增大，导致总线可扩展性差， 不再适合未来多核s o c 的通信需求。为了应对上述挑战，片上网络n o c 的概念被 人们提了出来。n o c 为片上通信规划了一个美好蓝图，是目前多核s o c 研究领域 的一个热点。 2 n o c 的基本概念 n o c 可以定义为在单一芯片上实现的基于网络通讯的多处理器系统。n o c 包括 计算和通讯两类节点。计算节点( 又称为资源，r e s o u r c e ) 完成广义的计算任务，它 们既可以是s o c ，也可以是各种单一功能的i p ；路由节点( 又称交换开关，s w i t c h ) 负 责计算节点之间的数据通讯。通讯节点及其之间的网络称为o c n ( o n c h i p n e t w o r k ) ，它借鉴了分布式计算机系统的通讯方式，用路由和分组交换技术替代传 统的总线技术完成通讯任务。图2 1 所示为一简单的m e s h 结构n o c 示意图。 i p 核 网络接口 路由节点 链路 图2 in o c 的结构示意图 通常，n o c 包含以下几个基本部分： 计算节点：包括含有作为控制、通用计算的微处理器，以及一些针对特定应 m p s o c 通信互连技术研究 用的集成d s p 、a s i c 等。 路由节点：包括缓冲区队列、c r o s s b a r 、路由器与仲裁单元以及链路摔制器等 部件。缓冲区用于缓存经过路由节点的报文数据，c r o s s b a r 用于连接输入缓冲和输 出缓冲，路由与仲裁单元负责控制c r o s s b a r 的开、关，链路控制器则用于连接i p 核或路由节点的输入、输出。 网络接口：i p 核连接到n o c 网络的接口，它的功能是将计算与通信分离。 全局链路：连接各个路由节点，提供通信带宽，由一个或多个逻辑的或物理 的通道构成。 2 1 1n o c 的特点 n o c 系统从宏观计算机网络吸收借鉴了大量的设计理念与方法。但是，宏观 网络中的计算机分布存不同的物理位置，而n o c 则是建立在一个j 醛片中，因此计 算机网络中的许多设定不再适用于n o c 的设计。通常认为，与宏观计算机网络相 比，n o c 具有以下特点： 从兼容性以及适应性的需求出发，计算机网络的通信协议是严格遵守标准的。 而n o c 是一个自含系统，它的通信协议没有严格的约束，设计人员可以根据应用 需求灵活的设计和选择。 计算机网络的通信都是在物理上分离的计算机之间进行的，延迟很大，通信 带宽是最重要的设计目标。而n o c 的通信受益于片上局限性，延迟小得多，能提 供更高的带宽，并且具有较高的确定性。 在计算机网络中，计算机是用电缆线连接的，而封装在电缆内的连线数目是 有限的。由于连线的限制，许多计算机网络在传输数据前都先将数据串行化以减 少连线的数量。比较而言，n o c 中i p 核之间的连接只受限于开关及连线资源。在 当前0 1 8 u mc m o s 工艺中，金属线的中心距从0 4 6 m 到0 9 9 m 不等，而且具有 6 层金属布线资源。随着工艺的进步，增加布线层的成本逐渐降低，因此，在未来 n o c 的设计中，物理的线密度将不再是主要的约束。 苛刻的连线资源约束可能会导致频繁的竞争和受限的吞吐率，所以计算机网 络中经常使用大缓冲区来补偿连线的约束。当发生竞争或当数据流速超过网络带 宽时，缓冲区提供了临时的存储功能。路由节点使用了大量的缓冲区资源，这列 缓冲区由s r a m 或d r a m 实现，容量可大至几百兆字节( 如网络路由器) 。此外， 计算机网络中还使用复杂传输协议、适应性路由算法以及多个虚拟通道来降低网 络拥塞，提高网络性能，导致了大量的面积和功耗开销。而在n o c 中，面积资源 和功耗开销是非常昂贵的，因此在保证一定的带宽性能情况下，要尽量减少缓冲 区的大小，并采用面积、功耗开销更少的设计。 第二章基于n o c 的m p s o c 设计 2 1 2 n o c 模型 虽然长远看来片上光通信技术的前景很好，但就中短期而言，业内一致看好 全新的片上互连架构，片上网络n o c 技术能够降低m p s o c 的价格和功耗，并能 提高系统的性能和可伸缩性。b j e r r e g a a r d l 7 】借鉴了宏观计算机网络的七层o s i 参考 模型，为n o c 通信建立了一个分层模型，抽象了通信的电气、逻辑以及功能等属 性，如图2 2 所示。由于n o c 具有较强的局部性以及较低的非确定性，所以n o c 的分层模型不需要完全按照o s i 七层模型来建立，采用裁剪的o s i 协议就能够满 足大部分应用的需求。 n o c 层次 系统层 网络适配层 网络层 物理层 0 s i 层次 图2 2 n o c 分层抽象模型 n o c 的抽象模型可以分成四个层次【7 】：系统层、网络适配层、网络层以及物理 层。图2 2 显示了数据流经n o c 通信系统的过程，表明了n o c 的各个层次及其基 本部件与o s i 层次之间的关联。 系统层包含应用和体系结构，在这一层次，n o c 网络的实现细节被隐藏。 网络适配层将i p 核与通信网络隔离，处理端到端的流控，并根据路由策略将 i p 核所产生的消息7 事务分割成报文或流。 网络层由路由节点及其连接构成，并定义了n o c 的拓扑结构、传输协议以及 点对点的流控。这一层的基本数据单位是流控单元( f l i t ) ，在此之上建立了报文 流。n o c 的工作就是将信息从源i p 核送到目的i p 核。一个构建良好的通信网络应 当对用户表现为逻辑上的连线。网路层主要定义拓扑结构以及实现协议，拓扑关 注路由节点和链路的布局与链接，而协议则控制如何使用这些节点和链路。 m p s o c 通信互连技术研究 物理层是通信链路的物理实现，包括互连实现、全局同步、编码以及可靠性 等问题。物理层的设计应在性能、功耗等相互制约的指标之间找的良好的折衷， 并向n o c 网络的上一层提供透明并且完全抽象的链路特性。全局互连是物理层关 注的主要对象。对于全局互连的问题，具体的分析研究工作将在第三章中详细阐 述。为了解决全局同步问题研究人员提出了称为全局异步局部同步g a l s ( g l o b a l l ya s y n c h r o n o u sl o c a l l ys y n c h r o n o u s ) 【8 】的方式，尤其适合基于重用思想 的高性能s o c 设计。在i t r s 预测报告中，g a l s 被认为是v d s m 工艺下面向互 连的系统级设计的重要方向【9 1 。g a l s 系统一般包含若干个独立的同步模块，这些 模块由局部时钟进行控制，而模块之间的通信采用异步方式。由于只需要刘独立 的局部时钟进行分布，所以大大降低了时钟分布系统的功耗和设计复杂度。g a l s 设计中的一个重要问题是不同时钟域之间的数据交换可能出现亚稳态，目前有异 步握手、异步包装和异步f i f o 等多种解决方法。最常见的方法是采用异步f i f o 来进行跨时钟域的通信，它非常有效和可靠，在实际芯片设计中得到了广泛的应 用。 2 1 3n o c 的性能评价标准 为了比较不同的n o c 拓扑结构，一组性能评价标准被提了出来【l o 】【l l 】。多核s o c 的互连结构要求高吞吐量、低延迟、低功耗以及低的面积开销。在当今以优化功 耗为中心的设计中，最关键的是设计出功耗最小的结构，同时还要保证性能不能 下降【1 2 】。下面，我们将详细描述下这些评判标准。 信息吞吐量 数字通信网络的性能以它的带宽表示，单位为b i t s s e c 。然而，我们更关注通 过网络传输的消息速率，所以用吞吐量更为合适。对于消息传输系统，消息吞吐 量即定义为tp：(total_messages_completed)x(message_length)x-式(21) = 一 - - ( n u m b e r 0 fl p b l o c k s ) x ( t o t a lt i m e ) 。 发送的总消息数是指成功到达目的i p 核的消息数，消息长度为f l i t 的个数，i p 核数 为通讯中参与传送消息的所有i p 核数，总时间为产生第一个消息到接收最后一个消 息之间的时间，以时钟周期数表示。因此，消息吞吐量用网络所能实际处理的最 大负载的分数衡量。当吞吐量t p = i 时表示所有的节点每个时钟周期接收一个f l i t ， 因此，使用f l i f f c y c l e i p 衡量吞吐量。吞吐量表明了实际传输的最大值，它与系统的 峰值数据速率有关。 传输延迟 传输延迟定义为在网络中从源节点注入消息到目的节点接收最后一个f l i t 所经 第二章基于n o c 的m p s o c 设计 过的时间，以时钟周期数表示【13 1 。为了从源节点到达目的节点，f l i t , g , 须通过一系 列由开关和连线构成的路径。由于源和目的节点的位置以及路由算法对延迟的影 响，另外源和目的节点的其他因素对总延迟也有影响。因此，对给定的消息i ，其 延迟l i 为 l i = s e n d e r o v e r h e a d + t r a n s p o r t l a t e n c y + r e c e i v e r o v e r h e a d式( 2 - 2 ) 我们采用平均延迟作为衡量性能的标准，令p 表示到达目的i p 核的总消息数， l 沩消息i 的延迟，i 的范围为从0 到p ，根据下面的公式计算平均延迟l 。v g 娜：挈 娴) 功耗 当f l i t 在互连网络上传送时，内部连线和逻辑门的跳转都将产生功耗。所以， 需要确定每根连线和开关转发f l i t 时消耗的能量。每次转发一个f l i t 消耗的能量为 e h 印= 氐l l c + 巨n t 蝴腓。l 式( 2 4 ) e 。w i t c h 和e i 。t e 啪n 唧。与开关和相应连线部分的总电容和信号变化有关，它们的值由下 式确定 z 0 ，肼= 6 t s w ，幽( 乙f 肭v z 式( 2 5 ) 巨。脚胱c ，= 口i n t 。阳鲫行。“c i n 。瑚朋。dv 2 式( 2 6 ) o , s w i t c h h0 t i 。t 。啪。t 和c 。w i t 。h 、c i 。t 。o 眦。t 分别表示开关和相应连线信号的变化情况与总 电容。 传送一个由n 个f l i t 构成经过h 次转发的数据包所需的能量为 乞础，= 刀邑w式( 2 7 ) j = l 令p 表示传输的信息包总数，e 。蛔是第i 个数据包消耗的能量，i 的值为从1 到p ， 数据包消耗的平均能量e p a 咄烈由下式计算 e p d 幽“= pp 式( 2 8 ) 参数0 【。w i t c h 和( t i 。觚o 。嘣分别表示开关和互连线上的信号变化，它们与数据有关，比 如可能有一长串不变化的1 或0 。任何不同的低功耗编码技术1 4 1 都旨在减少跳变的 数目。为了简单性和不失普遍性，这里可以不考虑特殊的编码风格。 面积要求 为了评价各种片上网络互连方式的可行性，p a n d ee ta l t l 3 】考察了它们分别所需 1 4 m p s o c 通信互连技术研究 的硅片面积。由于路由节点是互连结构的一部分，确定它们所占用的硅片面积就 很重要。路由节点主要由两部分组成：存储缓冲区和路由、控制逻辑。路由节点 输人输出端口的存储缓冲区一般采用f i f o 结构。另一个影响硅片面积的因素是路 由节点间连线的长度，为了使互连线延迟尽量小，有时还需在连线中插人中继器 以缓冲信号，所以还需计入这些额外的缓冲区面积。在分析硅片面积时，需要考 虑的另外一个重要因素是连线的布局。片上网络设计方法的一个重要优点是把长 的全局连线分成段，使其传播延迟减小【l5 i 。但由于拓扑结构不同，分段的长度也 4 i 一样。所以，对彳 同的结构，路由节点间连线段布局的复杂程度彳i 一样。 2 2 片上网络与路由技术 n o c 的设计涉及到拓扑结