（微电子学与固体电子学专业论文）硬件架构对片上网络性能影响及优化策略研究.pdf

摘要 摘要 针对传统的s o c 芯片设计在可重构性和时钟同步性这两方面的限制问题，本 文重点研究了一种新的芯片设计方法一片上网络n o c ( n e t w o r k o nc h i p ) ，并对其 设计的关键点进行了讨论，重点研究了硬件架构对片上网络性能影响及优化策略。 论文首先讨论了片上网络技术的背景及基础理论，分析了当今主流的设计方 法和流程。针对设计流程中最重要的两个关键设计片上网络架构设计和片上 网络通信机制设计，进行了系统的分析与研究。通过在搭建的仿真平台上对采用 不同硬件架构设计的片上网络进行性能仿真，详细研究了架构和网络性能的联系， 重点分析了结构规模和路由缓冲器设计条件对片上网络吞吐量、功耗和延时等性 能的影响。此外，对同样节点资源的片上网络进行不同方式平台搭建并进行了功 能仿真，针对仿真结果进行了性能分析并提出了设计策略。 论文还针对在m e s h 结构中x y 维序路由算法仿真中出现的“热点”问题进行 了分析，提出了一个拓扑上改进的解决方案，调试了相应的路由算法，并对结果 进行了仿真测试。通过与传统的结构进行对比，结果表明这种结构可以改进网络 性能。 关键词：片上网络体系结构性能仿真路由算法 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi cd e s i g nt e c h n o l o g ya n dm a n u f a c t u r e p r o c e s s ，t h e n u m b e ro ft r a n s i s t o r si n t e g r a t e do n a s i n g l ec h i pi si n c r e a s i n ge x p l o s i v e l y , w h i c hr e s u l t s i nt h eg r o w i n gd i f f i c u l t yf o ri cd e s i g n t r a d i t i o n a ls o ct e c h n o l o g yh a sm e tm a n y c h a l l e n g e s ：t h ec o m m u n i c a t i o nb e c o m e st h eb o t t l e n e c k ；t h ec a p a c i t yf o rr e u s i n gi p c o r e si sl i m i t e d ；d i f f i c u l t yf o rt h ep h y s i c a ld e s i g ni n c r e a s e s ；d e s i g nf o rt e s tr e s t r i c t e dt h e s y s t e m ；a n dt h ei m p l e m e n t a t i o no fs y n c h r o n i c i t i e sb e c o m e sac h a l l e n g e ，e t c t ot a c k l e t h e s ep r o b l e m s ，t h en o v e li d e ao fn e t w o r ko nc h i p ( n o c ) i s p r o p o s e da san e w s o l u t i o n f i r s t l y , t h i sp a p e rd i s c u s s e sa b o u tt h ed e s i g na n da n a l y s i so fn o cs y s t e m ，f o c u s i n g o nt h ed e s i g no fn e t w o r ka r c h i t e c t u r ea n dc o m m u n i c a t i o np r i n c i p l e ，w h i c ha r et h et w o k e yt e c h n o l o g i e si nt h en o cs y s t e md e s i g n t h e n ，d i f f e r e n td e s i g nm e t h o d s ，i n c l u d i n gt o p o l o g y , b u f f e rs i z e ，t r a f f i cd i s t r i b u t i o n a r ep r o p o s e da n dc o m p a r e d ，b yt h ec h a r a c t e r i s t i c so ft h r o u g h o u t , p o w e rc o n s u m p t i o n ， d e l a y , i nap l a t f o r md e v e l o p e db ys y s t e mc a l s o ，t h ep a p e rd i s c u s s e st w om e t h o d st o d e s i g nt h es a m ea m o u n to fi pr e s o u r c e sa n di tc o m e so u tw i t ht h eb e t t e rw a y t oa c h i e v e t h i sa i m a tl a s t ，t os o l v et h ep r o b l e mo f “h o ts p o t s ”g e n e r a t e db yt h et r a d i t i o n a ld e s i g ni n m e s ht o p o l o g y , am o d i f i e dh a r d w a r ea r c h i t e c t u r ei sp r o p o s e dw i t ht h em a t c h e dr o u t i n g m e t h o d s ，a c h i e v i n gb e t t e rp e r f o r m a n c ei nb o t ha v e r a g ed e l a ya n dt h r o u g h p u t k e y w o r d s ：n o c a r c h i t e c t u r ep e r f o r m a n c es i m u l a t i o n r o u t i n g 第一章绪论 第一章绪论 1 1 论文背景 1 9 5 8 年，德州仪器的工程师基尔比发明了世界上第一块集成电路，但没有人 会想到4 2 年后他会因为这项技术获得诺贝尔奖，因为人们不会预料到这项微电子 技术会在未来的5 0 年改变整个世界。几乎每隔3 年，半导体工艺就会到达一个新 的技术节点，从9 0 n m 、6 5 r i m 、4 5 n m 到3 2 r i m ，单个芯片上集成的晶体管数目不 断翻番。这就是推动着集成电路行业爆炸式发展的摩尔定律。从早期的移动电话、 彩色电视机、个人电脑、互联网逐步过渡到智能手机、数字电视、平板电脑、物 联网等，由于对芯片功能和性能的需求越来越强，从上个世纪9 0 年代开始，片上 系统( s y s t e mo nc h i p ) 技术开始在集成电路工业中广泛应用。s o c 是将系统关键部 件如微处理器，模拟模块，数字模块和存储器( 或片外存储控制接口) ，通过半导 体集成工艺把这些单元集中在一块芯片上。 根据国际半导体技术蓝图组织( i n t e r n a t i o n a lt e c h n o l o g yr o a d m a pf o r s e m i c o n d u c t o r s ，i t r s ) 的数据，单片s o c 可以集成约几十亿个晶体管，工作频率 可以达到1 0 g h z 1 1 。传统的s o c 设计采用的是总线通信的工作方式，不同模块之 间的数据传输和控制信号的传递通过各模块接口传递到总线上来完成。总线具有 一定可扩展性，可以把新的模块增加到同一条总线上，来达到高集成和高效率的 目的。表1 1 是国际半导体技术蓝图组织( i t r s ) 对s o c 发展情况的一个预测。 表1 12 0 0 9 年i t r s 预测 m 口u量产阶量产阶段功 d r a mm p u a s i c 年份物理栅长段芯片尺寸能每芯片( 百万晶 半节距( n m )半节距( 枷m ) ( 砌)f r o m 2 ) 体管) 2 0 1 04 54 52 71 8 4 2 ，2 1 2 2 0 1 33 22 72 02 6 0 8 ，8 4 8 2 0 1 62 2 51 8 91 5 32 6 0 1 7 ，6 9 6 2 0 1 91 5 91 3 41 1 72 6 0 3 5 。3 9 1 2 0 2 2 1 1 3 9 58 92 6 0 7 0 ，7 8 2 随着芯片的性能提高和功能日趋复杂，仅仅提高单核的工作频率会带来功耗 剧增和散热困难，因此，多核成为了s o c 发展的趋势。在摩尔定律的驱动下，工 艺水平不断提高，特征尺寸不断缩小。采用总线结构的多核s o c 遇到了种种挑战。 主要有如下瓶颈： 2硬件架构对片上网络性能影响及优化策略研究 ( 1 ) 信号同步困难 随着工艺的进步，晶体管特征尺寸进入纳米级，互连线延迟是信号延迟的主 要部分。而总线结构采用的是全局互连，连线相对较长，延迟效应变的明显，同 步时钟设计很难达到理想化，特别是工作频率的升高，会使芯片全局时钟树的设 计更为困难。 ( 2 ) 平均通信效率低 在总线结构的片上系统中，对总线的占用采用的是分时复用的策略，不同模 块要经过仲裁机制的判断后，如果能够获得总线使用权，才可以发送数据到总线， 进而才可以与其他模块进行通信，并且在某段时间总线只能被具有占据权的模块 独占，在总线占据权没有消失的时候，其他模块不能占用。从少量模块通信的角 度来说，因为两模块的通信没有多级仲裁和相对应的缓存，局部通信延迟不会太 长，效率和实时性都相对较好，为了获取良好的通信性能，多总线或多层次式总 线的概念被应用到s o c 设计中。但是当今芯片是集成了多个模块的，其它模块的 等待状态会造成平均时间内的平均通信效率不高，尤其随着模块集成度的提高， 比如系统互连的处理器核达上百个时，如果多个通信模块是共享总线，平均通信 效率会很低。因此，传统的总线结构不能为采用了纳米级工艺的多处理核的芯片 提供高效的通信平台。 针对上述两种困难，人们提出了片上网络n o c ( n e t w o r ko nc h i p ) 的概念， 主要是将网络的思想引入到芯片的设计中，这种思路把系统的各模块概念化为i p 核，通过网络数据交换接口把这些i p 核连接到片上网络进行数据交换【2 ，3 1 。这样 设计者可以通过分别设计一个高性能的通信网络，把这个网络的节点链接各个功 能模块，形成实现特定功能的片上系统。这种新的设计方法划分了完整的芯片系 统设计，使之成为通信部分与计算部分两个部分【4 5 】。通过单独扩展性和重用性好 的通信网络，降低了成本，缩减了设计周期，符合芯片向多核多集成模块发展的 趋势，是未来的主流芯片架构设计方向。 1 2 国内外研究情况介绍 片上网络是一个全新的前沿研究领域。从2 0 0 0 年提出n o c 的概念至今，国 内外很多高校和科研机构进行系统深入的研究工作，主要包括低功耗技术、体系 结构设计、路由算法、验证、设计方法和相关e d a 工具、服务质量等方面的研究。 2 0 0 0 年1 1 月，瑞典皇家理工学院( k t h ) 提出了片上网络的概念，同年启 动n o c a r c 计划，开发了n o s t r u m 片上结构。这个基于2 d 网格拓扑的结构研究 了物理层到应用层的通信情况，为n o c 的协议和映射、时钟设计方法提供了较为 可靠的平台【o j 。 第一章绪论 3 2 0 0 1 年6 月，斯坦福大学的w i l l i a mj d a l l y 教授提出了使用n o c 互连i p 模 块的方法，并提出了这种结构化的通信方式。意大利博洛尼亚大学的l u c ab e n i n i 教授系统阐述了以n o c 为基本结构的s o c 的设计方法，从而提升到设计方法学 的高度。 2 0 0 2 年，英国曼彻斯特大学( m a n c h e s t e ru n i v e r s i t y ) 研发了基于异步握手信 号的自定时n o c 的c h a i n 。在c h a i n 的设计中创新性的使用到了异步电路通信 技术。此项技术通过握手协议进行数据传递，从根本上解决了芯片同步电路时钟 树的全局时钟偏移的难题，同时该芯片采用多级流水线等方法来提高运算速度。 这种异步逻辑n o c 的低功耗设计和性能优化指明了n o c 设计的一个新的方向。 2 0 0 3 年，飞利浦公司的n o c 产品e t h e r e a l 采用了q o s ( q u a l i t yo f s e r v i c e ) 的指标来衡量网络性能参数。e t h e r e a l 可以支持点对点和点对多的数据传输模 式，是一种具有保证服务质量的n o c 。该模型的通信带宽可达1 6 g b s t 7 1 。 2 0 0 4 年，美国斯坦福大学和意大利博洛尼亚大学开发了高性能的，可综合的 x p i p e s 的n o c 。该网络采用虚通道技术和虫孔交换技术构造了一个高性能的n o c 。薅 通过路由节点的配置，利用该模型可以获得任意拓扑的网络结构【8 】。 在工业界，法国致力于开发n o c 产品的a r t e r i s 公司和p i e r r ee tm a r i ec u r i e 大学合作，推出业界第一款用于构建n o c 系统的e d a 工具和相应的库，随后被 众多i c 设计公司( 比如t i ，p i x e l w o r k 等) 所使用。此外，n x p 半导体、意法微电 子等微电子企业正在积极的投入这方面的研究，美国电气和电子工程师协会( i e e e ) 和美国计算机协会在2 0 0 7 年5 月以后每年都会召开关于片上网络最高级别的会议j 氧_ _f n o c s 。 国内在这方面的研究刚刚起步不久，但已经成为了研究的热点。不少大学已 经开始对n o c 的各项技术进行研究，主要有清华大学、西安电子科技大学、合肥 工业大学等。与此同时，国家通过8 6 3 计划和自然科学基金中的片上系统重大专 项也在大力促进片上网络相关技术的发展。 1 3 本文研究背景及组织结构 本文的章节安排如下： 第一章：绪论。本章概述了集成电路的发展历程及面临的严峻挑战，分析了 当前s o c 技术由总线结构带来的种种瓶颈问题，从而引出了未来片上芯片i c 设 计的主流方向片上网络。描述了它与传统意义上的片上系统的根本区别，最 后总结了当今国际国内n o c 的研究动态，并做出章节安排。 第二章：n o c 技术概论。本章首先阐述了n o c 的基本概念，划分了n o c 系 统层次，详细讨论了n o c 相对s o c 的优点；然后讨论了n o c 的设计方法，为下 4硬件架构对片上网络性能影响及优化策略研究 文的网络结构及通信机制设计提供理论依据；最后对n o c 的设计方法及流程进行 了探讨。 第三章：片上网络架构和通信设计。对网络拓扑结构和通信方式进行了讨论。 制定了不同的拓扑总体设计方案，说明其工作方式与工作原理。对通信机制进行 了说明和定义，阐述了通信中的数据包的传输原理，并对它们的交换机制设计进 行了分析、对各种确定性及自适应性路由算法进行了对比研究，对路由器结构设 计进行了讨论。 第四章：对多种不同架构设计的片上网络系统进行仿真测试，主要讨论了上 两章所述的拓扑结构、路由算法、路由器缓存大小对网络吞吐量，功耗和延时性 能的影响。对同样节点数目的网络采取不同的结构搭建平台进行比较选优。 第五章，根据上一章仿真结果中出现的“热点”问题进行了分析，提出了一 个新的改进架构，并针对该结构提出了相应的算法，通过仿真测试验证了其优越 性。 第六章：总结与展望。 第二章片上网络的概念与设计方法 5 第二章片上网络的概念与设计方法 2 1 片上系统和片上网络 随着微电子技术的不断发展和半导体制造工艺的不断提升，系统集成度越来 越高。集成到单块晶体硅片上的片上系统也开始向异构化( 包含不同类型的口核) 和多核化( 多达百个相同类型的核) 的方向发展，传统设计中的共享总线结构逐 渐成为影响系统性能的主要瓶颈。当片上系统的处理器核达到上百个时，总线结 构的片上系统性能和技术指标就不能满足通信的需要了。图2 1 是基于总线的s o c 总线互连体系结构的示意图。 图2 1s o c 互连体系结构 片上网络是一种高效的片上互连技术，它为数据传输提供了更多的传输路径。 基于n o c 的系统设计采用了i n t e r n e t 的思想，在性能上具有很大的优越性：它将 系统中各个功能模块抽象成i p 核，这些口核通过网络接口连接到交换网络中。片 上网络设计方法是分别设计出一个可以通信的网络系统和可以用于计算和处理数 据的i p 核。由于借鉴了宏观概念的网络，n o c 也可以分为软件层和硬件层，其中 硬件层次从底端到顶端分别为：物理层、数据链路层、网络层、传输层。其中只 有硬件层次可以用于n o c 的研究与设计中。n o c 中不同层次的设计重点和传统 的计算机互联网络设计重点差别很大，下面将分别对些不同点进行讨论： ( 1 ) 物理层：在传统的计算机网络里，物理层定义的是不同通信器件之间的 电学和物理参数。而在n o c 的物理层设计中，由于所有的片上器件都是采用相同 的技术节点工艺制程，因此这两个参数没有必要重点关注。但是整体的功耗设计 和面积分布对n o c 整体性能的发挥有着十分重要的影响。众所周知，相比分立器 件组成的系统集成电路，集成芯片内部的数据流密度要大几个数量级，所以n o c 物理层的设计如果功耗考虑不周全，会有可能造成巨大的功耗，从而在芯片内产 生巨大的热点，会因此产生加大芯片降温的问题，并导致芯片的成本增加。另外， 6硬件架构对片上网络性能影响及优化策略研究 由于硅工艺芯片上的资源是相对有限的，需要尽可能的采用简单的控制系统。n o c 设计的一个优点是片内的连线设计成本要比片外的互连成本低很多。因此，需要 对电路功能，功耗，芯片面积，连线延迟进行综合的折中考虑。比如降低信号电 压摆幅会降低功耗，但对信噪比会有不利的影响；面积的增大会减小连线之间的 耦合电容等。 ( 2 ) 数据链路层：数据链路把比特流分组成为数据流，并对它的错误进行检 测。在n o c 中，由于资源有限，除非超高速链接，其它情况下没有必要对数据的 采取严格的检测机制，而是可以更容易的使用s p i c e 模型对底层设计进行精确的 仿真建模。流控机制是数据链路层的一个特性，n o c 的流控不能像其他的也可以 在传输层完成的网络结构一样，它只允许在数据传输层完成。在n o c 中，由于资 源的有限性没有中继结构，所以只能采用数据损失很小的流控机制。并且由于资 源问题，只能使用容量很小的缓冲器，这对流控机制也有额外的要求。 ( 3 ) 网络传输层：网络传输层的作用是对多个网络之间进行数据包的传递。 具体到n o c 设计中，包括路由算法，阻塞情况下的仲裁机制，拓扑结构构造方法 等。在网络层中，通过交叉开关上运行的仲裁机构来完成阻塞控制。在n o c 中， 当多于两个i p 核都试图向另外一个节点或者是共享链路发送数据包的时候，会发 生阻塞现象，必须通过相应的通信机制来加以处理。 根据上面不同的传输特点可以看出基于总线结构互连的片上系统性能上与采 用模块化设计思想的片上网络有很大不同，相比起来n o c 更适合多核处理器结构， 随着片上系统中要集成的i p 核的数目的增加，工作性能的优势越来越明显。 根据参考文献【9 l o 】中对片上总线和片上网络的特点进行了总结与比较，如表 2 2 所示。 表2 2n o c 和s o c 比较 n o c s o c 性能对比片上网络总线 传输速率链路的增多会使传输在总线上，数据的传 速度变快，但网络内部可输速率较快。 能出现的竞争会产生延 时，设计时需要仔细考虑。 时钟问题时钟采用全局异步局对于深亚微米技术节 部同步( g a l s ) 技术，全局 点的大规模芯片中，由于 异步有效避免了大规模芯 芯片的规模和连线的长度 片条件下的时钟分布问 很大，总线结构会带来时 题，分布式的路由策略避钟的难以预测，可能成为 免了判断延时的问题。通信的瓶颈。 第二章片上网络的概念与设计方法7 重用性i p 核重用思想带来可i p 核的思想应用于部 重用的运算模块。不同的分采用总线技术的商用片 应用环境可以使用重复利上系统中，运算模块具有 用网络中的路由器。高重一定的重用性。但是其通 用性减少了产品开发的周信部分的路由判决单元要 期，同时节省了开发成本，根据其特殊情况单独设 降低开发风险。计。 带宽利用由于链路的增多，总总线带宽有限并且被 平均带宽随网络规模的扩所有单元共享。 大而增加。 兼容性 如果要在网络结构中 总线结构几乎可以与 时使用相应的i p 核，需要所有的口核等设备相兼 对总线设计中的i p 核进行容。 良好的封装，在并行处理 ；：+ 系统中时钟的要求也会提 高。 存储器完全分布放置的网络总线方式中的存储单 存储单元减少了远距离存元是集中放置或者部分分 取数据而引起的延时。布放置的，如果处理单元 和所需要的存取单元距离 较远，数据延时相应较大。 链路检测利用嵌入式自检测技测试复杂度高，测试 术( b u i l t - i ns e l f t e s t , b i s t )周期长。 进行检测，快速并且全面。 但对b i s t 有要求，增加了 额外的设计成本。 2 2 片上网络的设计方法 n o c 的设计主要从架构、平台、系统三个层次进行探究。在架构层次，设计 者不需过多的考虑后端底层中物理链路的细节情况，而是更多的考虑应用平台和 资源节点的整体架构，具体的说就是选择n o c 的拓扑结构和通信机制；在平台层 次，根据最终的目标应用设计应用平台，再结合具体任务的映射，通过e d a 工具 软件对应用平台的功能进行仿真验证，最后得出各种硬件资源的选择以及资源在 网络中具体的分布和使用；在系统层设计中，目标是把实际产品的具体应用映射 8硬件架构对片上网络性能影响及优化策略研究 到n o c 资源上，进行系统资源分配、网络性能评估和后端的优化。 表2 3 n o c 的层次化设计 阶段目标 实现手段 层次阶段 架构 搭建架构的基本原则及实基础元件库的设计 现方案 平台网络的规模和布局、应用区域集成和资源集成 特性、区域类型和大小及 资源内容 系统系统描述、系统建模、平功能到平台的映射 台建模 这种自项向下的设计策略能保证在顶层确定设计的目标，从而把设计划分整 个目标到多个具体模块，然后再在底层设计验证各个模块，高效的完成设计目标。 当今n o c 设计中最重要的两个具体设计就是片上网络架构的拓扑结构的设计和通 信机制的设计，这两方面是n o c 设计的关键所在，决定了片上网络的工作性能， 因此一直是研究的热点。在下面的两章中将会对这两个方面进行详细的设计分析。 2 3 片上网络的性能要求 为了评价采用不同设计思路和设计方法的n o c ，需要对网络的一些特征设定 评价指标【l l 】。片上网络的性能参数包括传输延时、吞吐率、功耗和面积等等，这 些参数表征了片上网络的工作性能。设计者可以从芯片设计的多个层面上来提高 这些性能：在系统级建模中可以选择不同的拓扑，路由算法方式来满足不同的设 计参数要求；在后端的物理芯片设计中采用c m o s 低功耗技术来改善工作性能。 更多的时候，在设计思路和方法中要进行折中考虑。下面对一些能够表征片上网 络工作性能的参数进行定义和讨论。 ( 1 )传输延时 延迟是指数据包的开头到目的节点接收到数据包包尾的时间。数据从不同的 源向目的节点传递会延时不同。所以采用平均延迟作为性能指标，表达式为式 ( 2 - i ) - y 厶 k 唧= 气铲 ( 2 - 1 ) 上式中n 为到达目的节点数据包的总数目，l i 为第i 个数据包到达目的节点 的延迟。影响延迟的因素包括拓扑结构，i p 核在网络中的配置，转发策略和路由 算法等。 第二章片上网络的概念与设计方法 9 ( 2 )信息吞吐率 n o c 中的吞吐率是指在单位时间内，从源节点到目的节点的数据量。吞吐率 可以表示为式( 2 2 ) ： t h r o u g h p u t - ( t o t 弋a lm而essa磊ges而comp丽lete丽d)x面(me而ssagres l e n g t h ) ( 2 2 ) 上式中t o t a lm e s s a g e sc o m p l e t e d 表示到最终能够到达目的处理单元的信息总 量，m e s s a g e s 表示数据微片的数目，n u m b e ro fb l o c k s 是传输过程中用到的i p 核 的数目，t o t a l t i m e 是数据传递的总时间。，路由算法，阻塞控制策略，网络连接的 物理参数都会对信息吞吐率有影响。 ( 3 )功耗 功耗随着芯片的发展对性能的影响越来越大，同时，高功耗带来的高热密度 问题会加大设计中的降温成本，无法容忍的热量密度严重限制了芯片的发展。因 此，低功耗成为了当今芯片设计的重点研究方向之一。片上网络的功耗有两个方 面：节点口核所占用的功耗和网络上进行通信所消耗的功耗。随着数据通信量的j 增加，n o c 在网络通信上消耗的功耗比例正在逐步增加，典型的是麻省理工学院 开发的r a w 处理器，互连功耗占整个处理器功耗3 6 t 1 2 1 。韩国k a i s t 推出的低 功耗n o cb o n e 2 芯片，其互连功耗也占总体平均功耗的3 1 8 。作为设计者，考： 虑更多的是网络链路上消耗的功耗【1 3 1 。其分析方法根据以下公式来考虑： = 瓦砌+ ( 2 3 ) 而e s w i 劬和e l i n l 【都取决于总电容和s w i t c h 和l i n k 上的信号活性，于是改进成如下j 的公式： e 删= 瓯融q 砌( 2 - 4 ) = y 2 ( 2 5 )厶舭= l 舭y 。u j 其中c 表示s w i t c h 和l i n k 上的总电容。砌和与数据的编码有关。一个包 含n 个f l i t s 的包穿越h 个跳转节点的功耗可计算如下： = 甩， ( 2 6 ) 令p 为所传送的包的总数目，e p a c k e t 为第i 个包的功耗( 1 s i 夕) ，则包的平均功 耗可计算如下： g p a d r c t 毕：望孚型 ( 2 - 7 ) 随着微电子工艺的不断进步和片上网络集成度的不断提高，功耗密度越来越 大，并因此带来冷却上的成本大幅度提高，因此当今n o c 芯片的功耗问题成为人 1 0硬件架构对片上网络性能影响及优化策略研究 们关注的焦点。当今n o c 采用分层的设计思想，可以从多个层次降低功耗。目前 低功耗设计在硬件层面上主要方法为低功耗的编码技术和门控时钟技术等。 ( 4 )面积 片上网络硬件系统由路由器、互连网络、i p 核模块组成，芯片的面积主要是这 三部分之和。随着网络规模的扩大，互连线的长度也有所增加，并且在长互连线 上要插入缓冲器来保证驱动信号的强度。因此面积在设计中从顶层的结构设计到 底层的工艺和版图布局布线中都需进行整体考虑。 2 4 本章小结 本章从片上网络的设计思路出发，对比了传统的总线片上系统和片上网络的 优缺点，从而在微电子技术节点发展的角度说明了片上网络是多核芯片的设计的 最优选择。同时对片上网络的层次进行了讨论，并以此为基础讨论了片上网络的 设计思路和方法。对设计片上网络的一些性能参数进行了简单的介绍和讨论，为 下一章详细讨论片上网络的设计奠定了基础。 第三章片上网络结构与通信设计 第三章片上网络结构与通信设计 3 1 片上网络拓扑结构的概念 拓扑结构定义了片上网络中节点的布局，以及节点之间的连接方式，属于片 上网络芯片的前端设计。决定了芯片中路由器的分布情况以及信息的传输路线， 因此拓扑对系统的数据传输质量、速度、面积及功耗有着直接而重要的影响，设 计的好坏决定了最终网络的性能。拓扑的选择对制造工艺水平、芯片的面积等底 层设计也有一定的要求。 在n o c 片上网络中对拓扑结构的基本参数定义如下： 节点度( n o d ed e g r e e ) ：每个路由节点和与它相连接的所有路由器节点的连接边 的数目。简单的说，是一个节点与相邻节点连接通道的数目。节点度高，选择路 径的机会的越多。但片上网络的面积也相应会增加，同时也提高了网络复杂度。 对称性( s y m m e t r i c a lc h a r a c t e r i s t i c ) ：从每个节点向周围看，如果周围网络是完 全相同的，那么该网络是对称的。具有对称性的芯片结构在芯片布局设计中较容 易，但事实上，芯片中为了实现多种功能，必须集成不同功能、不同面积的模块， 所以对称的网络是少数的，同时模块之间的通信量也是不均匀的。因此，当i p 模 块数目很大时，使用混合型的多种拓扑结构来满足工作要求。 网络规模( n e t w o r ks i z e ) ：网络中节点的数目。 连通度( c o n n e c t i v i t y ) ：使网络断掉而需要去掉的路由器节点数的最小值。网络 的连通度提高，网络结构复杂增大，网络的容错能力变强。 网络直径( n e t w o r kd i a m e t e r ) ：网络中任意两个节点之间的最小路径长度的最大 值。该性能指标与网络延迟的关系非常密切。从通信的角度考虑，为了减少延时， 应该在设计中尽可能的缩短网络直径。 可扩展性( e x p a n d a b i l i t y ) ：表征网络模块的可扩展的性能，体现了在保持整 体网络属性不变情况下，网络节点数增加的潜能。 平均最短路径( a v e r a g em o s ts h o r t - c i r c u i tp a t h ) ：网络中任意两路由节点的最小 距离和与其所包含的路径数之比。 平均布线长度( a v e r a g ew i r el e n g t h ) ：映射到片上网格的网络拓扑结构，其实际 平均最短路径布线长度。 拓扑结构可以分为规则和不规则的片上网络。规则结构的片上网络能够为分 组提供丰富的路径资源，而且具有可扩展性强的特点，并且由于其结构的规则性， 设计更加简单，布线也比较方便。因此，规则结构是片上网络中采用的主要拓扑 j ： 1 2 硬件架构对片上网络性能影响及优化策略研究 结构。常用的规则结构的片上网络有m e s h 结构、t o m s 结构、f o l d e d t o r u s 结构、 s p i n 结构、b u t t e r f l yf a tt r e e 结构、o c t a g o n 结构等1 1 1 。 3 2 片上网络规则拓扑结构 ( 1 ) m e s h 结构 m e s h 结构的n o c 片上网络结构是2 0 0 2 年由k u m a r 提出的网状结构【1 4 1 ，m e s h 型的网络结构如图3 1 所示，路由器位于网络的节点上，内部的路由器有5 个端口， 其中四个连接上下左右四个方向的相邻路由器，第五个端口连接本地口核，用于 和本地的i p 核进行数据交换。m e s h 网格的边界节点的路由器比较特殊，只有4 个端口，其中三个连接周围节点上的路由器，第四个连接本地i p 核。 图3 1 常见拓扑结构片上网络 由上图可以看出物理通道把相邻的路由器连接在一起，该通道中包含两条单 向的通信链路。可以用k - a r r a yn m e s h 来描述该结构，n 为网格的维数，k 为每 维节点数，总节点数为k 川。下图所示的是4 x 4 的二维m e s h 结构。这种网络在芯 片上结构简单，可扩展性好，是目前片上网络广泛使用的拓扑结构，在n o c 领域 应用广泛。例如国外提出的n o s t r u m ，a e t h e r e a l ，s o c b u s 等片上网络系统都采用 了这种结构。但是当网络规模大时，网络直径相应变大，分组时延和功耗会升高。 ( 2 ) 2 dt o m s 型结构 当2 dm e s h 维数较大时，口核通信的平均直径会增加，特别是网络的相对的 边界进行通信时。美国斯坦福大学的wj d a l l y 等人针对这种不足，将每一行或 者列的路由器连接在一起，形成一个环路。这样就缩短了路由器节点间的平均距 第三章片上网络结构与通信设计1 3 离，大大减小了网络直径，从而在理论上降低了网络传递数据时的延迟和功耗。 但是由于增加了首尾相接的环路，这条物理环路上会产生额外功耗，同时这条过 长的环路需要多个时钟周期才可以完成数据传输，此外还增加了工艺布局布线难 度【1 5 1 。其相关具体结构图如图3 2 所示。 图3 22 d t o m s 型结构图 ( 3 ) 树形拓扑 树形拓扑结的内部节点是路由器，i p 核被放置在叶子结点上，除了根节点， 每个内节点只与其父节点和若干个子节点相连。树的高度，即节点数目的对数决 定了网络延迟的大小。树形网络结构减少了路由器数量和链路数量，从而减小了 芯片的面积，降低了物理设计的复杂度， 据容易堵塞，从而增加了网络的延时【1 6 】。 但是在这种二叉树结构中的根节点上数 其结构图如图3 3 所示。 图3 3 树型拓扑结构图 为了解决上述问题，有人提出了胖树( f a t t r e e ) 结构。如图3 4 所示，在这 种改进的结构中，每个节点拥有多个父节点。信息从源节点向末端传输，直到和 目的节点有着相同的根节点时再往下传至目的节点。这样通信的节点在路径选择 1 4硬件架构对片上网络性能影响及优化策略研究 上会有所不同，高阶节点比低阶节点有更大的带宽。 图3 4 胖树结构图 ( 4 ) o c t a g o n 拓扑 根据网络带宽速率等的发展需求，在上述结构的基础上，k a r i m 等人提出了 o c t a g o n 结构，其中每个节点有三个端口，其中两个连接相邻的路由器，第三个和 对角线上的路由器相连，这种结构最大的特点是平均距离短，具体的说是任意两 个口核最多经过两个路由器路由便可完成数据的传输。该结构的扩展性也很好， 因为其中每个节点都能用基本的o c t a g o n 结构替换，并且按这种方式无限扩展。但 是该结构不断扩展时，传输的数据容易在两个o c t a g o n 结构相连接的的路由器处发 生阻塞【17 1 。八边形网络结构如图3 5 所示。 图3 5o c t a g o n 八边形网络结构 除了上述的规则拓扑结构之外，实际中还经常用到不规则的拓扑结构。不规 则结构的片上网络主要使用在系统规模较小或者不规则的系统中，可以面向不同 的领域，通常需要根据特定的应用进行定制。主要分为两类，一类是从零拓扑开 始进行全定制的设计，这种方法减少了路由器的数目，在功耗和面积上都是经过 优化的，但需要时间成本和大量的设计工作；第二类是规则的网络拓扑结构进行 改进，如在规则网络的基础上进行局部路由节点的调整；或者对常用的规则网络 进行组合，比如总体采用m e s h 网状结构而局部采用全定制的非规则网络，这样可 以在一定程度上节约了设计成本，并且由于是部分定制的，可以节省网络设计的 资源，提高专用网络工作的效率。由此可见，非规则网络拓扑架构的设计以规则 第三章片上网络结构与通信设计1 5 网络拓扑为基础。 3 3 交换机制设计 n o c 中传递的信息( m e s s a g e ) 是由基本单位是数据包( p a c k e t ) 的传递来完 成的，一个数据包包括包头( h e a d e r ) 和负载( p a y l o a d ) 。一条完整的数据信息被 划分成很多规定长度的数据包，数据包包含多位数据，难以在一个时钟周期内完 成，因此数据包又分为多个数据微片( f l i t ) 。包的头微片含有路由信息，节点信息和 控制信息，根据头微片中包含的信息来决定数据包下一步的选择路径。每个数据 包都包含有到达e t 的节点的路由信息，因此每个数据包都能够独立路由，最终传 送到目的节点。片上网络上节点传递的数据包，可以看作是网络节点进行了很多 次数据微片的传递。头微片的长度为3 2 b i t ，b i t l 2 - 1 5 和b i t 0 用来确定其使用的交 换技术，b i t l 一1 1 用来确定目的节点的地址，l e n 确定包的大小。数据包的具体结 构如图3 6 所示。 m e s s a g e 图3 6 数据包的结构图 数据包是根据交换机制来交换信息的，交换机制是路由器在特定的时间，把 数据包从输入通道传输到输出通道的方法，它制决定了片上网络数据传输的延时 特性。在n o c 片上网络中常用的交换方式有电路交换，分组交换，虚切通交换和 虫孔交换b o , n 。下面将对这些交换机制的具体特点进行说明。 ( 1 ) 电路交换 电路交换是在传输数据前，源节点向网络中发送一个头微片，它包含了目的 节点位置信息和流控信息，当头微片到达预定目的节点后，开始建立一条头微片 1 6 硬件架构对片上网络性能影响及优化策略研究 经历过的物理链路。当链路建立好之后，就提供给数据发送的源节点和接收数据 的目的节点专用，传输数据不需要进行路由选择。当数据传输完，尾微片到达目 的节点，发送端向接收端发送终止传递数据的要求，发出拆链命令，链路才被拆 掉。由于通信的物理链路数据发送时被预存起来，服务质量可以得到保证，但是 由于封存的物理链路会阻塞其他数据的传输，造成网络的使用率不高，导致吞吐 量较低。因此，这种机制适合当数据微片数目很长的情况下采用【1 8 】。 ( 2 ) 存储转发 包交换机制是存储转发( s t o r ea n df o r w a r d ) 的。每个路由节点在完成接收一个包 后，才会把这个包转发到其它节点。相比起路径建立之后才能发送数据的电路交 换机制，包交换是一种不需要预先建立专用物理链路的机制。当数据发送频繁， 并且数据量相对较小时，包交换更适合片上网络。因为信息可以被分为很多小的 数据包同时在网络中传输。每个数据包在发送到路由器之后被储存在缓存器中， 当所有的数据包所有的数据微片被路由器接受之后才向下一节点传递。这种方式 能充分利用网络资源。但是，由于每个包在网络中独立路由，数据包到达的目的 地的时间顺序和发送数据包时的时间顺序可能不一样，这时需要根据接收到的数 据包头微片中的信息来重新排序接收到的数据包【1 9 1 。该种机制的时间延时根据如 下公式体现。 厂t、，t、 t ：l = 生i s + i 兰1 s( 3 一1 ) lb llb 其中b 为通道带宽，s 为源节点至目的节点要转发的次数，l 曲为数据包头的 长度，l 。为数据长度。包的存储转发过程如图3 7 所示。 链 路 时间 图3 7 数据包的存储转发过程示意图 ( 3 ) 虚切通交换 通常数据包的大小有可能超过路由器的物理带宽，所以有可能在几个周期之 后才能接受完成数据包。其实头微片里的路由信息在最初就可以被接收到，路由 第三章片上网络结构与通信设计1 7 策略就会确定，这种等待头微片后的数据存储到路由器缓存器之后，才可以继续 传递的机制会造成网络延时增加。虚切通交换( v i r t u a lc u tt h r o u g h ) 解决了这个问 题，当数据包的头微片接收之后，此机制根据其包含的路由信息马上传递到下一 个节点，这样信息不会存储在输出端口的缓存，而是直接切通传递到下一节点。 其传递时满足下列公式( 3 2 ) 的要求。 t _ ( 斟s + 仔2 ， 上式中b 为通道带宽，s 为源节点至目的节点要转发的次数，h 为数据包微片的 头地址长度，l 、r 为数据包长度。 ( 4 ) 虫孔交换 虫孔交换和虚切通交换相似，但不同的是，虫孔交换机制是按照数据微片为 单位在路由器中进行存储的。在每个路由节点中，利用头微片中含有的路由信息 确定路径，数据片紧跟其后，此时路由器不再对数据片进行操作，只是按照头微 片的路径进行转发，最后，由尾微片释放刚才所占用的路径。发生阻塞时；头微 7 ： 片缓存在当前节点，数据微片就地缓存在其后的若干个中间节点中。每个路由节 点只需提供一个微片大小的缓存资源。在无阻塞的情况下，虫孔交换和虚切通交 换的延时相差不大，并且通过在路由节点适当增加缓存容量可以提高虫孔交换的 吞吐量【2 0 1 。 与上列交换技术相比的情况下，虫孔交换的优点是当头微片在一个路由节点 中发生阻塞时，可以把整个数据包就地缓存在当前路由节点，而无需把它缓存在 头微片所处的路由节点的缓存里。 虫孔交换技术减小了每一级路由器的存储转发延时，提高了吞吐量，并且减 小了预留给路由器的缓存空间。由于这些优点，当前n o c 设计采用的最广泛的交 换机制便是虫孔交换。 下式( 3 3 ) 是关于计算虫孔交换的网络延迟： 卜( 斟s + 涵3 ， 上式中为头微片长度，l w 为数据包长度，b 为通道带宽，s 为源节点至目 的节点的跳数。 虫孔交换技术可以很好的运用在存储转发和虚拟直通机制中。由于缓存器的 设计都要有存储整个包的大小的能力，其中存储转发机制需要在一个节点等待接 收到整个数据包才能向下一个节点转发，因此转发延迟很大。虫洞路由采用边接 收边发送的方式，可以降低传输延时，对缓存器的大小要求也不高，但在虫洞路 由机制中，当头微片被阻塞时，后面跟着的数据微片段被阻塞在后面的路由器， 1 8硬件架构对片上网络性能影响及优化策略研究 容易发生死锁或者活锁现象，因此需要通过加入下面要讨论的虚通道或者维序算 法来消除这些问题，但增加的虚通道会增加缓存器的大小，增加了面积开销。图