（电路与系统专业论文）多种片上网络拓扑结构性能评估.pdf

浙江大学硕士学位论文 摘要 随着s o c 复杂度的增加，特别是m p s o c 的出现，片上通信成了系统芯片的性 能瓶颈。高效的片上通信架构对系统性能的好坏有着巨大的影响。近几年来，人 们提出了片上网络这种新型的片上通信架构。相比于传统的架构，片上网络可扩 展性高，充分利用各处理器的并行处理能力，极大提高了系统芯片的性能。 片上网络有不同的拓扑结构，如2 dm e s h ，t o r u s ，环形，混合型等。为了 能够针对某种实际应用找出适合的最优性能的拓扑架构，我们需要一套标准的性 能评估体系。 本文搭建了一个节点数可变的片上网络性能评估平台，并对新型环形架构和 传统的2 dm e s h 进行了性能评估。新型的环形n o c 架构采用虚拟输出队列技术完 全解决了传统环形架构中存在的死锁和队头阻塞问题。在实验中，通过改变环数、 发包速率和b u f f 深度对系统进行了性能评估。最后得出两个结论：1 ) - 3 节点数固定 为1 6 时，针对新型环形n o c 架构， - 3b u f f 深度为2 4 个f l i t ，环数为2 时性能 较好，适合实际应用；2 ) 当节点数小于9 时，新型双环架构的性能对比与传统 的2 d m e s h 有绝对的优势，当节点数大于9 后，新型双环架构的性能开始变差， 特别是发包速率较高的情况下就不如2 dm e s h 。 关键词：片上网络拓扑结构性能评估环形n o c 架构 浙江大学硕士学位论文 a b s t r a c t w i t ht h ei n c r e a s i n gc o m p l e x i t yo fs o c ，e s p e c i a l l yt h ee m e r g e n c eo fm p s o c ，o n c h i p c o m m u n i c a t i o nh a sb e c a m et h ep e r f o r m a n c eb o t t l e n e c ko fs o c e f f i c i e n to n - c h i p c o m m u n i c a t i o na r c h i t e c t u r eh a sah u g ei m p a c to nt h ep e r f o r m a n c eo fs y s t e m i n r e c e n ty e a r s ，p e o p l eh a v ep r o p o s e dan e wo n c h i pc o m m u n i c a t i o na r c h i t e c t u r e 一 n e t w o r k o n c h i p c o m p a r e d w i t ht r a d i t i o n a l a r c h i t e c t u r e s ，o n - c h i p n e t w o r k s s c a l a b i l i t ya n dc a p a b i l i t yo ff u l lu s eo fp r o c e s s o r sp a r a l l e lp r o c e s s i n gi m p r o v et h e p e r f o r m a n c eo fs o c n e t w o r k - o n c h i ph a sd i f f e r e n tt o p o l o g i e s ，s u c ha s2 dm e s h ，t o m s ，r i n g ，h y b r i d ，e t c i no r d e rt of i n dt h ec o n f o r m a b l ea n do p t i m a lp e r f o r m a n c et o p o l o g i c a ls t r u c t u r ef o r p r a c t i c a la p p l i c a t i o n ，w en e e dac r i t e r i o no fp e r f o r m a n c ee v a l u a t i o ns y s t e m t h i sp a p e rh a sb u i l tan e t w o r k o n - - c h i pp e r f o r m a n c ee v a l u a t i o np l a t f o r mw i t h v a r i a b l en u m b e ro fn o d e s ，a n de v a l u a t e san e wr i n gs t r u c t u r ea n dt r a d i t i o n a l2 dm e s h t o p o l o g y b ya d o p t i n gt h ev i r t u a lo u t p u tq u e u et e c h n o l o g y , t h en e wr i n gt o p o l o g y n o ca r c h i t e c t u r ec o m p l e t e l yr e s o l v e sh e a do fl i n eb l o c k i n ga n dd e a d l o c kw h i c he x i s t i nt r a d i t i o n a lr i n gt o p o l o g ya r c h i t e c t u r e b yc h a n g i n gr i n gn u m b e r , f l i ts e n d i n gs p e e d a n db u f f d e p t h ，w ee v a l u a t et h ep e r f o r m a n c eo ft h i ss y s t e mi nt h ee x p e r i m e n t f i n a l l y w eg e tt w oc o n c l u s i o n s ：1 ) w h e nt h en u m b e ro fn o d ei sf i x e da t16f o rt h en e w r i n g t o p o l o g yn o ca r c h i t e c t u r e ，t h ep e r f o r m a n c eo fb i d i r e c t i o n a lr i n gt o p o l o g yw h o s eb u f f d e p t hi s2 - 4f l i t si sb e t t e ra n di ss u i t a b l ef o rp r a c t i c a la p p l i c a t i o n ；2 ) w h e nt h en o d e n u m b e ri sl e s st h a n9 ，t h ep e r f o r m a n c eo fn e wb i d i r e c t i o n a lr i n gt o p o l o g ya r c h i t e c t u r e i sb e t t e rt h a nt r a d i t i o n a l2 dm e s ht o p o l o g y , w h e nt h en u m b e ro fn o d e si sg r e a t e rt h a n 9 ，t h ep e r f o r m a n c eo fn e wb i d i r e c t i o n a lr i n gt o p o l o g ya r c h i t e c t u r eb e g i n st od e c l i n e ， e s p e c i a l l yi nt h ec a s eo fh i g hf l i ts e n d i n gs p e e dt h ep e r f o r m a n c ei sn o ta sg o o da s2 d m e s h k e yw o r d s ：n e t w o r k o n - c h i p ，t o p o l o g y , p e r f o r m a n c ee v a l u a t i o n ，r i n gt o p o l o g yn o c a r c h i t e c t u r e i i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名： 闲针 签字日期：驯。年5 月箩e l 学位论文版权使用授权书 本学位论文作者完全了解逝姿态堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝望盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： i 虱针 导师签名 签字日期：2 u f o 年3 月多e l签字日期：山，年j 月 浙江大学硕士学位论文 1 绪论 1 1 集成电路发展 随着半导体工艺的改进和发展，单位面积上晶体管的数目连同片上系统的复 杂度都在以摩尔定律所指出的速度不断增大。在过去的2 0 年时间里，数字集成 电路经历了巨大的变化，如图1 1 所示，从传统的专用集成电路( a s i c ，a p p l i c a t i o n s p e c i a li n t e g r a t e dc i r c u i t ) 到单处理器系统芯片( s o c ，s y s t e mo nc h i p ) ，再到如 今日渐兴起的多处理器系统芯片( m p s o c ，m u l t i p r o c e s s o rs o c ) 【。 i a s i ce r a 、s o ce r a ；_ _ _ _ _ _ _ _ _ _ 。 - - _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ _ - _ - - - l _ _ - l _ _ - - - - _ 。_ _ - _ _ _ _ l _ - - l - _ _ _ _ - - _ _ _ _ 。哆 ( ；1 9 8 5 1 9 9 5 ；一 鲨兰2 璺兰：苎 ， 图1 1数字集成电路2 0 年来的发展趋势 1 1 1 单处理器系统芯片 s o c ( s y s t e m o n c h i p ) i 殳计技术始于2 0 世纪9 0 年代中期，随着半导体工艺 技术的发展，i c 设计者能够将愈来愈复杂的功能集成到单硅片上，s o c 正是在 集成电路( i c ) 向集成系统( i s ) 转变的大方向下产生的。1 9 9 4 年m o t o r o l a 发布的 f l e x c o r e 系统( 用来制作基于6 8 0 0 0 和p o w e r p c 的定制微处理器) 和1 9 9 5 年 l s i l o g i c 公司为s o n y 公司设计的s o c ，可能是基于i p ( i n t e l l ec t u a l p r o p e r t y ) 核完 成s o c 设计的最早报导【l 】。由于s o c 可以充分利用已有的设计积累，显著地提 高了a s i c 的设计能力，因此发展非常迅速，引起了工业界和学术界的关注。 浙江大学硕士学位论文 s o c 芯片的规模一般远大于普通的a s i c ，同时由于深亚微米工艺带来的设 计困难等，使得s o c 设计的复杂度大大提高。在s o c 设计中，仿真与验证是s o c 设计流程中最复杂、最耗时的环节，约占整个芯片开发周期的5 0 8 0 ，采用 先进的设计与仿真验证方法成为s o c 设计成功的关键。s o c 技术的发展趋势是 基于s o c 开发平台，基于平台的设计是一种可以达到最大程度系统重用的面向集 成的设计方法，分享i p 核开发与系统集成成果，不断重整价值链，在关注面积、 延迟、功耗的基础上，向成品率、可靠性、e m i 噪声、成本、易用性等转移， 使系统级集成能力快速发展。 1 1 2 多处理器系统芯片 随着并行计算复杂度的增加，单处理器系统芯片已不能满足日益复杂的嵌入 式应用需求，为了获得更高的性能、最大化的设计重用、更灵活的编程性等优点， 多处理器系统芯片越来越受到人们的重视，并且在超大规模集成电路研究领域中 占据了重要的地位【2 1 1 3 1 。 m p s o c 的架构可以分为同构和异构两大类。同构是指内部处理器的结构是相 同的，而异构是指内部处理器的结构是不同的。为此，面对不同的应用研究处理 器结构的实现对未来微处理器的性能至关重要。处理器本身的结构，关系到整个 芯片的面积、功耗和性能。怎样继承和发展传统处理器的成果，直接影响多处理 器芯片的性能和实现周期。同时，根据a m d a h l 定理，程序的加速比决定于串行 部分的性能，所以，从理论上来看似乎异构多处理器的结构具有更好的性能【4 1 。 m p s o c 设计面临着许多的困难和挑战，如处理器架构的研究，编程模型， 处理器问的通信技术，低功耗设计，验证与调试以及可靠性安全型设计等。处理 器架构的研究就是如何能通过各处理器架构的探索来满足高性能和高灵活度的 较佳匹配。编程模型的适用性决定多处理器架构能否以最低的代价提供最高的性 能。处理器间的通信技术就是根据不同的m p s o c 来设计互连通信网络架构，有 效减少通信负载( o v e r h e a d ) ，相应提高系统整体并行性能。半导体工艺的迅速 发展使微处理器的集成度越来越高，同时处理器表面温度也变得越来越高并呈指 数级增长，因此低功耗设计已经成为微处理器研究中的核心问题，也成为当前 m p s o c 设计中的一大挑战。如何才能快速和有效的验证一个m p s o c 系统功能的 2 浙江大学硕士学位论文 正确性以及评估它的性能? 这就需要我们建立一个完善的验证和性能评估平台。 m p s o c 在安全性方面存在着很大的隐患：一方面，处理器结构自身的可靠性低 下，由于超微细化与时钟设计的高速化、低电源电压化，设计上的安全系数越来 越难以保证，故障的发生率逐渐走高。另一方面，来自第三方的恶意攻击越来越 多，手段越来越先进。现在，可靠性与安全性的提高在计算机体系结构研究领域 备受注目。 1 2 片上通信架构分类 随着s o c 复杂度的增加，特别是m p s o c 的出现，片上通信成了系统芯片的性 能瓶颈。高效的片上通信架构对m p s o c 的性能好坏有着巨大的影响，因此在s o c 设计中通信架构设计与研究就成了关键技术之一。 传统的片上通信架构主要有以下几种：共享总线结构、交叉开关、点到点通 信和混合型。共享总线结构常见的有a m b a ，c o r e c o n n e c t 和w i s h b o n e 。 1 2 1 总线架构 a m b a 是a r m 公司的一种总线互连结构5 1 ，它和c o r e c o n n e c t 片上总线有许 多相同的特征。a m b a 包含两级，如图1 2 ：高性能系统总线a h b 和外围设备总线 a p b 。a h b 采用地址数据分离的流水操作支持定长或不定长传送，支持带宽不 匹配时的分裂传送。数据带宽可为3 2 6 4 1 2 8 位，最大可扩展到1 0 2 4 位。 淅江大学硕士学位论文 图1 2a m b a 架构 i b m 公司c o r e c o n n e c t 总线【6 】，它包括一条高速p l b 总线和与周边设备通 信的慢速总线o p b ，以及设备控制寄存器通信总线d c r ，p l b 和o p b 之间通过桥 互连，支持p i p e l i n e ，b u r s t ，s p l i t 传输方式，采用可编程的静态优先级仲裁策略，其 o p b 总线支持多个主设备。图1 3 给出了系统各个部分的结构和互连。 浙江大学硕士学位论文 图1 3c o r e c o n n e c t 架构 w i s h b o n e 是s i l i c o r e z , ( s i l i c o r ec o r p o r a t i o n ) 开发0 9s o c 总线【7 1 。设计 目的是提高设计重用性，方便片上集成。它提供了i p 间的公用接口。有利于系统 集成和提高可靠性。它被o p e n c o r e 盘l 织所支持，采用单级总线，优势是该协议 为用户定义了四种互连方式：点对点，共享总线，数据流，交叉开关，用户可以 根据不同的系统应用需求，选择不同的互连方式。图1 4 给出了w i s h b o n e 总线 结构。 浙江大学硕士学位论文 图1 4w i s h b o n e 架构 随着系统芯片规模越来越大，共享总线结构的长互连线，串扰问题，以及压降 问题等都成为了设计的难点。由于共享总线片上通信结构的不可扩展性，这些问 题将随着s o c 系统的规模增大和需求带宽增加而变得更加明显，片上通信结构也 将成为整个系统芯片的性能瓶颈。因此，采用新的设计方法和通信结构设计技术 来克服共享总线片上通信结构的局限性变得刻不容缓。 1 2 2交叉开关 基于交叉开关的通信结构在多处理器系统中已经有很长一段历史了，从规则 的阵列处理器到共享主存的u m a 多处理器系统都采用了该架构。它包括单级交 叉开关和多级交叉开关【8 1 。对于多处理器的并行计算应用，采用交叉开关作为通 信结构，其效率是最高的，但是它实现的代价较大，需要很大的硬件开销 9 1 。结 构如图1 5 所示。 浙江大学硕士学位论文 n 个输入 1 2 3 点对点 蚧输出 图1 5 交叉开关 点 点对点片上通信结构是指各个i p 核之间都有专用的通信链路，如图1 6 所示。 点对点通信相对于共享总线有较小的通信延时，避免了总线竞争，功耗较小 等优点，采用该架构还可以通过全局异步局部同步的技术来解决多时钟域的亚稳 态问题【1 0 】。但是由于每对i p 核之间都有通信链路，因此其互连线资源必然增多， 造成布局布线的困难。每个i p 核也需要更多的通信端i = i ，增加了芯片的硬件开销。 浙江大学硕士学位论文 1 2 4n o c 图1 6 点对点通信 近几年来，人们提出了片上网络( n e t w o r ko nc h i p ，n o c ) 这种新的通信架 构。n o c 能满足s o c 设计中可复用性和带宽可扩展性的要求，同时，n o c 通信结 构采用模块化的设计，可以支持全局异步局部同步的通信模式【】。尽管n o c 存 在设计复杂，节点面积开销大，通信建立时间长的缺点，但由于n o c 通信结构 的规则性，节点之间互连线较短，可以避免长互连线带来的延时问题。n o c 还能 充分利用各处理器的并行处理能力，极大提高系统芯片的性能，是m p s o c 设计优 选的片上通信架构。 1 3 片上网络国内外研究现状 从2 0 0 1 年开始至今，世界上已有近9 0 家研究机构对n o c 各个层次问题进行 了研究，比较有影响l 钓n o c 项目希f b o l o g a n s t a n f o r dx p i p e s 1 2 1 ，p r i n c e t o no r i o n 1 3 1 ， 浙江大学硕士学位论文 u m a n c h e s t e rc h a i n 1 4 1 ，p h i l i p s , , e t h e r e a l 【1 5 】，k t hn o s t m m 【1 6 1 ，s t 2 n o c t m 【17 1 ，u p m c s p i n l l 8 i 和t utp r o t e o 1 9 1 等。 最近几年来，在学术界已经提出了许多不同拓扑结构的的n o c 。国外如p h i l i p 实验室的具有保证服务并提供尽最大努力服务眦t h e r e a l ，法国l i p 6 实验室 的通用可扩展的s p i n ，意大f f l j b o l o g n a 大学和美i 虱s t a n f o r d 大学联合研发的一个 可综合的、高性能n o c 的x p i p e s s t 实验室o c t a g o n ，t u t 实验室p r o t e o ，瑞 典i mi t l 均n o s t r u m 等。国内研究则刚刚起步，主要有清华大学，西安电子科技大 学，浙江大学和上海交通大学等。针对不同的拓扑又可以存在不同的实现方武， 以环形拓扑为例：k a r i mh a d j i a t 等提出了一种简单可扩展的基- 于t o k e n r i n g l 均新型 n o c 架构并给出了f p g a 实现，称之为r o c ( r o t a t o r - o n c h i p ) ，但是该架构不能解 决队头阻塞，而且吞吐率也不是很高2 0 1 ，p a s il i l j e b e r g - 等提出了一种针对高性能 全局异步本地同步( g a l s ) s o c 设计的环形总线结构，这是一个无死锁的、可并发 传输的、流水线方式的环【2 1 1 ，但是也不能很好解决队头阻塞。现在，为了消除 队头阻塞，d a l l y 在1 9 9 0 年提出了虚拟输出队列技术( v o q ) 【2 2 1 ，后来的研究者 在他的基础上做出了一系列的改进，如p a r a l l e l p o l l e dv i r t u a lo u t p u t q u e u e ( p p v o q ) 1 2 3 】【2 4 】。 1 4 本文研究内容和主要创新点 本文研究工作集中在片上网络性能评估平台的建立以及2 dm e s h 和环形架 构的性能比较上。本文提出了一种新型的环形n o c 架构，不同于以前存在的各 种环形架构，本文所实现的n o c 通过使用基于环的虚通道( v i r t u a lc h a n n e l s ) 和虚 输出队歹1 1 ( v i r t u a lo u t p u tq u e u e s ) ，实现了完全无死锁和无队头阻塞( h o l ，h e a do f l i n eb l o c k ) ，不仅减少了数据传输的延时，提高了网络传输的吞吐率，并且能显 著减少各个节点之间的控制信号线，减少了面积，降低了功耗。为了评估该新 型架构性能的优劣，我们把该环形架构与传统的二维网格架构进行比较。 正确评估n o c 系统的性能有助于我们进一步了解整个系统从而对系统做进 一步的改进。p a r t h ap r a t i mp a n d e 等提出了评估n o c 系统性能的主要参数，即吞 吐率，延时，功耗和面积等。要比较不同拓扑结构n o c 的性能，首先我们要搭 建一个性能评估的平台。所以在实验中我们就利用s y s t e m c 搭建了一个节点数 浙江大学硕士学位论文 可变的n o c 系统性能评估平台，并评估了新型环形架构的吞吐率和延时两个主 要参数，同时还与二维网格的性能进行了对比。 节点数固定为1 6 时，在路由、选择机制、仲裁机制和流控制固定的条件下， 通过改变环的数目，发包速率和v o q 中b u f f 的大小评估了环形架构和二维网格 的吞吐率和延时两个主要参数。然后我们又评估了4 个节点，6 个节点，8 个节 点和9 个节点时双环以及2 dm e s h 的性能。在本文的实验平台中，源目的节点被抽 象为一个简单的收发数据的机制。每个源目的节点采用随机数的方法，从其它源目的 节点中任意选取一个作为自己发送数据的目的地址，并按照确定的路由规则进行传输。 每个p a c k e t 的大小是不确定的，可以由2 至1 0 个f l i t s 组成。每个周期发送的f l i t s 数目 也是不确定的，可以根据需求设置。 本文工作的创新点主要体现在以下几个方面： 一、针对新型环形架构搭建了性能评估的平台，主要评估系统总共接收到的 p a c k e t 和f l i t 数目，平均延时，平均吞吐率和最大延时等 二、在节点数为4 、6 、8 、9 和1 6 时，对新型环形架构和二维网格架构n o c 的性能参数进行对比，分析了这两种架构各自适用的范围，即节点数为多少时性 能较好。 1 5 本文架构 本文按照内容可以分为以下几个章节： 第一章介绍了集成电路发展，片上通信的分类以及片上网络国内外研究现 状。 第二章具体介绍了当前片上网络的关键技术，相关组件和工作流程。 第三章介绍了新型双环架构的性能评估平台架构以及各部分的设计和组成。 第四章介绍了二维网格的性能评估平台架构以及各部分的设计和组成。 第五章通过前面设计的性能评估平台评估了双环和二维网格的一些性能参 数，如系统总共接收到的p a c k e t 和f l i t 数目，平均延时，平均吞吐率和最大延时 等。并在不同节点数时对这两种架构的性能进行了比较。 第六章对全文进行了总结，为以后进一步的研究指明了方向。 浙江大学硕士学位论文 2 片上网络组件及关键技术 2 1 片上网络组件 根据应用环境的不同，n o c 系统有不同的规模和架构，但它们都是由源目 的节点，网络适配单元，路由节点和链接这四个基本组件构成的。如图2 1 所示， 就是一个典型的n o c 系统架构，网络就代表了路由节点之间不同的连接方式， 包含了链接组件。 2 1 1 源日的节点 图2 1n o c 系统架构图 n o c 系统中的源目的节点可以分为不同的类型。简单的如一个c o r e ，一个 i p 或者一个m e m o r y 等，复杂的则可以是( ；o r e ，i p 和m e m o r y 的混合，如一个c o r e 带上一个m e m o r y 或者一个c o l e 带上几个i p 等。现在可配置的源目的节点也被 用于n o c 系统中。源目的节点的功能主要是把准备好的数据发送到相应的网络 适配单元中以及从网络适配单元接收数据并存储起来。当然，复杂的源目的节 点还会具备一些其他的功能，如数据运算，中断控制等。 淅讧大学硬士学位论文 2 1 2 适配单元 网络适配单元是源目的节点和网络之问的接口，它负责把琢，目的节点发送 过柬的数据转换成适台网络传精的格武然后发送到网络中，以及把从网络中接收 的数据转换成菲目的节点可以识别的格式发送到琢，目的节点中如图2 2 所示， 网络适配单元可以分为以下两大部分：竦目的节点接口和阚络接口 源目的节点。 网络适配单元 ( n e t w o r ka d a p t e r ) 焉翮k 网络 图2 2 网络适配单元( n a ) 网络适配单元的主要功能如下： 1 ) 使塬，目的节点和网络完全独立，是运算和通信分离 2 ) 保证网络端对端的泷控制 3 ) 使舞，目的节点的重用更加简单 4 ) 使响应和请求匹配，保证网络通信的服务质量 随着薄，目的节点和网络的架构变得更加复杂，网络适配单元的规模也逐渐 变大 2 1 3 路由节点 路由节点是组成n o c 网络的基础部件，他们之问不同的连接方式就形成7 不同架构的网络路由节点主要负责网络中数据的传输和控制，它可以根据确定 l2 浙江大学硕士学位论文 的或动态的路由协议来传输和处理源目的节点发送到网络中的数据。 2 1 4 链接 链接负责把n o c 系统中各个节点连接起来，使它们成为一个整体，同时它 还为网络数据传输提供了带宽。链接可以是由多条逻辑或物理的通道构成的。 2 2 片上网络关键技术 2 2 1拓扑结构 片上网络的拓扑结构就是指网络中各个节点相互连接的形式。网络传输数据 的能力主要依靠拓扑结构。它对网络的延迟、吞吐率、面积、功耗、路由策略和 网络映射都有极大的影响。目前还不能确定哪种拓扑架构有最优的性能，这个时 候就需要一套标准的性能评估体系。 片上网络拓扑结构可以分为规则和不规则两类。其中较常用的如图2 3 所示， 有s p i n ，2 dm e s h ，t o m s ，f o l d e dt o m s ，o c t a g o n ，b f t 等。每种架构都有着自 己的优缺点：s p i n 可扩展性好，但是结构的交换复杂，芯片面积太大；2 dm e s h 架构简单，可扩展性好，但是功耗较大；t o r u s 是2 dm e s h 的升级版，它缩短了 节点闻的平均距离，从理论上降低了功耗，但是过长的环形链路可能会产生额外 的延时；f o l d e dt o m s 解决了前两种架构的缺陷，是一种比较完美的拓扑结构， 但是它的硬件开销相对于前面两种有所增加；o c t a g o n 最大的特点是平均距离短， 而且可扩展性好，但是布线的复杂度明显增加，随着结构的增加，交换节点会变 成通信的瓶颈。除了图中列出的几种拓扑结构，还有一种也是较常用的，即环形 拓扑结构。它的各结点通过通信线路组成闭合回路，数据只能单向传输，信息在 每台设备上的延时时间是固定的，特别适合实时控制的局域网系统。环形拓扑： 结构简单，传输延迟确定，但是环网中的每个结点均成为网络可靠性的瓶颈，任 意结点出现故障都会造成网络瘫痪，另外故障诊断也较困难。最著名的环形拓扑 结构网络是令牌环网。 浙江大学硕士学位论文 i 一i n 一 j 曩旷 m 一匠武 酣! 可 二一j l 臣 叠； 弘口口 5 h aj 腻 1 | 川 | | | | | 可井 二。i d a j l ；i ，溅j l 思i 冬j ； 名三甾如甜如甜如 二i i 三一三：三i t 。一，一_ bu u u口，一已口一 ( a ) b ) (c ) - f-厂口 寮 一a m 鬈一 j 。粤 。l ? p 一 li 愚竺：甬蹩i 一， ， i 磐。 c h ri 一、 k ，_- u 、* 、o 哥；譬= 管 、，、， r - i l l - 一j 一 = j a r 、。卜，碰箜巍箜瓿盛如 堍滞+ “剐 j j 。坫1 1 。 一一锄j 。j ，| 2 , 2 2 路由算法 图2 3 片上网络拓扑结构 路由算法是路由器设计的核心部分，它根据路由协议确定各组数据传输的路 径，并把它们正确无误的发送至目的节点。路由算法通常具有下列设计目标：优 化、简洁、稳定、灵活。最优化是指路由算法选择最佳路径的能力。简洁性是 指算法设计简洁，路由协议必须高效地提供其功能，尽量减少软件和应用的开销。 稳定性是指路由算法处于非正常或不可预料的环境时，如硬件故障、负载过高或 操作失误时，都能正确运行。灵活性是指路由算法可以快速、准确地适应各种网 络环境。 具体来说存在着多种路由算法，每种算法对网络和路由器资源的影响都不 同。从是否考虑网络拥塞情况的角度，可以分为无关路由和自适应路由。无关路 由算法又可分为确定性路由和随机路由。确定性路由就是在给定源节点和目的节 点的情况下按照固定的路线进行路由，而随机路由则是随机选择路径。自适应路 由考虑网络的拥塞情况，选择有效的路由路径以达到最大的网络吞吐率。 确定性路由中最常用的就是x y 路由，它只取决与要进行传输的数据的源节 点和目的节点信息。如图2 4 所示，当数据从节点2 向节点1 2 发送时，根据x y 路 由协议先从x 轴开始计算路由方向，从节点2 传到节点1 再到节点0 ，当数据到达 浙江大学硕士学位论文 与目的节点同一列时，印节点o ，转向在y 轴上的路由，从节点。到节点4 再到节 点8 ，最后到达目的节点1 2 。所以最后数据传输的路径为2 1 04 8 一1 2 。 2 2 3交换技术 图2 4x y 路由 交换技术按照某种方式动态分配传输线路和接口的资源。它通过中间节点的 网络进行数据传输，这些节点并不关心数据的内容，而是提供一个交换设备，使 数据从一个节点传到另一个节点，直至到达目的地。主要有两种类型：电路交 换和包交换。 电路交换的原理是：在数据传输时，源节点和目的节点之间有一条利用中间 节点构成的专用物理链路，此线路将一直保持到数据传输结束。若是这两个节点 之间的通信量很大，则可同时建立多条连接。电路交换的优点在于数据传输可靠、 迅速，且保持原有序列。但是，一旦通信双方占有一条通道后，即使不传送数据， 其他用户也不能使用，造成资源浪费。电路交换适于数据传输要求质量高，批量 大的情况。 浙江大学硕士学位论文 包交换通过打包的方式来发送数据。所谓的打包，也就是封装，加入了很多 控制信息在里面，典型的是目的地址，源地址，参与包交换的设备会自己选择路 径发送封包同时加入自己的控制信息，而不是像电路交换一样，参与交换的设备 构成临时或永久固定的虚电路传送信息，即不需要建立特定的链路。目前主要的 包交换技术有存储转发、虚直通和蠕动等交换技术2 5 1 。 2 2 4q o s 服务 n o c 服务是网络的一种安全机制，在n o c 的路由决策时，可以提供服务质 量，对关键部件的网络带宽或者延迟进行保证，是用来解决网络延迟和阻塞等问 题的一种技术。当网络过载或拥塞时，q o s 能确保重要业务量不受延迟或丢弃， 同时保证网络的高效运行。应该具有高吞吐量，低延迟，低功耗等特点。q o s 可以 分为：尽最大努力服务( b e ) 和保证服务( g s ) ，它们提供不同层次的服务，并且 对通信行为有潜在的影响。保证服务具有可预测性，用于要求服务质量高的系统， 例如实时系统。尽最大努力服务则能提高平均资源利用率2 6 ，2 7 1 。 p h i l l i p 实验室研究开发了名为e t h e r e a l 的n o c ，它是面向消费电子产品 的n o c 。它最主要的特点是提供了服务的保证，因为很多i p 对于延迟和吞吐量 都有严格的要求，因此需要提供有保证服务( g s ) 的n o c 。同时它又引入了尽最 大努力服务( b e ) ，这些服务占用了剩余的或者没有使用的带宽。它们的优先级 最低，只有在g s 没有使用时，b e 才能使用。为此开发了专用的f i f o 来处理g s 和b e 的队列0 5 1 。 2 2 5性能评估 性能评估是当前n o c 研究中一个非常重要的方面。为了比较不同架构n o c 的 优缺点，必须使用一套标准的性能评估体系。n o c 的主要性能包括了以下几个方 面。 1 ) 吞吐率：是一种关于计算机或数据通信系统( 如网桥、路由器、网关或广 域网连接等) 数据传输率的测度。它通常是对一个系统和它的部件处理传输数据 请求能力的总体评价。简单的说吞吐率指在一指定时间内由一处传输到另一处或 浙江大学硕士学位论文 被处理的数据量。以太网吞吐率的单位为“兆比特每秒”或“m b s ”。在n o c 中， 吞吐率被定义为单位时间内数据包信息通过网络的数量。 2 ) 延迟：指在n o c 中进行数据传输时从源节点发送数据包信息开始到目的 节点接受数据包信息为止所经历的时间( 以时钟周期为单位) 。每个f l i t 从源节点 到达目的节点，必须经过由适配单元，路由节点和网络互连所组成的一条路径。 所以延时也就可以分为三部分：发送延时，网络传输延时和接收延时。每组数据 包信息根据源节点地址，目的节点地址和路由算法会产生不同的延时。 3 ) 面积：评价n o c 的面积主要分为三个部分：一是路由交换部件需要消耗 的面积，它又包括存储信息f f 寸b u f f e r 和实现路由及流量控制的逻辑单元两部分。 二是输入输出f i f o 和网络与i p 核接口适配单元所占用的面积。三是芯片中的布 线。 4 ) 功耗：n o c 中一次数据传输的功耗主要分为两部分：节点功耗和网络功 耗。发送数据的源节点和接收数据的目的节点内部的操作就会产生节点功耗。网 络功耗则是指当数据包在网络上传输时，经过网络互连线和每个路由交换节点所 需要的功耗。 2 3 片上网络工作流程 n o c 系统的工作流程如下：首先，源节点的源目的节点发出数据，它对应 的路由节点接收到这组数据并根据路由协议来判断应该发送到哪个相邻的节点； 其次，相邻的路由节点接收到数据后会先判断是不是数据发送的目的节点，如果 不是则继续根据路由协议来传输数据，如果是则不用再继续传输了；最后，目的 节点的路由节点接收到数据后就把数据发送到它对应的源目的节点中存储起 来。具体的流程图如图2 5 所示。 浙江大学硕士学位论文 根据 图2 5n o c 数据传输流程图 浙江大学硕士学位论文 3 环形n o c 性能评估平台架构及设计 片上网络的环形架构存在多种不同的实现方式，国内外研究机构为了找出其 中性能最优的实现方式还在不断做进一步研究。本文提出了一种新型的环形n o c 架构并搭建了其性能评估的平台，为后续研究提供了设计参考和性能数据。本章 主要介绍我们提出的环形n o c 模型的性能评估平台架构。 3 1 环形n o c 性能评估结构概述 本章提出的性能评估架构是基于一种新型环形n o c 模型。传统的环形n o c 不可避免地存在着队头阻塞问题，即当几路数据争抢通道时，某一路数据可能无 法取得通道支配权，从而阻塞住了，但是新型的环形n o c 采用了虚拟输出队列 ( v i r t u a lo u t p u tq u e u e ，v o q ) 技术，完全避免了队头阻塞。该性能评估架构中环的 数目和节点的数目都不是确定的，可以根据需要而扩充，如图3 1 所示。 他 节 图3 1双环可变节点n o c 性能评估架构 1 9 浙江大学硕士学位论文 3 2 环形n o c 性能评估架构关键组件 3 2 1环形n o c 性能评估架构适配单元和源目的节点 源目的节点既可以是一个简单的处理单元，c o r e 或者m e m o 巧，也可以是一 个复杂的子系统。根据源目的节点不同的结构和功能，可以配置不同复杂度的 适配单元与其相匹配。 在本文的实验平台中，源目的节点被抽象为一个简单的收发数据的机制， 每个节点发送和接收到的f l i t 和p a c k e t 都被抽象为简单的结构体，如图3 2 和3 3 所示。所以适配单元就可以抽象为从t p a c k e t 中提取信息给t f l i t 结构体赋值和 从t f l i t 提取信息恢复t p a c k e t 的过程。 s t r u c tt f l i t i n ts r ci d ； 源节点i d i n td s ti d ； 目的节点i d t f l i t t y p ef l i t _ t y p e ； 每个f l i t 的类型， 可p j ( 茭jf l i t - t y p e h e a d ( 包头) ，f l i t - t y p e b o d y ( 包体) 或 f l i tt y p et a i l ( 包尾) i n t s e q u e n c e _ n o ；f l i t 在p a c k e t 中的序列号 t p a y l o a d p a y l o a d ；f l i t 携带的数据 d o u b l e t i m e s t a m p ；f l i t 所属p a c k e t 产生的时间 i n l i n eb o o lo p e r a t o r = = = ( c o n s tt f l i t & f l i t ) c o n s t r e t u r n ( f l i t s r c j d = = s r c j d & & f l i t d s t i d d s t i d & & f i t f l i t _ t y p e = f l i t _ t y p e & & f l i t s e q u e n c e _ n 舻= s e q u e n e e _ n o & f l i t p a y l o a d p a y l o a d & & f l i t t i m e s t a m p - m - - t i m e s t a m p & & f l i t h o p _ n o = h o p _ n o ) ； 两个f l i t 相等的条件 l ； 图3 2t f l i t 结构体定义 2 0 浙江大学硕士学位论文 图3 3t p a c k e t 结构体定义 适配单元和源目的节点这两个关键组件在本文的实验平台中可以合并为一 个部分，包括t x p r o c e s s o 和r x p r o c e s s o 两个主要函数体。其中t x p r o c e s s 函数负责 发送数据，r x p r o c e s s 函数负责接收数据。该部分的结构图如图3 4 所示。 图3 4 适配单元和源目的节点结构图 反馈信号 一数据信号 和控制信号 浙江大学硕士学位论文 发送数据模块即t x p r o c e s s 函数，主要包括数据包产生和f l i t 产生两个部分， 如图3 5 所示。数据包产生模块由t r a f f i c r a n d o m 函数实现，它是一个完全随机的 机制，产生的数据包包括源节点，目的节点，包产生的时间，包的大小和未发送 的f l i t 数目。其中源节点就是当前节点