（电路与系统专业论文）面向多核片上网络存取控制单元的设计与实现.pdf

浙江大学硕士学位论文摘要 摘要 随着半导体工艺与集成电路技术的迅猛发展，单个硅芯片上可以集成的晶体 管数目越来越多，基于片上总线的多核s o c ( s y s t e m - o n - c h i p ) 设计开始面临新 的问题和挑战。片上网络( n e t w o r k o n c h i p ，n o c ) 技术以其吞吐率高、可靠性 高、扩展性强等特点为大规模片上多处理器( m u l t i - p r o c e ss o ro nc h i p ，c m p ) 互连提供了一种有效的解决方案，并逐渐成为集成电路领域的研究热点。 本文以此为背景，在对片上网络相关技术进行研究的基础上，设计并实现了 片上网络的关键组件之片上网络存取控制单元( n e t w o r ka c c e ss c o n t r o l l e r ，n a c ) 。该网络存取控制单元为片上网络提供不同层次的服务连接， 以i p 核形式封装，具有可配置、可重用特点。其支持收发双工模式，支持跨时 钟域数据交换，内置一系列可配置寄存器，采用一种基于消息表的数据接收方式， 通过记录并自动更新不同消息的接收配置信息使数据传输更加高效。 论文首先提出了一种片上网络的o s l 分层参考模型，给出了不同层次的服务 划分和数据定义。接着对片上网络存取控制单元进行功能定义和模块划分，并着 重阐述了各模块的详细设计与实现过程。最后搭建了一个完整的仿真平台对设计 进行仿真验证和性能分析。结果表明，所设计的片上网络控制单元在功能、面积、 频率、通信效率等各方面均满足设计需求。 关键词：片上网络；多核；网络存取控制单元；消息表；验证平台 浙江大学硕：七学位论文 a b s t r a c t a b st r a c t a st h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o ta n di ct e c h n o l o g y ，m o r ea n d m o r et r a f t s is t o r sc a l lb ei n t e g r a t e do nas i n g l es i l i c o nc h i p m u l t i c o r e s o c ( s y st e m o n c h i p ) d e si g nb a s e do nc h i pb u sb e g a nt oe n c o u n t e rn e w p r o b l e m sa n dc h a l1 e n g e s t h eiss u e ss u c ha sp o o rs e a l a b i1i t y 、1 0 wp a r a ii e i c o m m u n i c a t i o ne f f i c i e n c y 、d i f f i c a ltc l o c ks y n c h r o n i z a t i o na r eb e i n g b e c o m i n g ab e t t l e n e c k r e s t r i c t i n g t h e d e v e l o p m e n t o fs o c n o c ( n e t w o r k o n c h i p ，n o c ) t e c h n o l o g y ，w it hit sh i g ht h r o u g h p u t ，r e li a b i1it y a n d s e a l a b i i i t y c h a r a c t e r is t i c sp r o v i d e sa l le f f e c t i v ei n t e r c o n n e c t s o l u t i o nf o rl a r g e s c a l ec m p ( m u l t 卜p r o c e s s o ro nc h i p ) ，a n dg r a d u a l l y b e c o m e saf o c u sr e s e a r c ha r e ao fi n t e g r a t e dc i r c u it s b a s e do nt h ea b o v eb a c k g r o u n d ，t h ist h e sisp r o p o s e da n di m p le m e n t e d a ne f f i c l e n tn e t w o r ka c c e s sc o n t r o ll e r ( n a c ) u n itt op r o v i d eak e y c o m p o n e n tf o rn o c t h en a ch a ss e n d i n ga n dr e c e i v i n gd u p l e xm o d e ，s u p p o r t s e r o s s - c l o c kd o m a i nd a t ae x c h a n g e c o n t a i n sas e t i e so fc o n f i g u r a b l e r e g is t e r s ，a n di n tr e d u c e sam e ss a g et a b l e ( m t ) b a s e dr e c e i v i n gm e t h o d w h i c hm a k e sd a t at r a n s f e r sm o r ee f f i c i e n tb yr e c o r d i n ga n du p d a ti n g r e c e i v i n gc o n f i g u r a t i o ni n f o r m a t i o no fm e s s a g e sa u t o m a t i c a ll y i nt h et h e si s ，w ef i r s tp r o p o s e dah i e r a r c h i c a lo s ir e f e r e n c em o d e l f o rn o c ，w i t hd i f f e r e n t1 e v e l so ft a s kp a r t i t i o n i n ga n dd a t ad e f i n i t i o n s t h e nm a d ef u n c t i o nd e f i n i t i o na n dm o d u l e d i v i s i o nf o rn a c a n dm a i n l y d e s c r i b e dt h ed e t a i l e dd e s i g np r o c e s so fe a c hs u bm o d u l e f i n a l l yb u i l t as i m u l a t i o np l a t f o r mt oc o n d u c tt h ed e s i g nv e r i f i c a t i o na n dp e r f o r m a n c e a n a l y s is t h er e s u lt s h o w st h a tt h en a cc a nm e e tt h ed e s i g nr e q u i r e m e n t s w e l li nr e s p e c to ff u n c t i o n ，s i z e ，f r e q u e n c y ，c o m m u n i c a t i o ne f f i c i e n c y ，e t c k e yw o r d s ：n e t w o r k - o n c h i p ( n o c ) ；m p s o c ；n e t w o r ka c c e s sc e n t r o ll e r ( n a c ) ； m e s s a g et a b l e ( m t ) ：v e r i f i c a t i o np l a t f o r m 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名： - 1 晦啼 签字日期：如口年至月f 7 。日 学位论文版权使用授权书 本学位论文作者完全了解 逝姿态堂 有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 繇侮嘻 签字嗍知卜年弓月阳 浙江大学硕十学位论文致谢 致谢 感谢我的导师罗小华副教授，他渊博的知识，严谨细致、一丝不苟的作风二 直是我工作、学习中的榜样，其循循善诱的教导和不拘一格的思路给予我无尽的 启迪。 感谢潘赞老师，一年多来，潘老师不仅在学业上给我以精心指导，同时还在 思想、生活上给我以无微不至的关怀，从课题的选择到论文的最终完成，潘老师 都始终给予我细心的指导和不懈的支持，在此表示诚挚的谢意。 感谢超大所严晓浪、史峥、丁勇等每一位优秀的老师，感谢所里尤其是六楼 6 0 3 、6 0 4 的诸位同学，与他们一起工作、学习是我最大的荣幸。 最后，感谢浙江大学超大规模集成电路研究所为我提供了一个优秀的学习、 科研平台，在这里的生活也给我留下了一段非常珍贵的回忆! 浙江大学硕士学位论文绪论 1 绪论 1 1 多核s o c 的发展与挑战 随着半导体工艺与集成电路设计技术的发展，以知识产权( i n t e ll e c t u a l p r o p e r t y ，i p ) 复用为基础的片上系统( s y s t e m - o n - c h i p ，s o c ) 设计方法，凭借其 快速的设计周期、丰富的功能以及卓越的性价比迅速成为i c 设计普遍采用的重要 手段。与板上系统相比，s o c 具有许多优点：( 1 ) 根据用户需求提供灵活的集成 方案，可以针对应用定制；( 2 ) 单芯片有效降低系统功耗与面积；( 3 ) 充分利 用i p 复用技术降低设计难度，加快设计周期；( 4 ) 减少了板上系统不同芯片之 间接口驱动、信号延时等问题，加快了数据传输、处理速度n 1 。一种典型的s o c 结构如图1 1 所示。c p u 作为芯片的主控和运算单元，是整块芯片的核心；多个 s r a m d r a m 、c a m 、r o m 、f l a s h 等存储模块构成芯片的存储单元；u a r t 、m a c 、g p i o 、 p c i 等接口模块实现芯片与外设的互连通信；特殊功能i p 核作为扩展模块为芯片 提供特定应用功能，例如音视频编解码单元、密码算法引擎、真随机数发生器等。 图i 1 一种典型o 勺s o c 结构 与此同时，s o c 的出现也带来了片上总线( o n - c h ipb u s ，o c b ) 的兴起，一些 大公司纷纷推出自己的片上总线结构，这些总线结构部分已在国际上形成公开通 用的总线标准，例如i b m 公司n c o r e c o n n e c t 、s i1i c o r e 公司的w is h b o n e 、a 1t e r a 浙江大学硕士学位论文绪论 公司的a v a l o n 、a r m 公司的a m b a 、m i p s 技术公司的s o c - it 和c o r ef r a m 等。片上总 线为s o c 内部实现i p 互联提供解决方案。与板上总线不同，片上总线不用驱动p c b 板上的接口信号，信号线长度短，因此电路耗能更低，数据传输速度更快，相应 的系统频率提升空间也就越大。 2 0 0 7 年6 月2 5 日，多个计算机领域巨头在美国西雅图联合举办了一个以多核 为主题的研讨会。这是一个标志性的事件，表明多核( m u l t i - p r o c e s s o r ，m p ) s o c 技术已经成为未来芯片发展的趋势。多核的出现为多任务并行处理提供了解 决方案。多核单芯片上不但可以设置多个计算节点，同时可以集成用于实现不同 功能的子系统，从而形成功能更丰富而总体实现代价相对较低的复杂系统。跟传 统的单核心芯片相比，多核具有更强的并行处理能力、更高的数据吞吐率和更低 要求的时钟频率，从而大大改善了系统功耗和散热。当前，m p s o c 根据互连方式 不同一般分为两类：基于总线和基于网络的互连。前者是传统s o c 片上总线技术 的扩展，通过设置多层次化总线使片上系统可以集成更多的i p 核，从而提升系统 性能；后者是近十年提出的全新的概念，即多个计算节点之间通过网络存取控制 单元( n e t w o r ka c c e s sc o n t r o l l e r ，n a c ) ，采用基于包的数据交换方式进行片 内通信，这种片内互连方式称为片上网络( n e t w o r k o n c h i p ，n o c ) n 1 。 据i t r s ( i n t e r n a ti o n a lt e c h n o l o g yr o a d m a pf o rs e m i c o n d u c t o t s ，国际 半导体技术路线图) 预测，到2 0 1 0 年，高性能单芯片上可集成的晶体管数量将达 到2 2 亿个，2 0 1 3 年将超过8 8 亿个。芯片的面积越来越大，功能越来越复杂，单个 芯片上集成的i p 数目也越来越多，基于片上总线的多核s o c k , , 统设计已开始面临 新的问题和挑战，主要表现为以下几个方面1 ： ( 1 ) 可扩展性差 s o c 系统设计是根据用户需求进行的。在系统设计初期，基于i p 复用的s o c 设 计方法对所需功能模块的选择余地较大。但在前端设计验证完成后，系统内各个 i p 的地址空间和端口已经分配及连接完成，整个系统的功能完备性验证也已经通 过。如果此时设计需要增加某个功能模块，就需要重新分配地址空间，评估功耗 性能，并进行复杂的时序和功能验证。尤其是在后端物理布局布线也已经完成后， 设计者还需要重新对各个功能模块进行布局，对整个时钟网络和全局信号进行布 线。显然这会浪费大量的人力物力，同时延缓芯片投放市场的时间。随着集成电 浙江大学硕士学位论文绪论 路规模越来越大，片上集成的i p 数目越来越多，重复设计的发生概率及所需代价 也会不断提高，此时总线结构可扩展性差的问题必将越来越突出。另外，有限地 址空间也为电路规模扩展带来了相当大的局限性。 ( 2 ) 不支持并行通讯，通信效率低 片上总线采用各个i p 共享总线的的形式实现互联。在同一时刻，只能允许一 对节点进行数据传输。在这种情况下，如果某些模块需要与其他模块进行通信， 它们首先要向总线仲裁器提出占用总线请求，仲裁器根据各个申请模块的优先级 进行仲裁，最终判定哪个模块获取总线控制权。其它模块只能等待当前传输完成 后进入下一轮仲裁。一个时间只有一个b u sm a s t e r 可以驱动总线，在有多个c p u 的情况下，这种链接形式必然限制了c p u 的带宽。从系统整体考虑，这种通信模 式资源利用率低，而且随着电路规模不断扩大，通信带宽的瓶颈也会越来越明显。 ( 3 ) 时钟域同步，信号延迟问题 随着集成电路工艺特征尺寸越来越小，系统时钟工作频率迅速上升，达到 1o g h z 以后，互连线延时将严重影响到全局时钟域的同步性。时钟倾斜( t i m i n g s k e w ) 是一种典型的时钟域不同步现象。要消除或降低时钟倾斜造成的影响，一 般是在时钟树中选用不同尺寸的驱动器( c l o c kb u f f e r ) 以改变时钟信号到达触 发器的延时。但这种方法会使用大量的驱动器和金属线，同时其功耗将在芯片工 作过程中占据动态功耗的绝大部分。随着时钟网络的不断扩大，如何解决时钟域 同步问题将会越来越棘手。 目前来看，基于片上总线的s o c 技术发展已经相对成熟，但同时也开始面临 许多新的问题。如何在片上多处理器中，为处理单元提供高吞吐率、高带宽、高 速度的互连通信，同时尽可能减少芯片的面积和功耗，逐渐成为许多研究人员开 始关心的问题。 1 2n o c 的兴起与发展 片上网络是2 0 0 0 年之后提出的一个概念，源于现在s t a n f o r d 大学e e c s ， c o m p u t e rs y s t e m sl a b o r a t o r y 的教授p r o f w il li a mj d a ll y 的一篇文章： ”r o u t ep a c k e t s ，n o tw i r e s ：o n c h i pi n t e r c o n n e c ti o nn e t w o r k s ”d a c 70 1 p r o c e e d i n g so fd e s i g na u t o m a t i o nc o n f e r e n c e ，2 0 0 1 。文章提出了一种基于 浙江大学硕士学位论文 绪论 包的数据交换方式，为片上系统带来了一种全新的片上通信方法，并显著改善了 传统总线式系统的性能。目前，n o c 主要还处于研究阶段，但是从s o c 系统发展来 看，片上总线到网络是必然的趋势。n o c 技术以其并行性好、扩展性强、可重用 性高等特点为大规模片上多处理器( m u lti - p r o c e ss o to nc h ip ，c m p ) 互连提供 解决方案，为片上系统进入数十亿级晶体管时代提供了一种有效的通信机制。与 总线结构相比，n o c 具有以下优势： ( 1 ) 扩展性强 片上网络取消了总线系统地址空间的概念，各个计算单元分属于不同的节点， 节点之间以节点i d 号加以区别。在n o c 中引入节点是简单的，从理论上说，设计 者只需根据节点编码规则正确对节点进行编码，就可以不断扩展甚至引入任意个 节点。n o c 中不存在片上总线地址空间有限的问题，这也为n o c 适用于大型集成系 统奠定了基础。 ( 2 ) 通过并发和非阻塞交换获得高带宽 片上网络采用计算节点点对点数据传输的方式，支持各个节点并发交换数据， 从而避免了总线系统因为等待或阻塞而引起的通信延迟，在进一步保证系统实时 性的同时，使通信带宽大幅提升，各计算单元的数据吞吐率也显著增加。 ( 3 ) 通过分层协议获得可靠的传输 片上网络采用基于包的数据交换方式，而计算节点内部可以采用总线的互联 方式，计算节点与网络之间有独立的资源为它们进行协议的分层，同时提供有效 的服务。得益于网络存取控制单元，通信和计算单元的分离不但使计算单元可重 用，而且使通信单元也可重用，这大大提高了系统设计的灵活性和便利性，也为 计算节点“即插即用”于网络提供了基础。 ( 4 ) 时钟域全局同步、局部异步 通过网络存取控制单元的时钟域穿梭，各个计算节点与通信节点可以采用全 局异步局部同步( c l o b a la s y n c h r o n o u sl o c a is y n c h r o n o u s ，g a l s ) 时钟策略， 从而避免了全局同步时钟带来的时钟倾斜等诸多问题，并且降低了大量系统动态 功耗。 4 浙江大学硕士学位论文绪论 1 3n o c 及n a c 研究现状 n o c 的概念提出于2 0 0 0 年左右，在这短短的1o 年时间里，越来越多的研究机 构逐渐意识到n o c 的发展前景与潜力，并纷纷投入其中。现在，n o c 已经成为一个 非常热门的国际前沿研究学科。据统计，国际上共有9 0 多所高校、研究院以及相 关公司的研究机构正在积极从事n o c 的研究。自2 0 0 0 年起，很多科研院所提出了 各种各样的创新的片上网络架构，包括b o l o g n a 、k a i s t 、k t h 、l i p - 6 、m i t 、u c s d 、 m a n c h e s t e r 、s t a n f o r d 、t a m p e r e 和t e c h n i o n 以及飞利浦研究实验室、意法半导 体和v t t 技术研究中心等相关工业研究实验室1 。一些著名研究机构的研究成果 代表了n o c 研究水平和现状。 n o s t r u m 是瑞典k t h 研发的一种n o c 体系结构h 鲥，主要研究从物理层到应用层 的通信问题。每个路由节点与周围四个路由节点相连，并通过网络存取控制单元 将i p 核接入该路由节点，从而形成一个规则的2 dm e s h 拓扑结构。 c h a i n ( c h i pa r e ai n t e r c o n n e c t ) 是由英国m a n c h e s t e r 大学研发的自定时n o c ， 包括c h a i n d e si g n e r t m 、c h a i n c o m p il e 和基于c h a i n ii b r a r y t m 的c h a i n w o r k s 工_ 具陆1 。它们被用来实现产生n o c 相关的v e r i l o g 或s y s t e m c 仿真模型、仿真激励和 具有约束的结构网表，并自动生成静态时序分析脚本。其中c h a i n - w o r k s 已经成 为一个商用开发工具。 s p i n ( s c a l a b l ep r o g r a m m a b l e i n t e g r a t e dn e t w o r k ) 是由法国p i e r r ee t m a r i ec u r i e 大学研发的通用可扩展互连网络 1 。他们通过可综合的v h d l 模型开 发了基于周期精确的c a s s ( c y c l ea c c u r a t es y s t e ms i m u l a t o r ) 模拟器，并以此 来评估和比较系统通信效率。 a e t h e r e a l 是由荷兰p h i1i p s 公司研发的同时提供保证服务和尽最大努力服 务的n o c n l 。a e t h e r e a l 路由器具有6 个3 2 位双向端口，每端口2 4 个w o r d 的输入b e 队列。该n o c 的设计和验证使用了形式化方法。 当前的研究报告指出，新的片上网络架构对未来的m p s o c 极具吸引力，但是 有很多细节问题还尚未完全解决。如何选择适合的拓扑结构、路由和流量控制策 略、队列管理策略、数据包消息格式和端到端、点对点的网络服务类型，以及 如何设计高效可重用的网络存取控制单元，都是n o c 的研究热点。针对网络存取 控制单元的研究，文 9 】根据时钟域全局同步、局部异步问题，提出了一种低延 浙江大学硕士学位论文绪论 时双时钟f i f o 实现方案，从而提高了网络接口传输效率；文【1 0 1 在i p 接口端增 加了仲裁机制，可以将多个i p 同时接入片上网络；文【1 1 】实现的c n i ( c o r e n e t w o r k - i n t e r f a c e ) 为i p 核提供了4 个总线接口( 2 个d t l ，2 个a x i ) ， 并采取信誉流控( c r e d iif l o w ) 机制，一定程度上缓解了网络拥塞。 1 4本文的主要研究内容 片上网络存取控制单元是n o c 的关键组件，也是当前n o c 研究的一个重要组 成部分。在论文中，作者对s o c 及n o c 的发展历程进行回顾，系统的讨论了当前 n o c 相关关键技术，并在查阅大量文献资料及总结前人工作经验基础上，着重对 网络存取控制单元进行了深入的研究，主要工作如下： ( 1 ) 分析了片上多核网络模型数据通信特点，根据o s i 参考模型对网络进行通 信服务分层； ( 2 ) 为了向不同服务提供连接提出了一种高效可重用的网络存取控制单元的 设计方案，对各子模块进行系统的功能定义与划分，并给出了相应的验证 方案； ( 3 ) 根据a m b a 总线协议规范实现上述网络存取控制单元，并自组建一个具有 4 个独立计算节点的验证平台，编写测试案例对该单元进行验证； ( 4 ) 为了实现时钟域全局异步、局部同步，对总线层及网络层的数据信号和控 制信号分别进行同步，数据信号基于f i f o 实现同步，控制信号采用握手 的方式实现同步； ( 5 ) 提出了一种基于消息表的数据接收方式，通过记录并自动更新不同数据源 的消息记录，实现主动式数据搬移，从而大大降低了对子系统资源占用率。 1 5 本文的组织结构 本文在第二章讨论了片上网络关键技术和相关研究重点，为片上网络存取控 制单元的设计提出需求；第三章对需求进行分析，制定了相应的设计流程，并初 步对子模块进行划分及对数据进行定义；第四章对各个子模块进行了详细的设计； 第五章对设计实现的网络存取控制单元进行仿真验证和性能分析。最后对全文进 行总结，并给出了本课题的后续研究方向。 浙江大学硕士学位论文片上网络关键技术研究 2 片上网络关键技术研究 2 1 片上网络拓扑结构 n o c 拓9 1 、结构体现了芯片内部通讯节点的布局和互联，不但对系统吞吐量、 网络延迟、容错、面积、功耗、性能有很大影响，对计算资源和任务到网络节点 的映射也起着重要的作用。目前，大部分的n o c 拓9 1 、结构借鉴了计算机互联网络 中的静态宏观结构，主要包括规则和不规则( 定制) 两种。规则拓扑又包括直接 网络和间接网络。直接网络指每个路由节点都有计算资源与其连接，如p r o t e o 的环形结构，k t hn o s t r u m 的t o r u s 结构、2 i ) m e s h 结构、3 dm e s h 结构等；间 接网络指某些路由节点无计算资源与其相连，如u p m cs p i n 的扁平树结构、b e n e s 网等。非规则拓扑可以根据具体应用定制，或者由规则拓扑互补组合而来2 1 引。 在研究n o c 拓扑结构中，有以下几个概念的定义： ( 1 ) 节点度：指的是该节点与相邻节点连接通路的数目。 ( 2 )网络规模：网络中总的节点数目。 ( 3 ) 网络直径：网络中2 个节点之间最短路径的最大值。 2 1 1 规则直接网络 【1 ) 2 dm e s h 2 dm e s h 结构如图2 1 所示，该结构中每个内部路由节点有五个双向端口， 其中一个端口连接i p 核，其余四个连接相邻路由节点。路由结点和计算节点在 数量上相同，且通过网络存取控制单元实现互联。对于一个规模为n x n 的2 dm e s h 网络，其节点度为4 ，网络直径2 ( n - 1 ) 。2 dm e s h 网络结构简单，可扩展性好， 有众多简单高效的路由算法便于实现和分析，是目前采用较广的拓扑结构之一。 但是该结构在大规模网络拓扑中，通信延迟和功耗较大n 钔。 浙江大学硕士学位论文片上网络关键技术研究 图2 12 dm e s h 网格结构 ( 2 ) 2 dt o r u s 2 dt o r u s 是在2 dm e s h 基础上的一个变形( 图2 2 ) 。将2 dm e s h 边界路由 节点与其水平或垂直方向的对称节点连接，则构成了2 i ) t o r u s 。在这种结构中， 每个节点都与4 个节点相连，从而增加了数据传播通路。对于一个规模为n x n 的2 dt o r u s 网络，其节点度为4 ，网络直径2 ( n 2 ) 。该结构通过增加边界节 点之间的环形链路，大大缩短了节点间的平均距离和网络直径，理论上降低了功 耗。然而，过长的环形链路又会产生额外的信号延迟，而且提高了物理设计中布 局布线的要求n 钉。 p e n a c r o u t e r l i n k 图2 22 dt o r u s 拓扑结构 ( 3 ) s p i d e r g o n s p i d e r g o n 是一个双向环形对称的结构( 图2 3 ) ，每个节点除了与相邻节 点连接外，还与其对角节点交叉连接。因此，数据可以通过三种通道转发到最终 的目的地。该结构由n ( n = 2 n ，n - - 2 ，3 ) 个路由节点组成，每个节点四个端口， 其中一个端口连接i p 核，另外三个端口连接相邻路由节点。路由节点i 的邻居 节点有：a 逆时针方向：( i - 1 ) m o dn ；b 顺时针方向：( i + 1 ) m o dn ；c 对角线 方向：( i + n ) m o dn 。该结构的优点是：路由节点平均距离和网络直径较小，数据 8 浙江大学硕士学位论文 片上网络关键技术研究 传输过程中通信跳数和链路数量较少，物理设计复杂度低。 2 1 2 规则间接网络 图2 3s p i d e r g o n 拓扑结构 ( 1 ) s p i n 如图2 4 所示，s p i n 是一种基于树的n o c 拓扑结构。树中的叶子节点是i p 核，非叶子节点是n o c 中的路由节点。在该结构树中，树的每层都有四个父节点， 这样做既避免了父节点成为通信瓶颈，提高了系统整体性能，又便于实现扩展。 对于一个规模为n 的s p i n 网络，其节点度为4 ，网络直径n 8 。数据通信过程中 i p 核首先在父节点中查找目的节点，如果当前父节点的子节点中没有目的结点， 就向上层节点查询。s p i n 网络通过节点分层，加快了系统路由查找的速度。如 果把通信量较大的i p 放在同一个父节点下，可以大大提高通信效率。但该结构 的布局布线复杂度大，芯片的面积和功耗开销较大。 图2 4s p i n 拓扑结构 ( 2 ) b u tt e r f l yt r e e 同s p i n 结构相似，在b u t t e r f l yt r e e 结构中，叶子节点放置i p 核，父节 点放置路由节点。图2 5 所示为1 个4 维的碟网拓扑结构。n 维的蝶网包括n = 2 n 个i p 核和( n - 1 ) x 2 ( n - 2 ) 个度数为2 的路由节点，路由节点纵向组织成n - 1 层， 每层有n 4 个路由节点。该结构增加了i p 核本地特性，降低了路由查找的复杂 度，但是链路复杂，物理布局布线困难。 9 浙江大学硕士学位论文 片上网络关键技术研究 2 1 3 非规则拓扑 i 置，k l - v 一- - k 参酬_ ，- 参_ 、_ 驾 规则拓扑具有规则的网络参数，重用性高，适用于通用的系统；而非规则拓 扑主要根据特定的应用需求而定制，同时面向不同的领域。根据定制方式的不同， 非规则拓扑可分为以下三类： ( 1 )专用网络 专用网络的拓扑完全根据具体的应用需求设计，没有遵循一定的规律。一般 情况下，专用网络可以减少路由节点的数目，在功耗和面积上更有优势，但设计 周期长，可重用性不高。 ( 2 )基于规则拓扑 基于规则拓扑的非规则拓扑结构是在规则网络拓扑的基础上，有针对性的增 加或删除一些节点或链路，从而使修改后的网络更符合实际应用需求。通过定制， n o c 酗j 网络直径和链路利用率等都会得到显著改善，同时也节约了系统的功耗和 面积。 ( 3 )总线一网络混合拓扑 总线一网络混合拓扑局部采用总线结构，全局采用规则或非规则的网络拓扑。 该拓扑综合了片上网络和共享总线的优势，与规则或非规则网络相比降低了路由 节点资源开销，与总线相比又增加了可扩展性和系统带宽，一举两得。但是总线 与网络的连接需要有专用且功能更复杂的片上网络存取控制单元的支持。 浙江大学硕士学位论文片上网络关键技术研究 2 2路由问题和相关算法 2 2 1 路由问题 与总线结构不同，n o c 的数据传输一般采用基于数据包交换的方式。如何将 源节点的数据包信息高效、准确地通过路由方式传送到目的节点，是片上网络路 由单元的工作核心。总的来说，数据传输需要考虑以下几个路由问题n 6 1 ： ( 1 )死锁 两个数据包在某一时刻同时等待路由转发，但由于彼此占用了对方所需资源 导致另一方一直处于请求等待状态，从而产生死锁。 ( 2 ) 活锁 一个数据包在目的节点周围循环传输但始终无法到达目的节点，从而产生活 锁。非最短路由算法中可能会产生此类问题。 ( 3 ) 饥饿 为不同数据包分配不同优先级，如果某个数据包优先级过低，而其他数据包 优先级较高，该数据包将一直处于请求、等待资源状态，并无法到达目的节点， 从而发生饥饿现象。 由于芯片功耗、面积的限制和系统带宽的要求，路由单元除了要将数据包正 确发送到目的节点，即没有死锁、活锁和饿死现象的发生外，还应尽可能简单和 高效，从而使数据包经过尽可能短的路由路径和等待时间到达目的节点，降低传 输延时，提高数据吞吐率。 2 2 2 路由算法 片上网络路由算法包括静态路由算法和动态路由算法两种。静态路由又称无 关路由，其特点是在路由过程中不考虑网络通信量和拥塞状况。根据路径选择方 式不同，无关路由又可以分为确定性路由和随机路由。确定性路由以网络静态拓 扑为依据，按照源节点和目的节点之间固定的通道进行数据传播( 如确定性x y 路 由) ；随机路由没有固定的路由路径，而是根据网络状态随机选择动态路由算 法又称自适应路由，与静态路由不同，动态路由需要考虑网络各个路由节点的负 载状况，并根据网络反馈选择高效的路由路径，从而避免拥塞的产生，提高数据 浙江大学硕上学位论文片上网络关键技术研究 吞吐率。按适应性程度不同自适应路由又可分为部分自适应和完全自适应。下面 主要对二维m e s h 结构的部分常用路由算法进行讨论。 ( 1 )确定性维序x y 路由算法 在确定性路由算法中，x y 路由是较简单的一种。对于一个n 小的二维m e s h ， 设数据包路由的源节点坐标( x c ，y c ) ，目的节点坐标( x d ，y d ) ，x o f f s e t = x d - x c ， y o f f s e t = y d - y c ，该算法伪代码描述如下： i f ( x o f f s e t ! = o ) ( i f ( x o f f s e t 0 ) 向右走；e ls e 向左走； ) e l s ei f ( y o f f s e t 0 ) 向上走； e ls ei f ( y o f f s e t 【 图4 6a h bs l a v e 接口模块端口信号 计算节点通过a h bs l a v e 接口实现对片上网络存取控制单元的配置和监控， 主要包括寄存器配置模块的读和写。在计算节点进行读操作时，a h bs l a v e 接口 首先按照a h b 协议接收来自计算节点的控制和地址信息。接着解析地址，将n a c 在总线系统内的地址空间映射还原成n a c 内部寄存器列表标号，并根据当前地址 值选中对应的寄存器( s l a v e r e g w e n s l a v e r e g t e l l ) 。最后将寄存器值通过数 据总线( r e g s l a v e r d a t a ) 返回至计算节点。写操作流程与读操作相同，但是 厂f|j。、；il 浙江大学硕士学位论文片上网络存取控制单元详细设计和实现 数据流向发生了变化。 n a c 内部寄存器地址空间为0 x 0 0 - 0 x 4 0 ，因为寄存器是3 2 位，所以相邻寄存 器的地址差值为0 x 0 4 。在地址映射过程中，寄存器列表的标号可以用系统地址 总线的2 至6 位来表示。即：r e g n u m = h a d d r 【6 ：2 】。 当收到有效的总线地址信号后，根据h a r b x x h w r i t e 电位不同，端口 sl a v e r e g w e n 【r e g n u m 】或sl a v e r e g r e n 【r e g n u m 被置1 ，相应的寄存器被选 中，由系统读取或写入数据。 4 1 4 寄存器配置模块 总线接口的寄存器配置模块包含了一系列可配置寄存器单元，它们接收来自 总线系统的配置信息，控制片上网络存取控制单元内部各个模块的工作进程，同 时收集各个模块的工作状态，将这些状态信息反馈给总线系统。寄存器配置模块 直接与n a c 内部各子模块相连，是n a c 的控制中枢寄存器( 图4 7 ) 。 图4 7 寄存器配置模块控制其它子模块 本文一共定义了1 9 组寄存器，按类型可以分为控制、状态和数据寄存器， 按属性可以分为只读和读写寄存器。寄存器内部地址范围为0 x 0 0 0 x 4 0 ，每组位 宽3 2 位，相邻组地址间隔为0 x 0 4 。各寄存器名称、地址、属性及说明如表4 2 所示。 表4 2 可配置寄存器列表 名称地址属性说明 n a c c t r l0 x 0 0r w控制寄存器，包括数据收发使能，消息表使能等 n a c s t a t u s0 x 0 4r 状态寄存器，包括输入输出状态，消息表状态等 n a c i n t0 x 0 8r 中断寄存器，指示当前中断类型 n a c i n t m a s k0 x o c r w中断屏蔽寄存器，置1 后屏蔽对应的中断类型 n a c e p l c t r l0 x 1 0 g w终端1 控制寄存器，控制数据包发送 浙江人学硕：e 学位论文 片上网络存取控制单元详细设计和实现 表4 2 ( 续) n a c e p l s t a t u so x l 4r 终端1 状态寄存器，指示数据包发送状态 n a c e p l b u f0 x 1 8 w 数据发送缓冲器 n a c e p 2 c t r l0 x l c r w终端2 控制寄存器，控制数据包接收 n a c e p 2 s t a t u s 0 x 2 0r 终端2 状态寄存器，指示数据包接收状态 n a c e p 2 p k t i n f o 0 x 2 4 r 数据包信息寄存器，指示当前接收的数据包信息 n a c e p 2 b u f0 x 2 8r 数据接收缓冲器 n a c m t b a s e a d d r0 x 4 4 r w消息表基地址寄存器，指示消息存储的m e m o r y 基地址 n a c d m a c t r l0 x 2 c r wd m a 控制寄存器，控制d m a 数据流向 n a c d m a s t at u s0 x 3 0r d m a 状态寄存器，指示d m a 工作状态和数据传输结果 n a c d m h e p l t r a n0 x 3 4r w d m a 终端1 控制寄存器，提供d m a 从m e m o r y 读取数据 s c t r l的配置信息 n a c d m a e p l b a s e0 x 3 8 r wd m a 读取数据的m e m o r y 基地址 a d d r n a c d m a e p 2 t r a n0 x 3 c r wd m a 终端2 控制寄存器，提供d m a 向m e m o r y 发送数据 s c t r l 的配置信息 n a c d m a e p 2 b a s e0 x 4 0 r wd m a 发送数据的m e m o r y 基地址 a d d r 4 1 5 d m a 控制器 为了避免大批量数据传输时过多占用计算节点c p u 资源，本文在网络存取控 制单元内部设计实现了一个d m a ( d ir e c tm e m o r ya c e s s ) 控制器模块。d m a 控制器 可以不经过c p u 而直接对内存( m e m o r y ) 进行读写操作。在工作时，d m a 控制器 通过a h bm a s t e r 接口从总线仲裁器处请求总线占用权，得到占用权后，控制器 直接在本地和目的地址之间传送数据，不需要c p u 实时控制，也不需要其他中间 媒介，传输速率比较高。在总线系统中，d m a 模式可以有效的减少数据交换对处 理器的依赖，降低对c p u 的干扰程度，提高片上系统的整体性能。 d m a 控制器 终端1 、终端2 b u ff u l l i 寄存器 控制信息。 8 x 3 2 b i t 数据包发送模块 i 配置模块 i h i i f 讲一a t o it f “女 o 白 d a t a jb u u u r t 驰w u n 4 ” 扒芯1 目思 c h a n n e l 一 终端i _ 一 r b u fr e n 一卜 d m a 二t r a n s _ e n d - 1 _ * hf e ， 敲掘戗侯收 舳接接口s 蚀。k i 控制逻辑 模块 一d m aa d d r 、m td m a r i z e b u fr d a t a 、b u fe m p t y td m ae l l 终端2 图4 8d m a 控制器与其它模块互联 浙江大学硕士学位论文片上网络存取控制单元详细设计和实现 本文设计的d m a 控制器内置一个8 x 3 2 b i t 的数据缓冲器，单笔传输最高支持 2 5 6 字节，支持s i n g l e 、i n c r 4 、i n c r 8 三种传输节拍，其接口信号及结构如图 4 8 所示。根据数据流向不同，d m a 控制器工作模式分为终端1 和终端2 。在终 端1 模式下，d m a 控制器首先从系统m e m o r y 读取数据，接着将数据发送至数据 包发送模块，最后由数据包发送模块将数据组装成数据包发送至网络。在终端2 模式下，d m a 控制器从数据包接收模块读取解包后的数据，并将数