（计算机应用技术专业论文）面向网络处理器的软件平台关键技术研究.pdf

摘要 摘要 网络处理器( n p ) 是一种面向网络设备通信处理任务而优化设计的可编程 a s i p ( a p p l i c a t i o ns p e c i f i ci n s t r u c t i o np r o c e s s o r ) ，它兼有高速处理和灵活编程 两种能力，能很好地适应高速网络和业务演化的需要。目前在n p 体系结构方 面已有较多研究，但n p 相关软件技术的研究尚不充分。例如，i n t e li x p 系列 n p 在体系结构上虽已发展到第三代，i n t e l 公司仍专门发起了i n t e li x a 大学计 划，以资助学术界在n p 尤其是n p 软件技术方面的研究。 n p 软件开发的困难主要来自于其微并行结构之复杂性和网络多平面处理环 境之特殊性，突出表现为：缺乏高层编程模型和开发工具，缺乏网络通信处理 算法组件库，缺乏适应多平面处理环境的o s 支持。 本文在国家8 6 3 计划和i n t e li x a 大学计划的双重资助之下，结合8 6 3 重大 软件专项“面向网路处理器的系统软件平台( n p p i a t f o r m ) ”课题任务，以i n t e l i x p 2 4 0 0 网络处理器板为实验平台，深入研究了n p 系统软件平台涉及的高层 编程模型和支持工具、适应n p 结构的网络通信处理算法组件库，以及优化的 控制平面操作系统等关键技术。论文的主要工作和研究成果包括： 设计了n p p l a t f o m 的体系结构和功能组成，并实现了n p p l a t f o r m 所含 有的高层编程模型与开发环境_ n p w ，鹏。n p p i a t f o r n l 平台可有效支 持n p 应用系统的多平面协同开发特点，而n p w a r e 可屏蔽底层硬件细 节，提高应用可复用能力与跨平台可移植能力。 现有分组调度算法难以同时满足时间复杂性低和q o s 保障能力强两方 面的要求，本文提出了一种基于均匀服务序列的分组调度算法，并给 出其n p 实现。理论分析和仿真实验结果表明该算法的决策时间复杂 性、公平性、调度时延特性均与数据流个数无关，不仅具有良好的可 扩展性，而且在度量上明显优于以加州大学圣地亚哥分校的s t r a t i f i e d r r 为代表的几个近年提出的d r r 类算法。 在建立了n p 流水编程模式任务分配模型的基础上，提出一种遗传式自 动分配算法g a p i p e ，以改善人工分配过程存在的长周期和低效率缺 点。大量比较实验结果表明，相对于华盛顿大学的g r e e d y p i p e 算法， g a p i p e 在算法效率稍有损失情况下，大幅提高了分配精度，具备优良 的综合性能。g a p i p e 已应用于n p w a r e 开发环境中。 提出并实现了一种可扩展的平面间交互框架，可有效支持数据平面和 控制平面之间的通信协调，具有通信简捷和应用透明的优点。该框架 扩展和优化了现有嵌入式o s ，使之能适应多平面处理环境。 传统操作系统基于进程属性的实时调度策略在网络通信处理系统中缺 乏q o s 功能，会导致重要分组难以得到及时处理。本文提出并实现了 一种基于分组属性的进程调度策略，使得控制平面分组处理可按优先 级依次进行。 关键词 网络处理器，系统软件平台，高层编程模型，分组调度算法，n p 任务分配，平面间交互框架，实时进程调度 n a b s t r a c t n e t w o r kp r o c e s s o r ( n p ) i sak i n do f p r o g r a m m a b l ea s i pd e s i g n e dp u r p o s e l yf o r n e t w o r kp r o c e s s i n gt a s k s i tc a na c h i e v eh i g l lp r o c e s s i n gp e r f o r m a n c ea n da tt h es a m e t i m ec a nb ep r o g r a m m e df l e x i b l y t h e s et w of e a t u r e sm a k ei tv e r ys u i t a b l ef o rh i g h - s p e e dn e t w o r k i n ga n ds e r v i c ee v o l u t i o n c u r r e n t l y , t h e r ea r ea m o u n t so fr e s e a r c h e s a r o u n da r c h i t e c t u r a li s s u e sf o rn e t w o r kp r o c e s s o r h o w e v e r , t h e r eh a sb e e nl i t t l ew o r k o nn ps o r w a r e j u s tf o re x a m p l e ，a l t h o u i n t e li x pn pf a m i l yh a se v o l v e dt oi t s t l l i r dg e n e r a t i o n i n t e ls t i l ll a u n c h e dt h ei x au n i v e r s i t yp l a nt ob o o s tn p ( e s p e c i a l l y n ps o f t w a r e ) r e l a t e dr e s e a r c h e s n ps o f t w a r ed e v e l o p m e n ti sav e r yt o u g ht a s kd u et ot h ep a r a l l e la r c h i t e c t u r a l c o m p l e x i t yo fn pa n dt h ec r o s s - p l r i l ep a r t i c u l a r i t yo fn e t w o r kp r o c e s s i n gs y s t e m c u r r e n t l y , t h ed e f i c i e n c i e so fn ps o f t w a r es u p p o r tl i e i nt h r e ea s p e c t s ：h i g h - l e v e l p r o g r a m m i n gm o d e la n de n v i r o n m e n t ，n e t w o r kp r o c e s s i n ga l g o r i t h ml i b r a r y , a n do s s u p p o r ts u i t a b l et oc r o s s - p l a n es y s t e m t h ew o r ko f t h i st h e s i si s j u s tt oa l l e v i a t et h ed i f f i c u l tc o n d i t i o n so f n p s o f t w a r e d e v e l o p m e n t w h i c hi sb a s e do nt h ep r o j c o tc a l l e ds y s t e ms o f t w a r ep l a t f o r 研f o r n e t w o r kp r o c e s s o r ( n p p l a t f o r m ) s u p p o r t e db yt h e8 6 3r e s e a r c hp l a no fc h i n aa n d t h ei x au n i v e r s i t yp l a no fi n t e lc o r p o r a t i o n u s i n gi n t e li x p 2 4 0 0b o a r da so u r e x p e r i m e n t a lp l a t f o r m ，t h et h e s i sh a ss t u d i e dt h ef o l l o w i n gi s s u e s ： n p p l a t f o r m o u t c o m eo fo u rr e s e a r c h , i sd i s c u s s e dw i t ht h ei l l u s t r a t i o no fi t s a r c h i t e c t u r a la n df u n c t i o n a ld e s i g n a l s o ，t h ed e s i g na n di m p l e m e n t a t i o no f n p w a r e ，ak e yc o m p o n e n to f n p p l a t f o r m ，i sp r e s e n t e d n p p l a t f o r mc a ns u p p o r t t h ec r o s s - p l a n ef e a t u r e so f n p f t w a r ed e v e l o p m e n te f f i c i e n t l y , w h e r e a sn p w a r e c a l lh i d em a n yd e t a i l so ft h eu n d e r l y i n gh a r d w a r ea n dt h u si m p r o v et h e r e u s a b i l i t ya n dp o r t a b i l i t yo f n p b a s e da p p l i c a t i o n s e x i s t i n gp a c k e ts c h e d u l i n ga l g o r i t h m sc a nn o tf u l f i l lt h et w og o a l sa tt h es a m e t i m e ，i e ，l o wt i m ec o m p l e x i t ya n dg o o dq o sg u a r a n t e e t h u s ，an e wp a c k e t s c h e d u l e rb a s e do nt h ec o n c e p to fe v e ns e r v i c es e q u e n c ei s p r o p o s e da n d i m p l e m e n t e do nn et h ea n a l y t i c a la n ds i m u l a t i o nr e s u l t ss h o w t h a tt h es c h e m ei s v e r yg o o di n s o m e i m p o r t a n ta s p e c t ss u c h a st i m e c o m p l e x i t y , f a i m e s s ， s c h e d u l i n gl a t e n c y p e r f o r m a n c eo f t h en e ws c h e d u l e ri sn o tp r o p o r t i o n a lw i t ht h e n u n a b e ro ff l o wa n dt h u si sq u i t es c a l a b l e c o m p a r e dw i t hs e v e r a lr e c e n t l y p r o p o s e dd r r - l i k ea l g o r i t h m ss u c ha ss t r a t i f e d - r r , o u rn e wa l g o r i t h ms h o w s o b v i o u sb e t t e rp e r f o r m a n c e af o r m a lt a s ka s s i g n m e n tm o d e li sc o n s t r u c t e df o rn pp i p e l i n e dp r o g r a m m i n g m o d e b a s e do nt h i sm o d e l ，ag e n e t i ca l g o r i t h mc a l l e dg a p i p ei sp r o p o s e dt o a s s i g nt a s k st op r o c e s s i n ge n g i n e sa u t o m a t i c a l l y e x t e n s i v ee x p e r i m e n t ss h o w t h a tg a p i p eh a sam u c hb e t t e ra s s i g n m e n tp r e c i s i o nw i t hal i t t l el o n g e rb u ts t i l l v e r ys h o r te x e c u t i o nt i m ec o m p a r e dw i t hg r e e d y p i p ea l g o r i t h ms u g g e s t e db y w a s h i n g t o nu n i v e r s i t y g a p i p eh a sb e e ni n t e g r a t e di n t on p w a r et oa c c e l e r a t en p s o f t w a r ed e v e l o p m e n tp r o c e s s a ne x t e n s i b l e c r o s s p l a n e i n t e r a c t i o nf r a m e w o r kh a sb e e n p r o p o s e d a n d i m p l e m e n t e d ，w h i c hc a ns u p p o r tt h ec o m m u n i c a t i o na n dc o o r d i n a t i o nb e t w e e n d m a - p l a n ea n dc o n t r o l p l a n ee f f i c i e n t l y t h i sf r a m e w o r ki sa ne x t e n s i o na n d o p t i m i z a t i o nw o r kb a s e do ne x i s t i n ge m b e d d e do s e sa n d c a nm a k et h e mm o r e s u i t a b l ef o rn p - b a s e ds y s t e m i na d d i t i o n , t h ef r a m e w o r kp o s s e s s e sav e r y l i g h t w e i g h td e s i g na n dt h u si n c u r sl i r l eo v e r h e a d i nn e t w o r kp r o c e s s i n ga p p l i c a t i o nf i e l d t r a d i t i o n a lt a s k - p r o p e r t y - b a s e dr e a l - t i m e s c h e d u l i n gp o l i c i e so fo s e sm a yd e l a yt h ep r o c e s s i n go fc r i t i c a lp a c k e md u et o t h el a c ko fq o ss u p p o r t ap a c k e t - p r o p e r t y - b a s e dt a s ks c h e d u l i n gp o l i c yi s d e v i s e da n di m p l e m e n t e d t oa l l e v i a t et h i sc o n d i t i o n t h el l e wp o l i c yc a l lb r i n g s o t i l ed i f f e r e n t i a t es e r v i c ef l a v o rt oc o n t r o lp l a n e ，w h i c hm e a n si tc a nm a k e c o n t r o lp l a n ep a c k e tp r o e e 豁i n gb ec a r r i e do u ti np a c k e t - p r i o r i t yo r d e r k e y w o r d sn e t w o r kp r o c e s s o r s ，s o f t w a r ep l a t f o r m ，h i g h - l e v e lp r o g r a m m i n gm o d e l ， p a c k e t s c h e d u l e r t a s ka s s i g n m e n t , i n t e r f a c i n gf r a m e w o r kb e t w e e np l a n e s ，t a s k s c h e d u l i n g h 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读 学位期矧论文工作的知识产权单位属于西北工业大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许沦文被查 阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作 者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：f 匀旁多 少吖年。月加日 指导教师签名： 朋7 年， 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所里交的 学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所 知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其 他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已 申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：】兰1 趋 孓年1 q 月沙日 第1 章绪论 第1 章绪论 网络处理器一定程度上属于一种新技术，为明晰起见本章将对网络处理 器的由来、技术特点和围绕网络处理器的相关研究作一较为详尽的综述。另 一方面，指出网络处理器面临的编程困境，引出本文关于网络处理器系统软 件平台的主要研究内容，并给出章节安排。 1 1 网络处理器的概念 网络处理器( n p ) 是一种面向网络通信处理任务而优化设计的可编程 a s i p 。它通常具有微并行处理体系结构和专用的i s a ( i n s t r u c t i o ns e t a r c h i t e c t u r e ) 模型。 1 2 网络处理器的起源 早期的网络中数据速率相对较低，协议处理也比较简单，因此网络设备 通常以通用处理器( g p p ) 配合分组处理软件实现。然而，随着数据速率的 不断提高和协议处理的日益复杂，g p p 处理能力的增长逐渐落后于数据速率 的增长( 图1 1 【1 i ) ，这导致其难以满足分组处理的线速要求。 图1 1c p uc l o c kr a t ev s d a t ar a t e n p 出现之前，a s i c 以其高速处理特点成为g p p 方案的替代品。它将原 来的软件处理功能以硬件线路实现，在分组转发等固定操作上有着明显的优 势，可满足实际应用中苛刻的速度要求，因此为网络设备厂商广泛采用。但 是，随着i n t e r n e t 的高速发展，新的业务不断涌现，a s i c 器件必须重新设计 以适应新情况，但其较长的设计周期、较高的设计成本以及设计技术本身存 a p p l i c a t i o ns p e c i f i ci n s t r u c t i o np r o c e s s o r 的缩写 i 西北= i = 业大学博士学位论文 在的诸多困难 2 1 使基于a s i c 的方案往往不能迅速满足不断变化的应用需 求。因此，网络设备的构建必须基于某种兼具高速处理性能和灵活编程能力 的方案这导致了n p 的出现。 n p 采用多种专门技术来优化其网络处理性能，同时又是软件可编程 的，它兼具a s i c 和g p p 的优点，能很好地满足高速网络和业务演化的需 要。图1 2 给出了三种方案在性能和灵活性两方面的比较，可见，n p 实际 上是兼顾性能和灵活性的一个优化方案。基于n p 构建网络设备的主要工作 是软件设计，其设计难度明显低于硬件线路，且可随业务发展而方便地进行 功能升级，能有效缩短产品开发周期，降低设备成本。 灵活性 性能 图1 2 三种方案比较 自上世纪九十年代中期来，多家i t 公司推出了自己的的n p 产品，其中 l 群j i n t e l ，m o t o r o l a 2 ，i b m 3 等国际著名i t 公司，t g 有e z c h i p ，x e l e r a t e d 等 初创的高科技公司。据统计，仅仅在2 0 0 0 2 0 0 1 两年间，就有超过4 0 家公 司推出了自己的n p 设计架构【3 1 。实际上，n p 已经成为高性能微处理器领 域发展最快的一个分支 1 3 典型n p 结构与应用结构 为了说明n p 结构及其在网络应用系统中的作用，这里将n p 结构与网 络应用结构放在一起讨论。 图1 3 右半部给出了网络处理应用的逻辑结构，其包含三个不同的平 面，表现出鲜明的多平面分离处理特点。数据平面主要包含线速分组处理 2 现为f r e e s c a l e 3 i b m网络处理器部门已经被h i f n t p 【2 5 r r p 收购。 2 第1 章绪论 任务，它又可分为快通路和慢通路。快通路是大多数不需要特殊处理的常规 分组经历的处理路径，其中包括检测和纠错，流量测量和整形，协议分解， 分组分类，地址查找和转发，排队和调度，加密和压缩等操作：而慢通路主 要包括异常分组的处理，例如需要分段的i p 分组以及带有选项的i p 分组 等。控制平面负责处理协议消息( 例如r s v p 和o s p f 等包含信令和路由信 息的协议分组) ，以及对数据平面的控制操作，这些操作往往不需要达到线 速。管理平面负责对整个系统进行配置和统计管理。 图1 3n p 结构和应用结构之间的对应 虽然目前已有的n p 芯片都具有自己独到的设计特色，体系结构不尽相 同，但仍具有基本的共性。我们在图1 3 左下部给出了一个抽象的n p 结 构，其中包括多个分组处理引擎( p e ) ，分级存储结构，高速接口单元和片 上控制处理器。p e 是负责数据平面快通路任务的处理引擎，它通常是面向 分组处理优化了的r i s cc o r e 。而图中虚线部分4 是一个片上控制处理器， 它是一个通用r i s ec o r e 。通常用于完成数据平面的异常处理，是数据平面 慢通路的执行实体。但在某些低端网络设备中，片上控制处理器也可能用来 执行控制平面甚至管理平面的任务，而较高端的网络设备5 冲，控制平面和 7 i n t e l 、i b m ( h i f n ) 等公司的n p 产品中含有片上控制处理器。但并不是所有n p 都包台 片上控制处理器。所以这里用虚线示出。 t p 5 p t 在高端网络设备中，n p 通常用作接口线卡的主要组件而控制处理器往往位于 控制 中，多个线卡和控制卡通过交换结构相连 3 西北工业大学博士学位论文 管理平面的处理通常由一个或多个片外控制处理器负责( 图1 3 左上部) 1 4n p 体系结构特点 1 4 1 并行 为了达到线速处理速度，各种n p 普遍采用了并行处理技术。这些技术 一般体现在三个层面【4 ，5 。： ( 1 ) p e 级并行 大多数n p 都包含多个p e ，以充分利用分组处理中存在的数据并行 性。这些p e 的拓扑组织一般具有以下方式： 流水结构：各p e 分别实现不同的功能，p e 之间通过互连机制联接成一 条流水线，分组依次通过所有p e 后即完成了整个处理任务。流水方式的n p 有e z c h i p 公司的n p 1 ，【6 1 和x e l e r a t e d 公司的p a c k e td e v i c e s 【7 1 等 并行结构：每个p e 都负责相同的完整的分组处理任务，它们可以同时 处理不同的分组。使用并行方式的n p 有c o g n i g i n e j ”。i b m ( h i f n ) p o w e r n p 【9 】和l e x r an e t v o r t e j i o 】。 混合结构：这种方式是流水和并行的综合，本质上属于多条并行的流 水线，其拓扑如图1 4 所示。典型的例子是c i s c o 的p x f 1 l ”。 可配置结构：这种方式本身没有固定的拓扑，只是提供了多个p e 以及 p e 间的多种互联机制，用户使用时可通过编程来将其组成逻辑上的流水、 并行或混和方式。典型的例子包括i n t e l 的i x p 系列i l ”，和m o t o r o l a 的c 5 d c p l l 3 。 图1 4 混和拓扑 w e n g 等a 【1 耵研究了不同的p e 拓扑设计对系统性能的影响，他们的结果 表明流水级数的增加能有效改善系统的性能，而由于访存竞争等因素同一流 水级并行程度的增长并不显著。 ( 2 ) 线程级并行 4 第1 章绪论 线速处理要求导致p e 可用于处理分组的处理预算( 时钟数) 非常有 限，而存储器或协处理器访问等长延迟操作进一步加剧了这种紧张状况。如 果每个分组的处理预算是2 5 0 个时钟周期，而s r a m 读写操作需要1 5 0 个 周期，那么两个s r a m 操作将耗尽所有处理预算，即使尚未进行任何处 理。多线程技术可以在较大程度上隐藏这种延迟p e 当前分组处理因等 待长延迟操作而难以为继时，可以转而处理另一个分组，操作完成后再继续 原来的处理。显然，这种技术可提高p e 利用率，并能够容忍更多长延迟操 作。 为了上述延迟屏蔽目的，目前主流n p 架构都一定程度上采用了多线程 技术，该技术可应用于上述任何p e 拓扑中。存在两种主要的多线程形式： f g m t _ 1 1 6 】：细粒度多线程。f g m t 结构中存在多个硬件线程上下文， 不同的周期内p e 执行的指令可能来自不同的线程。一个线程等待慢速操作 时，f g m t 会切换执行另一个线程，从而使系统总体吞吐率得到提升。 $ m t 【l5 1 ：同时多线程。s m t 结构同样具备对多个线程上下文的硬件支 持，所不同的是它在一个周期内同时执行来自多个线程的指令。这种方式可 更加充分的利用p e 资源，达到更高的指令吞吐率 应当指出的是，性能的提高并不是没有代价的多线程结构必然导致 n p 编程更加复杂，这将在n p 编程一节述及。而且另一方面，多线程的应用 会导致分组延迟的抖动，这对于某些实时网络应用来说是不希望出现的。从 这个角度来看，线程级并行支持似乎应该作为一个可选项，由用户编程决定 是否启用t ”j 。 ( 3 ) 指令级并行 指令级并行技术并非目前n p 设计的主流，这是因为多数网络应用似乎 没有表现出足够的指令级并行性。然而，确实存在一些设计实现了某种多发 射结构以挖掘p e 线程内存在的并行性，这包括超长指令字和超标量。二者 都可以在一个周期内执行多条指令，区别在于前者依靠编译技术来完成并行 调度，而后者依靠硬件在运行时完成。a g e r er o u t i n gs w i t c hp r o c e s s o r 【体j ， b r e c i s 公司的m s p 5 0 0 0 1 1 9 j ，以及c i s c o 的p x f 采用了超长指令字结构，而 c l e a r w a t e rn e t w o r k s 的c n p s l 0 s p t 2 们采用了超标量结构。 1 4 2 分层存储结构 n p 需要进行大量数据分组的接收、存储、复制、转发，内存操作成为 系统开销的一大瓶颈。为解决该问题，除上一小节提及的多线程延迟屏蔽技 术外，通常还可以采用分级存储设计，以及c a m ，c a c h e 等硬件加速机 西北工业火学博士学位论文 制。 ( 1 ) 适应不同数据类型的结构 网络应用中不同的数据和信息的用途不同，对存储访问的带宽和延迟要 求也有所不同，为各种数据和信息提供不同级别的存储性能是n p 分级存储 组织结构的主要原因。 我们将n p 操作相关的数据分为局部数据，分组元数据，信息表。以及 分组负载数据四种类型。 局部数据 包括某些仅存在于一个p e 上的状态信息可由运行在该p e 上的各任务 共享，因此一般存储在p e 本地高速内存中，但这些内存容量较小。 分组元数据 包含分组头等重要信息，其特点是需要在多个p e 之间传递且访问频 繁，因此往往存储在可由多p e 共享的的高速片内s r a m 中。受制于芯片面 积，这种片内s r a m 容量一般也有限。 信息表 包括路由表、过滤规则表、分组队列等，它具有访问频率高且数据量较 大的特点，因此片内难以容纳，一般置于片外高速s r a m 中而且，信息表 的查找往往使用c a m 等加速机制完成。 分组负载数据 具有量大、复杂等特点，如多媒体数据，往往存于低成本大容量的 d r a m 中。鉴于应用中往往包含多次对负载数据的读写操作，d r a m 的访存 时间可能难以适应未来高速离层分组处理的趋势，f c r a m 等更快的存储器 可能是更适合高速n p 的方案j ”1 。 ( 2 ) 高效操作支持 片内c a m 某些n p 配有片内c a m ，可用于查找操作加速。一个简单的c a m 查找可 替代多个s r a m d r a m 访存操作，且能免去设计查找协处理器的需要。但 c a m 尤其是片p q c a m 容量一般较小( 例如i n t e li x p 2 4 0 0 的c a m 只有1 6 个 e n t r y ) 一 数据c a c 脏 考虑到网络处理的流式特点，对于目前的网络应用来说，虽然缓存分组 的数据c a c h e 没有太大意义，但缓存诸如路由表之类的信息表，确实能带 来一定好处，这是因为一段时间内到达的多个分组可能携带相同的地址信 息 第1 章绪论 分组处理常用存储访问硬件实现支持 一些n p 还包含分组处理常用存储访问模式的硬件实现和指令支持，如 i x p 2 4 0 0 中的f i n df i r s tb i ts e t 操作和存储器的原子访问操作，这些操作如果 用软件实现不仅速度慢，而且容易出错。在基于n p 的网络应用中，处理过 的数据分组通常存储在某种队列结构中，然后再由分组调度算法将其发送出 去。由于纯软件实现的队列管理需要多次访存，再加上所涉及的队列数量很 大，因此要实现高效的队列操作应有硬件的支持。i n t e li x p 2 4 0 0 ，p o w e r n p n p 4 g s 3 以及f r e e s c a l ec 5 都在一定程度上提供了队列操作的硬件加速。 1 4 3 协处理器 多数n p 设计都含有某种形式的协处理器，对某些常见的不易软件高速 实现的处理任务提供加速。协处理器通常由多p e 共享，p e 可通过消息传 递，存储映射或专门指令等机制对其访问。常见的协处理包括分类协处理， 查表协处理，c r c 、h a s h 等通用处理的硬件加速。以及应用相关协处理， 如加密解密和压缩解压缩等。 协处理器可以有两种工作方式( 图1 5 ) ：“旁路调用和数据通路1 l ”。旁 路调用方式中，p e 接收所有分组，只将其中需要特殊处理的分组交给协处 理器。而数据通路方式中，所有分组都会通过协处理器，此时协处理器会对 分组进行特定处理。由于p e 和协处理器之问是异步的，所以旁路方式可以 隐藏部分延时，而且此种协处理器有着模块化的优势，可以根据需要扩展， 而不需要对体系结构作太大改动。数据通路方式存在两个问题 2 q ：首先， 为了避免成为瓶颈，协处理器必须以线速工作；第二，由于这些协处理器更 紧密地集成在设计中，很难进行改变。 1 4 4 p e 间互联 如果仅用一条中央总线，存储访问会使总线迅速饱和；如果用 c r o s s b a r ，又会受到成本、芯片面积的限制。实际实现往往是二者的折衷。 7 西北工业人学博士学位论文 例如，i n t e li x p 有多条而不是一条总线1 2 2 1 ，而且将所有p e 分成两个簇，簇 内轻量级通信可用专门的n e x tn e i g h b o u r 单向互连，同时簇内各p e 共享一个 s r a mb u s 和c o m m a n db u s ，而簇与簇之间共享一个d r a mb u s 。文献 【2 3 提出了一个按八角形组织的p e 拓扑上的互联总线设计，它将每个节点与 其邻居节点以及对角节点相连，这样节点问通讯不会超过两跳。 1 4 5 外部接口 n p 通常是用来构成更大系统( 如线卡) 组成部分，其外部接口特性决 定了其与系统其它组件的集成能力。外部接口通常有以下几类： 网络接口：用来联结n p 和外部成帧器或物理层设备。某些n p 可能在片 内集成m a c 器件，因此可以直接和p h y 器件相连，例女d b r e e i sm s p 5 0 0 0 集 成了两个片上1 0 1 0 0e t h e r n e tm a c j ”1 。尽管这将限制其应用灵活性，但确 实使系统集成更加容易。典型的网络接口包括f a s te t h e m e ts m i i ，g i g a b i t e t h e r n e tg m i i t b i ，u t o p i a ，p o s ，以及o i fs p l - 4 ”2 4 j 。接口带宽决定了 出入n p 的流量。 交换接口：用来联结n p 和外部交换结构，多用于有多个n p 互联的设 备。交换接口必须具备足够的带宽以容纳所有网络接口的流量。多数交换结 构厂家拥有自己的私有交换接口，系统实现时需要在n p 和交换结构之间实 现某种转换逻辑，这造成系统设计的不便。为解决这一问题，n p e 2 7 i 已经 制定了c s i x l 1 交换接口作为n p 和交换结构之间的接口标准。目前n p 设计 的流行趋势似乎是提供可配置的交换接口支持，例如i n t e li x p 2 x x x 的m s f 接口可以配置成u t o p i a ，p o s ，s p l 4 2 或c s i x - l i ，既可以作为网络接 口，又可以作为交换接1 3 。m o t o r o l a 的c 5d c p 1 b 1 也有类似设计。 协处理器接口：用来联结n p 和各种外部协处理器。常见的接口包括 n p f l a 一1 。r a p i d l o 和h y p e r t r a n s p o r t 。 控制处理器接口：用来联结n p 和外部控制处理器。典型接口包括 p c i ，r a p i d l o 和h y p e r t r a n s p o r t 。绝大多数g p p 都支持p c i 接口，因此如 果控制平面数据流量不大，可以选择p c i 作为控制处理器接口。如果需要 大量平面问通信则可选择r a p i d l o 和h y p e r t r a n s p o r t 。 1 5n p 相关研究 随着n p 应用的逐步发展，工业界和学术界针对n p 的各种研究也日益增 多。工业界成立了n p 论坛f 2 7 i ，且每年都组织召开n p 专门会议1 2 6 1 。学术界 在并行计算、分布计算、体系结构以及高速网络领域的主流会议几乎都包含 第1 章绪论 n p 的主题，例如i n f o c o m ，o p e n a r c h ，h p c a ，h o t i ，i c p p ，i c p a d s 等。而且，i e e en e t w o r k ，i e e em i c r o ，s o f t w a r e p r a c t i c e & e x p e r i e n c e 等期刊也出版t n p 专刊。现有的研究主要围绕以下几个方面展开： 1 5 1n p 结构 从1 4 节可以看出，n p 体系结构方面有许多值得研究的主题。近年来 学术界对于n p 结构设计的研究活动充分说明了这一点，已有研究涉及的主 题涵盖了p e 设计和组织，存储系统，低功耗设计，总线互联，设计方法等 多个方面。 w e n g 1 等人研究了p e 拓扑组织对系统性能的影响，他们对四种典型网 络应用进行运行时t r a c e ，获得了接近真实的网络负载，据此生成应用的 a d a g 图形表示，然后将a d a g 映射到某种拓扑上。通过一个多因素性能模 型进行性能分析，即可得到应用在该拓扑下所能达到的性能。他们的仿真分 析结果表明，流水线深度能有效提高系统吞吐率，而存储访问竞争导致流水 线宽度对吞吐率贡献有限；内存访问是主要的瓶颈，较大的拓扑应该配备大 量的高速存储器；通信和同步开销相对于处理时间对系统吞吐率造成更大的 影响。c r o w l e y 1 6 ，2 8 1 等人结合典型网络应用负载特点，考查了四种主流 n p 结构设计方法，指出s m t 能同时从线程内并行性和线程问并行性中获 益，因此是最适合n p 的设计方法。文献 2 0 5 1 贝0 深入分析了网络应用的特 点，并据此完成了适合网络处理的结构设计和指令集设计。例如该设计中引 入了对网络端口和寄存器之间，端口与存储器之间，端口与端口之间的数据 移动支持以及适应网络协议特点的变长位串支持。 c h i u e h 【2 9 ，姗等入通过t r a c e 分析发现分组流表现出高度时间局部性，这 显然给c a c h e 带来了用武之她，因此提出用c a c h e 缓存路由查找结果，实 验结果表明系统吞吐率大为提高。i i m u d i g o n d a - 叫强1 等人通过对若干典型 网络应用的仿真分析，发现网络处理系统中不仅存在路由查找结果的时问局 部性，还表现出良好的数据结构访问的时间局部性。他们的实验结果表明应 用d a t ac a c h e 来缓存应用数据结构可带来以下好处：相对于当前普遍采 用的n p 存储体系，可节省大量片上快速存储器：对数据结构而不是对查找 结果进行缓存，在达到同等性能指标的前提下，可节省可观的芯片面积；使 用少量d a t ac a c h e e p 可有效减少分组处理时间并降低对o f f c h i p 存储器 的带宽要求。与m u d i g o n d a 等人的研究类似，文献 3 3 ，3 4 的研究也涉及面向 数据结构的n p 缓存，但他们只对路由数据结构的c a c h e 设计进行了研究。 另外，p a p a e f s t a t h i o u 3 6 】等人分析了高速网络处理系统对队列管理的要求， 9 西北工业大学博士学位论文 指出软件实现队列管理的访存瓶颈，提出一种面向队列管理的协处理设计， 并进行了f p g a 原型实现，实测结果证明该设计可有效提高n p 高速网络处理 性能。s h e r w o o d t 3 5 i 等人认识到对于分组处理应用来说，最重要的性能指标 是吞吐率而不是延迟。基于这一认识，他们在n p 存储系统设计中引入了流 水化、宽字存储结构，可有效提高存储访问吞吐率。 在尽量达到高性能的同时如何使功耗处于一个较低的水平，是一个困难 的问题。f r a n k l i n 3 7 1 等人给出一个分析模型，并据此考查了不同的p e 和存储 配置对性能和功耗的影响，该模型可在设计空间寻找兼顾性能和功耗的最优 折衷方案。l u o 3 s 等人提出在系统负载低于系统设计期望时，动态关闭空 闲p e 的时钟网络以节省功耗的方法。为适应不同的应用和网络参数，p e 开 关阈值运行时可调。实验结果表明该方法可以节约3 0 的功耗，同时不影 响系统总体吞吐率。 在多处理结构中。总线互联机制对系统性能有显著的影响。除1 4 4 d , 节已经提到的各种联结方式以外，在总线互联方面一个具有代表性的研究工 作是b o n o d e t l t 3 9 l ：等人提出的层次式片上网络结构( 如图1 6 ) 。他们将若干 p