（通信与信息系统专业论文）基于网络处理器的新标记交换体制验证系统的研究开发.pdf

摘要 摘要 网络处理器这个数年前人们还未听说过得名词，以其灵活的可编程性和 其强大的处理能力，迅速得成为业内研究的焦点。区域标记交换体制是在继 承现有i p v 4 分组交换网络的基础上，又借鉴m p l s 和a t m 利用标签( 1 a b e l ) 实现快 速分组转发的优点的新的标记交换体制协议，它力图解决i p v 4 地址不足的问题， 并给出了无缝过渡的良好方案。而他们两者似乎天生就是一对完美的搭配，网络 处理器的灵活可编程的特点正适合用来实现“区域标记交换”验证网平台。 本文首先介绍了网络处理器技术产生的背景以及区域标记交换体制的技术特 点。其次，从硬件架构和软件体系两个大的方面介绍了网络处理器的特点，针对 i n t e l 公司的i x p 2 x x x 系列网络处理器作了详细的描述。接着，本文简要介绍了区 域标记交换体制的主要思想和主要内容。之后，本文分数据面软件以及控制面软 件两方面对实现“区域标记交换”网验证平台的诸如区域标签头的加入和删除等 关键技术的细节以及技术难点做了详细的论述，并指出了下一步工作的重点。最 后本文给出了优化系统性能的实例和系统性能评估方法。 关键词；网络处理器区域标记交换验证系统微码 a b s t r a c t a b s t r a c t 3 n e t w o r kp r o c e s s o r ，w h i c hw a sn o th e a r ds e v e r a ly e a r sa g o ，b e c o m e st ob ean e w h o t s p o to ft h ec o m m u n i c a t i o nf i e l dv e r yf a s ta l lb yi t sp r o g r a m m a b l ea n dp o w e r f u l p r o c e s s e sa b i l i t y r e g i o n a lc o d el a b e ls w i t c h i n gp r o t o c o l ，w h i c hi n h e r i t st h ei p v 4 p a c k e te x c h a n g en e t w o r ka n da l s or e f e r st h es t r o n g p o i n to fm il sa n da t m w h i c hu s e l a b e lt oi m p l e m e n tt h ef a s tp a c k e tf o r w a r d i san e wl a b e ls w i t c h i n gp r o t o c 0 1 i tt r i e st o s o l v et h ei n s u f f i c i e n to f i p v 4a d d r e s sa n dg i v e sas e a m l e s st r a n s i t i o np l a n s ot h e ya r ea p a i ro fap e r f e c tm a t c h t h ep r o g r a m m a b l ec h a r a c t e r i s t i co fn e t w o r kp r o c e s s o ri ss u i t e t oi m p l e m e n tt h e r e g i o n a lc o d el a b e ls w i t c h i n g v c r i f y i n gs y s t e m f i r s to fa l l ，t h i sp a p e ri n t r o d u c e st h eb a c k g r o u n do ft h en e t w o r kp r o c e s s o r s a p p e a r a n c ea n ds i t u a t i o nw h i c ht h er e g i o n a lc o d el a b e ls w i t c hp r o t o c o li sb r o u g h to u t s e c o n d l y , p a p e ri n t r o d u c e st h ec h a r a c t e r i s t i co fn e t w o r kp r o c e s s o rb o t hi nh a r d w a r e a r c h i t e c t u r ea n ds o f t w a r es y s t e m e s p e c i a l l y , d i s c u s s e st h ei n t dc o i x p 2 x x xs e r i e s n e t w o r kp r o c e s s o rp a r t i c u l a r l y a f t e rt h a t , t h em a i np d i l l to fr e g i o n a lc o d el a b e ls w i t c h p r o t o c o li ss p e c i a l i z e db r i e f l y a tl a s t , t h ep a p e rc e n t e r sa r o u n dh o wt od e v e l o pt h e r c l st e s t - b e ds y s t e m i tw i l ld i s c u s st h ea r c h i t e c t u r ea n dk e yp o i mo fr c l st e s tb e d b o t hi nd a t ap l a n ea n dc o n t r o lp l a n e a n dg i v e st h ew a yo nh o wt oi m p r o v et h ew h o l e s y s t e m sp e r f o r m a n c ea n dh o w t oe v a l u a t et h ep e r f o r m a n c ei nm a t h e m a t i c st h e o r y k e y w o r d ：n e t w o r kp r o c e s s o r v a l i d a t i o ns y s t e m r e g i o n a lc o d el a b e ls w i t c h m i c r o e o d e 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及所取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：靼日期：趔 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： ! 受；z日期：趋馥! 厶 星 幺鍪垂 日期：2 聊彳。， 第一章绪论 第一章绪论 1 1 网络处理器的产生背景 随着网络技术的不断发展和人们日益增长的应用需求，人们对网络带宽和传 输速度的需求不断的增大。由于有了光纤，传输媒介的速度已不成问题。但是， 信息包通过路由器和交换机等网络节点时，对包处理的最低要求是确定每一个包 的下一个目的地址，在庞大的路由表中找到它的i p ( i n t e r n e tp r o t o c 0 1 ) 地址，然 后转发出去。而这一切必须在下一个包到达之前做完，瓶颈就出现在这里。 当分组到达速率比较慢时，通用的处理器完全可以应付得来。但是随着网络 发展和人们越来越高带宽需求，通用处理器不足以处理如此高的数据流速率，设 计者们就将目光转向了a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ，专用 集成电路) 。a s i c 在完成规定的处理工作方面是非常卓越的，直到今天大部分的核 心网设备在使用着a s i c 。但是事物总是不断的发展的，人们在对带宽越来越大的 需求的同时，对网络所能提供的服务也有了越来越多的要求。一开始，人们对网 络的需求并不像现在这么迫切，只满足于简单的服务。但是随着时代的发展，人 们不再满足于单一的网络服务，而提出了更多的需求。下一代的网络将提供给用 户包括视频点播、视频会议、远程医疗、v o l p 、电子商务等等丰富多样的服务。 a s i c 凭借其强大高速的硬件处理能力，已经在网络设备中占据主导地位多年。但 它有两个缺点：一是开发的周期太长，复杂的a s i c 要1 8 个月到2 年时间，路由 器或交换机要增加新的功能，制造商需要等待的时间太长；第二，a $ 1 c 不是可编 程的，要修改就必须经历一个设计和制造的周期，适应不了今后日益多样的服务 类型和越来越短的产品开发周期。 随着i n t e r n e t 的爆炸性的增长，不断的要求更智能的、更快速的分组处理。 网络供应商因此被驱策着应用新的技术去设计或升级他们的网络。在一个网络中， 日益增加的智能分组处理的需求是由于不同基于i p 的应用而产生的，例如q 0 s 路 由器、防火墙以及安全方面的因应用。网络处理器就是在这样的背景下产生的。 网络处理器( n e t w o r kp r o c e s s o r ) 是新一代的用来执行数据处理和转发的高 速可编程处理器。与传统的处理器( c p u ) 不同，它的设计采用了全新的理念，使 其既有a s i c 的高速处理能力，又具有完全可编程的能力，我们称之为n p u ( n e t w o r k p r o c e s s o ru n i t ) 。 2 基于网络处理器的新标记交换体制验证系统的研究开发 具有一般化的体系结构和指令集，以求支持复杂的运算 c p u 并容易添加新的功能。但处理速度一般相对较慢，可扩 网络处理 展性差，很难满足网络高速发展的需要。 器与c p u 专为进行网络分组处理而开发，具有优秀的体系结构和 网络 处理器 指令集，因此它有比c p u 更好的处理性能，能够满足网 络高速发展的需求。 作为硬件集成电路，具有高速的处理能力。但编程能力 有限，灵活性差。仅能支持有限的应用和服务，很难满 a s i c 足网络业务多样化的需求。研制周期长，成本高，市场 网络处理 存活时间短。 器与a s i c 有专门的指令集和配套的软件开发系统，具有很强的编 网络 程能力，方便开发各种应用，支持可扩展的服务，能够 很好满足网络业务多样化发展的趋势。研制周期短，成 处理器 本低，市场存活时间长。但依赖于软件的运行，因此， 处理性能较a s i c 相对差一些。 表1 1 网络处理器与传统技术对比 1 2 网络处理器的发展状况 上世纪末到本世纪初，网络处理器在业界初露峥蝾。从1 9 9 9 年到现在，包括 a m c c 、i n t e l 、m o t o r o l a 、h i f n 等数家大公司相继投入到该行列中去。 a m c c ：a m c c 收购了删c 公司的网络处理器生产线，也继承了m m c 公司的网络处理 器产品丰富的特点。又由于得到了c i s c o 等大型o 阴厂商的支持，a m c c 近年来在 网络处理器市场上一直处于领导地位，占据了最大的市场份额。 i n t e hi n t e l 凭借其从d e c 收购的第一代网络处理器i x p l 2 0 0 快速进入网络处理 器市场，随后，在2 0 0 1 年，i n t e l 又推出了他的第二代网络处理器i x p 2 x x x 系列产 品，巩固了其在网络处理器市场的地位。围绕着i x p 2 x x x 系列网络处理器产品， i n t e l 还开发了i n t e li x a ( i n t e r n e te x c h a n g ea r c h i t e c t u r e 。互联网交换架构) ，为基 于i n t e l 的网络处理器应用开发提供了完整的软硬件解决方案。由于其雄厚的技术 实力，广阔的传统c p u 市场，以及有力的第三方厂商支持，i n t e l 很有可能后来居 上，占据列络处理器市场的霸主地位。本文也主要以i n t e li x p 2 4 0 0 为主线，介绍 网络处理器的技术和应用。 c - p o r t ( m o t o r o l a ) ；c - p o r t 公司的网络处理器产品包括c 3 x 、c 5 x 等。他的优点 第一章绪论 3 是具有强大的处理能力、标准的编程接口和通用的编程模式( 采用标准c 或c + + ) ， 以及其在进行复杂数据处理方面的优势 。 h i f n ：h i f n 公司于2 0 0 3 年底收购了i b m 公司的r a i n i e r 结构。它又在i b m 公司网 络处理器技术的基础上，基于r a i n i e r 结构研制出了自己的网络处理器产品5 n p 4 g 。 5 n p 4 g 中集成了1 6 个p i c o p r o c e s s o r ( 网络处理器单元) 、1 个p o w e rp c 智能协处 理器单元以及多个硬件加速单元。 其他还有例如c i s c o 、a g e r e 、v i t e s s e 等公司也推出了自己的网络处理器产品。 图1 1 各大厂商网络处理器市场占有率 1 3 区域标记交换体制的产生背景 虽然因特网技术发展十分迅速，但是自因特网诞生起，其体系结构没有发生过 根本的变化，仍是基于i p v 4 协议。随着因特网的迅猛发展和用户需求的多样化，i p v 4 协议体系已经无法适应因特网进一步发展，表现在以下的几个方面：地址空间不足， 路由表规模过大，分组转发速度慢，路由器处理复杂，缺乏q o s 保障机制等。 针对i p v 4 体制的问题，相应的改进和升级体制也相继地被提出，其中主要包 括m p l s 体制和i p v 6 体制。但是他们却各自存在着不足：m p l s 并没有解决当前 i p v 4 地址不足的问题；而i p v 6 是在充分考虑了i p v 4 的缺陷以及下一代网络的需求 的条件下设计的，但是i e t f 提供了三种i p v 4 向i p v 6 的过渡方案都无法实现他们 之间的平滑过渡。 西安电子科技大学i s n 国家重点实验室宽带网络研究部( b n r d ) ，一直致力于网 络通信领域的前沿技术研究，我们综合考虑了i p v 4 体制的不足，以及m p l s 和i p v 6 的特点，提出了一种新的标记交换体制，称之为“区域标记交换体制”( r e g i o n a l 4 基于网络处理器的新标记交换体制验证系统的研究开发 c o d el a b e ls w i t c h ，r c l s ) 。它在继承现有i p v 4 分组交换网络的基础上，又借鉴 了m p l s 和a 1 m 利用标签( 1 a b e l ) 实现快速分组转发的优点，同时吸收了针对汇聚流 进行流量控制的区分服务思想，能够完全兼容现有的因特网协议，简化骨干交换 设备的实现复杂度，提高网络的吞吐率，提供快捷的交换和区分服务以保证服务 质量。 1 4 论文的主要工作及内容安排 论文首先详细描述了i n t e li x p 2 x x x 系列网络处理器的硬件架构及软件体系结 构。然后讨论如何结合网络处理器强大的处理能力和灵活的可编程特性来实现“区 域标记交换”验证系统，并仔细地叙述了验证系统的具体工作原理和开发过程。 最后对系统进行了性能分析和测试验证，同时对下一步的工作重点进行了描述。 论文的内容及结构安排如下：第二章主要介绍网络处理器的硬件架构，着重 对微引擎和x s c a l e 核做了详细的论述，并介绍了其他外围设备接口以及几种基于 i x p 2 4 0 0 的网络架构方案；第三章讨论了网络处理器的软件体系结构，主要以i n t e l 公司的i x a 互联网络交换架构为例，介绍了分组在网络处理器中的处理流程及并 行处理原理，最后介绍了几种常用的微引擎编成模型；第四章首先介绍了区域标 记交换的基本思想，及本验证系统的总体设计思想和基本组成结构，然后分数据 面软件和控制面软件两部分详细地描述了验证系统的具体实现过程。最后，文章 给出了系统优化的方法和系统性能计算、测试的手段，并指出下一步的工作要点。 第二章网络处理器的硬件架构 第二章网络处理器的硬件架构 5 总的来说，无论何厂商、何种性能的网络处理器产品的硬件架构都可以归结 为以下几个大的模块。 片内处理器：网络处理器内部包含多个片内处理器，构成多处理器系统。这些片 内处理器按照功能可以分为核心和转发引擎两种。 核心：用于系统管理维护和复杂的数据处理。 转发引擎：提供快速的数据处理，提供分类调度等服务功能。它可能含有 多个硬件线程，每个线程都有一套专门的硬件来存放程序运行的上下文， 可获得线程切换的零开销。 高速的i o 接口单元：网络处理器有丰富的网络i o 接口单元，包括物理链路接口、 交换接口、存储器接口以及其他外部处理单元接口等。 内部高速总线：多组处理器和i o 接口单元通过内部高速总线( 一般为多总线结构) 连接在一起，组成优化的数据通路结构，从而提供很强的硬件并行处理能力。 存储器：包含多种不同性能的存储结构，以适应不同的应用目的。例如f l a s h 用于 存放硬件启动引导程序；s r a m 存放路由表、队列结构等各种查询表格；d r a m 作为缓冲区存放分组数据。 专用指令集：片内转发引擎一般具有专用的精简指令集，这些指令经过针对网络、 数据处理的优化，例如数据读写，状态判断，堆栈操作，哈希查找等。 专用组件( 协处理器) ：要求高速处理( 线速) 的通用功能模块可以用硬件来实现 以提高性能。例如路由查找和数据加密等。 、 下面我们以i n t e l 公司i x a 网络处理器为例，具体介绍网络处理器各个模块的 基本功能和原理。 2 1 网络处理器双层通道模型 片内处理器是网络处理器的心脏，网络处理器强大的处理能力以及灵活的可编 程特性都完全依仗于片内处理器的特性。 研究表明网络中的传输的分组大致分为两类，一类是转发数据分组，这类分组 的数据量大、速率高，一般占总分组量的9 0 - 9 5 以上。但是此类分组对处理性 能的要求不高，处理复杂度相对来说比较低。另一类分组是控制信息分组，这类 分组的业务量相对较少，一般只占分组总数的5 0 o - 1 0 。但是此类分组的处理复杂 度较高。我们很明显地可以看出控制分组是计算敏感型，而数据分组是i o 敏感型 6 基于网络处理器的新标记交换体制验证系统的研究开发 的。 根据这样的网络特性，网络处理器的片内处理器在功能上划分为两个部分：核 心和转发引擎。转发引擎出要负责处理高速的转发数据分组，它所能处理的操作 复杂度相对来说较低，但是速度极快，我们称之为快通道：而核心负责处理的控 制信息分组通常涉及修改、维护路由器内部大量的状态表，所以处理复杂度相对 较高，但是业务量则较少，我们称之为慢通道。下图为网络处理器的双层通道模 型。 图2 1 网络处理器的双层通道模型 i n t e l 公司的i x p 系列网络处理器快通道采用微引擎( m i c r o e n g i n e ) 作为转发 引擎，而慢通道采用s t r o n g a r m ( i x p l 2 0 0 ) 或x s c a l e ( i x p 2 x x x ) 作为核心。微引擎是 基于精简指令模式( r i s c ) 的专用指令处理器，它被用来承担传统上由a s i c 承担 的任务。而s t r o n g a r m x s c a l e 通用处理器用来运行操作系统和网络协议栈，负责 调试、配置、管理微引擎工作。下面我们将就i n t e l 公司i x p 系列网络处理器为例， 具体讲述其主要功能单元。 2 2 i x p 2 4 0 0 网络处理器硬件功能模块 i x p 2 4 0 0 采取了m u l t i m a s t e r + c h a s s i s + m u l t i t a r g e t 的硬件体系结构。其中 m u l t i m a s t e r 指多个主控单元发起对m u l t it a r g e t 的操作，例如m e 、x s e a l ec o r e 、 p c ic o n t r o l l e r 等硬件功能单元：m u l t i - t a r g e t 指i x p 2 4 0 0 中多个从属单元，执行 m u l t i - m a s t e r 规定的操作( 主要是存储器读写操作) ；c h a s s i s 由多条数据总线、命 令总线、总线仲裁器组成，提供m u l t i m a s t e r 与m u l t i t a r g e t 之间的数据传输通道 和命令传输通道。 第二章网络处理器的硬件架构 2 2 1 微引擎 图2 2 网络处理器各功能模块 7 微引擎( m i c r o e n g i n e ) ，简称为m e ，是网络处理器的核心部件，负责网络处理 器中数据面的处理任务。以线速( l i n er a t e ) 进行数据包的处理，因此微引擎又称为 数据包的快通道( f a s tp a t h ) 。 i x p 2 x x x 系列网络处理器采用了多微引擎结构来提高系统的并行处理能力。 i x p 2 4 0 0 拥有8 个微引擎，主频6 0 0 m h z ；i x p 2 8 0 0 则拥有1 6 个微引擎，主频高 达1 4 g 。每个微引擎内部有8 个硬件线程( c o n t e x t ) ，每个线程既可以共享微引擎 内部的资源，也可以专用单独的存储器资源。更重要的是硬件线程之间的切换可 以做到“o 延迟”，这样就可以将存储器的访问时延( m e m o r yl a t e n c y ) 有效的隐 藏在指令执行周期( c o m p u t ec y c l e ) 的后面，充分的利用了微引擎的m i p s 处理 能力。这是i x p 2 x x x 网络处理器与通用处理器的一个显著区别，也是i x p 2 x x x 网 络处理器在网络处理方面优于通用处理器的关键因素之一。 i x p 2 4 0 0 微引擎主要包含以下几个模块： 8 个3 2 位硬件线程 4 k 4 0 b i t 指令存储器 6 4 0 3 2 b i t 本地寄存器( l o c a lm e m o r y ，l m ) 2 5 6 个通用寄存器( g p r s ) 共5 1 2 个传输寄存器( t r a n s f e rr e g i s t e r ，) ( f 职) ，分为s r a m 传输寄存 器和d r a m 传输寄存器，每种传输寄存器又分为读写2 个板块( b a n k ) 1 2 8 个邻居寄存器( n e x tn e i g h b o rr e s i s t e r ，n n r ) 8 基于网络处理器的新标记交换体制验证系统的研究开发 图2 3 微引擎主要功能模块 微引擎是网络处理器最核心的部件之一，正是由于微引擎强大的快速转发分 组处理能力和可编程的特性，才造就了网络处理器高效灵活的性能。 2 2 2x s c a l e 核 i n t e lx s c a l e 核是基于a r m 架构3 2 b i t 嵌入式精简指令集( r i s c ) 通用处理器， 时钟频率6 0 0 m h z 。主要负责网络处理器中控制面的处理任务。 x s c a l e 核是a r m 的v 5 版，它是a r mv 4 版的s t r o n 【g a 跚( 用于i x p l 2 0 0 ) 的升级 版本。它支持： 3 2 kb y t e 指令高速缓存( c a c h e ) 3 2 kb y t e 数据高速缓存 2 kb y t e 迷你数据高速缓存 新指令设置 性能监控接口 电源控制 j t a gd e b u g x s c a l e 在网络处理器上主要运行实时操作系统和网络协议栈，它主要执行系 统芯片的初始化配置、系统控制管理、运行路由协议栈、更新路由表等操作。另 外它还负责对异常数据包进行处理，它也就是上面所提到的慢通道。 第二章网络处理器的硬件架构 2 2 3d r a m 控制器 9 d r a m 控制器用于接口d r a m 存储设备，控制、管理i x p 2 x x x 中其他功能单 元对d r a m 存储设备的访问操作。d r 砧江的最大存储空间支持到2 g ，主要应用 于存储数据包、路由表等大型数据结构。 i x p 2 4 0 0 中使用采用d d r 技术的d r a m 存储器，频率支持1 0 0 m h z 、1 5 0 m h z 。 传统存储器只在每个时钟周期脉冲的上升沿或下降沿进行一次存储器读或写。而 所谓d d r 技术是在每个时钟周期脉冲的上升沿以及下降沿各进行一次存储器读或 写，所以一个时钟周期内可以读或写存储器两次，理论上速度是传统存储器的两 倍，所以称之为d d r ( d o u b l ed a t ar a t e ) 2 2 4s r 删控制器 s r a m 控制器用于接口s r a m 存储设备，控制、管理i x p 2 x x x 中其他功能单 元对s r a m 存储设备的访问、操作。i x p 2 x x x 网络处理器中有两个s r a m 控制器， 分别命名为：s r a mc o n t r o l l e r0 和c o n t r o l l e rl ，两者相互独立，且可并行工作。 另外s r a m 控制器还可用于接口符合相应接口规范的协处理器，执行特定的复杂 数据包处理操作，如：数据加密、解密等。 i x p 2 4 0 0 中使用采用q d r 技术的s r a m 存储器，频率支持1 0 0 m h z 、1 5 0 m i - i z 、 2 0 0 m h z 。与d d r 技术相比，q d r 技术则是在d d r 技术的基础上进行了进一步 的发展，它不仅在每个时钟周期脉冲的上升沿以及下降沿各进行一次存储，而且 把数据读和写分为两个通道，所以理论上速度是传统存储器的4 倍，所以称之为 q d r ( q u a dd a t ar a t e ) 。 在i x p 2 4 0 0 网络处理器中s r a m 单通道支持最高寻址6 4 m b y t e ，主要用于负 责存储分组的状态信息等比较精简的数据结构，例如分组描述符、f r e e l i s t 、接收 发送队列等。这些数据结构对空间复杂度要求较低，但时间复杂度相对要求较高。 2 2 5 媒质和交换结构接口 媒质和交换结构接口( m e d i aa n ds w i t c hf a b r i ci n t e r f a c e ) ，简称m s f 。它 是i x p 2 x x x 网络处理器与外部物理层设备( p h l ) 、交换结构( s f ) 的接口单元， 是i x p 2 x x x 接收、发送数据包的窗口。m s f 通过u t o p i a 、s p i 协议与p h y 接口，通 过c s i x 协议与s f 接口u t o p i a 、s p i 、c s i x 都是经过标准化的协议，通过这些标 准协议i x p 2 x x x 能够方便的与其它厂家的产品进行接口。 i x p 2 4 0 0 支持u t o p i a1 2 3 ，p o s 一2 ，s p i 一3 ，c s i x 等协议接口规范。支持最 高工作频率1 3 3 删z 。 l o 基于网络处理器的新标记交换体制验证系统的研究开发 2 2 6s h a cu n i t s h a c 单元包括：中间结果存储器( s c r a t c h p a dm e m o r y ) 、哈希单元( h 嬲hu n i t ) 、 状态控制寄存器访问代理( c o n t r o ls t a t u s a c c e s sp r o x y ，c a p ) 3 部分。 中间结果存储器容量为1 6 k b ，用于微引擎之间的通信以及重要数据内容的 内部缓存。 哈希单元支持4 8 b i t 、6 4 b i t 、1 2 8 b i t 的哈希运算。 c a p 用于对i x p 2 4 0 0 中控制、状态寄存器进行访问、操作，用于设定 i x p 2 4 0 0 的工作模式和采集运行状态。它支持m e - m e 以及m e - c o r e 的通 信。 2 2 7p c i 控制器 p c i 控制器( p c ic o n t r o l l e r ) 用于接口控制面处理器、系统管理处理器、其它 i x p 网络处理器以及p c i 以太网卡等符合p c i 规范的设备。 i x p 2 4 0 0 中p c i 控制器符合p c i v 2 2 接口规范，接口总线宽度6 4 b i t ，时钟频 率为6 6 m l - i z 。支持主从模式，支持基于l i n kl i s t 的d r a m 数据直接存储器存取 ( d m a ) 。 2 2 。8c h a s s i s 系统底板，是i x f 2 4 0 0 中各个功能单元内部的高速通道，由多组单向高速数 据总线、命令总线以及相应的总线仲裁单元组成。正是由于c h a s s i s 的分立式多 总线结构、高带宽的数据总线，使得t x p 2 4 0 0 的并行处理能力优势得以充分的发 挥，取得较高的性能指标。 2 3i x a 网络处理器的外围设备 i x a 网络处理器提供了丰富的支持工业标准的接口，为它和外围设备之间提 供了良好的机制，可以方便地与外围设备接口，组成一个完整的系统。 以i x p 2 x x x 网络处理器为例，它的外围设备包括m a c s 、f r a m e r s 、s v a t e h f a b r i c s 、存储设备、协处理器以及其他网络处理器。 第二章网络处理器的硬件架构 图2 4i x p 2 4 0 0 的外围接口 2 4 基于i x p 2 4 0 0 的网络架构方案 利用i x p 2 4 0 0 的相应接口单元，我们可以把i x p 2 4 0 0 及其外围设备构架起具 有完整网络处理功能的系统。总地而言，基于i x p 2 4 0 0 的网络处理器系统架构方 案有以下3 种： d u a li n g r e s s e g r e s s 架构方案 s i n g l ei n g r e s s e g r e s s 架构方案 c h a i n i n g 架构方案 在i x p 2 4 0 0 中，数据分组处理的任务一般分为i n g r e s sp a t h 和e g r e s sp a t h 两个 部分。其中i n g r e s sp a t h 负责数据分组的接收处理，e g r e s sp a t h 负责数据分组的发 1 2 基于网络处理器的新标记交换体制验证系统的研究开发 送处理。i n g r e s sp a t h 和e g r e s sp a t h 的处理任务可共用一个i x p 2 4 0 0 来完成，也可 以由多个i x p 2 4 0 0 来完成。这取决于具体的处理性能要求。 ( 1 ) d u a li n g r e s s e g r e s s 架构方案 图2 5 基于i x p 2 4 0 0 的d u a li n g r e s s e g r e s s 架构方案 ( 2 ) s i n g l ei n g r e s s e g r e s s 架构方案 2 5 g b i f f s f1 2 5 g b i v s 1 4 6 b ；叫i j g , 4 g b i v s i x f 6 0 4 8 u t o p i ，s n 3 千兆m a c o c 1 2 f r a m e r 千兆l a n o r o c 1 2s o n e t 图2 6 基于i x p 2 4 0 0 的s i n g l ei n g r e s s e g r e s s 架构方案 第二章网络处理器的硬件架构 1 3 ( 3 ) c h a i n i n g 架构方案 岁 部 网 络 图2 7 基于i x p 2 4 0 0 的c h a i n i n g 架构方案 井 部 网 络 1 4 基于网络处理器的新标记交换体制验证系统的研究并发 第三章网络处理器的软件体系结构 网络处理器的软件架构是个非常复杂庞大的体系，但是它又是系统化、模 块化的。它可以分为以下三个部分：数据面( d a t a p l a n e ) 、控制面( c o n t r o lp l a n e ) 、 管理面( m a n a g e m e n tp l a n e ) 。 图3 1 网络处理器软件结构 ( 1 ) d a t ap l a n e 以高速接收、处理并且转发数据。它又分为以下两个部分： f a s tp a t h ：这部分的工作主要由微引擎完成，它以线速处理大部分的数据。 s l o wp a t h ：这部分则主要由x s c a l e 来执行任务，它主要处理很少一部分 对于微引擎来说相对复杂的任务。这些分组叫做e x c e p t i o np a c k e t s 。 ( 2 ) c o n t r o lp l a n e 主要处理协议信息，并且负责设置、配置、更新d a t ap l a n e 要用到的表或者数据。他主要分为以下几个部分： c o n f i g u r a t i o na p i ( 系统配置a p i ) ：它是i x p 2 4 0 0 与m a n a g e m e n t p r o c e s s o r 的软件接口，它将i x p 2 4 0 0c o n t r o lp l a n e 的细节屏蔽起来， 为m a n a g e m e n tp r o c e s s o r 提供简单通用的软件接口。 s i g n a li n gp r o t o c o ls t a c k s ( 系统通信协议栈) ：他主要负责部分系统管理 功能、数据的2 层转发、运行常用路由协议、提供r e s o u r c em a n a g e r 等。 n 阡c o n t r o lp l a n ea p i ( n p f 定义的控制面a p i ) ：用于c o n t r o lp l a n e 和 d a t ap l a n e 之间的通信，以利于软件模块的开发。 i e t ff o r c e sp r o t o c o l ( 消息协议) ：也是用于c o n t r o lp l a n e 和d a t ap l a n e 之间的通信，它在c o n t r o lp a n e 和d a t ap l a n e 上都设置了t r a n s p o r t a g e n t ( 传输代理) ，用来接收高层的消息，然后利用低层的p c i 、p c ie x p r e s s 等总线将信息以特定的格式传送到目的方。正是有于i e t ff o r c e s 第三章网络处理器的软件体系结构 p r o t o c o l 中采用了t r a n s p o r ta g e n t 的通信机制，从而保证了当底层硬件 平台发生变化时上层软件结构仍可以保持不变。 ( 3 ) m a n a g e m e n tp l a n e 主要负责系统配置、收集并且报告统计信息，通过接收用 户的输入或者信息来开启或者关闭应用。 3 1i n t e li x a 可移植性框架 为了降低网络处理器的软件开发难度，增加用户的开发效率，i n t e l 公司为 i x a 网络处理器制定了一套软件系统框架，被称作i x a 可移植框架( i x a p o r t a b i l i t yf r a m e w o r k s ) 。 i x a 可移植框架是模块化的软件系统，它是一套“半成品”的应用程序，类似 于一个操作系统，包含网络处理器应用处理程序从启动到运行的主要流程，流程 中那些特殊的功能或者无法预先确定的功能留给用户自己实现。 该框架已经实现了最常用的软件模块，包括p a c k e tp r o c e s s i n g 模块单元( 包 括l l e 上的m i c r o b l o c k s 和x s c a l ec o r ec o m p o n e n t s ) ，胍与x s c a l e 之间的通信 接口( r e s o u r c em a n a g e r ) ，以及d a t ap l a n e 与c o n t r o lp l a n e 之间的接口( s y s t e m a b s t r a c t i o nl a y e r ) 。 这个框架完全遵从网络处理器论坛组织( n e t w o r kp r o c e s s o rf o r u m ，n p f ) 规定的网络处理器软件架构。因此按照这个框架编写出来的程序是模块化、可移 植的目前支持的实时嵌入式操作系统平台包括l i n u x 和y x w o r k s 。分层式 ( l a y e r e d ) 的体系结构，使得开发者可以灵活的选择可移植框架中的全部层次或 其中若干个层次进行软件开发。例如可以只选择编写m i c r o b l o c k 在微引擎上运行， 而不使用x s c a l e 处理器。分层化和高度模块化的设计保证软件模块之问的独立性 和可重复利用性。 目前该框架支持i n t e l 第二代网络处理器i x p 2 x x x 系列的全线产品，包括 i x p 2 3 5 0 、i x p 2 4 0 0 、i x p 2 8 0 0 、i x p 2 8 5 0 等。 3 2 分组处理流程 网络处理器接收到的绝大部分数据是在微引擎里处理的，只有少部分复杂操 作是在x s c a l e 中处理的。所以掌握网络处理器的软件体系，微引擎部分可说是极 其重要的一个部分。下面主要就d a t ap l a n e 中微引擎的软件结构加以详细的说明。 如图所示，无论何种类型的数据分组进入网络处理器中的微引擎处理，都可 1 6 基于网络处理器的新标记交换体制验证系统的研究开发 以归结成为以下图中的几个部分：接收处理部分，包括数据包的接收、数据包 重组、分类、转发、检测和统计、拥塞控制等；队列操作阶段；发送处理 阶段，包括t r a n s m i ts c h e d u l i n g 、t r a n s m i tf i l l 。 图3 2 分组处理流程 基本的数据处理流程如下：m s f 从m a c 接收m p a c k e t ，存在r b u f 中；m s f 创建关 于m p a c k e t 的接收状态字( r s w ) ，并将r s w 传递给某一空闲线程：该线程根据r s w 判 断m p a c k e t 的类型( s o p 、e o p 、m o p ) ，如果是s o p 则将它从r b u f 中读入g p r s ；该线 程命令d r a m c o n t r o l l e r 将r b u f 中的m p a c k e t 移入d r a m 中并重组得到完整的p a c k e t ， p a c k e t 在d r a m 中存放的地址由s r a m 中的b u f f e rf r e e l i s t 指定：该线程根据p a c k e t h e a d e r 中的t y p e 字段对p a c k e t 进行分类，然后进行查表操作获取关于p a c k e t 的f l o w d e s c r i p t o r ：根据f l o wd e s c r i p t o r ，线程从d r a m 中读取f l o wi n f o r m a t i o n ，根据 它对数据包进行处理，如修改p a c k e th e a d e r ，决定p a c k e t 所属的队列；伽将p a c k e t d e s c r i p t o r 通过e n q u e u e 操作加入到相应的发送队列中( 发送队列存放在s r a m 中， p a c k e t 存放在d r a m 中) ；t xs c h e d u l i n g 执行特定的调度算法，进行数据包发送调度 操作，向q m 模块发送d e q u e u e 请求；q m 模块执行d e q u e u e 操作，从发送队列取出p a c k e t 交给数据包发送模块发送，t xf i l l 模块将p a c k e t 从d r a m 中移入t b u f ；m s f 将t b u f 中的p a c k e t 发送到m a c 或s f 。 其实上述只是数据处理的一个概括