（信号与信息处理专业论文）网络处理器技术及在邮件过滤中的应用研究.pdf

摘要 摘要 网络处理器是为网络应用领域设计的专用指令处理器，同时又是软件可编程芯片，该技 术能够结合定制硬件设计的高速优点和软件实现灵活的特性。作为下一代网络的核心技术， 在网络数据处理与信息安全等方面具有广阔应用前景。基于i x d p 2 4 0 0 网络处理器开发平台， 本文主要研究网络处理器技术及在邮件过滤中的应用，主要工作包括： 论文第一部分简要介绍了网络处理器的功能与发展趋势以及包括文本过滤、黑自名单 过滤、规则过滤、贝叶斯过滤等邮件过滤技术及发展趋势。 第二部分在研究网络处理器的体系结构、技术特点、应用领域等基础上。详细分析了i n t e l 网络处理器i x p 2 4 0 0 的软硬件体系结构。包括i n t e l x s c a l e t mc o r e 嵌入式r i s c 处理器、 微引擎、m s f 单元、存储控制单元等硬件体系结构，以及编程结构模型ji x a 软件框架结 构、微码实现技术等软件体系结构。 第三部分在电子邮件标准、网络体系及构架以及电子邮件接收发送架构等研究基础上， 深入分析了贝叶斯算法在邮件过滤中的应用机制，并给出基于朴素贝叶斯分类器的邮件分类 的算法步骤、邮件过滤架构以及实现流程。 在上述工作基础上，论文第四部分研究了基于i x d p 2 4 0 0 邮件过滤实现技术。包括分组 接收模块、以太网解封装份类，过滤模块、邮件过滤模块、数据包发送模块等微引擎实现技 术以及x s c a l e 实现技术等，并在i x d p 2 4 0 0 网络处理开发平台上实现了基于朴素贝叶斯分类 器的邮件过滤，基于s p a m a s s a s s i n 邮件数据库的实验结果表明所提方法与实现方案的有效 性。 关键字：网络处理器，i x d p 2 4 0 0 网络处理器开发平台，微引擎，邮件过滤，朴素贝叶斯分 类器 a b s l l t a c t a b s t r a c t n e t w o r k p r o c e s s o r ( n p ) i sa t y p e o f a p p l i c a t i u n - s p e c i f i c i n s t r u c t i o n p r o c e s s o r d e s i g n e d i n t h e f i e l do fn e t w o r k , a tt h es a m et i m e ，i ti sa l s oas o r to f p r o g r a m m a b l el o g i c a li cd e v i c e n ph a st h e v i r t u e sc o m b i n i n gt h ea d v a n t a g eo fh i 曲s p e e dr e s u l t i n gf r o ms p e c i a lh a r d w a r ed e s i g nw i t ht h e f l e x i b i l i t yi nu s i n gs o f t w a r et oa c c o m p l i s hi t r e g a r d e da san e wa n dq u i c k l yd e v e l o p i n gt e c h n i q u e ， n ph a sac o n s i d e r a b l el a r g ea r e ao f p r o s p e c t sf o ra p p l i c a t i o ni nn e t w o r kd a t ap r o c e s s i n gt o g e t h e r w i t hi n f o r m a t i o ns e c u r i t y , a n ds oo n t h i st h e s i sm a i n l yh a sr e s e a r c h e so nn e t w o r kp r o c e s s i n g t e c h n i q u ea n di t sa p p l i c a t i o no f s p a r ef i l t e r i n gb a s e do nt h ed e v e l o p m e n tp l a t f o r mo fx d p 2 4 0 0 f i r s t l y , w eb e g i no u rs t u d yw i t hi n 订o d u c t i o n so fm a n yf u n d a m e n t a l sr e l a t i n gt os o m e f u n c t i o n sa n dd e v e l o p m e n tw e n d so fn pa n df i l t e r i n gt e c h n i q u en o r m a l l yc o n s i s t i n go ft e x t f i l t e r i n g ，b l a c k - w h i t el i s tf i l t e r i n g ，r u l ef i l t e r i n g b a y e sf i l t e r i n g e t e s e c o n d l y , w es i m p l yg i v ead e s c r i p t i o na b o u ts y s t e m a t i cf r a m e w o r k , t e c h n i c a lc h a r a c t e r i s t i c , b a s i ca p p l i c a t i o n d o m a i no f n p a f t e rt h e n ，ad e t a i l e dd i s c u s s i o ni sp r e s e n t e d ，r e l a t i v et oh a r d w a r e a n ds o f t w a r es t r u c t u r eo fi x d p 2 4 0 0n e t w o r kp r o c e s s o r , t h eh a r d w a r es t r u c t u r ei n c l u d e si n t e l x s e a l ec o r e ，m i c r o e n g i n e ，m s fu n i t ，m e m o r y - c o n t r o l l e du n i te t c a n dt h es o f t w a r es 廿u c t u r ei s c o m p r i s e do f p r o g r a m m a b l em o d e l ，i x as o f t w a r ef r a m e w o r k ，i m p l e m e n t a t i o no f u s i n gm i c r o c o d e a n do t 2 1 e r s i nt h et h i r dc h a p t e r , ar a n g eo fr e s e a r c h e so ne m a i ls t a n d a r d ，s y s t e m a t i cn e t w o r ks t r u c t u r e ， a n dm e c h a n i s mf o rs e n d i n ga n dr e c e i v i n ge m a i la r cm a d e s u b s e q u e n t l y , w ed e e p l ys t u d yh o w b a y e sa l g o r i t h mi sa p p l i e dt os p a r ef i l t e r i n ga n dc l e a r l ys h o w ap r a c t i c a la l g o r i t h mp r o c e d u r ef o r e m a l lc i a s s i f i c a t i o nb a s e do ns i m p l eb a y e sc l a s s i f i e ra n dap r o c e s so fi m p l e m e n t i n gs p a r e f i l t e r i n g f i n a l l y , t h ef o u r t hc h a p t e rm a i n l yd e s c r i b e si m p l e m e n t a t i o nt e c h n i q u e so fs p a r ef i l t e r i n go n t h ep l a t f o r mi x d p 2 4 0 0 t h e s et e c h n i q u e sa r er o u g h l yd i v i d e di n t ot w op a r t sw h i c ha r eu s eo f m i c r o e n g i n ea n dx s e a l e h o w e v e r , t h ei m p l e m e n t a t i o no fm i c r o e n g i n ei n v o l v e sag r e a td e a lo f s m a l l e rc o m p o n e n t sw h i c hc o n s i s to fd a t ap a c k e tr e c e i v i n g p a c k e to v e re t h e m e te n c a p s u l a t i n g , c l a s s i f y i n g ，f i l t e r i n g ，s p a mf i l t e r i n g ，p a c k e tt r a n s m i t t i n g , e t c a sar e s u l to f t h e s er e s e a r c h e s ，w e s u c c e s s f u l l ya c c o m p l i s hs p a r nf i l t e r i n gb a s e do ns i m p l eb a y e sc l a s s i f i e r o nt h ei x d p 2 4 0 0 d e v e l o p m e n tp l a t f o r m t h ee x p e r i m e n t a lr e s u l t s h o w so u rp r o p o s e dm e t h o d sa n dp r a c t i c a l a p p l i c a t i o n - s c h e m e sa r eq u i t ee f f i c i e n t k e y w o r d s ： n e t w o r kp r o c e s s o r , d e v e l o p m e n tp l a t f o r mo fi x d p 2 4 0 0n e t w o r kp r o c e s s o r , m i c r o c n g i o c ，s p a mf i l t e r i n g , b a y e sc l a s s i f i e r i l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括干u 登) 授权东南大学研 究生院办理。 研究生签名：导师签名：日期：2 0 0 5 3 第一章绪论 第一章绪论 下一代网络设备要求具有优异性能，支持高速分组处理：具有高度灵活性，支持不断变 换高层网络服务。传统的基于g p p ( g e n e r a lp u r p o s ep r o c e s s o o 的网络设备只满足灵活性要求， 数据处理性能低：基于a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 的网络设备只满足高性能 要求，却难以升级更新，生产周期长。上述原因促进了网络处理器( n e t w o r kp r o c e s s o r ，n p ) 技术的发展。 l 1 网络处理器 网络处理器【l 】是面向网络应用领域的应用特定指令处理器。是面向数据分组处理的、具 有体系结构特征和特定电路的软件可编程器件。通过灵活的软件体系提供硬件级的处理性能 是np 的关键特性。它采用了类似a s i p ( a p p l i c a t i o ns p e c i f i cp r o c e s s o r ) 和s o c ( s y s t e mo i lc h i p ) 的体系结构，为了提高运算性能，还采用了r i s c 技术。网络处理器通常还都具有一个专用 的i s a ( i n s t r u c t i o ns e t a r c h i t e c t u r e ) 模型该指令集专用于对网络数据进行处理。因此，无论 从体系结构上还是从指令系统上看，网络处理器都是为网络数据的处理而量身定做的。在以 g p p 和a s i c r s i c 为核心的设备体系结构阶段，对2 3 层数据处理采用“存储转发”数据分 组处理模式。随着网络发展，需要对2 7 层的数据分组采用“存储- 处理转发”数据分组处理 模式才能实现复杂的q o s 、安全控制、负载均衡等功能模块。网络处理器的出现，标志着设 备对数据分组的处理能力从低层粗放式处理过渡到高层细化处理。 网络处理器另外一个特性就是数据处理过程中的并发性，从一开始，网络处理器的设计 者们就充分考虑到了处理网络数据包时的并发性。数据包在到达路由器时是乱序的，但其中 的每一个包又都是完整的。它们有自己的包头和有效载荷，路由器的工作是从中抽取出目的 i p 地址并为其选择适当的路由，因此各个数据包之间的处理可以并行地执行。 网络处理器的发展趋势1 2 1 ：可编程性是网络处理器与a s i c 器件的最大区别，它也是网 络处理器能够取代a s i c 的一个关键因素。由于实际中许多操作直接涉及到硬件，所以对网 络处理器的编程工作也显得比较复杂，往往需要程序员对相关硬件也有比较透彻的了解，这 无疑增加了编程的难度。提供方便可靠的a p i 是降低编程难度的一个有效途径，这样可以 使程序员将更多的精力放到程序本身而不是对外设的复杂操作上。现在很多网络应用中要求 双方的通信是安全并且可靠的，如v p n 和电子商务。对关键数据进行的加密，这是网络安 全中普遍采用而且行之有效的方法。目前，网络处理器内部往往并没有专门的单元来提供安 全上的支持，所以很多应用中都是在网络处理器附近增加安全协处理器，由它们来进行数据 的加密和解密操作，以减轻安全处理负担。在下一代的网络处理器中集成专用于计算的加密 l 东南大学硕士学位论文 解密处理单元也成为未来的发展趋势之一。这样不仅满足了实际中对安全性的需求，也从 整体上提高了网络处理器的性能。 网络处理器的应用1 3 1 ：网络处理器主要用于网络接入、网络骨干设备，开发从第2 层到 第7 层的各种网络服务和应用。在网络接入设各中支持各种新业务、服务安全接入，进行 质量控制。包括：提供v p n ：入侵检测、网络监控、防火墙等安全控制：进行分组分类， 识别关键业务流，保证q o s ；执行协议转换，支持多种传输媒体接入：记费和负载均衡等。 在网络骨干设备中，用于在o c 4 8 ，0 c - 1 9 2 甚至更高速率下实现聚合流的分类识别和转发， 支持流量工程和q o s 控制。并将传统的网络接入设备3 层以上协议处理功能引入到核心网 中，如对骨干网实施国家级的入侵检测。根据不同需求。可以采用网络处理器灵活构造不同 规模的处理平台，如单个网络处理器构成的小型单板设备：多个网络处理器构成的中型单板 设备；多个线卡通过交换组织构成多板大型设备等等。 1 2 邮件过滤技术 随着网络的普及和应用。电子邮件( e m a i t ) 越来越成为人们交流的主要工具，是i n t e m c t 7 提供的一项最基本的服务。然而。就象其他网络应用一样，由于电子邮件通过网络进行传输， 并具有重要的应用价值，电子邮件在给人们带来很多方便的同时，也产生了一个新的问题， 即大量垃圾邮件的出现。这些邮件垃圾给人们带来越来越多的精力、时间以及金钱的浪费。 因此如何更好地进行邮件过滤【4 】成了各个邮件服务提供者比较关心的问题。 所谓垃圾邮件，就是指那些不请自来，你并不希望收到，并且也没有订阅过，却被人强 行塞a 1 h l 口箱的商业广告、产品介绍等内容的电子邮件。垃圾邮件一次发给很多人，在i n t e m e t 上同时传送很多副本。垃圾邮件又称为s p a r e 或u c e ( u n s o l i c i t e dc o m m e r c i a le m a i l ) ，其定义 为：批量发送的未征得收信人同意的电子邮件。中国电信对“垃圾邮件”的定义为；向未主动 请求的用户发送的电子邮件广告、刊物或其他资料：没有明确的退信方法、发信人、回信地 址等的邮件：利用中国电信的网络从事违反其他i s p 的安全策略或服务条款的行为：其他预 计会导致投诉的邮件。 除政府立法罔严惩垃圾邮件散发者之外，在用户接收方面添加邮件过滤器也是非常重要 的方法。邮件过滤器的任务就是把收到的电子邮件分为两类：一类为合法邮件；另一类为垃圾 邮件。同时能按照用户的要求自动姗除掉垃圾邮件。目前得到应用的邮件过滤技术包括黑白 名单过滤、规则过滤和贝叶斯算法过滤等。 文本过滤：在邮件过滤方法中，文本过滤是最简单的一种，其缺点是过于简单。目前有 很多邮件过滤产品对文本过滤进行了改进，加入了人工智能等技术，从而加强其智能化。 黑白名单过滤：名单过滤就是根据用户或者管理员设置的名单来进行有条件的邮件收 2 第一章绪论 取。白名单的代表工具有t d m a ( 开放源码) 、c h o i c c m a i l ( 商业软件) 等。分布式适应性 黑名单的代表工具有r a z o r 、p y z o r 等。 规则过滤：规则过滤方法是对邮件标题和信件内容等进行多项过滤。在这种方法中，过 滤软件可以人工定制规则，也可利用机器学习和神经网络方法制定规则。保持规则的准确和 最新状态是一项困难工作，另外规则增加将造成运行速度降低。规则过滤的代表工具有 s p a m a s s a s s i n 。 贝叶斯过滤嘲：贝叶斯过滤利用贝叶斯概率分布和统计来进行垃圾邮件中一些特定单词 的出现频率的统计。贝叶斯过滤不必预先设定规则，不需要分析邮件句法或内容含义。贝叶 斯过滤是用户根据自己所接受的垃圾邮件和非垃圾邮件的统计数据来创建的，这意味着垃圾 邮件发送者无法猜测出过滤器是如何配置的，从而有效阻止垃圾邮件。贝叶斯过滤能够学习 分辨垃圾邮件与非邮件之间的差别，差别是用概率来表示，并且自动应用到以后的检测中。 到目前为止。邮件过滤器大多以软件形式实现，论文中提出了基于网络处理器来实现邮件过 滤的软硬结合邮件过滤设备以提高邮件处理的速度，具体实现形式为局域网网关服务器，从 而为建立阻断垃圾邮件向内部局域网用户的发送。 1 3 本文的主要内容与结构安排 i x p 2 4 0 0 是i n t e l 公司的i x a 结构中的第二款网络处理器处理芯片，该芯片继具有千兆位处 理能力的i x p l 2 0 0 之后推出，主要面向2 5 g b p s 速率下的网络应用。可广泛适用于无线及有线 领域。本论文中选取了i x p 2 4 0 0 作为实现邮件过滤器的具体芯片，其创新的微引擎结构是i x a 架构最重要的特征，是其高性能和可扩展性的关键所在。多线程是微引擎实现高速数据处理 的关键技术。这些线程组成流水线，则是获得高速数据处理能力的关键所在。 i x p 2 4 0 0 平台上的软件按其执行部件的不同可分为两部分：运行于i n t c lx s c a l e 核心处理 器上的实时操作系统、驱动程序、路由表维护及上层应用程序，它们一般使用标准的c 语言 作为开发工具；运行于微引擎上的应用程序。主要进行数据流输入 自出、封包，解包、分类、 快速查表、转发等实时性高的处理。这部分程序可以利用专门的微码或c 进行开发。为此， i n t c l 公司提供了个功能完善的集成开发环境d e v e l o p e rw o r k b e n c h ，其具备符号汇编、链接、 硬件仿真、程序调试、性能分折等功能。软硬件的开发可以同时进行，大大缩短开发周期。 本文主要研究网络处理器技术及在邮件过滤中的应用，主要工作包括： 第一章介绍了网络处理器的功能和应用、当前自5 件过滤技术的分类和发展、朴素贝叶 斯算法在邮件过滤上的应用、以及采用i n t c li x p 2 4 0 0 实现邮件过滤器系统的软件实现框图。 第二章深入研究了i n t e l 网络处理器i x p 2 4 0 0 的硬件结构、以及在其上的软件编写架构 和编程语言。 3 东南大学硕士学位论文 第三章在电子邮件标准、网络体系及构架以及电子邮件接收发送架构等研究基础上， 深入分析了贝叶斯算法在邮件过滤中的应用机制，并提出基于朴素贝叶斯分类器进行邮件分 类的算法步骤、邮件过滤架构、实现流程以及实验结果。 第四章深入研究了基于i x d p 2 4 0 0 邮件过滤实现技术。包括分组接收模块、以太网解 封装份类，过滤模块、邮件过滤模块、数据包发送模块等微引擎实现技术以及x s c a l e 实现技 术，并在i x d p 2 4 0 0 网络处理开发平台上实现了基于用朴素贝叶斯分类器的邮件过滤技术。 第五章为论文工作总结与展望。 4 第二章网络处理器i x p 2 4 0 0 软硬件技术研究 第二章网络处理器ix p 2 4 0 0 软硬件技术研究 通常网络设备基于c p u ，即通过在c p u 上运行相关软件来实现各种网络功能。其优点 是具有很高的灵活性，即通过更新软件，可方便地完善原有功能或加入新的功能和服务特 性。其缺点是处理速度慢、吞吐率低。随着各种传输技术的快速发展，网络带宽的增长速 度逐渐超过了c p u 处理能力的增长速度，而且这种差距有着进一步加大的趋势。这使得带 宽不再是网络的瓶颈，而基于软件的节点设备则逐渐变成了网络的瓶颈。因此，需要提高 网络设各的性能。 目前a s l c 仍然是当前网络设备的主流处理核心技术。其通过把指令或计算逻辑固化到 硬件中，可以获得很高的处理速度，因而能够很好地满足网络设备对性能的要求，适应了 网络带宽不断增长的发展趋势。然而，a s i c 最大的缺点是缺乏灵活性。一旦指令或计算逻 辑固化到硬件中，就很难修改升级、增加新的功能或提高性能，使得资源重用率很低。另 外，设计和制造复杂的a s l c 一般需要花费1 2 1 8 个月的时间，因此a s i c 的设计者们必 须能够对未来很长时间内的市场需求和技术趋势做出准确的预测。除此之外，当前网络的 应用范围在不断扩大( 从商用、教育到家庭和个人) 、新的业务不断涌现( 电子商务、多媒 体应用和视频会议等等) ，网络的发展更多地表现为对诸如如服务质量( q o s ) 、控制安全等 的分类和深层数据处理( 第4 层或第7 层) 需求。而这些服务功能既要求处理的高速度， 又要求实现的灵活性，因此网络设备需要能够灵活地满足各种服务和应用的不同需求，这 点是a s i c 技术难以满足的。 目前网络需求的特点主要集中于：灵活性要求更为迫切，i n t c t n e t 的爆炸性增长，数据 通信市场的瞬息万变，使得服务提供商和设备提供商面临流量增加、用户增多的严峻挑战， 面临根据用户复杂多变要求，快速提供、部署不同服务的市场挑战。服务提供商希望设备 提供商提供保护已有巨额投资的平滑升级解决方案。面对这些挑战，只有采用灵活性好， 开发成本低，周期短，可持续性网络开发技术，才能在未来市场占据先机。高层细化处理 更为关键：网络应用范围不断扩大、新型业务不断涌现，导致新协议不断出现，对服务质 量和安全性能的要求越来越高。核心问题在于：设备能够在网络2 7 层上对高速数据流进 行细化分组分类处理，而不仅是在网络2 3 层上进行数据流的简单存储转发处理。数据分 组处理涉及层次越多，系统资源负荷开销就越大。 在此需求背景下，出现了下一代网络的核心技术。即网络处理器。其重点针对数据分组 处理，采用优化体系结构、专用指令集、硬件单元，满足高速数据分组线速处理要求；具 有较强的软件编程能力，能够迅速实现新的标准、服务、应用，满足网络业务复杂多样化 5 东南大学硕士学位论文 需求，灵活性好；具有软件升级能力，满足用户设备硬件投资保护需求。网络处理器厂商 通常会提供配套硬件评估板和规范软件应用范例，以求为设各提供商缩短产品研制周期。 鉴于网络处理器在网络数据及网络安全上的良好使用，本论文利用网络处理器来实现邮 件过滤，在介绍了网络处理器的基本概念和应用以后，将详细介绍本论文中选取的网络处 理器芯片i x p 2 4 0 0 的相关技术，以及邮件过滤在i x p 2 4 0 0 上的具体实现。 2 1 网络处理器技术 网络处理器是专门设计用来处理网络数据包的处理器。它采用了类似a s l p ( a p p l i e a t i o n s p e c i f i c p r o c e s s o r ) 和s o c 的体系结构，为了提高运算性能。它还采用了r i s c 技术，网络处 理器通常还都具有一个专用的i s a 模型，该指令集专用于对网络数据进行处理。因此，无 论从体系结构上还是从指令系统上看，网络处理器都是为网络数据的处理而量身定做的。 网络处理器另外一个特性就是数据处理过程中的并发性从一开始，阿络处理器的设计者 们就充分考虑到了处理网络数据包时的并发性。数据包在到达路由器时是乱序的，但其中 的每一个包又都是完整的。它们有自己的包头和有效载荷。路由器的工作是从中抽取出目 的1 p 地址并为其选择适当的路由，因此各个数据包之间的处理可以并行地执行。 2 ，1 1 网络处理器体系结构 网络处理器区别于一般通用处理器主要是由于它采用了与其完全不同的体系结构【7 】，一 般都具有多个r i s c 处理器、协处理器或高速a s i c 处理器，高速存储器接口，高速l g o 接 口以及通用处理器接口。此外，如果使用s o c 技术，还可以在网络处理器芯片内部集成暇 络交换部件以及片内存贮器。现在市场上的主要的网络处理器产品有：n p 4 g s 3 一m m c o r p o r a t i o n ；lc 一5f a m i l y m o t o r o l a ，c - p o r t ；a s i r s p f p p l u c e n t ，a g e m ；i q 2 0 0 0f a m i l y s i t e m v i t e s s e ；i x p1 2 0 0 - i n t e lc o r p o r a t i o n ；a n y f l o w5 4 0 0 5 5 0 0 - m m cn e t w o r k s ；n p - 1 e z c h i pt e c h n o l o g i e s ；n e t v o r t e x l e x r ai n e ；c s 2 0 0 0 一c h a m e l e o ns y s t e m s 这些处理器都各 具特色，在体系结构上也不尽相同，但是它们也具有一定的共性，其一般结构如图2 - 1 所示。 片内处理器：网络处理器内部一般又包含多个片内处理器，构成多处理器系统。这些片 内处理器可按任务分工大致分为核心和转发引擎两种类型。前者用于系统维护和管理以及 复杂数据处理，后者用于快速数据处理，提供分类、调度等服务功能。另外，转发引擎可 包含多个硬件线程，每个线程都有一套专门的硬件来存放程序运行的上下文，可获得线程 切换的零开销。 高速i o 接口单元：网络处理器有丰富的i o 接口单元，包括物理链路接口、交换接 口、存储器接口以及与其他外部处理单元的接口等。 6 第二章网络处理器i x p 2 4 0 0 软硬件技术研究 图2 1 网络处理器一般结构框图 内部高速总线：多组处理器和i o 接口单元通过内部高速总线( 一般为多总线结构) 连 接在一起，组成优化的数据通路结构，从而提供很强的硬件并行处理能力。 存储器：存储器一般包含多种不同性能的存储结构，以适应不同应用。例如f l a s h 。用 于存放硬件启动月l 导程序；s r a m 存放路由表、队列结构等各种查询表格；s d r a m 作为 缓冲区存放分组数据。 专用指令集：片内转发引擎一般具有专用的精简指令集，这些指令经过针对网络数据处 理的优化，例如数据读写、状态判断、堆栈操作、哈希查找等。 专用组件( 协处理器) ：要求高速处理( 线速) 的通用功能模块可以由硬件来实现，作为 专用组件，例如路由查找和数据加密等，以提高系统性能。 2 1 2 网络处理器技术特点 网络处理器的主要技术特点【8 】包括。 1 ) 可编程性：网络处理器的本质在于其可编程性，从而改变a s i c 灵活性差的缺点。 这是通过提供界面友好而功能强大的编程、调试和性能评价等软件环境来实现的。 2 ) 并行处理：网络处理器可实现不同级别的并行处理：通过流水线实现指令级的并行， 通过硬件线程实现线程级的并行，通过片内多处理器结构实现处理器级的并行。 3 ) 高速数据处理：网络处理器需要具有线速处理的能力，以避免节点设备成为瓶颈。 其硬件结构为此提供了保证。 4 ) 深层数据处理：根据不同的服务要求，可对分组( 帧) 进行不同深度的处理。例如 路由查找只需处理第3 层( i p 头部) ，分类需要处理到第4 层( t c p u d p 协议) ，而安全则 7 东南大学硕士学位论文 需要处理到应用层( 分组携带的有效载荷) 。 5 ) 模块化设计：网络处理器体系结构的模块化也包含不同的层次：硬件层面和软件层 面的模块化。通过模块化设计，力图在保持高性能的基础上获得很好的可扩展性和灵活性， 并能使设各厂商容易研发不同性能和不同特性的设备。 6 ) 可扩展性i 网络处理器的可扩展性同样包含硬件可扩展性和服务可扩展性。前者指 网络处理器除了可以用来研制小型设备还可以通过交换机构的连接研制大型设备。后者 是指可以在对原有软件结构做很小改动的基础上加入新的服务和功能。 2 1 3 网络处理器应用领域 网络处理器除了提供优化的底层硬件平台，还配有功能强大的软件开发系统，包括丰富 的a p i 和函数库、图形化界面的集成开发环境、c 或微代码( 汇编) 的编程语言、进行软 件调试的模拟器、用于硬件调试的目标机评估板、性能分析器和规范化的软件开发模型等。 网络处理器可用于开发从第2 层到第7 层的各种网络服务和应用【9 】，例如交换、路由、 虚拟专用网、多协议标记交换、服务质量、计费、负载均衡、安全和监测以及3 g 通信等。 网络处理器能用于各种用户端、网络边缘艘入和网络核心，骨干的设备，例如家电网络平台、 s o h o 入侵监测系统、智能交换机、防火墙、企业路由器、核心路由器、远程访问服务器 和w e b 交换机等。从规模上来说，网络处理器可以作为处理核心来研翩小型设备( 单板结 构) ，也可以作为线卡处理单元研制大型设备( 多板结构，通过交换机构相连接) 。网络处 理器在网络系统不同位置的功用具体包括： l a n 4 9 业网：在l a n l 4 - 业网中，网络处理器的应用包括入侵检测、数据加密、网 络监控、i n t r a n e t 防火墙等安全控制，防御内部和外部的恶意行为；进行分组分类，识别关 键业务流，提供优先传输服务，实现用户在网络服务上的各种管理策略，保证服务质量q o s ： 提供虚拟专用网v p n ；流量工程等。 广域边缘，接入网络：主要是支持多种新型业务和多种网络接入，并进行服务质量控制， 其中包括：分组分类、聚合和调度；实现基于业务等级协议( s l a ) 的服务质量管理，提供带 宽和时延保证。支持动态带宽管理；提供v p n ；实现负载均衡：分解和装配各种类型的协议 数据单元，执行协议转换，支持多种传输媒体接入：安全与网络监控。 广域核心网络：在核心网中，网络处理器用于在o c - 4 8 至o c 1 9 2 甚至更高速率下实现 对聚合流的分类识别和转发，支持服务质量控制和流量工程。支持多协议标号转换( m p l s ) 、 区分服务( d i f f s e r v ) 等协议。 8 第二章网络处理器i x p 2 4 0 0 软硬件技术研究 2 2i n t e li x p 2 4 0 0 网络处理器硬件结构研究 2 2 。l i x p 2 4 0 0 网络处理器结构 i x p 2 4 0 0 是i n t e l 公司第二代产品。与第一代比较，除增加了到交换架构的接口之外，基 本保持了原来的体系结构i “。i x p 2 4 0 0 由i n t e l x s c a l e t mc o r e 、8 个m i c r o e n g i n ev e r s i o n2 ( m e v 2 ) 、1 个d d r s d r a m 控制器、2 个独立的q d r s r a m 控制嚣m s f ( m e d i a a n d s w i t c h f a b r i c ) 接1 2 、p c i 控制器、1 6 k 字节s c m t c h p a d 存储器、h a s h 单元、c a p 一片内控制和状 态寄存器、x p l - - i n t e i x s c a l e c o i b 外设接口构成。萁内部硬件结构翔匿2 - 2 所示。 图2 - 2i x p 2 4 0 0 内部硬传结构图 2 2 2i n t e t x s c a l e t mc o f c i m e l x s c a l e x u c o r e 是一个离性能低功耗3 2 b i t 嵌入式r i s c 处理器，兼容a r m v 5 t e 架构改善了内部流水线和访问存储器的性能。它的时钟频率为6 0 0 m h z ，拥有3 2 k b y t e 指 令以及数据c a c h e ，存绪器管理单元。它不支持浮点运算，在网终数据处理工程中，主要是 负责芯片的初始化和管理工作。亦可承担高层网络处理任务。开发方法与通用嵌入式处理 器基本楣网。 2 2 2 1 g a s k e t 单元 由于x s c a l e 采用c o r em e m o r yb u s ( c m b ) , g 线传递数据，而i x p 2 4 0 0 其他单元采用 c o m m a n dp u s hp u l i ( c p p ) 总线传递数据，因此i x p 2 4 0 0 配有g a s k e t 单元负责c m b 和c p p 9 东南大学硕士学位论文 总线的信号转换。g a s k e t 单元拥有一组控制与状态寄存器c s r ，中断控制器f i q i r q 配置 与状态寄存器。与外界接口如图2 - 3 所示。 2 2 2 2p c i 单元 图2 - 3g a s k e t 单元与外界连图 p c i 单元为6 4 - b i t ，6 6 m h z p c i r e v 2 2 接口同时兼容3 2 - b i t 以及3 3 m h z p c i 标准它支 持外部设备访问s r a m 。d r a m 和c s r 已经x s c a l e 访问外部p c i 设备。利用其3 个d m a 通道。来提供x s c a l e 与h o s t 通信的机制( m a i lb o xa n dd o o rb e l lr e g i s t e r s ) ，i x p 2 4 0 0 芯片 可以从p r o m 启动或者从p c ih o s t 启动，硬件结构如图2 - 4 所示。 图2 - 4 p c i 硬件结构 1 0 第二章网络处理器i x p 2 4 0 0 软硬件技术研究 2 2 2 3s c a l e t m 外围设备单元 x s c a l e t mc a ) r e 外围设备单元提供与外部慢速或串行设备的接口，x s c a l e 、微引擎和p c i 单元都可以访问x p i 接口。x s c a l e t mt ；o r e 外围设备单元：定时器t i m e r s ：配置并激活4 个 定时器，其中定时器4 可用于复位看门狗：g p i o ：配置。读，写芯片管脚。u a r t ：配置，读 ，写串行线；s l o w p o r t ：配置外围芯片( 如m a c s ，f r a m e r s 等) ，提供两个端口用于连接外部 慢速设各，其中端口l 为f l a s hm e m o r y 接1 ：3 ，端口2 为p 接口( s o n e t s d hf r a m e r ， f e g em a c ) ，s l o w p o r t 可以用来连接8 ，1 6 ，3 2 比特的外设，它的数据线和地址线复用，整 个地址空间为6 4 m b y t e 。 2 2 3 微引擎 与i x p l 2 0 0 比较，i x p 2 4 0 0 中微引擎为第二版本，其共有8 个微引擎，并分为m e c l u s t e r 0 和m ec l u s t e r i 两组。每组有专用的命令和数据总线以及相应的大量寄存器，其硬件结构如 图2 5 所示。 2 2 3 1 微码程序存储器 c o n t r o ls t o r e 是微引擎内部的s r a m ，专门用于存储微引擎的微码程序，它总共能容纳 4 0 9 6 条4 0 比特长的指令，微引擎启动前由x s c a l e 将微码程序下载到c o n t r o ls t o r e ，然后运 行。微引擎的所有线程( 4 8 个) 共享微码程序存储器，严格地说所有线程执行相同的微码 程序。如果微引擎上的多个线程执行不同的任务，可以利用线程号进行分支跳转，不同的 线程执行c o n t r o ls t o r e 中一部分微码指令。由于所有线程共享4 k 指令空闻，在这种情况下 每个线程能使用的指令数要小于4 k 。 2 2 3 2硬件多线程 多线程技术是指在系统中同时存在多个线程，这些线程交替执行，共享资源。若当前执 行线程需要等待某一事件发生时( 如数据传输结束事件) ，可将c p u 控制权让给其它处在 就绪态的线程，避免处理器出现闲置的情况，以提高系统资源的利用率，增加系统数据处 理的吞吐量。 i x p 2 4 0 0 的硬件体系结构对微引擎中多线程的实现提供了很好的支持，可以实现零开销 ( z e r oo v e r h e a d ) 切换。在传统的系统中，线程的切换包含一系列的数据交换过程，即先将 当前现场数据保存到存储器中，再将选中线程的现场数据从存储器中恢复到系统里来，使 其从上次的断点位置继续往下执行。由于存储器的访问速度相对处理器而言速度较慢，这 个过程需要占用较多的系统时间，频繁的切换对系统的性能会产生很大影响。为了解决这 东南大学硕士学位论文 一问题，i x p 2 4 0 0 的每个微引擎的数据寄存器都设置了相对访问模式，即每个线程都有自己 专用寄存器和程序指针，当线程切换时无需额外的时间保存当前线程的参数和状态。线程 的切换只需 图2 - 5 微引擎硬件结构图 激活选中线程的现场寄存器组，略去与存储器数据交换的环节，使得整个切换过程简 单快捷。大大提高系统的效率。这就是零延迟切换。i x p 2 4 0 0 中共有8 个微引擎，每个微引 擎最多容纳8 个线程，合计可有6 4 个线程同时进行数据处理这是i x p 2 4 0 0 高性能的体现。 1 ) 多线程状态 i x p 2 4 0 0 的每个微引擎支持4 个或8 个硬件线程( c o n t e x t so r t h r e a d s ) ，线程个数的配置 可以在寄存器c t x _ e n a b l e s 中配置，如果配置为8 个线程模式，则线程o ，1 , 2 ，3 45 6 ，7 运 行，如果配置为4 个线程模式，则线程0 , 2 , 4 ，6 运行，线程1 , 3 ，5 ，7 不运行。每个线程有4 种 状态：i n a c t i v e ，e x e c u t i n g ，r e a d y 和s l e e p 。 i n a c t i v e 是禁止状态，若微引擎选择使用4 个线程的模式，则剩余的4 个不用的线程为 i n a c t i v e 状态；e x e c u t i n g 是运行状态。这种状态下，线程占用微引擎执行微码程序。r e a d y 是就绪状态。已经准备好运行的线程处于等待状态：一旦当前运行的线程进入s l e e p 状态。 】2 第二章网络处理器d 0 ： 2 4 0 0 软硬件技术研究 线