（计算机应用技术专业论文）基于ixp2400的内容过滤系统的设计与实现.pdf

浙江大学硕j ：学位论文 摘要 内容过滤是网络安全领域中不可或缺的个重要组成部分。它对应用层协议 中传输的信息进行分析，并根据过滤条件，控制信息的转发。网络处理器是新一 代用来执行数据处理和转发的高速可编程处理器。它以其在网络数据处理方面的 明显优势，成为高速网络设备中支持业务管理、安全与网络监控等网络功能必不 可少的元件。 本文根据网络处理器的优势，给出了基于i n t e li x p 2 4 0 0 网络处理器内容过滤 系统的设计和实现。 第一章，提出了系统的开发背景，对网络内容过滤技术的概念和目前比较常 见的两种内容过滤技术作了介绍，并对国内外内容过滤技术的研究现状和发展趋 势作了阐述。接着，对b t 下载的概念及其对网络的影响作了论述并对b t 数据 流过滤的可行性作了细致的分析。最后，对网络处理器的概念和使用网络处理器 进行内容过滤系统的开发的优势作了阐述。 第二章，对系统开发过程中所用到的关键技术和部件作了详细阐述，包括 i n t e li x p 2 4 0 0 网络处理器的硬件结构、r a d i s y se n p 2 6 1l 开发板的结构和开发环 境、i x p 的可编程特性和开发环境等。 第三章，给出了基于i x p 2 4 0 0 的内容过滤系统的总体结构设计，包括系统硬 件环境的搭建、软件模块的设计与功能划分、系统资源分配与重要数据结构、 c o r ec o m p o n e n t 的设计等。 第四章，从模块的功能概述、数据结构和算法、模块设计和模块流程等方面 详细阐述了系统中各个软件模块的详细实现。 第五章，从模拟环境和硬件环境两个方面对系统的性能进行了评估。 第六章，总结了本文的主要工作，并对以后的工作作了展望。 关键词：内容过滤：i x p 2 4 0 0 ；网络处理器：网络安全；i p v 4 转发 浙江大学硕，i ：学位论文 a b s t r a c t c o n t e n tf i l t e r i n gi si n d i s p e n s a b l et on e t w o r ks e c u r i t y i ta n a l y s e st h ei n f o r m a t i o n t r a n s p o r t e d i n a p p l i c a t i o nl a y e rp r o t o c o l a n dc o n t r o l st h e f o r w a r d i n g o ft h e i n f o r m a t i o nb a s e do nt h ef i l t e r i n gr u l e s n e t w o r kp r o c e s s o ri san e w l yb o r nh i 咖- r a t e p r o g r a m m a b l ep r o c e s s o rf o rc a r r y i n go u td a t ap r o c e s s i n ga n dt r a n s m i t t i n g w i t hi t s o b v i o u sa d v a n t a g e si nn e t w o r kd a t ap r o c e s s i n g ，n e t w o r kp r o c e s s o rb e c o m e sa n e s s e n t i a lc o m p o n e n ti nh i 【曲- r a t en e t w o r ke q u i p m e n tt h a ts u p p o r t sn e t w o r kf u n c t i o n s s u c h 鹊o p e r a t i o nm a n a g e m e n t 、s e c u r i t ya n dn e t w o r km o n i t o r i n g e t c ， b a s e do nt h ea d v a n t a g e so fn e t w o r kp r o c e s s o r , t h ep a p e rp r e s e n t st h ed e v i s i n ga s w e l l 越i m p l e m e n t a t i o no fa ni n t e li x p 2 4 0 0 一n e t w o r k p r o c e s s o r - b a s e d c o n t e n tf i l t e r i n g s y s t e m c h a p t e r lb e g i n sw i t ha ni n t r o d u c t i o nt ot h eb a s i cc o n c e p t sa n dt h et w om o s t c o r n m o nt e e h o n o l o g i e sc o n c e r n i n gc o n t e n tf i l t e r i n g a n dw i t ha ne l a b o r a t i o no n c u r r e n tr e s e a r c hw i t h i nt h el i n eb o t ha th o m ea n da b r o a d ，i tl a y so u tt h es e t t i n ga g a i n s t w h i c ht h es y s t e md e v e l o p s t h e ni td e a l sw i t ht h ec o n c e p to fb t - d o w n l o a d i n ga n di t s i m p a c to nn e t w o r k , c a r r y i n go u tad e t a i l e da n a l y s i so ft h ep o s s i b i l i t yf o rb td a t a f i l t e r i n g t h ec h a p t e ra l s op u t sf o r w a r dt h ec o n c e p to fn e t w o r kp r o c e s s o ra n dd i s p l a y s t h en u n q e r o u sa d v a n t a g e si te n j o y sf o rt h ed e v e l o p i n go f c o n t e n tf i l t e r i n gs y s t e m c h a p t e r 2e x p o u d so nt h ec o r et e c h n o l o g i e sa n dh a r d w a r e f o rt h ed e v e l o p i n g p r o c e s s ，i n c l u d i n gt h eh a r d w a r ea r c h i t e c t u r eo fi n t e li x p 2 4 0 0n e t w o r kp r o c e s s o r , t h e b o a r ds t r u c t u r ea n dd e v e l o p i n ge n v i r o n m e n to fr a d i s y se n p 一2 6 1 1 d e v e l o p i n gb o a r d a n di x p - r e l a t e dt e c h n o l o g i e s ( p r o g r a m m a b i l i t ya n dd e v e l o p i n ge n v i r o n m e n t ) c h a p t e r 3p r o v i d e st h ea r c h i t e c t u r eo fi x p 2 4 0 0 - b a s e dc o n t e n tf i l t e r i n gs y s t e m 1 t i n c o r p o r a t e sw i t h i nt h es y s t e mh a r d w a r ee n v i r o n m e n td e s i g n ，s o f t w a r em i c r o b l o c k d e s i g na n di t sf u n c t i o n a lc l a s s i f i c i a t i o n ，s y s t e mr e s o u r c e sd i s t r i b u t i o na sw e l la sk e y d a t as t r u c t u r e ，c o r ec o m p o n e n td e s i g ne t c c h a p t e r 4e x p a t i a t e so nt h ei m p l e m e n t a t i o no ft h ei n s y s t e ms o r w a r em i c r o b l o c k f r o ms u c ha s p e c t sa sm i c r o b l o c kf u n c t i o no v e r v i e w , d a t as t r u c t u r ea n da l g o r i t h m ， m i c r o b l o c kd e s i g na n dd a t af l o w c h a p t e r 5 e v a l u a t e st h es y s t e mf r o mt h ef o l l o w i n gt w oa s p e c t s ：s i m u l a t i o n e n v i r o n m e n ta n dh a r d w a r ee n v i r o n m e n t c h a p t e r 6d r a w sac o n c l u s i o n o ft h ep r e s e n tp a p e rw i t ha ne x p e c t i o nf o rt h e r e s e a r c hw o r kt of o l l o w k e y w o r d ：c o n t e n tf i l t e r i n g ；i x p 2 4 0 0 ；n e t w o r kp r o c e s s o r ；n e t w o r ks e c u r i t y ； i p v 4f o r w a r d i n g 浙江大学颂士学位论文 1 1 背景 第一章概论 互联网技术的飞速发展和不断完善，正在对社会生活的各个领域产生越来越 重要的影响。在高度信息化的今天，互联网已经成为人们生活中必不可缺的一部 分，人们可以快速便捷的在互联网上获得各种所需的信息。但是，正是由于互连 网的这种便捷，通过e m a i l 和w e b 传播的病毒以及色情、反动的不良内容等等 正在阻碍着人们获得和处理信息的效率，b t 方式的点对点下载也在一步步吞噬 网络带宽，网络安全和质量正在受到越来越大的挑战。为了应对网络安全的这些 挑战内容过滤技术应运雨生。 内容过滤技术对应用层协议的内容信息进行分析，并根据预设的过滤条件， 对信息的下一步传送进行控制。内容过滤技术最重要的是要对不良信息的反应迅 速，随着千兆以太网的普及，网络速度的不断提高，对于内容过滤技术和内容过 滤系统的性能提出了更高的要求。 由于网络处理器在网络数据处理方面的明显优势，它已经成为高速网络设备 支持业务管理、安全与网络监控、q o s 等网络功能必不可少的元件。因此，网络 处理器与内容过滤技术的将是一个完美的结合。 1 2 内容过滤概述 1 2 1 网络内容过滤系统概念和几种基本类型 形形色色的网络内容垃圾随着互联网的迅速普及已经开始侵入我们的生活， 现在互联网上大量的不良信息，比如垃圾邮件、病毒邮件、泄密邮件、无节制的 网络下载和网络聊天等问题，己经影响到人们的同常生活和工作，对社会治安和 稳定也有一定的影响。为了对互联网取其精华、去其糟粕，种新的技术内 容过滤应运而生。 对于互联网内容带来的负面问题，我们必须采取适当的技术措旌，对其进行 过滤，这样既可阻止不良信息对人们的生活和工作的影响，同时，通过规范互联 网用户的卜m 行为合理利片j 例络资源，减少病毒对网络的侵害，这就是内容过 浙江夫学颀 学位论文 滤技术的根本内涵。 一般来说，内容过滤技术包括名单过滤技术、关键词过滤技术、图像过滤技 术、模板过滤技术和智能过滤技术等，如果再细致分析，现阶段的内容过滤技术 主要分为基于网关和基于代理两种。 1 2 i 1 2 1 1 基于网关的内容过滤 一般嵌入专门的安全网关或者防火墙等网关设备中，此种网络设备一般通过 静态和动态内容过滤来进行。所谓静态过滤，就是可自定义可信站点和禁止站点。 比如，静态过滤可以阻塞对“交友社区”的访问，以拒绝访问“交友社区”的网 站内容。动态过滤也很重要，因为i n t e m e t 和w e b 都不是静态的。相反，新的 网页正以每年数以亿计的速度添加到w e b ，每分钟都有新的站点和页面出现。此 外，w e b 页也不是一个单一的实体，而是由众多独立的组件组成，每个组件都 有它们自己的u r l ，浏览器可以单独和独立地获取它们。其中每个组件都可以 通过其u r l 直接访问，因此也可能是过滤对象。动态内容过滤可以通过设定 u r l 中的关键词来过滤含此关键词的站点以确定用户是否应获取某一请求的 g i r l ，即便该u r l 没有明确定义。比如，动态过滤可以拒绝访问u r l 中有p o r e ” 字样的所有站点。理想的防火墙不仅应支持静态内容过滤，还应能让您选择一个 可以自行决定阻塞的广泛类别列表，如拍卖、聊天、就业搜索、游戏、历史、玩 笑、新闻、股票等等。这种功能可使办公室管理员和父母允许或阻塞对任何站点 类别的访问。而且，由于i n t e r n e t 始终都在变化，因此应当定期用被归入站点类 型的新u r l 更新类别列表。1 1 6 j 1 2 。1 2 基于代理的内容过滤 基于代理的内容过滤主要以专用的硬件代理上网设备实现，一般是将设备配 置成代理缓存服务器，并部署在企业用户和i n t e m e t 之间，这些优化的专用设备 就能够智能地管理用户的内容请求。当用户请求一个u r l 时，请求首先到达设 备相应端口安全专用设备进行认i i e ；f n 授权。如果请求的页面中的对象已经在该专 用设备的本地缓存中，它们就从本地直接访问给用户，如果不在本地缓存中，安 全专用设备就作为用户的代理，通过i n t e m e t 和源服务器通信。当对象从源服务 器返回时，就保存在本地缓存中以为后续的访问请求服务，同时传送一个拷贝给 访问的用户。整个过程被全程j 1 矗控，并作记录，供访问报告统训和为企业甜划提 浙江人学颂l 学位论文 供依据。 1 6 1 由于目前网络的广泛应用，对内容过滤产品的需求也越来越大，在这方面的 研究也越来越深入，下面就让我们来看看国内外目前的研究现状以及发展趋势。 1 2 2 国内外研究现状以及发展趋势 1 2 2 1 国内外研究现状 由于目前市场对内容过滤产品的需求越来越大，因此，许多公司都参与了该 项技术的研发并有了许多非常不错的产品，c s i r o 机构对目前一些内容过滤产 品进行了综合对比以及评价1 3 】。目前的内容过滤产品主要能够提供以下功能： 非生产性网站类型选择性过滤：禁止在工作时间从事与工作无关的事情， 屏闭诸如游戏、宽带电影、广告链、娱乐、股票等。 过滤方式：理地址过滤；关键字段过滤：u r l 过滤；分不同用户和时间 段过滤。 过滤a c t i v ex 、c o o k i e s 、j a v a 等程序文件。 支持第三方的不良网站清单过滤。 强大的管理控制工具，提供详尽的网络和系统运行状态、日志记录、网 站访问记录。提供图形、文本等多种记录方式。能够追溯到每台机器的 上网访问网站记录和痕迹。 内嵌先进的第三代防火墙技术。 支持d d n 、x d s l 、c a b l em o d e m 等多种上网方式。 支持n a t 网络地址转换，端口映射。 虽然目前的产品已经能够在一定程度上满足人们对于内容过滤的要求，但 是，由于目前的产品缺乏智能性，比如对于“乳房”一词，有可能其后面跟着的 是一个医学名词一一“乳房癌”，但是一般的系统都会将这个内容视为色情网站 的内容而过滤掉，从而使用户得不到其相关信息，又如，目前对于图像内容的过 滤主要是根据图像的色彩以及模型进行相关过滤，若为一个医学人体图片则很可 能被相关软件视为色情图片而过滤掉。总之，现在的内容过滤产品使用黑名单、 关键词和简单模板相结合的判断方式对不良内容进行过滤，但出于互联网上的内 容变化迅速，这就要求名单和模板能够及刚地更新，凶此产 l 技术先进性的一一个 浙江人学硕b 出位论文 非常重要的指标就是生产商提供的黑名单厍大小和过滤的有效比率。 1 2 2 2 发展趋势 目前网络内容过滤技术的发展趋势主要是以下几个方面： ( 1 ) 对网络内容如文字或图像等进行更加智能性的过滤。 ( 2 ) 对内容过滤产品的平台无关性提出更高的要求。 ( 3 ) 由于目前网络带宽和流量越柬越大，因此，要真正实现干兆网络下的 内容过滤，应该将内容过滤技术和网络处理器的开发有机的结合在一块，这样才 能保证有足够的速度应对目前的网络流量。 1 2 3b t 数据流的过滤 1 2 3 1b t 下载原理简介 b t 全名为b i t t o r r e n t ，是一种多点共享协议和软件，由美国加州一名叫b r a i n c o h e n 的程序员所开发。b t 是一个p 2 p 下载软件，它克服了传统下载方式的局 限性，具有下载的人越多，文件下载速度就越快的特点。它的出现曾一度使网民 们欣喜若狂甚至号称“开创了互联网的新时代”。 一般来讲，下载是把文件阳服务器端传送到客户端，例如f t p ，h t t p 等等。 工作原理如图1 - 1 。u t i 图1 一j 传统f t p ，h t t p 分享流程图 这种下载方式的局限性在于，随着用户的增多，对带宽的要求也随之增多， 眼务器的位裁电随之增加。k l j l ，很多的服务器会都有用户人数的限制，下载述 浙江大学硕士学位论文 度的限制，这样就给用户造成了诸多的不便。与之相反，b t 下载的特点就在于 下载用户越多，每个用户下载的速度也越快，因为b t 用的是一种传销的方式来 达到共享的，工作原理如图1 2 。【1 7 图 - 2 b t 工作原理 b t 首先把个文件分成了多个部分，甲用户在服务器随机下载了第n 个部 分，乙用户在服务器随机下载了第m 个部分，这样甲用户的b t 就会根据情况 到乙用户的电脑上去下载乙用户已经下载好的第m 部分，而乙用户的s t 就会 根据情况去到甲用户的电脑上去下载甲用户已经下载好的n 部分，这样就不但 减轻了服务器端的负荷，也加快了甲、乙用户的下载速度，效率也提高了，同时 也减少了地域之间的限制。比如说丙用户要连到服务器去下载的话速度可能只有 每秒几k ，但是如果到甲用户和乙用户的电脑上去下载也许就会快得多了。所以 说下载的人越多，大家下载的速度也就越快，b t 的优越性就在这里。 1 2 3 2b t 下载对校园网的危害 b t 的这种优越性使得b t 迅速在校园网里面流行起来，入们在享受8 t 高速 下载的同时却对网络运营商和学校教育机构网络带来了巨大的冲击。b t 下载占 用大量的网络带宽，导致网络拥塞。据某高校统计，其校园网内部网络流量的 8 0 以上都被b t 下载所占用。b t 下载的迅捷还给传递一些不良的信息提供了 便利，对网络的安全造成了影响，也使网络的维护负担大大加重，因此，我们必 须对b t 下载进行一定的限制。我们要认识到的是网络并不是某个用户的网络， 而是大家的网络。网络的繁体可崩性是网络设计的酋要因桑。如果对删络的用户 浙江大学颂十学位论文 不加任何限制，任其对网络过度使用，后果只能是由于其中某个或某几个用户造 成全体网络的瘫痪。目前，各大高校和宽带网络运营商都已经熬闭了b t 端口。 但是，这种方式的效果却并不是那么理想。下面我们就对b t 限流的解决方案进 行探讨。 1 2 3 3b t 限流的解决方案 ( 1 ) 利用客户端与客户端连接的端口号 b t 协议提供了默认的监听端口范围( 6 8 8 1 6 8 8 9 ) ，最直观的方法是我们对 这个范围的所有端口限流以达到对b t 进行限流的目的。一些运营商曾采用这种 方法来封杀b t ，如长城宽带和重庆两通。这种方法在前期一定程度上是可用的， 但是一旦改变了这个监听端口范围，这种方法就失效了因为你不可能将所有的 端口都封掉。目前b t 可以通过一定的技术手段来改变这个监听端口范围，而且 不同的b t 的客户所采用的端口范围及实现方式也各不相同( 见表l - 1 ) 。 b t 客户端 端口范围 贪婪a b c训以手1 1 设置 b i t c o m e l 没有公丌 b i t l b r r e a tp l u s 可以手工设置 【b i t t o t r e n t 6 8 8 l 6 8 8 9 1 比特精灵b i tg p i r i t1 6 8 8 l 表1 - 1 各种b t 客户端所用端口列表 所以，采用这种方来对b t 进行限流效果不是很好。 ( 2 ) 对协议进行分析 对所有的i p 包都进行检查，如果口包的数据区包含b t 对等协议的特征 “b i t t o r r e n tp r o t o c o l ”( b t 协议规定) ，那么可以标识这是一个b t 流，标识了 以后，就可以采取相应的措旅对它进行限流。以下是通过对几种b t 客户端的报 文分柝来验 正上述方案。 客户端i 贪婪a b c 浙江大学硕士学位论文 圈1 3 贪婪a b c 客户端b t 连接数据包图 由图1 3 可以看贪婪a b c 建立连接的过程是： ( 1 ) t c p 的三次握手。 ( 2 ) t c p 三次握手成功后，紧接着是b t 对等协议的二次握手。 ( 3 ) b t 对等协议二次握手成功后，就开始进行数据的传输。 由图分析可知： ( 1 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是一样的，并且 以后的数据传输用的端口号也和前两者是一样的。 ( 2 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 一对应图1 3 中的“1 3 ( 十六进制) ”； b 一对应图1 - 3 中的“4 2 ( 十六迸制) ”，以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应图l 一3 中的八个“0 0 ( 十六进制) ”； i n f o 信息一对应的报文有2 0 个字节长： 总长为4 8 字节。 客户端：b i t t o r r e n tp l u s12 浙江大学硕士学位论文 图1 4b i t t o r r e n tp l u s12 客户端b t 连接数据包图 由图1 - 4 可以看b i t t o r r e n t p l u s 12 建立连接的过程是： ( 1 ) t c p 的三次握手。 ( 2 ) t c p 三次握手成功后，紧接着是b t 对等协议的二次握手。 ( 3 ) b t 对等协议二次握手成功后，就开始进行数据的传输。 由图分析可知： ( 1 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是一样的，并且 以后的数据传输用的端口号也和前两者是一样的。 ( 2 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 一对应图1 4 中的“1 3 ( 十六进制) ”； b 一对应图1 - 4 中的“4 2 ( 十六进制) ”以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应图1 4 中的八个“0 0 ( 十六进制) ”； i n f o 信息一对应的报文有2 0 个字节长： p e e ri d - - 2 0 个字节； 总长为6 8 字节。 客户端：b i t c o m e t 浙江大学硕士学位论文 图1 - 5b i t c o m e t 客户端b t 连接数据包图 由图1 5 可以看b i t t o r r e n tp l u s12 建立连接的过程是： ( 1 ) t c p 的三次握手。 ( 2 ) t c p 三次握手成功后，紧接着是b t 对等协议的二次握手。 ( 3 ) b t 对等协议二次握手成功后，就开始进行数据的传输。 由图分析可知： ( 1 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是一样的，并且 以后的数据传输用的端口号也和前两者是一样的。 ( 2 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 一对应图1 - 5 中的“1 3 ( 十六进制) ”； b 一对应图1 5 中的“4 2 ( 十六进制) ”以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应图1 5 中的八个“0 0 ( 十六进制) ” i n f o 信息一对应的报文有2 0 个字节长； p e e ri d - - 2 0 个字节； 总长为6 8 字节。 总结： 浙江大学硕l 学位论文 ( 1 ) 三个不同客户端的报文验证了b t 对等协议的连接过程是： t c p 的三次握手。 t c p 三次握手成功后，紧接着是b t 对等协议的二次握手。 - b f 对等协议二次握手成功届，就开始进行数据的传输。 ( 2 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是一样的，并且 以后得数据传输用的端口号也和前两者是一样的。 ( 3 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 一对应相关图中的“1 3 ( 十六进制) ”； b 一对应相关图中的“4 2 ( 十六迸制) ”以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应相关图中的八个“0 0 ( 十六进制) ”； i n f o 信息一对应的报文有2 0 个字节长； 所以，只要对网络中的数据包进行内容检查，将含有b t 的特征的数据包进 行过滤，就可以破坏b t 对等连接的建立，b t 下载也就无法进行，从而达到了 对b t 数据流进行过滤的目的。这也正是本文所采用的方案。 1 3 网络处理器概述 1 3 1 网络处理器产生的背景 网络发展到今天，很大一部分物理层上的网络处理功能仍需要通用处理器 g p p 编程加以实现。在最近几年里，随着因特网两络规模呈指数级增长，这种“超 摩尔”定律的发展对现有网络技术的承载力来说实在是一场浩劫! 要处理因特网 流量的爆炸性增长，必须采用新技术与新方法。人们首先求助的是采用专用硬件 实现各种二层或三层的处理的a s i c 解决方案，但随着业务承载协议标准的快速 变化和更高层应用的更改，这种解决方案在扩展性和灵活性方面的缺陷就暴露了 出来。于是定制的、现场可编程的，具有加速面市时间和具有丰富网络处理应用 的需求就显得十分迫切，最终导致了网络处理器的产生。i ” 1 3 2 什么是网络处理器 网络处理器( n e t w o r kp m c e s s o r ，n p ) 是为网络应用领域设汁的专用指令处 浙江 学碱i 学位论丘 ( 1 ) 三个不同客户端的报文验证了b t 对等协议的连接过程是： t c p 的三次握手， 一t c p 三次握手成功后，紧接着是b t 对等i j 办议的二次握手。 - b t 对等协议二次握手成功后，就开始进行数据的传输。 ( 2 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是样的，并且 以后得数据传输用的端口号也和前两者是一样的。 ( 3 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 - - 对应相关国中的“1 3 ：十六进制) ”j 。b 对应相关图中的“4 2 ( 十六迸制) ”以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应相关图中的八个“0 0 ( 十六进制) ”； i n f o 信息一对应的报文有2 0 个字节长： 所以，只要对网络中的数据包进行内容检查，将含有b t 的特征的数据包进 行过滤，就可以破坏b t 对等连接的建立，b t 下载也就无法进行，从而达到了 对b t 数据流进行过滤的目的。这也正是本文所采用的方案。 1 3 网络处理器概述 1 3 1 网络处理器产生的背景 网络发展到今天，很大一部分物理层上的网络处理功能仍需要通用处理器 g p p 编程加以实现。在最近几年罩，随着因特网网络规模呈指数级增长，这种“超 摩尔”定律的发展对现有网络技术的承载力来说实在是一场浩劫! 要处理因特网 流量的爆炸性增长，必须采用新技术与新方法。人们首先求助的是采用专用硬件 实现各种二层或三层的处理的a s i c 解决方案，但随着业务承载协议标准的快速 变化和更高层应用的更改，这种解决方案在扩展性和灵活性方面的缺陷就暴露了 出来。于是定制的、现场可编程的、具有加速面市时间和具有丰富网络处理应用 的需求就显得十分迫切，最终导致了网络处理器的产生。l j 1 3 2 什么是网络处理器 网络处理器( n e l w o r kp r o c e s s o r ，n p ) 是为网络应用领域醴计的专用辑令处 网络处理器( n e t w o r kp r o c e s s o r ，n p ) 是为网络应用领域醴计的专用辑令处 浙江大学硕l 学位论文 ( 1 ) 三个不同客户端的报文验证了b t 对等协议的连接过程是： t c p 的三次握手。 t c p 三次握手成功后，紧接着是b t 对等协议的二次握手。 - b f 对等协议二次握手成功届，就开始进行数据的传输。 ( 2 ) t c p 三次握手与b t 对等协议二次握手用的端口号都是一样的，并且 以后得数据传输用的端口号也和前两者是一样的。 ( 3 ) t c p 头之后的b t 对等协议的报文格式对应如下： 1 9 一对应相关图中的“1 3 ( 十六进制) ”； b 一对应相关图中的“4 2 ( 十六迸制) ”以后对应“b i t t o r r e n t p r o t o c o l ”； 八个保留字节一对应相关图中的八个“0 0 ( 十六进制) ”； i n f o 信息一对应的报文有2 0 个字节长； 所以，只要对网络中的数据包进行内容检查，将含有b t 的特征的数据包进 行过滤，就可以破坏b t 对等连接的建立，b t 下载也就无法进行，从而达到了 对b t 数据流进行过滤的目的。这也正是本文所采用的方案。 1 3 网络处理器概述 1 3 1 网络处理器产生的背景 网络发展到今天，很大一部分物理层上的网络处理功能仍需要通用处理器 g p p 编程加以实现。在最近几年里，随着因特网两络规模呈指数级增长，这种“超 摩尔”定律的发展对现有网络技术的承载力来说实在是一场浩劫! 要处理因特网 流量的爆炸性增长，必须采用新技术与新方法。人们首先求助的是采用专用硬件 实现各种二层或三层的处理的a s i c 解决方案，但随着业务承载协议标准的快速 变化和更高层应用的更改，这种解决方案在扩展性和灵活性方面的缺陷就暴露了 出来。于是定制的、现场可编程的，具有加速面市时间和具有丰富网络处理应用 的需求就显得十分迫切，最终导致了网络处理器的产生。i ” 1 3 2 什么是网络处理器 网络处理器( n e t w o r kp m c e s s o r ，n p ) 是为网络应用领域设汁的专用指令处 浙江大学硕士学位论文 理器a s i p ，a s i p 具有自己的结构特征和专门的电路设计以适用于网络分组处理， 同时它又是一块软件可编程的芯片。它具有如下功能： 1 a l 一它具有软件可编程能力； 它是对分组处理流程的优化。以满足线速处理要求： 它可以接管很多原来主c p u 完成的控制和管理功能。 从功能上讲，网络处理器主要是完成数据处理和转发任务。例如，对数据分 段或重组，对数据帧进行识别，实施流量控制，保证服务质量，进行报文过滤等。 网络处理器可以广泛的应用在因特网的核心层、边沿层和局域网企业网中。 在核心网中，网络处理器可以用于实现核心路由器；在边沿网中，它可以用于i s p 接入设备和数据中心，提供对新型业务和网络汇接的支持；在局域网中，则可以 用于用户管理和接入控制，实施安全与网络监控，以及i n t e r n e t 防火墙等。【i 5 1 1 3 3 网络处理器的特点 网络处理器通过良好的体系结构设计和专门针对网络处理优化的都件，为上 层提供了一个可编程控制的环境，可以很好地解决硬件加速和软件可扩展的折衷 问题。它一般具有以下的功能部件： 片内处理器 网络处理器内部含多个处理器，这些片内处理器按任务分工可分为核心和转 发引擎两种类型。前者用于系统维护管理以及低速数据流的处理，后者用于快速 数据处理，提供分类、调度等服务功能。转发引擎是网络处理器技术的核心，正 是它实现了性能与灵活性的综合。转发引擎可以包含多个硬件线程，每个线程都 有一套专门的硬件来存放程序运行的上下文，可获得线程切换的零开销。 - 高速u o 接口单元 网络处理器有丰富的i 0 接口单元，包括物理链路接口、交换接口、存储器 接口、以及与其它外部处理单元的接口，使得它能够灵活应用在各种硬件设计中。 一内部高速总线 以上多组处理器和i o 接口单元通过内部高速总线连接在一起，组成优化的 数据通路结构，从而提供很强的硬件并行处理能力。 存储器 浙江大学硕士学位论文 存储器一般包含多种不同性能的存储结构，以适应不同的应用目的。例如 f l a s h 用于存放硬件启动引导程序；高速静态随机存储器( s r a m ) 用于快速存 取的各种索引表、队列描述特等关键数据结构；大容量的s d r a m 或d d r s d r a m 作为数据缓冲区存放分组数据。 专用指令集 片内转发引擎一般具有专用的精简指令集，这些指令经过针对网络数据处理 的优化，例如数据读写、状态判断、堆栈操作、哈希查找等。 正是基于这种嵌入式多c p u 系统硬件结构，使得网络处理器具有以下特性： 可编程能力 网络处理器的本质在于其可编程性，它可以适用于多种接口，可以支持分组， 以太网帧，信元，m 流等多种数据类型。支持各种网络协议，支持对第二层至 第七层进行深入处理。利用网络处理器的可编程能力来支持多协议，可以极大地 缩短通信产品的开发时间，从而增强了其竞争能力。 强大的处理能力 网络处理器的体系结构不只是核心和转发引擎集成，它在不同级别实行了并 行处理。通过片内多处理器结构实现处理器级的并行，通过转发引擎硬件线程实 现线程级的并行，通过线程流水线实现指令级的并行，从而得到硬件结构提供的 最大处理性能。因此，具备了强大处理性能的网络处理器具备了线速处理的能力， 能够实现数据分组的高速处理及转发，避免节点设备成为瓶颈。 构建系统的灵活性 网络处理器集成了物理接口与交换接口之间应具备的全部功能。这为设备制 造商在设计产品时提供了巨大的灵活性和扩展性。同时由于网络处理器所采用的 软件实现方式，又提供了对设备不断进行升级的简便渠道。 广澜的应用领域 网络处理器可用于开发从第二层到第七层的各种网络服务和应用，例如交 换、路由、虚拟专用网、多协议标记交换、服务质量、计费、负载均衡、安全和 监测以及第三代移动通信系统等。网络处理器能用于各种用户端、网络边缘接 入和网络核心骨干的设备，例如家电网络平台、入侵监测系统、内容过滤系统、 智能交换机、防火墙、企业路由器、核心路由器、远程访问服务器和w e b 交换 浙江大学硕士学位论文 机等。 1 4 本论文的组织 本论文的组织和内容安排为： 第一章概论。分析了系统的开发背景，对网络内容过滤技术的概念和目前 比较常见的两种内容过滤技术作了介绍，并对国内外内容过滤技术的研究现状和 发展趋势作了阐述。接着，对b t 下载的概念及其对网络的影响作了论述并对 b t 数据流过滤的可行性作了细致的分析。屉后，对网络处理器的概念和使用网 络处理器进行内容过滤系统的开发的优势作了阐述。 第二章相关技术介绍。对系统开发过程中所用到的关键技术和部件作了详 细阐述，包括i n t e li x p 2 4 0 0 网络处理器的硬件结构、r a d i s y se n p 一2 6 1 1 开发板的 结构和开发环境、i x p 的可编程特性和开发环境等。 第三章基于i x p 2 4 0 0 的内容过滤系统总体结构设计。给出了基于i x p 2 4 0 0 的内容过滤系统的总体结构设计，包括系统硬件环境的搭建、软件模块的设计与 功能划分、系统资源分配与重要数据结构、c o r ec o m p o n e n t 的设计等。 第四章基于i x p 2 4 0 0 的内容过滤系统软件模块详细设计。从模块的功能概 述、数据结构和算法、模块设计和模块流程等方面详细阐述了系统中各个软件模 块的详细实现。 第五章，从模拟环境和硬件环境两个方面对系统的性能进行了评估。 第六章总结与展望。总结了本文的主要工作，并对以后的工作作了展望。 浙江大学硕士学位论文 第二章相关技术介绍 2 1i n t e li x p 2 4 0 0 网络处理器 2 1 1i x p 2 4 0 0 硬件结构 i n t e l 是世界上最大的微处理器厂商，在处理器领域具有无与伦比的技术优 势。i n t e li x p 2 4 0 0 网络处理器是i n t e t 的第二代网络处理器系列中的一种，它具 有完全可编程的特性，能灵活的应用于多种网络处理功能，和第一代网络处理器 相比，它能更好地满足网络处理的高速化、复杂化的需要。i x p 2 4 0 0 的硬件结构 框图如图2 - 1 所示n 图2 - 1i x p 2 4 0 0 硬件结构框图 2 1 1 1x s c a l e 核心 在i x p 2 4 0 0 芯片中有一个与a r m 有类似结构的r i s c 芯片，叫x s c a l e 核心， 它是整个p 芯片的控制核心，负责其他组件的初始化、控制和管理，具有效 率高、能耗小的特点。 x s c a l e 核心是i x p 芯片的管理控制单元，在芯片启动时它需要初始化其他部 件，在实现上，它有以下的功能和特点： 一 内存管理：x s c a l e 核心实现了内存管理单元结构，不仅提供了访问保护 浙江大学硕士学位论文 和虚拟存储管理的功能，而且支持指令存储缓存和数据存储缓存功能； _ 性能检测：x s c a l e 核心具有可控制的性能检测功能，可以监视多种事件 的发生，开发人员可以利用这些事件来衡量缓存的效率、查找系统瓶颈 和减少程序延迟等： _ 能源控制：x s e a l e 核心集成了能源和系统时钟管理的单元； _ d e b u g 功能：x s c a l e 核心包含了两个指令断点寄存器和一个t r a c e 缓冲 区协助实现开发时的d e b u g 功能。 对于开发者来讲，x s c a l e 核心的最重要的功能是它的可编程特性和与其他部 件的交互功能。可编程是网络处理器的主要特点，在i x p 2 4 0 0 芯片上，主要的 可编程部件是x s e a l e 核心和微引擎，而x s c a l e 核心处于较高的层次，负责处理 一些实现上比较复杂的信息操作以及可编程框架的总体管理。同时x s e a l e 核心 可以访问全部的存储器，与其他部件共享数据，或者控制专用部件( 如硬件加速 部件秘特殊结构单元) ，帮助开发者实现所需的功能。 2 1 1 2 微引擎 微引擎( m i c r o e n g i n e ) 是i x p 2 4 0 0 的核一t l , 部件，负责绝大部分的网络处理任 务。i x p 2 4 0 0 中有8 个m e ，分为两组：c l u s t e r 0 和c l u s t e r l 。微引擎内部包括 g p r s ( g e n e r a lp u r p o s er e g i s t e t s ) 、x f e rr e g ( t r a n s f e rr e g i s t e r ) 、n n r ( n e x t n e i g h b o rr e g i s t e r ) 、l o c a lm e m o r y 等存储单元，以及执行数据通道、c a m 、c r c u n i t 、b y t ea i g n e r 等指令执行单元，以及l o c a lc s r ( 微引擎内部的控制状态 寄存器) 等。 6 1 强大的指令执行单元，可快速访问内部存储单元，使得微引擎的数据处理功 能和性能得以大大地增强和提高。每个微引擎内部有8 个硬件线程，每个线程可 以共享微引擎地内部存储器资源，也可以专用单独地存储器资源。更重要地是， 通过在多个线程之间进行线程交换，可以将存储器地访问时延隐藏在指令执行周 期后面，充分发挥微引擎地m i t s 性能，这是i x p 2 4 0 0 与通用处理器地一个显著 区别，也是i x p 2 4 0 0 在网络处理方面优于通用处理器地关键因素之一。 微引擎由四大部分组成： 控制存储区 微引擎是完全可编程的，其工作模式可通过变成来决定。控制微引擎工作模 浙江大学硕士学位论文 式的程序存储在微引擎内部的控制存储区中。将