（计算机应用技术专业论文）基于linux内核扩展模块的p2p流量控制研究.pdf

湖北工业大学硕士学位论文 摘要 随着计算机技术尤其是网络技术的不断发展，越来越多的业务的处理都更加 依赖于网络，对网络带宽的要求也越来越高，但是网络上许多于业务无关的网络 流量却在吞噬着带宽，使正常的网络运行受到很大的影响。尤其是现在由于p 2 p 技术的快速发展，占用了大量带宽，从而导致很多业务因为带宽资源被占而无法 进行。 传统的p 2 p 流量检测和控制工具一般是通过源目的i p 地址、m a c 地址、 t c p u d p 端口等进行检测和控制，缺少对其应用层流量分析，但是现在很多的p 2 p 软件都使用了动态端口，或者是伪装成了h t t p 流量，利用传统的检测和控制就很 难对p 2 p 流量进行检测和控制。而在本文则中充分利用了l i n u x2 4 内核防火墙 框架n e t f i l t e r i p t a b l e s 的可扩展性，并结合1 i n u x 流量整行工具对p 2 p 流量进 行识别和控制，使网络资源能合理分配。 本文中作者提出了一种基于l i n u x 内核扩展模块的p 2 p 数据识别和控制的方 法，首先在网络上抓包，并且对常见的p 2 p 协议进行分析，通过l i n u x 系统防火 墙框架n e t f i l t e r 连接跟踪机制来跟踪网络上的数据包，并根据数据包的的特点 来判断这个包所属的连接类型。作者详细分析l i n u xn e t f i l t e r i p t a b l e s 框架并 通过p 2 p 协议分析的结果对其进行扩展，然后根据各种p 2 p 协议的应用层的特征 来对p 2 p 流量进行识别，然后在l i n u x 内核中设置一些过滤规则来管理p 2 p 的流 量。利用这种方法可是使得网络中的p 2 p 流量完全被丢弃，同时，l i n u x 的服务 质量的合理分配资源的p 2 p 网络的手段来限制使用带宽，可以使用网络性能得到 大幅度的提高。 本文开发的基于l i n u x 内核扩展模块的p 2 p 流量控制系统，主要采用的是对 i p t a b l e s 中表规则的设置，同时还结合了带宽管理中的队列规则。基于应用层的 特点来分析和识别各种p 2 p 流量，可以将一些网络管理员不想要的p 2 p 下载流量 完全禁止，也可以利用l i n u x 流量控制技术将p 2 p 下载的流量控制在一个保证网 络稳定运行的范围内。本文为网络管理者提供了一个很好的流量监控的解决方案。 关键词：p 2 p ，防火墙，包过滤，l i n u x ，n e t f i l t e r i p t a b l e s 湖北工业大学硕士学位论文 i ii a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dt h ei n t e m e tt e c h n o l o g y , m o r ea n dm o r ec r i t i c a la p p l i c a t i o n sd e p e n do nt h ei n t e r n e t m o r ea n dm o r er e q u e s t st o t h eb a n d w i d t h b u tm a n yi nt h eb u s i n e s sn e t w o r ko ft h en e t w o r kt r a f f i ch a sn o t h i n gt o d ob u ts w a l l o wt h eb a n d w i d t h ，s ot h a tn o r m a lo p e r a t i o no ft h en e t w o r kb eg r e a t l y a f f e c t e d i np a r t i c u l a r , w i t ht h er a p i dd e v e l o p m e n to fp 2 pt e c h n o l o g y , w h i c hi so c c u p y t h eb a n d w i d t hi tm a d em a n ya p p l i c a t i o n sc a l ln o tr u nb e c a u s eo ft h eb a n d w i d t hi s o c c u p i e d b u tt r a d i t i o n a lp 2 pt r a f f i cc o n t r o lt o o lt od e t e c ta n di su s u a l l yp r o v i d e dt h r o u 曲t h e s o u r c e d e s t i n a t i o ni pa d d r e s s ，m a ca d d r e s s ，t c p u d pp o r t ，e t c d e t e c t i o na n d c o n t r o l ，t h el a c ko fj t sa p p l i c a t i o n - l a y e rt r a f f i ca n a l y s i s ，b u tn o wm a n yo ft h ep 2 p s o f t w a r eu s e dd y n a m i cp o r t ，c a m o u f l a g eo rh t r pt r a f f i ch a sb e c o m e t h u s ，i ti sd i f f i c u l t t oi d e n t i f i c a t i o na n dc o n t r o lt h ep 2 pt r a f f i c so n l yu s et h et r a d i t i o n a lt r a f f i c sc o n t r o lt o o l s t h i sp a p e ru s et h ee x p a s i o nf e a t u r e so ft h el i n u xn e t f i l t e r l p t a b l e sf r a m e w o r k , a n d c o m b i n et h el i n u xp l a s t i ct o o l st oi d e n t i f i c a t i o na n dc o n t r o lt h ep 2 pt r a f f i c s t h e n e t w o r kr e s o u r c e sc o u l db ea l l e v i a t e d i nt h i sa r t i c l et h ea u t h o rp r e s e n t sal i n u xk e r n e l b a s e de x t e n s i o no fp 2 pd a t a i d e n t i f i c a t i o na n dc o n t r o lm e t h o d s ，f i r s to fa l lc a p t u r eo nt h en e t w o r k ，a n dp 2 pp r o t o c o l s c o m m o na n a l y s i sf r a m e w o r kf o rt h ea d o p t i o no fl i i l u xs y s t e m sf i r e w a l ln e t f i l t e r c o n n e c t i o nt r a c k i n gm e c h a n i s mt ot r a c kp a c k e t so nt h en e t w o r k ，a n di na c c o r d a n c ew i t h t h ec h a r a c t e r i s t i c so ft h ep a c k e tt od e t e r m i n et h ec o n n e c t i o nt y p ep a c k e tb e l o n g s a u t h o ro fad e t a i l e da n a l y s i so fl i n u xn e t f i l t e r i p t a b l e sf r a m e w o r ka n dt h ea d o p t i o no f p 2 pp r o t o c o la n a l y s i so ft h er e s u l t so fi t se x p a n s i o n a n dt h e nb a s e do nav a r i e t yo fp 2 p a p p l i c a t i o nl a y e rp r o t o c o lc h a r a c t e r i s t i c st oi d e n t i f yp 2 pt r a f f i c a n dt h e ns e tu pi nt h e l i n u xk e r n e lan u m b e ro ff i l t e r i n gr u l e st om a n a g ep 2 pt r a f f i c h o w e v e r ，t h eu s eo ft h i s m e t h o dm a k e st h ep 2 pn e t w o r kt r a f f i cc o m p l e t e l ya b a n d o n e d ，a tt h es a m et i m e ，l i n u x s q u a l i t yo fs e r v i c eo far a t i o n a la l l o c a t i o no fr e s o u r c e so fp 2 pn e t w o r k s b a n d w i d t h r e s t r i c t i o n so nt h eu s eo fm e a n s ，y o uc a nu s et h en e t w o r kp e r f o r m a n c eh a sb e e n s i g n i f i c a n t l yi m p r o v e d i nt h i sp a p e r ，t h ed e v e l o p m e n to fl i n u xk e r n e l b a s e de x t e n s i o no ft h ep 2 pt r a f f i c c o n t r o ls y s t e m ，m a i n l yu s e di nt h er u l e sf o rl p t a b l e st a b l es e t t i n g s ，b u ta l s oa c o m b i n a t i o no fb a n d w i d t hm a n a g e m e n tr u l e si nt h eq u e u e b a s e do nt h ec h a r a c t e r i s t i c s o ft h ea p p l i c a t i o nl a y e rt oa n a l y z ea n di d e n t i f yav a r i e t yo fp 2 pt r 缸五c s o m en e t w o r k a d m i n i s t r a t o r sm a yn o tw a n tat o t a lb a no nt r a f f i cp 2 pd o w n l o a d y o uc a nu s e t e c h n o l o g yt ol i n u xt r a f f i cc o n t r o lt r a f f i cc o n t r o lp 2 pd o w n l o a dn e t w o r ki nas t a b l e o p e r a t i o no ft h es c o p eo fi n s i d e i nt h i sp a p e r 。t h en e t w o r km a n a g e rp r o v i d e sa l l e x c e l l e n ts o l u t i o nf o rt r a f f i cm o n i t o r i n g k e y w o r d s ：p 2 p , f i r e w a l l ，p a c k e tf l t e r i n g ，l i n u x ，n e t f i l t e r i p t a b l e s 湖咖j 堂大謦 学位论文原创性声明和使用授权说跚 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工 作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本声明的法律结果由本人承担。 学位论文作者始罗弘 日期- 叫年；月? 占日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者鲐罗弛 嗍：呻期炯 指导教师签名：“淑 日期旁厂月形日 湖北工业大学硕士学位论文 1 1p 2 p 概述 1 1 1p 2 p 的定义 第1 章引言 p 2 p ( p e e rt op e e r ) 是一种比较新的网络技术，被称为一种“点对点”的对 等网络技术。在传统的网络结构当中采用的是客户端服务器( c s ) 模型，在这种 模型中有一个中心服务器，主要用来提供服务，网络拓扑中的所有网络节点在获 取服务的时候都必须要通过这个中心服务器来获取服务。而在p 2 p 的网络结构中 取消了传统意义上中央服务器节点，每个节点在网络中既可以充当服务器，又可 以充当客户端，也就是说它们既可以像传统的服务器一样提供服务，也可以像普 通的节点一样请求服务。所有网络中的节点都是处于一个对等的位置，每个网络 节点在p 2 p 网络中都称为一个对等点( p e e r ) u 1 。p 2 p 网络的节点之间可以直接交 换资源或者是服务而不必通过传统网络中的服务器，p 2 p 网络模型的扩展性非常 好。p 2 p 网络模型的出现为网络的发展以及网络上一些带宽需求较高的服务提供了 保障。 1 1 2p 2 p 的发展史 p 2 p 技术的出现已经有很长一段时间了，在最早的时候出现的u s e n e t 咄1 可以说 就是p 2 p 技术的雏形，但在当时由于网络等条件的限制p 2 p 还不能广泛应用，直 到1 9 9 9 年n a p s t e r u 的出现才能算p 2 p 真正的开始在网络上流行。一种技术在互 联网上被广泛应用必须具备互联网上现有设备的支持和网络用户的强烈需求这两 个条件。随着个人电脑的性能越来越高，加上网络带宽也随着网络技术的发展再 不断加大，使得p 2 p 应用的条件足够成熟h 。 随着1 9 9 8 年一款名为n a p s t e r 的程序的诞生并得到广泛应用，令网络上无数 的音乐爱好者感受到了前所未有的速度。此后网络上的p 2 p 流量就在不断的增加， 据一些权威的统计哺1 ，发现p 2 p 流量从n a p s t e r 软件开始流行之后就不停的在上升， 并且随着一些诸如b t 等下载工具的不断出现，p 2 p 流量在网络上所占的比重也越 来越重。而且随着计算机和网络技术的不断发展，p 2 p 流量在网络上所占据的比重 还将越来越大。 湖北工业大学匝士_ 学位论文 1 1 3p 2 p 的特点 p 2 p 网络模型与其它传统的网络模型相比具有以下特点： ( 1 ) 分散化 p 2 p 网络中由于没有传统意义上的服务器对网络上的资源集中进行管理，网络 上的资源和服务都是分布在各个节点上的。虽然说一些索引和查找信息还是必须 有中心服务器的参与，但是节点之间进行信息的交换是不必通过节点而是在节点 之间直接进行的。这样就降低了对集中式服务器的资源和性能要求，避免了由于 服务器的介入而引起的瓶颈。 ( 2 ) 可扩展性 在传统的客户端朋艮务器架构中，由于服务器在整个网络中所起到的作用非常 重要，服务器上的资源限制了系统能容纳的用户数量和提供服务的能力，于是需 要提高服务器的性能以及加大网络带宽，甚至会使用到集群等技术来保证服务器 端的性能。在折中结构下，服务器端的大量开销限制了系统规模的扩展。 随着网络中用户的不断增加，对服务的需求也随之在不断加大，整个系统的 资源和服务能力也应该相应的加大，才能使用户的需求得到满足。由于在混合的 p 2 p 结构中，没有一个传统的服务器端，所以大大减少了对服务器的依赖，可以方 便的连接到各个用户，大部分的处理都在节点之间进行，整个系统是基本上不存 在瓶颈，所以有很大的扩展空间。 ( 3 ) 健壮性 由于传统的网络架构采用的是客户端月艮务器模型，中心服务器在折中结构中 起的作用非常的关键，但是由于网络上总是会出现一些异常的情况，例如网络中 断、网络拥塞、节点失效等等，这些异常情况不可避免的为网络的正常运行带来 一些问题，在很大程度上影响到网络的稳定性和持续性，一旦中心服务器出现异 常给用户带来了很大的不便。 而在p 2 p 架构中是没有传统意义上的中心服务器的，各个节点在充当客户端 的同时也充当着服务器的角色，当其中一个或者几个节点遭到破坏的时候对其它 节点的影响是非常小的，当其中一个节点出现问题是p 2 p 网络就会自己调整其网 络拓扑结构，使得网络能够正常运行。 ( 4 ) 隐私性 随着网络技术的不断发展，网络上的隐私问题现在越来越受到人们的关注， 如今在网络上要获取别人的隐私也变的越来越容易。网络上的攻击者通过对网络 用户的流量特征的监控，获取i p 地址，而且现在一些跟踪软件可以非常容易的就 2 湖北5 - - 业大学硕士学位论文 截取到用户的个人信息。 在p 2 p 网络中，由于没有集中的服务器，信息的传输是直接经过节点而不必 经过中心服务器的，这样就是得用户的信息被跟踪和截取的可能性大大降低。在 现在的网络中，大多数是通过中继转发的技术来将通信的参与者隐藏在网络实体 当中的，这一技术对中继节点的依赖性较强。在p 2 p 架构的网络中，所有的节点 都可以提供中继转发功能，使得通信机制的可靠性和灵活性大大的提高，也能够 很好的保护用户的隐私。 ( 5 ) 高性能 随着计算机技术的不断发展，性能越来越受到重视，无论是个人计算机的硬 件和软件的性能还是网络的性能都在高速的增长。现在的互联网中普通用户的节 点接如到网络中后，仅仅只充当了客户端，也就是说只是做了一个消费者，而不 具备一个提供信息的功能，这样对于这些游离于互联网的边缘的边际节点来说， 确实是一种极大的浪费。 p 2 p 架构的网络可以将存储信息和任务都分布到这些边际节点上，充分有效的 利用网络中这些所谓的普通节点，利用这些普通节点闲置节点的存储能力和计算 能力达到海量存储和快速计算的目的，这样做也恰恰符合前高性能计算机中普遍 采用的分布式计算的思想。 1 2 国内外研究现状 目前，国内对于p 2 p 技术的研究和应用非常多，但是对于p 2 p 的流量识别和 控制方面的研究却非常之少，尤其是在p 2 p 流量的控制方面的文章几乎很难找到。 现在可以在网上找到一些p 2 p 流量监控方面的软件。国内一些网络设备厂商也推 出了这方面的产品。例如华为的s e c p a t h1 0 0 0 f 防火墙和e u d e m o n 5 0 0 、1 0 0 0 防火 墙、c a p t e c h 的网络管理软件一网络慧眼，以及畅讯通信的产品q q s g 。这些产品 采用的主要技术都是深度数据包检测技术。 国外大多采用深度检测技术来发现p 2 p 流量，从而控制p 2 p 流量，或是使用缓 存技术来实现对p 2 p 流量的控制。国外也有一些关于这方面的产品。例如c i s c o 公司p i xf i r e w a l l ，c a c h e l o g i c 公司p 2 p 流量管理解决方案。 1 3 课题来源、背景及研究意义 本课题来源于湖北省自然科学基金项目“基于深度扫描的对等网络监控机制 研究( 编号：2 0 0 8 c d b 3 4 2 ) 和“基于对等网络环境下的信任构建和评估 ( 编号 3 湖北工业大学硕士学位论文 2 0 0 8 c d z 0 0 3 ) 及湖北省教育厅重点项目“基于d e e p s c a n 的p 2 p 网络监控机制 研究 ( 编号：d 2 0 0 8 1 4 0 5 ) 和“基于p 2 p 的网络信任机制研究 ( 编号0 2 0 0 8 1 4 0 2 ) 。 网络技术在中国的不断发展为p 2 p 的应用和发展创造了条件，p 2 p 与传统的 网络结构是有很大差异的，传统的网络架构都是使用的服务器客户机构的主从网 络模型，而p 2 p 技术用的是一种对等网络，也就是说网络中的所有节点的地位都 是一样的，p 2 p 技术已经越来越成熟。 p 2 p 技术已经在网络中普遍的应用并还在不断的发展，p 2 p 技术的应用在让用 户体验到方便的同时也让网络管理者感到十分为难，因为这种技术在理论上会无 止境的消耗网络带宽，会使原本运行稳定的网络变得越来越拥塞，并且使网络的 运营成本大大的增加。 开放性互联网使得大量的互联网增值业务的开发和部署效率提高，从2 0 0 2 年 b i t t o r r e n t l a l 技术产生以来，成为了互联网上高效、便捷的下载工具，目前，根据 主流运营商的统计，大约5 0 - - 7 0 的带宽被p 2 p 流量占据阳1 0 儿1 1 1 。 由于在p 2 p 技术采用的是对等网络模型，在整个网络体系中又没有中心服务 器，所以在信息的传输过程中是绕过服务器的，这样就缺乏对信息的管理，虽然 让用户在下载如电影音乐的时候体验到了从未有过的速度，但是却存在很多问题， 除了严重影响带宽，使网络变的拥塞之外，还会带来为以下几方面的问题：( 1 ) 网 络流量不可预知性( 2 ) 改变了网络流量分布( 3 ) 网络拥挤，造成关键业务明显延迟 ( 4 ) 充当上载服务器( 5 ) p 2 p 下载造成很大的入站流量，p 2 p 也带来巨大的出站流 量。所以，如何对网络中的p 2 p 流量进行识别和控制，保证其它业务的正常运行， 成为一个亟待解决的问题。 对于p 2 p 网络技术带来的各种问题，网络管理者和网络运营商也采取了一些 策略来应对由p 2 p 的应用引起的网络拥塞，其中最简单最常用的方法就是增加中 继带宽，这也确实能在短期内起到很好的效果，但是根据实际的网络运行又发现 了一个问题，就是当p 2 p 应用发现网络中有更大的带宽时，又会继续去吞噬网络 中的带宽。这样增加带宽就是一个无底洞，增加的带宽只会让那些p 2 p 应用得到 更多的带宽，会更多的消耗网络资源，即是否采用升级其i n t e r n e t 连接链路的办 法来缓解网络的拥塞情况也同样达不到好的效果，总之，扩充网络对于维护网络 拥塞来说不失为一个好办法，但是对于p 2 p 网络的应用来说，这种传统的方法并 不能从根本上解决问题，扩容后的网络只会又会被p 2 p 所占用，并且增加网络带 宽的成本也很大，最终形成恶性循环。 传统的p 2 p 检测和控制工具是对协议包的包头进行检测而缺乏对数据包内容 的检测，这种检测方法的缺陷是缺少对应用层流量的分析，使对协议的分析不够 4 湖北工业大学硕士学位论文 全面，这样导致识别和控制的流量也不够准确。 随着网络技术发展和p 2 p 应用的增加，使得如今很多的p 2 p 协议都使用了动 态端口，这样仅仅使用传统的包头检测就很难准确的检测出p 2 p 的应用。其实很 多网络管理者都知道网络中存在着p 2 p 流量，或是有p 2 p 软件在网络中运行，但 是他们却没有合适的工具去检测这些p 2 p 流量，就更谈不上对这些p 2 p 流量进行 控制，有时候甚至都不了解这些流量对网络带来的巨大冲击。p 2 p 下载的通信机制 决定了这一问题的存在，p 2 p 下载的端口是动态的，有时还会以h t t p 流量的形式 出现，使得p 2 p 的下载流量很难被一般的流量监测工具发现。所以，要对p 2 p 流 量进行准确的识别和控制，就必须开发一个基于应用层的工具，能够对p 2 p 协议 的数据包也进行检测。 1 4 相关概念 下面将本文用到一些的相关专业术语在此做简要介绍： ( 1 ) o o s ( q u a li t yo fs e r v i c e ，服务质量) q o s 是网络的一种安全机制，主要致力于达到区分服务、保证服务质量的目的， 当网络过载或拥塞时，q o s 能确保重要业务量不受延迟或丢弃，同时保证网络的 高效运行。 ( 2 ) 带宽管理 带宽管理就是将网络带宽分为多个动态的通道，各种业务流的流量都在自己 的通道中，各个业务之间互相不会受到影响。即使一个通道中有突发的流量，其 它的通道也不会受到影响，主要是通过q o s 技术的流量控制和流量整形技术来实 现的。 1 5 本文主要研究内容 全文共分5 个部分。第一章简述了p 2 p 的基本概念、发展和特点，p 2 p 流量控 制的国内外研究现状及其研究的背景以及意义和论文结构。 第二章主要介绍了现在应用最广泛的三种p 2 p 网络模型和这几种网络模型 的工作原理，并且对这它们的优缺点进行了比较。通过对目前比较流行的p 2 p 协 议进行分析，提出了一种与传统的包头检测不同的应用层的p 2 p 协议的检测方法。 第三章是整个论文的核心部分，后续的工作都是建立在这个基础之上的。分 析了l i n u x 2 4 内核防火墙框架n e t f i l t e r 的结构、工作原理及编程接口等进行详 细分析，并对i p t a b l e s 和连接跟踪机制进行了扩展，包括核内和核外两个部分的 5 湖北工业大学硕士学位论文 扩展。 第四章是整个论文的重点部分，主要工作是实现了一个p 2 p 流量控制系统。 作者首先在对l i n u xn e t f i l t e r 框架扩展的基础之上开发出一个p 2 p 协议的分类识 别器，并且搭建了一个测试系统用来确定分类器所识别的p 2 p 协议是准确无误的。 最后通过结合带宽管理中的队列规定并结合流量整形工具，实现了这个流量管理 系统。 第五章对全文进行总结并对将来的研究工作作了进一步地展望。 6 湖北工业大学硕士学位论文 第2 章p 2 p 网络及p 2 p 协议分析 p 2 p 网络与传统的网络不同的地方就在于其网络中的每个节点在逻辑上是具 有同等地位的，但是这种逻辑上的对等并不等于在处理能力上的对等。p 2 p 技术的 实质在于将传统网络的集中化管理转换为分布式管理，将内容从网络节点的中心 化引向网络节点的边缘化，从而使网络中的每个节点都能够在网络中充当服务端 的同时也能很好的为其它节点提供服务，更好的充当一个服务器。相对于传统的 集中式客户服务器( c s ) 模型，p 2 p 将服务器的概念弱化了，节点之间既可以提供 服务也可以请求服务，节点直接的资源交换都不用再通过服务器。 p 2 p 网络系统可以使得用户之间的资源共享变得非常方便，这种特点是网络具 有可扩展性的基础，同时也是解决网络带宽的关键。p 2 p 网络已经历了集中式、分 布式和混合式三代不同的网络模型，这三种网络模型各有各的特点，正是因为它 们的这些特点，各种网络模型能够扬长避短，同时存在于网络中，为p 2 p 网络的 应用和发展奠定了基础。 2 1p 2 p 主要网络模型 2 1 1 集中式p 2 p 网络模型 集中目录式p 2 p 网络模型也被称为非纯粹的p 2 p 结构，这是因为它仍然是具 有中心化的特点，是最早出现的p 2 p 应用模型。在集中目录式p 2 p 网络模型中节 点之间的信息交换和资源共享以及检索方式与传统的客户服务器比较类似，但是 也存在较大的区别，查询节点根据网络的具体情况来选择合适的节点进行连接， 而且不必通过中心节点，也就是服务器。这种网络模型相对来说比较简单，目前 集中式p 2 p 模型最典型的代表是n a p s t e r 。 在集中式p 2 p 网络模型结构中，有一批专门保存当前活动节点的地址信息及 其共享资源信息的节点，这些节点充当中央索引节点，可以提高服务器的性能。 当一个节点加入p 2 p 系统时，就把它存储的共享资源的名单发送给中央索引节点。 当某个节点请求一个文件时就将查询消息发送给中央服务器节点，中央服务器节 点随即在它保存的索引文件列表中寻找拥有该文件的节点，然后就给请求用户返 回这些节点的地址和端口号返回给请求用户。之后，用户不再通过中央索引节点而 直接与最佳对等者之间直接点对点地传送文件。其原理如图2 1 所示： 7 湖北工业大学硕士学位论文 点对点通信 果 图2 1 集中式p 2 p 网络系统 2 1 2 分布式p 2 p 网络模型 分布式p 2 p 网络模型取消了传统的客户服务器模型中的中央服务器在这种网 络模型中每个节点随机的接入网络中，并且与相邻的节点都建立一条端到端的连 接。分布式p 2 p 网络模型也被称为纯p 2 p 网络模型。所要查询的内容都是通过相 邻节点之间的相互连接来实现的，在搜索信息的同时，每个节点还会保存下搜索 的轨迹，保证不出现搜索环路。目前分布式p 2 p 网络模型最典型的代表就是 g n u t e ll a 。 这种系统中由于已经完全没有了中央服务器，每个本地节点上都会保存相关 的一些信息，节点在寻找要连接的节点时，就是通过这些保存的信息来进行的， 它通过在网络上发布广播消息来完成对共享文件的搜索。当一个节点要搜索信息 的时候，就向网络上的其它节点发送广播消息，在网络上的相邻节点收到查询消 息之后，首先会检索自己的共享文件，就把自己的确i p 地址和所找到的文件信息 返回给发送消息的节点，如果没有，就把收到的查询信息发送给其它相邻的节点， 并把查询消息中的t t l 值减1 ，反复进行上面的操作，直到t t l 值为零或找到目标 文件为止。其工作原理如图2 2 所示： 8 湖北工业大学硕士学位论文 图2 2 分布式p 2 p 网络系统 由于分布式p 2 p 网络模型的结构简单，不需要昂贵的中央结点服务器，所以投 资也相对较少，并且信息分布比较散，也有利于用户信息和隐私的保护。这种网 络模型的缺点在于定位和查找比较复杂，容易遭到攻击等。另外随着网络规模的 扩大，使用广播方式查找速度会相对比较低，查找信息时会增加网络的流量，造成 网络拥塞问题。 2 1 3 混合式p 2 p 网络模型 在前面介绍的两种p 2 p 网络模型中，集中式p 2 p 模型有利于网络资源的快速 检索，可扩展性也比较好，但是一旦中心服务器受到攻击，后果会相当严重。分 布式p 2 p 由于没有了中心服务器，受攻击的可能性较小，但是搜索速度较慢，可 扩展性也不好。混合式p 2 p 网络模型结合了前面提到到的两种p 2 p 网络模型各自 的优点，使网络性能获得了更加优化的性能。混合式p 2 p 的一个很大的优点就是 它按照能力将用户节点进行分类，使得一些能力比较强的节点完成一些比较重要 和特殊的任务u “。混合式p 2 p 网络的工作原理如图2 3 所示： 9 湖北工业大学硕士学位论文 图2 3 混合式p 2 p 的工作原理 混合式p 2 p 网络模型的系统机构中共包含用户节点、搜索节点和索引节点3 种节点。普通的节点就是指的一般的用户节点，在网络中仅仅是充当一个客户端。 搜索节点从它们的相邻节点中搜索那些带有信息的节点，这种节点要在网络中不 断的进行搜索，所以对网络连接速度要求比较高。索引节点的作用保存那些搜索 到的信息、标识信息的状态以及让网络的结构保持在一个稳定的状态，所以搜索 节点一般选择那些连接速度快的节点。而且一个节点可以既作为搜索节点也作为 索引节点。每个搜索节点能够维护的孩子节点的个数是相对一定的，共享信息列 表是由孩子节点提供的。当网络中的个用户节点作为孩子节点存在时候，就提 供给父节点这些共享信息。 在混合式p 2 p 网络模型中最关键的一点就是索引节点的引入，实质上索引节 点只是为用户的下载连接提供了一个地址，也就是说它只是告诉用户节点想得到 的资源在什么地方，至于用户下载的内容是和索引节点无关的。混合式p 2 p 网络 模型还有一个特点就是在网络中建立了一些用于搜索的特殊节点，这些用于搜索 的特殊节点的实质就是起到一个中间桥梁的作用，也就是说当用户学要查找所要 相连的节点时，先是通过这些索引节点进行连接，然后再实现信息的查询。用户 节点直接相连的搜索节点的个数满足要求( 搜索节点的个可以由用户自己设定) 就 1 0 湖北工业大学硕士学位论文 可以停止搜索，如果没有所设定的个数的要求，则会发送搜索请求给它旁边相邻 的一些搜索节点，若是达不到需求的个数，会采用一种类似递归的方式一直向外 发送请求直到后来发现所有的节点都已经被访问到过，则说明所有的搜索节点都 已经被搜索到了，这样就加快了搜索速度。 p 2 p 系统在不断地发展，我们上面所描述的三种网络模型是p 2 p 最典型的三种 网络模型，当然也还有其它的一些p 2 p 的网络模型。这些p 2 p 网络模型各自有各 自的优点，当然也都还处在一些不足。而混合式p 2 p 网络模型是将这些网络模型 的优缺点结合的最好的一种，所以它也是当今使用比较多的一种网络模型。随着 计算机性能和网络带宽的不断提高，以后可能还会出现一些更为先进的p 2 p 网络 模型，p 2 p 模式的系统结构将会更加具有智能和具有实用性，为资源共享提供更多 的方便。 2 2 常见p 2 p 协议分析 由于目前有关于p 2 p 协议的技术文档相对比较缺乏，所以作者主要是采用在先 网络上抓取p 2 p 协议包的做法，然后对结合一些比较权威的p 2 p 网站对协议包进 行具体分析，然后得出结论。在安装了p 2 p 软件的机子上p 2 p 客户端程序，然后 用一些比较常用的抓包工具进行抓包测试，分析得出结果，见表2 1 ： 我们主要在数据包的格式和数据块的大小这两个方面对目前比较流行的4 种 p 2 p 协议进行分析： 表2 1p 2 p 协议数据包净荷开头的字符串 ；p 2 pp r o t o c o l s t r i n g t r a n s f e rd e f a u l t p r o to c o lp o r t s | e d o n k e y 2 0 0 0 o x e 3o x c 5t c p 啾4 6 6 1 - 4 6 6 5 “g e t h a s h ”。“g i v e t c p f a s t r a c k o x e 0 2 8 ，0 x 2 7 0 0 0 0 0 0 2 9 8 0 u d p1 2 1 4 0 x 2 8 0 0 0 0 0 0 2 9 0 0 ，0 x 2 9 0 0 0 0 0 0 2 9 0 1 u d p j o x e l ( 5b y te s ) ，o x 2 a ( 3b y te s ) g n u t e l l a g n u t e l l a t t g i v t c p6 3 4 6 - 6 3 4 7 1 g n d 1u d p b it t o r r e n t “0 x 13 b it t o r r e n tp r o to c o l ，t c p6 8 8 1 - 6 8 8 9 2 2 1 e d o n k e y2 0 0 0 协议分析 现在不仅仅w i n d o w s 操作系统支持e d o n k e y2 0 0 0 协议的客户端，而且e d o n k e y 2 0 0 0 协议也在其它的操作例如m l d o n k e y 中得到了广泛的应用。我们通过在运行有 湖北x - 业大学硕士学位论文 e d o n k e y2 0 0 0 协议的客户端机器上用t c p d u m p 和e t h e r e a l 进行抓包测试，再结合 一些e d o n k e y2 0 0 0 协议文档我们发现e d o n k e y2 0 0 0 协议数据传输通过t c p 协议 ，进行操作，而控制包既可以用t c p 也可以用u d p 1 3 1 ，4 1 ，使用的是一个端1 ：3 号为4 6 6 1 或者4 6 6 2 的t c p 端口和一个端口号为4 6 6 5 的u d p 端口。 e d o n k e y 2 0 0 0 协议一般在8 个连续的数据包中，传输的数据块的大小为1 0 2 4 0 个字节，这个协议的的控制包都被封装在一个比特字符为o x e 3 的包头中，而且这 个控制包的的净荷以8 开头的，包的长度由后面的无符号长整数来表示。e d o n k e y 2 0 0 0 协议数据包以t c p 传输时不最小长度是4 5 个字节。通常识别e d o n k e y2 0 0 0 协议的方法是检查净荷的第一个字节。 2 2 2f a s t t r a c k 协议分析 f a s t t r a c k 是目前p 2 p 网络中比较流行的一种协议，在欧洲和北美u 副它应用的 更为广泛。f a s t t r a c k 的一般都是用端口号为1 2 1 4 的缺省端口进行通信，但是由 于它和h t t p 流量比较相似，所以其比较难被识别。 我们通过在运行有f a s t t r a c k 协议的客户端机器上用t c p d u m p 和e t h e r e a l 进 行抓包测试，再结合一些f a s t t r a c k 协议文档我们发现f a s t t r a c k 协议块大小为 通常都是固定的6 5 5 3 6 字节，而且f a s t t r a c k 的t c p 包的前4 个字节的字符串通 常为g i v e 。这样我们就和容易识别f a s t t r a c k 协议。 2 2 3g n u t ei ia 协议分析 g n u t e l l a 协议主要使用端口号为6 3 4 6 的端口进行t c p 通信，使用端口号为 6 3 4 7 的确口进行d u p 通信。 我们通过在运行有g n u t e l l a 协议的客户端机器上用t c p d u m p 和e t h e r e a l 进 行抓包测试，再结合一些g n u t e l l a 协议文档发现g n u t e l l a 协议客户端程序使用 不同大小的传输块，在传输过程中的大小是完全不一样的确，但g n u t e l l a 协议的 下载中包含一个格式为“g e t u r i - r e s 的数据包。此外，g n u t e l l a 协议t c p 包和 u d p 包的净荷开头字符串都有其比较明显的特征，可以由此来识别g n u t e l l a 协议。 2 2 4bi t t o r r e n t 协议分析 b i t t o r r e n t 是目前非常流量的一种p 2 p 网络协议，尤其是在我们国家，p 2 p 在最近这些年里面更是得到了广泛的应用。b i t t o r r e n t 是p 2 p 网络典型的应用， 它是通过统一资源定位符来识别内容，可以非常简单地和w e b 交换并且这种交互 1 2 湖北工业大学硕士学位论文 无处不在1 。如图2 4 所示是一个b t 文件分布系统： 图2 4b i t t o r r e n t 工作流程图 b i t t o r r e n tp e e r 协议数据包内容图2 5 所示： l x 1 3l b t p r o t o c o ll x o x o x o x o x o x o x o x oli n f o h a s hlp e e r i d 图2 5 握手包的内容 由上面的分析我们可以知道，通过8 i t t o r r e n t 节点的协议握手包中内容的特 点，尤其是开头数据包的字符我们可以非常容易的识别出网络中b i t t o r r e n t 的流 量。在这个数据包中的头几个字符串是具有固定格式的，这就为我们正确识别其 流量提供了方便。 2 3 本章小结 本章主要论述了p 2 p 网络的三种主要网络模型和工作原理，对常见的几种p 2 p 协议进行分析，之后提出了p 2 p 协议的应用层识别的方法。这为本文后面实现p 2 p 流量控制打下了必要的基础。 1 3 湖北工业大学硕士学位论文 _ _ i l l l 一i i i _ _ i _ _ _ _ 皂，! ! ! l _ - i ，! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 曼! ! ! 第3 章l 二in u x 内核防火墙框架分析及扩展 l i n u x 防火墙技术经过了几个时代的发展已经形成了一个通用化的防火墙框 架，尤其是l i n u x 2 4 内核中包含了一个名为n e t f i l t e r i p t a b l e s 的可扩展的防火 墙框架，使我们对l i n u x 内核的扩展更加方便。 3 1lin u x2 4 内核防火墙机制 l i n u x 环境下防火墙系统的实现包括n e t f i i t e r 和i p t a b l e s 两个方面， n e t f i l