（计算机应用技术专业论文）基于双重特征的p2p流量检测与控制技术研究.pdf

4 。- - ) “，1 w “枷 强 妇 分类号 u d c 注l 密级 学位论文 、 基于双重特征的p 2 p 流量检测与控制技术研究 1 8 1 3 9 7 1 ( 题名和副题名) 郝杰 ( 作者姓名) 指导教师姓名郝玉洁教授 电王科撞太堂虞壑 ( 职务、职称、学位、单位名称及地址) 申请专业学位级别硕士 专业名称计算机应用技术 论文提交日期2 0 1 0 0 3论文答辩日期2 0 1 0 0 5 学位授予单位和日期电壬科撞太堂 答辩委员会主席 评阅人 2 0 1 0 年，月刊瑁 注1 ：注明国际十进分类法u d c ) ) 的类号。 譬g 王l , 4 p ) ， _ 0 独创性声明 l i i ii ii lli iii iti i i ii ii y 18 0 2 5 0 7 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 签名：二垄芦l 日期：乃易年，月相 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 一一( 保密的学位论文在解密后应遵守此规定) 签名：三i 导师签名： 日期：碲年，月才日 _ 群，q 摘要 摘要 随着互联网技术的不断发展，p 2 p 己经成为发展最迅猛的网络应用之一。据权 威机构统计，p 2 p 业务己悄然占据了互联网业务总量的6 0 8 0 ，成为消耗互联 网宽带的杀手级应用。然而，还没有行之有效的能够对p 2 p 流量进行检测和识别 的方案。因此，提出一种准确、高效的识别算法对于有效管理网络和合理利用网 络资源都具有重要意义。 本课题正是基于以上前提，回顾了p 2 p 技术的主要应用领域和国内外p 2 p 流 量检测和识别技术的发展现状，深入分析了当前主流的p 2 p 流量识别方法和识别 系统的原理和技术特点，提出了l i n u x 环境下通过n e t f i l t e r i p t a b l e s 、透明网桥、 n e t l i n k 通信等技术基于双重特征的p 2 p 流量检测与控制技术，并设计实现了相应 的流量检测和控制系统。通过深度数据包检测技术可以准确识别当前广泛应用的 各种p 2 p 应用，而流量特征检测技术又对加密和未知的p 2 p 应用有很好的检测效 果，综合运用两种技术，二者相互取长补短，提高了整个流量检测系统的性能和 准确性。 系统主要由网络流量采集模块、基于深度包检测技术的p 2 p 流量识别模块、 基于传输层特征的p 2 p 流量识别模块和流量控制模块四个部分组成。其中流量采 集和控制模块是系统的基础，负责对网络流量进行采集和控制，而两个检测模块 则是系统最重要的部分。论文针对这个两个部分的设计和实现作了详细的讲解和 描述。其中深度包检测模块涉及到的关键技术有特征端口识别、i p 分片的重组、 l i n u x 环境下实现连接跟踪、k m p 匹配算法的改进、深度包检测技术的实现。而 流量特征检测模块则运用了对等点分析、上传下载对比分析两种方法，首先确定 疑似的p 2 p 节点，然后再从对等流量特征进行分析。本文对以上各个内容均作了 较为详细的阐述，并配以流程图和部分核心代码。 在局域网环境下，对本系统的性能和检测效果进行了模拟测试。测试结果表 明：本系统能够在高速的网络环境下准确高效地对局域网的各种p 2 p 流量进行准 确的检测和控制。根据测量数据，对系统在实验过程中的部分参数进行了修改， 进一步提高了系统的检测速度和精度。 关键字：p 2 p ，n e t f i l t e r i p t a b l e s ，深度包检测，传输层流量特征 j a b s t r a c t a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to ft h ei n t e r n e t ，p 2 pn e t w o r ka p p l i c a t i o n s d e v d o p e dr a p i d l y a c c o r d i n gt os t a t i s t i c s ，p 2 pa p p l i c a t i o n sh a sd e v o u r e d6 0 一8 0 o f t h eb a n d w i d t h h o w e v e r ，t h e r ei sn oe f f e c t i v em e t h o dt od e t e c tp 2 pt r a f f i c t h e r e f o r e ， a c c u r a t ei d e n t i f i c a t i o no fp 2 pt r a f f i cm a k e sg r e a ts e n s ef o re f f i c i e n tn e t w o r k m a n a g e m e n ta n dr e a s o n a b l eu t i l i t yo f n e t w o r kr e s o u r c e s b a s e do nt h ea b o v ep r e m i s e ，t h i st h e s i sr e v i e w st h ed e v e l o p m e n t sa n dc u r r e n t s t a t u so ft h et e c h n o l o g yo fp 2 pn e t w o r kt r a f f i ci d e n t i f i c a t i o n ，a n a l y z e st h ep r i n c i p l e s a n dt e c h n i c a lc h a r a c t e r i s t i c so fc u r r e n tp 2 pt r a f f i ci d e n t i f i c a t i o nm e t h o da n ds y s t e m ， a n dp r o p o s e sa ni d e n t i f i c a t i o nm e t h o db a s e do nt w o f o l df e a t u r e s ，n a m e l yt r a f f i cf e a t u r e s a n dp a y l o a df e a t u r e s ，w h i c hi sb yn e t f i l t e r i p t a b l e sf r a m e w o r k ，t r a n s p a r e n tb r i d g e ，a n d n e t l i n kc o m m u n i c a t i o nt e c h n o l o g yi nl i n u x i ta l s od e s i g n e da n di m p l e m e n t e dt h ep 2 p t r a f f i cd e t e c t i o na n dc o n t r o ls y s t e m d e e pp a c k e ti n s p e c t i o nt e c h n o l o g yc a na c c u r a t e l y i d e n t i f yv a r i e t yo fw i d e l yu s e dp 2 pa p p l i c a t i o n s ，w h i l et r a f f i cf e a t u r ed e t e c t i o n t e c h n o l o g yc a ni d e n t i f ye n c r y p t e da n du n k n o w np 2 pt r a f f i c i ti m p r o v e dt h es y s t e m p e r f o r m a n c ea n da c c u r a c yb yc o m p r e h e n s i v eu s e o ft w ok i n d so ft e c h n o l o g y t h ed e t a i l e dd e s i g no ft h ed e t e c ts y s t e mi n c l u d i n gn e t w o r kt r a f f i ca c q u i s i t i o n m o d u l e ，t h ep 2 pt r a f f i c i d e n t i f i c a t i o nm o d u l eb a s e do nd e e pp a c k e t i n s p e c t i o n t e c h n o l o g y ，t h ep 2 pt r a f f i ci d e n t i f i c a t i o nm o d u l eb a s e do nt h et r a n s p o r tl a y e rf e a t u r e s a n dt r a f f i cc o n t r o lm o d u l e t r a f f i ca c q u i s i t i o na n dc o n t r o lm o d u l e sw h i c ha r et h eb a s i s o ft h es y s t e m ，r e s p o n s i b l ef o ra c q u i r i n ga n dc o n t r o l l i n gn e t w o r kt r a f f i c ，w h i l et h et w o d e t e c t i o nm o d u l ei st h em o s ti m p o r t a n tp a r to ft h es y s t e m t h et h e s i sd e s c r i b e dt h e d e s i g na n di m p l e m e n t a t i o no f t h et w op a r t si nd e t a i l t h ek e yt e c h n o l o g yo f d e e pp a c k e t i n s p e c t i o nm o d u l ei n c l u d e sp o r t si d e n t i f i c a t i o n ，r e o r g a n i z a t i o n o fi pf r a g m e n t a t i o n ， c o n n e c t i o nt r a c k i n g ，i m p r o v e m e n t so fk m pa l g o r i t h ma n dd e e pp a c k e ti n s p e c t i o n t e c h n o l o g y w i t hp e e ra n a l y s i sa n dc o m p a r a t i v ea n a l y s i so fu p l o a d i n ga n dd o w n l o a d i n g t r a f f i cc h a r a c t e r i s t i c sd e t e c t i o nm o d u l ec a ni d e n t i f i e dt h ep 2 p p e e r i nt h i st h e s i s ，a 1 1t h e c o n t e n t so ft h ea b o v ew e r ed e s c r i b e di nd e t a i lw i t hc h a r t sa n dp a n so ft h ec o r ec o d e i nl a ne n v i r o n m e n t ，w et e s tt h es y s t e m sp e r f o r m a n c ea n de f f e c t i v e n e s s t e s t i i a b s t r a c t r e s u l t ss h o wt h a t ：t h es y s t e mc a na c c u r a t e l ya n de f f i c i e n t l yi d e n t i f ya n dd e t e c tt h et r a f f i c o ft h u n d e r 4 ，t h u n d e r 5 ，b i t c o m e t ，e d o n k e y ，e m u l ea n do t h e rp 2 pa p p l i c a t i o n s a c c o r d i n gt om e a s u r e m e n td a t a ，s o m eo ft h ep a r a m e t e r sw e r em o d i f i e dt o f u r t h e r i m p r o v et h es y s t e m sd e t e c t i o ns p e e da n da c c u r a c y k e y w o r d s ：p 2 p , n e t f i l t e r i p t a b l e s ，d e e pp a c k e ti n s p e c t i o n ，t h et r a n s p o r tl a y e rf l o w c h a r a c t e r i s t i c s i i i 目录 目录 第一章绪论1 1 i 研究背景i 1 2国内外研究现状2 i 3 研究存在的问题3 1 4 主要研究内容4 1 5 论文的组织结构1 第二章p 2 p 概述2 2 1p 2 p 的定义和特点2 2 2p 2 p 的发展历史4 2 2 1 集中目录式p 2 p 结构4 2 2 2 纯分布式p 2 p 结构5 2 2 3 混合式p 2 p 结构6 2 3p 2 p 的主要应用8 2 3 1 文件共享8 2 3 2 流媒体9 2 3 3 即时通讯1 0 2 3 4 网络电。活1 0 2 3 5 其他应用1 1 2 4p 2 p 流量识别的主要技术“ 2 4 1基于特征端口的识别方法1 1 2 4 2 基于应用层数据的深度包检测识别方法1 2 2 4 3 基于流量特征的识别方法1 3 2 5p 2 p 流量控制的主要技术1 4 2 5 1直路串联控制技术1 4 i v 目录 2 5 2 旁路干扰控制技术1 5 2 6 本章小结1 5 第三章基于n e t f i l t e r 的数据包捕获技术1 6 3 1l i n u x 防火墙概述1 6 3 1 1n e t f i i t e r 简介1 6 3 1 2 i p t a b l e s 简介1 8 3 2 数据包捕获环境的搭建2 0 3 2 1l i n u x 网桥机制2 0 3 2 2 安装配置透明网桥2 l 3 2 3l i n u x 下的n e t l i n k 机制2 1 3 2 4 安装配置l i b n f n e t l i n k 和l i b n e t f i t e r _ q u e u e 2 3 3 2 5重定向工p 数据包到用户空间2 5 3 3 本章小结2 6 第四章基于双重特征的p 2 p 流量检测系统设计2 7 4 1 系统整体部署2 7 4 2 设计需求2 8 4 3 系统框架2 8 4 3 1网络流量数据采集模块3 0 4 3 2 基于深度包检测的p 2 p 流量识别模块3 2 4 3 3 基于传输层流量特征的p 2 p 识别模块3 2 4 3 4 流量控制模块3 3 4 4 本章小结3 3 第五章深度包检测识别模块设计3 4 5 1 关键技术3 4 5 2 连接跟踪机制3 5 5 2 1i p 分片处理3 6 5 2 2 跟踪连接h a s h 表4 1 5 3 改进的k m p 算法4 4 v 目录 5 3 1 传统的k m p 算法4 4 5 3 2 改进的k m p 算法4 7 5 4 基于连接跟踪机制的深度包检测模块实现4 9 5 5 本章小结5 3 第六章基于流量特征的检测识别模块设计5 4 6 1基于流量特征的p 2 p 流量识别方法介绍5 4 。 6 1 - 1对等节点分析技术5 4 6 1 2 多重协议分析技术5 5 6 1 。3 地址端口分析技术5 5 6 1 4 上传下载对比分析技术5 6 6 2 基于流量特征的p 2 p 流量识别模块的设计5 6 6 2 1 对等点分析子模块5 7 6 2 2 上传下载对比分析子模块6 0 6 3 本章小结6 2 第七章系统测试和测试结果分析6 3 7 1 测试环境6 3 7 2 算法效率测试6 4 7 3 系统功能测试6 5 7 4 系统性能测试6 7 7 5 结果分析6 8 7 6 本章小结6 9 第八章总结与展望7 0 ， 8 。1 本文总结7 0 8 2 下一步工作的展望7 0 致谢7 2 参考文献7 3 目录 攻硕期间取得的研究成果7 5 v l i 第一章绪论 1 1 研究背景 第一章绪论 随着互联网技术的不断发展，网络流量构成也发生了显著的变化，从过去的 主要由h t m l 文本和图像信息构成转变为主要由多媒体影音文件共享流量构成。 在此期间，p 2 p 技术的产生和发展起到了不可忽视的作用。p 2 p 以其非中心化、自 组织等特点和规模扩展性好、灵活性高等技术优势，很好的弥补了传统客户机n 务器模式的资源瓶颈。近几年，p 2 p 技术异军突起、增长势头十分迅猛，涌现出许 多新的p 2 p 协议和应用软件。p 2 p 应用的发展大致经历了四个阶段：第一代以 n a p s t e r 为代表，从第二代的k a z a a 、g n u t e l l a 到第三代的b i t t o r r e n t ，经历了一个 逐渐成熟的过程，当前第四代p 2 p 应用正在发展当中。据权威机构统计，p 2 p 业 务已悄然占据了互联网业务总量的6 0 8 0 1 - 3 1 ，成为杀手级宽带互联网应用。 p 2 p 网络是以对等概念支撑的体系结构，“对等”的含义不是每个节点的的处理 能力相同，而是指网络中的物理节点在逻辑上具有相同的地位。这样以来，就可 以组成一种具有较高扩展性的分布式网络。p 2 p 模式有效地利用了网络边缘的未被 利用的带宽资源、存储能力和计算资源等，使其能够提供特定的服务。p 2 p 网络中， 节点在作为资源的消费者的同时也充当着资源的提供者，随着网络规模的扩大， 所能提供的服务能力也随之增强，突破了传统c s 模式下服务器端由于客户端的 增加而带来的巨大压力，解决了性能瓶颈的问题。另外，逻辑上的对等地位使p 2 p 网络消除了单点失效的问题。即使部分节点出现了故障无法提供服务，其它节点 也可以维持正常的运行。对等点之间通过自组织机制组成p 2 p 网络，均衡了负载， 便于管理。 也正是由于p 2 p 技术具有以上优势，使其成为新一代互联网的研究热点之一。 美国财富杂志甚至将其誉为改变因特网发展的四大新技术之一 4 1 。可是，p 2 p 技术在给广大互联网用户带来了前所未有的便利的同时也不可避免的对互联网产 生了许多消极的影响。对等网在整个网络流量和带宽中所占的比重越来越大，严 重威胁着i p 网络的f 常运营。以文件共享为代表的p 2 p 应用的无限制的发展，以 及由此产生的特别是其对系统资源和网络资源的巨大消耗，使得网络运营商和管 理者越来越关注p 2 p 流量的识别和限制问题。据统计，在一些较为发达的省份， 电子科技大学硕士学位论文 p 2 p 流量占到了白天网络流量的4 0 5 0 e 5 1 ，而这一数值在晚间可以达到8 0 9 0 以上【6 】。p 2 p 应用总能最大限度的利用网络带宽，单纯的扩容根本无法解决带 宽的消耗问题，其他用户正常的网络服务得不到切实的保障。 鉴于以上原因，对p 2 p 流量的识别和控制是十分重要和有意义的。无论是接 入网还是企业内网，只有准确有效地对p 2 p 流量予以识别和控制，才能保障企业 和个人的关键业务的良好运行。然而，目前的p 2 p 应用已经可以采用随机的端口 进行数据传输，部分应用甚至对数据流进行了加密处理以逃避检测，这些无疑加 大了对p 2 p 流量的识别的难度。因此，提出一种准确、高效的识别算法是一个既 具有现实意义有具有挑战性的问题。本文正是基于以上前提，提出了解决该问题 的具体方案，希望能够对p 2 p 流量的识别和控制起到推动作用。 1 2 国内外研究现状 1 国内现状 对于p 2 p 技术的研究和应用目前在国内都进行得如火如荼，特别是对于p 2 p 流量检测技术的研究已经成为大家研究的热点。可是，目前尚没有一种十分成熟 的检测技术，更加令人遗憾的是很难在各大论文库中检索到有关p 2 p 流量检测方 面的高水平的中文文章。国内部分网络设备生产商已经推出了p 2 p 流量监控的相 关产品，这些产品大都是采用深度数据包检测技术。如华为的s e c p a t h1 8 0 0 f 防火 墙和e u d e m o n 5 0 0 、1 0 0 0 防火墙以及c a p t e c h 的网络管理软件网络慧眼【7 。9 1 。 还有部分公司推出基于a r p 欺骗方法的小型网络流量监控软件，也具有识别p 2 p 应用流量的功能，比如超级嗅探狗、聚生网管等【l 0 1 。 2 国外现状 由于国外的p 2 p 应用开始的比较早，所以国外在这方面研究工作和产品化工 作都较国内要好些，特别是深层数据包检测技术已经发展得比较成熟。其中比较 有代表性的是s u b h a b r a t as e n 等人于2 0 0 4 年初提出的基于应用签名的p 2 p 流量检 测方法】，它属于深层数据包检测方法的一种，该方法将p a y l o i d 特征划分为固定 偏移量( f i x e do f f s e t ) 特征和变化偏移量( v a r i a b l eo f f s e t ) 特征，除了检查固定偏 移量，还要检查变化偏移量，有效地提高了对p 2 p 流量检测的性能和精度。 2 0 0 3 年由韩国的j a m e s w o n k i h o n g 等人于提出了一种基于传输层特征的 p 2 p 流量检测方法，该方法先通过离线统计的方式找到各种p 2 p 应用的常用端口， 然后把这些常用端口信息用到流量检测中作为应用分类的依据 1 2 】。 2 第一章绪论 t h o m a sk a r a g i a n n i s 等人在仔细研究了p 2 p 流量的传输层特征后于2 0 0 4 年提 出一种基于传输层特征的p 2 p 流量检测方法【”】，由于该方法检测的依据是p 2 p 流 量在传输层所表现出来的两种一般性特征和传统的端口检测技术，所以其对新的 p 2 p 应用和加密的p 2 p 应用有不错的检测效果。但是令人遗憾的是受到性能优化 的限制，该方法过于复杂且不能对p 2 p 应用进行分类。 在技术产业化方面，国外网络设备生产商和网络服务提供商都推出了相关的 产品或技术，如c i s c o 公司的n e t f l o w 技术、a l l o t 的故障恢复流量管理方案( f a i ls a f e t r a f f i cm a n a g e m e n ts o l u t i o n s ) 、c a e h e l o g i e 公司的c a e h e l o g i cp 2 p 管理方案 ( c a e h e l o g i cp 2 pm a n a g e m e n ts o l u t i o n ) 、v e r s ot e e h n o l o g i e s 的n e t s p e e t i v e 系列产 品等 1 4 - l _ 7 1 ，其中n e t s p e e t i v e 系列产品已经拥有了拦截加密p 2 p 应用s k y p e 的能力。 这些产品虽然在性能和识别精度上存在差别，但是却无一例外的全部都使用了白 行研发的深度数据包检测技术。而目前唯一的使用基于流量特征的检测方法的产 品是韩国的j a m e s w o n k i h a n g 等人研发的流量监控系统n g m o n ，但是没有给 出具体的性能参数。 1 3 研究存在的问题 通过对国内外各种p 2 p 流量检测技术的归纳总结，我们不难发现目前流行的 各种p 2 p 流量检测技术其实可以归结为如下两类：深度包检测技术( d p i ，d e e p p a c k e ti n s p e c t i o n ) 和基于流量特征的检测技术( t r a n s p o r tl a y e ri d e n t i f i c a t i o n ) 。 深度包检测：对p 2 p 应用进行可靠分类的唯一方法。深度包检测技术通过对 数据包应用层协议的检测发现p 2 p 应用，这种基于应用数据分析的技术具有准确 性高、健壮性好、易于理解、升级方便、维护简单、具有分类功能等优点【l 引。这 种技术使用一个p a y l o a d 特征库存储p a y l o a d 特征信息，符合p a y l o a d 特征的数据 包即视为p 2 p 数据包，是目前运用最普遍的方法。其最大的缺点是： 1 对新p 2 p 应用的检测依赖于特征库。只有在升级到包含新应用的p a y l o a d 特征的特征库版本后才能对该应用实施有效检测 2 无法检测加密p 2 p 应用。越来越多的p 2 p 软件为了逃避监管对流量进行加 密处理，由此d p i 技术显得束手无策。 3 算法性能受到p a y l o a d 特征复杂度的限制，p a y l o a d 特征越复杂，则检测代 价越高算法性能越差。 p 2 p 应用作为一种体现了“对等”理念的新型应用，它在传输层表现出来的流量 3 电子科技大学硕二b 学位论文 特征相对于其它应用，如h t t p 、f t p 、d n s 等，有许多不同的地方【19 1 。基于流量 特征的检测技术正是基于这些新的流量特征来发现p 2 p 应用。其优点有： 1 具有发现新的p 2 p 应用的能力。p 2 p 应用具相似的流量特征，通过对流量 特征的分析对比，可以检测出新的p 2 p 应用。 2 对加密p 2 p 应用具备一定的检测能力。 其缺点有： 3 无法对p 2 p 应用准确分类。由于传输层流量特征一般不能明确指示应用层 协议类型，所以这种方法对p 2 p 应用分类的能力较弱。 4 检测的精确度差。由于不对称路由和丢包、重传现象的存在，导致无法精 确确定流量特征，从而有可能对p 2 p 流量检测的精确度造成影响。 5 一些其它应用也有可能表现出与p 2 p 相似的流量特征，需要结合其它一些 技术如端口检测来排除其它应用。 1 4 主要研究内容 1 研究了网络流量识别技术的发展和现状，对主流的几种p 2 p 流量识别技术 的原理和应用效果进行对比。研究发现，大多数p 2 p 应用使用随机的端口进行数 据传输，基于端口的流量识别技术已经无法有效地对p 2 p 流量进行检测；而新兴 的基于深度数据包检测和流量特征的识别方法又各有利弊，所以本文综合运用了 以上的两种检测方法，提出了基于双重特征的p 2 p 流量检测和控制技术。 2 基于l i n u x 内核防火墙框架n e t f i l t e r i p t a b l e s 强大的功能，对l i n u x 内核的 网络服务进行扩展，实现了对p 2 p 流量数据的捕获。使得流量识别模块能够深入 l i n u x 协议栈对网络数据包进行检测，方便用户对流量识别的功能进行调整。 3 设计实现了i p 分片重组和连接跟踪机制，并对k m p 算法进行了优化改进。 最终实现了基于深度包检测技术的p 2 p 流量检测和识别模块。 4 总结归纳p 2 p 流量在服务角色、上下行数据量比例两个方面的表现出来的 特点，设计出一个基于流量特征的p 2 p 流量识别模型。 5 设计实验方案对原型系统进行系统测试，优化性能参数，对下一步可能的 研究趋势进行了分析 4 第一章绪论 1 5 论文的组织结构 本文共分七章，具体结构如下： 第一章介绍论文的背景、国内外研究现状、作者所做工作和论文内容组织。 第二章介绍了p 2 p 概念及其发展过程。对比分析了现存的各种p 2 p 流量识别 技术的优缺点，对目前p 2 p 流量检测和控制技术做了简要的概括。 第三章深入到l i n u x 内建的防火墙框架n e t f i l t e r i p t a b l e s ，对l i n u x 内核进行了 扩展，深入分析了连接跟踪机制，实现了p 2 p 流量的实时捕获。 第四章总体介绍了基于双重特征的p 2 p 流量检测系统的部署位置、设计目标、 总体框架和各个模块的功能划分，并且对各个模块也做了大致的介绍。 第五章设计实现了i p 分片重组和连接跟踪机制，并对k m p 算法进行了优化 改进。最终实现了基于深度包检测技术的p 2 p 流量检测和识别模块。 第六章综合分析p 2 p 流量的各种流量特征，提出基于流量特征的p 2 p 流量识 别模型。 第七章对系统进行的功能和性能测试，并对测量结果进行了深入分析。测试 结果证明本系统对内部局域网中的p 2 p 流量有很好的识别效果。 第八章是结论部分，总结了作者所作的工作，并且展望了下一步的工作。 文章的最后，给出了主要参考文献和作者在攻读研究生阶段的主要研究成果。 电子科技大学硕士学位论文 2 1p 2 p 的定义和特点 第二章p 2 p i - z 概述 弟一早 僦怂 p 2 p 即p e e r - t o 。p e e r 的缩写。p e e r 的中文意思是“同等的人”、“同事”和“同辈” 等。所以，p 2 p 也就可以理解为“伙伴对伙伴”或者“对等的网络”。p 2 p 使网络中的 每一个节点既是客户端也是服务器端，每个节点在下载其他节点所共享的资源的 同时也在为其他的节点提供资源的下载服务( 2 0 1 。 对等计算或对等网络，可以简单地定义成通过直接交换，共享计算机资源和 服务。在p 2 p 网络环境中，成千上万台彼此连接的计算机都处于对等的地位，整 个网络一般来讲不依赖与专用集中服务器。网络中的每一台计算机既能充当网络 服务的请求者，又能对其他计算机的请求作出响应，提供资源服务。通常这些资 源和服务包括信息的共享与交换、计算资源( 如c p u ) 的共享和使用、存储资源 ( 如缓存和磁盘空间) 的使用等。p 2 p 通信模式有以下技术特性： 去中心化：p 2 p 的设计者们考虑到了可能的瓶颈，所以把网络中的资源和服务 分散在所有节点上，直接在节点之间实现了信息的传输和服务，无需中间环节和 服务器的介入。在某些p 2 p 模型中，资源的查找和定位服务或安全检验等工作仍 然需要指定的服务器参与，但主要的信息却是在节点之间直接交换 2 。由此集中 式服务器的资源和性能要求显著降低。p 2 p 去中心化的本质特点，还引出了其在高 扩展性、高可靠性等方面的优势。 高扩展性：受到服务器性能和资源瓶颈等方面的限制，传统的c t s 构架的模 型中，服务器端能够承受的用户数量和负载能力十分有限。为了给更多的用户提 供更好的服务和体验，服务器的运营商需要配置大量高性能的计算机并不断拓展 网络的带宽，机群、c l u s t e r 等技应运而生。但是，大量的计算机协同工作，它们之 间的同步、协调等处理却又产生了大量的性能开销，没有从根本上解决问题，依 然限制系统扩容。这个问题在p 2 p 网络中却得到了很好的解决，新用户的加入， 在提出增加服务需求的同时也扩充了系统整体的资源和服务能力。无论是纯p 2 p 结构还是混合p 2 p 结构，大量的数据通信和处理工作直接在节点之间进行，这使 得对服务器的依赖性大大降低，消除了系统瓶颈，满足数百万以上的用户数量级 十分轻松。所以，从理论上讲，p 2 p 的扩展性趋于无限。例如：p 2 p 网络的下载速 第二章p 2 p 概述 度不会像在传统文件下载那样，随着下载用户增加下载速度会变得越来越慢，恰 恰相反，用户数量越多，p 2 p 网络中提供的资源就越多，下载的速度反而越快。 高可靠性：由于集中式服务器在传统的c s 结构中扮演着举足轻重的角色， 它关乎着整个网络服务质量的优劣，所以在互联网出现某些异常情况时，诸如网 络中断、网络拥塞、节点失效等，系统的稳定性和服务持续性不可避免的要受到 很大的影响。服务器成为整个系统的要害所在，一旦发生异常就会涉及到所有用 户。然而这种局面在p 2 p 结构中则得到了扭转，耐攻击、高容错是p 2 p 与生俱来 的优点【2 2 】。把服务分散于各个节点之间进行，最大限度的降低了部分节点或网络 遭到破坏对其它部分的影响。p 2 p 网络的组建通常都是采用自组织的方式，节点可 以自由地加入和离开，其在部分节点失效时及时的自动调整拓扑结构的能力，可 以保障其它节点的连通性，维护整个网络的功能。更有甚者，一些p 2 p 协议可以 根据网络带宽、节点数、负载变化等自动的做出适应性的调整。 高性价比：依据摩尔定律，集成电路上可容纳的晶体管数目，约每隔1 8 个月 便会增加一倍，性能也将提升一倍，而价格不变。硬件技术的长足发展促进了个 人计算机的运算、存储能力以及网络带宽等性能的高速增长。然而恰恰是互联网 上为数众多的客户机，只能游离于互联网的边缘，索取资源，这无疑是对节点处 理能力的极大浪费 2 3 1 。为了可以有效地调动互联网中散布的大量普通节点，充分 利用起它闲置的们强大计算能力和存储空间，p 2 p 网络将计算任务或存储内容分散 到所有节点上，以实现高性能计算和海量存储。这一点与当前高性能计算机中普 遍采用的分布式计算的思想不谋而合，充分利用网络中大量的空闲资源，以更加 低廉的成本实现了更加优越的性能。p 2 p 在这方面的应用研究目前尚停留在学术研 究阶段，可想而知当技术成熟后，必将在工业领域掀起一场新的革命，为许多企 业提供更多高性价比的大型服务器。 信息隐藏：互联网的普及和发展，带来的一个备受关注的问题就是信息安全。 收集个人隐私和企事业单位的核心机密信息正在变得越来越容易。目前i n t e r n e t 上 的大量攻击者可以监控用户的流量特征获得i p 地址，甚至可以使用一些跟踪软件 直接从i p 地址追踪到个人用户，盗取其个人信息。然而在p 2 p 网络中，由于没有 设置专门集中服务节点，终端之间的信息的传输分散在各节点之间进行，这大大 降低了用户的隐私信息被窃听和泄漏的风险。另外，目前i n t e m e t 的信息传输主要 采用中继转发方法，通信的参与者被隐藏在众多的网络实体之后，可使这一机制 的实现依赖于某些中继服务器节点【2 钔。而在p 2 p 中，所有节点都参与中继转发， 匿名通讯的灵活性和可靠性大大提高，更好的保护了用户提的隐私。 电子科技大学硕士学位论文 负载均衡：与对传统c s 结构相比，p 2 p 网络环境下由于每个节点既是服务器 又是客户机，缓解了服务器在计算能力、存储能力方面的压力，资源分布在多个 节点之上，整个网络的负载能力得到了完美的均衡。 2 2p 2 p 的发展历史 最早的p 2 p 可以追溯到英特网的初期，由于还没有出现集中式服务器和门户 网站等概念，当时每一个用户都同时担当了客户机和服务器的角色。可使，这种 局面也带来了很多问题：资源和信息可能保存在任意一台主机之上，毫无规律可 言，这就使得在网络中搜索相关信息变得十分困难。而且即使找到了需要的资料， 因为没有固定的服务器提供持续稳定的资源服务，所以服务质量很差，经常面临 着服务中断或者资源被删除等问题。鉴于以上原因，各类门户网站和搜索引擎开 始纷纷出现并占据了主导地位，而p 2 p 却逐渐走向了没落，被人们所遗忘。 直到上世纪9 0 年代，n a p s t e r 的出现标志着p 2 p 开始步入了快速发展的历史。 自此p 2 p 的发展大势经历了三个阶段。 2 2 1 集中目录式p 2 p 结构 集中目录式p 2 p 结构是p 2 p 发展史上的第一个阶段，是p 2 p 技术发展的萌芽 阶段。在集中目录式p 2 p 结构中，所有的共享资源是保存在各个节点之上，而中 心服务器的职责是保存着所有共享资源的信息，方便节点对共享资源的查询【25 1 。 中心节点会依据各个对等点之间的网络延迟等信息反馈最优的数据下载地址给查 询节点，而对等点则可以直接与该地址建立连接下载所需的资源，不需要经过中 心节点中转。由于中心节点的存在，这种结构也被称为非纯粹的p 2 p 结构。虽然 集中目录式p 2 p 结构中存在中心节点，但是它不同于以往的c s 网络结构，中心 节点是负责资源检索工作，数据交换是在各个对等点之间进行的。这种网络结构 虽然简单，但是却体现出了p 2 p 网络海量存储的特性和优势，上文中提到的n a p s t e r 就是集中目录式p 2 p 结构的典型代表。 如图2 1 所示，集中目录式p 2 p 结构采用的是星型的拓扑结构，中心节点分 别与各个网络中的对等节点相连接，记录各个节点的共享资源列表。查询节点依 据中心节点反馈的查询结果，与网络中的其他对等节点直接进行资源交换。中心 服务器只参与查询过程中的对等点发现环节，不负责对等点之间的数据交换过程。 优点：协议简单，性能优越。快速的的搜索算法使得排队相应时间降到最短。 4 第二章p 2 p 概述 缺点：中心节点瘫痪的话会中断服务。 p e e r p e e r 图2 i 集中目录式p 2 p 结构模型 2 2 2 纯分布式p 2 p 结构 p 2 p 发展的第二个阶段是纯分布式p 2 p 结构。这种结构不需要中心节点就可 以自主的工作，对等节点随机的接入网络，与相邻的节点通过端到端的连接构成 逻辑覆盖的网络。与集中目录式结构不同的是，在纯分布式结构下，对等节点之 间的内容查询和共享是通过相邻节点之间的广播方式来传递的。此外，每个节点 还记录下资源搜索的路径，防止产生回路。网络中每个对等点以广播方式将请求 发送到与其相邻的节点，而其相邻节点又用同样的方式再次将请求进行广播。最 终，发起查询的节点可以通过对等点的端进行连接，直接获取内容。 纯分布式p 2 p 结构中每个节点的功能基本相同，不设置中心服务器，对等节 点之间的数据交换完全是通过分布网络查询服务定位的。g n u t e l l a 是典型的纯