已阅读5页,还剩54页未读, 继续免费阅读
(计算机科学与技术专业论文)基于流信息的p2p流量监测系统的设计与实现.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
北京邮电大学硕士学位论文摘要 基于流信息的p 2 p 流量监测系统的设计与实现 摘要 随着p e e r t o p e e r ( p 2 p ) 网络技术的不断进步,各种p 2 p 应用 的流行程度越来越高,近年来i n t e r n e t 上p 2 p 流量的比例也在不断 攀升。在科研或工作环境中,以p 2 p 为基础的文件共享、即时通讯和 网络视频直播己成为i n t e r n e t 上的主流应用,极大地占用了本身就 不富裕的网络带宽资源,影响了正常的i n t e r n e t 应用和依赖于网络 连接的协同工作,为网络规划、网络安全和网络管理带来了巨大的挑 战。因此,不约而同地,p 2 p 技术研究者、网络服务提供商、内容提 供商和网络管理员都以不同角度提出了p 2 p 流量识别与监测的需求。 本文以局域网环境下的流量监测需求为背景,通过对主流p 2 p 软 件的流量特征,网络数据包捕获技术,p 2 p 流量识别算法等方面的详 细分析与研究,最终实现了包括网络流量捕获、p 2 p 流量识别、网络 流量信息汇总等模块的一套完整的基于流信息的局域网p 2 p 流量识 别系统,实现了对局域网内p 2 p 流量的实时的分析与统计。系统在实 际网络环境中的运行结果为p 2 p 技术研究者提供了丰富可靠的原始 数据资料,同时可以帮助网络管理员进一步有效地限制、管理网络中 的p 2 p 流量,从而提高其他正常网络应用的服务质量。 全文共分为四个部分,第一部分( 第一、二章) 简要介绍了p 2 p 摘要 网络和各种p 2 p 协议,并分析了p 2 p 流量识别与监测的应用背景。第 二部分( 第三章) 介绍了当前主流的p 2 p 流量识别方法,并比较了各 种方法的优劣。第三部分( 第四、五章) 详细阐述了基于流信息的 p 2 p 流量监测系统的流量采集模块、调度分发模块、流量识别模块和 流量汇总等模块的详细的设计与相关实现。第四部分( 第六章) 给出 并分析比较了该系统在实际网络环境下的监测结果。 关键字p e e r t o p e e r流量识别流量特征网络测量 北京邮电人学硕上学位论文a b s t r a c t d e s i g na n di m p l e m e n t a t i o no fap 2 pm o n i t o r i n g s y s t e mb a s e d0 nf l o wi n f o r m a t l 0 n a b s t r a c t w i t hp e e r t o - p e e r ( p 2 p ) n e t w o r k t e c h n o l o g ya d v a n c e m e n t s ,t h e v a r i o u sp 2 pa p p l i c a t i o n sb e c o m i n gm o r ea n dm o r ep o p u l a r ,a n dt h e p r o p o r t i o no fp 2 pt r a f f i co nt h ei n t e m e tk e e p sr a i s i n gi nr e c e n ty e a r s i n s c i e n t i f i cr e s e a r c ho rw o r ke n v i r o n m e n t ,p 2 pf i l e s h a r i n gs y s t e m s ,p 2 p i n s t a n tm e s s e n g e r sa n dp 2 pv i d e o b r o a d c a s t i n gs y s t e m sh a v eb e c o m e p o p u l a ri n t e r n e ta p p l i c a t i o n s ,g r e a t e l yo c c u p i e dt h el i m i t e dn e t w o r k r e s o u r c ea n da f f e c t e dt h en o r m a li n t e m e ta p p l i c a t i o n sa n dt h ew o r kr e l y o nt h en e t w o r kc o m m u n i c a t i o n w i t ht h ew i d e l yu s eo fp 2 pn e t w o r k s , m a n yi s s u e s a r e b r o u g h tt o n e t w o r kp l a n n i n g ,n e t w o r ks e c u r i t ya n d n e t w o r k m a n a g e m e n t t h e r e f o r , d e m a n d sf o rp 2 pt r a f f i ci d e n t i f i c a t i o na n d m o n i t o r i n ga r ep r o p o s e db yp 2 pr e s e a r c h e r s ,i n t e m e ts e r v i c ep r o v i d e r s , c o n t e n tp r o v i d e r sa n dn e t w o r ka d m i n i s t r a t o r sf r o md i f f e r e n ta n g l e s i nt h i s t h e s i s ,b a s e do nt h e r e s e a r c ho fr e l a t e d t r a n s p o r tl a y e r c h a r a c t e r i s t i c so fm o d e mp 2 pa p p l i c a t i o n s ,n e t w o r kp a c k e tc a p t u r e t e c h n o l o g i e sa n dp 2 pt r a f f i c i d e n t i f i c a t i o na l g o r i t h m s ,w ed e s i g na n d i m p l e m e n t eap 2 pt r a f f i cm o n i t o r i n gs y s t e m ,w i t ht h eb a c k g r o u n do f t r a f f i cm o n i t o r i n gr e q u i r e m e n t si nl a n t h eo p e r a t i n gr e s u l t so ft h e s y s t e mi nt h ea c t u a ln e t w o r ke n v i o r e n m e n tp r o v i d e daw e a l t ho fr e l i a b l e 北京邮电大学硕十学位论文 a b s t r a c t i n f o r m a t i o nf o r t h ep 2 pt e c h n o l o g yr e s e a r c h e r s ,w h i c hc a na l s oh e l p n e t w o r ka d m i n i s t r a t o r sl i m i ta n dm a n a g ep 2 pt r a f f i ci nt h en e t w o r km o r e e f f e c t i v e l y , t h u se n h a n c i n g t h eq o so fn o r m a l a p p l i c a t i o n s i nt h e n e t w o r k t h i st h e s i sc o n s i s t so ff o u rp a r t s t h ef i r s tp a r t ( i n c l u d i n gc h a p t e r1 a n dc h a p t e r2 ) g i v e sab r i e fi n t r o d u c t i o nt op 2 pn e t w o r k s ,k i n d so fp 2 p p r o t o c o l sa n d a na n a l y s i so fa p p l i c a t i o n b a c k g r o u n do fp 2 pt r a f f i c i d e n t i f i c a t i o na n dm o n i t o r i n g i nt h es e c o n dp a r t ( c h a p t e r3 ) ,4t y p e so f m o r d e np 2 pt r a f f i ci d e n t i f i c a t i o nm e t h o d sw e r ei n t r o d u c e d t h et h i r dp a r t ( i n c l u d i n gc h a p t e r4a n dc h a p t e r5 ) g i v e st h ei m p l e m e n t a t i o no ft h e s y s t e mw h i c hi n c l u d e sf o u rp a r t s :t h ep a c k e tc a p t u r em o d u l e ,t h e s c h e d u l ea n da l l o c a t em o d u l e ,t h et r a f f i ci d e n t i f i c a t i o na n dm o n i t o r i n g m o d u l ea n dt h et r a f f i cc o l l e c t i o nm o d u l e t h el a s tp a r t ( c h a p t e r6 ) o ft h e t h e s i ss h o w sa n da n a l y s e st h em o n i t o r i n gr e s u l t so ft h es y s t e mi nar e a l n e t w o r ke n v i r o n m e n t k e yw o r d s p e e r - t o p e e r , t r a f f i ci d e n t i f i c a t i o n ,t r a f f i c p a t t e m , n e t w o r km e a s u r e m e n t 北京邮电大学硕十学位论文 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不 包含其他人已经发表或撰写过的研究成果,也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切相关责任。 本人签名:经盟坠日期:2 趟:! :篁 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定,即: 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论文被查阅和借 阅;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释:本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释:本学位论文不属于保密范围,适用本授权书。 本人签名: 垒丕迸! 丝 日期: 塑! 壬:! ! :篁 导师签名: 北京邮电大学硕士学位论文 第一章引言 第一章引言 1 1p 2 p 流量识别与监测的需求背景 随着p 2 p 网络技术的不断进步,各种p 2 p 应用的流行程度越来越高。i n t e r n e t 上p 2 p 流量的比例在近几年来不断攀升,从2 0 0 4 年起就已经超过了h t t p 应用 的流量,成为了i n t e r n e t 流量的主体,在2 0 0 6 年时已达到i n t e r n e t 整体流量 的6 0 以上。p 2 p 网络在给i n t e r n e t 使用模式带来根本性变革的同时也给网络安 全和管理带来了巨大的挑战,针对p 2 p 应用的流量识别与监测需求应运而生。 从p 2 p 技术研究人员的角度来说,p 2 p 网络与传统网络在使用模式上的本质 区别导致了其流量特征的明显差异,传统的i n t e r n e t 网络流量模型不再适合描 述p 2 p 应用占主导地位的i n t e r n e t 流量。为了建立准确的p 2 p 流量模型,研 究人员需要在实际的网络环境中捕捉和监测p 2 p 应用所产生的流量作为后续分 析的数据来源。另外,通过对p 2 p 流量的时间属性和空间属性进行测量和分析, 可以了解各种p 2 p 应用的通信模式和性能特征,为设计更加高效、稳定的p 2 p 应用提供参考; 从网络服务提供商( i n t e r n e ts e r v i c ep r o v i d e r ,i s p ) 的角度来说,p 2 p 应 用通常采用多条并发连接进行数据传输,;d nj 1 0 了核心网和接入网的拥塞,直接影 响到用户的q o s 级别。另外,p 2 p 网络的对等传输方式带来了网络流量模式的根 本改变,接入网的上行流量大幅增加,给i s p 带来了更多的额外开销,也使以非 对称数字用户线路( a s y m m e t r i c a ld i g i t a ls u b s c r i b e rl i n e ,a d s l ) 为代表的传 统网络接入方式越来越不受到用户的认可。通过p 2 p 流量识别和相应的i n t e r n e t 流分类技术,网络服务提供商可以更好地监测和分析网络流量状况和各种 i n t e r n e t 应用的流量比例,为预测网络的业务需求和进行未来的网络规划提供 有力的数据支持,同时可以更深入地研究用户的网络使用习惯,制定更加合理的 网络资费方案。 从内容提供商( 包括影音制品发行商和网络内容提供商) 的角度来说,由于 p 2 p 网络的自组织特点,该网络上的共享内容得不到有效的管理,大量的影音文 件被盗版或非法传播。当前的一些内容提供商通过对网络上的p 2 p 流量进行识别 与监测来发现侵权行为,并将其作为进一步法律手段的数据依据。 从网络管理员的角度来说,用户在科研或工作环境中大量使用p 2 p 应用进行 文件下载,极大地占用了本身就不富裕的网络带宽资源,影响了正常的i n t e r n e t 应用和依赖于网络连接的协同工作。而且,通过p 2 p 方式进行传播的非法影音文 北京邮电大学硕士学位论文第一章引言 件和盗版软件会为科研机构或企业带来不可避免的法律纠纷,所以对p 2 p 应用的 流量进行有效的监测和控制已成为网络管理中越来越迫切的需求。 1 2 论文的组织结构 本文以局域网环境下的流量监测需求为背景,探讨了基于流信息的p 2 p 流量 监测系统的设计与实现,并对实现过程中所涉及到的主流p 2 p 软件的流量特征, 网络数据包捕获技术,p 2 p 流量识别算法等做了详细分析。 全文共分为四个部分,第一部分( 第一、二章) 简要介绍了p 2 p 网络和各种 p 2 p 协议,并分析了p 2 p 流量识别与监测的应用背景。第二部分( 第三章) 介绍 了当前主流的p 2 p 流量识别方法,并比较了各种方法的优劣。第三部分( 第四、 五章) 详细阐述了基于流信息的p 2 p 流量监测系统的流量采集模块、调度分发模 块、流量识别模块和流量汇总等模块的详细的设计与相关实现。第四部分( 第六 章) 给出并分析比较了该系统在实际网络环境下的监测结果。 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 第二章p 2 p 协议简介 2 1 p 2 p 定义及特点 一。画国 。 ij i ,磁篓y e l l o wp a g ! e i 图。誓,:,。一。器号o _ 一当攀i 凶2 笔i “t 。团垦譬i9 一_ i _ 毋:4 _ + f ; 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 一、非中心化( d e c e n t r a l i z a t i o n ) :网络中的资源和服务分散在所有结点 上,信息的传输和服务的实现都直接在结点之间进行,可以无需中间环节和服务 器的介入,避免了可能的瓶颈。p 2 p 的非中心化基本特点,带来了其在可扩展性、 健壮性等方面的优势。 二、可扩展性:在p 2 p 网络中,随着用户的加入,不仅服务的需求增加了, 系统整体的资源和服务能力也在同步地扩充,始终能较容易地满足用户的需要。 整个体系是全分布的,不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 三、健壮性:p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在 各个结点之间进行的,部分结点或网络遭到破坏对其它部分的影响很小。p 2 p 网 络一般在部分结点失效时能够自动调整整体拓扑,保持其它结点的连通性。p 2 p 网络通常都是以自组织的方式建立起来的,并允许结点自由地加入和离开。p 2 p 网络还能够根据网络带宽、结点数、负载等变化不断地做自适应式的调整。 四、高性能价格比:性能优势是p 2 p 被广泛关注的一个重要原因。随着硬 件技术的发展,个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理 高速增长。采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点,将计算 任务或存储资料分布到所有结点上。利用其中闲置的计算能力或存储空间,达到 高性能计算和海量存储的目的。通过利用网络中的大量空闲资源,可以用更低的 成本提供更高的计算和存储能力。 五、负载均衡:p e e rt op e e r 网络环境下由于每个节点既是服务器又是客 户机,减少了对传统c s 结构服务器计算能力、存储能力的要求,同时因为资源 分布在多个节点,更好的实现了整个网络的负载均衡。 2 。2p 2 p 网络拓扑结构 拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系,结 点之间的拓扑结构一直是确定系统类型的重要依据。目前互联网络中广泛使用集 中式、层次式等拓扑结构,i n t e r n e 本身是世界上最大的非集中式的互联网络, 但是九十年代所建立的一些网络应用系统却是完全的集中式的系统、很多w e b 应用都是运行在集中式的服务器系统上。集中式拓扑结构系统目前面临着过量存 储负载、d o s 攻击等一些难以解决的问题。 p 2 p 系统一般要构造一个非集中式的拓扑结构,在构造过程中需要解决系统 中所包含的大量结点如何命名、组织以及确定结点的加入离开方式、出错恢复 等问题。 根据拓扑结构的关系可以将p 2 p 研究分为4 种形式:中心化拓扑 ( c e n t r a l i z e dt o p o l o g y ) ;全分布式非结构化拓扑( d e c e n t r a l i z e d 4 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 u n s t r u c t u r e dt o p o l o g y ) ;全分布式结构化拓扑( d e c e n t r a l i z e ds t r u c t u r e d t o p o l o g y ,也称作d h t 网络) 和半分布式拓扑( p a r t i a l l yd e c e n t r a l i z e d t o p o l o g y ) 。 中心化拓扑 中心化拓扑最大的优点是维护简单发现效率高。由于资源的发现依赖中心化 的目录系统,发现算法灵活高效并能够实现复杂查询。最大的问题是与传统客户 机服务器结构类似,容易造成单点故障,访问的“热点”现象和法律等相关问 题。这是第一代p 2 p 网络采用的结构模式,经典案例就是著名的m p 3 共享软件 n a p s t e r 。 这种对等网络模型存在很多问题,主要表现为: ( 1 ) 中央服务器的瘫痪容易导致整个网络的崩馈,可靠性和安全性较低。 ( 2 ) 随着网络规模的扩大,对中央索引服务器进行维护和更新的费用将急剧 增加,所需成本过高。 ( 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷,并因此被攻击为 非纯粹意义上的p 2 p 网络模型。对小型网络而言,集中目录式模型在管理和控制 方面占一定优势。但鉴于其存在的种种缺陷,该模型并不适合大型网络应用。 全分布式非结构化拓扑 全分布非结构化网络在重叠网络( o v e r l a y ) 采用了随机图的组织方式,结 点度数服从”p o w e r l a w ”规律,从而能够较快发现目的结点,面对网络的动态变 化体现了较好的容错能力,因此具有较好的可用性。同时可以支持复杂查询,如 带有规则表达式的多关键词查询,模糊查询等,最典型的案例是g n u t e l l a 。 由于没有确定拓扑结构的支持,非结构化网络无法保证资源发现的效率。即 使需要查找的目的结点存在发现也有可能失败。由于采用t t l ( t i m e t o l i v e ) 、 洪泛( f l o o d i n g ) 、随机漫步或有选择转发算法,因此直径不可控,可扩展性较 差。因此发现的准确性和可扩展性是非结构化网络面临的两个重要问题。目前对 此类结构的研究主要集中于改进发现算法和复制策略以提高发现的准确率和性 能。 由于非结构化网络将重叠网络认为是一个完全随机图,结点之间的链路没有 遵循某些预先定义的拓扑来构建。这些系统一般不提供性能保证,但容错性好, 支持复杂的查询,并受结点频繁加入和退出系统的影响小。但是查询的结果可能 不完全,查询速度较慢,采用广播查询的系统对网络带宽的消耗非常大,并由此 带来可扩展性差等问题。 全分布式结构化拓扑( t g 称作d h t 网络) 由于非结构化系统中的随机搜索造成的不可扩展性,大量的研究集中在如何 北京邮电大学硕十学位论文第三章现有p 2 p 流量识别技术分析 构造一个高度结构化的系统。目前研究的重点放在了如何有效地查找信息上,最 新的成果都是基于d h t 的分布式发现和路由算法。这些结构通过分布式散列函 数,将输入的关键字惟一映射到某个结点上,然后通过某些路由算法同该结点建 立连接。 d h t 类结构能够自适应结点的动态加入退出,有着良好的可扩展性、鲁棒 性、结点i d 分配的均匀性和自组织能力。由于重叠网络采用了确定性拓扑结构, d h t 可以提供精确的发现。只要目的结点存在于网络中d h t 总能发现它,发现的 准确性得到了保证,最经典的案例是t a p e s t r y ,c h o r d ,c a n ,和p a s t r y 。 d h t 类结构最大的问题是d h t 的维护机制较为复杂,尤其是结点频繁加入退 出造成的网络波动( c h u r n ) 会极大增加d h t 的维护代价。d h t 所面临的另外一 个问题是d h t 仅支持精确关键词匹配查询,无法支持内容语义等复杂查询。 一半分布式拓扑 半分布式结构( 有的文献称作h y b r i ds t r u c t u r e ) 吸取了中心化结构和全 分布式非结构化拓扑的优点,选择性能较高( 处理、存储、带宽等方面性能) 的 结点作为超级点( 英文文献中多称作:s u p e r n o d e s ,h u b s ) ,在各个超级点上存 储了系统中其他部分结点的信息,发现算法仅在超级点之间转发,超级点再将查 询请求转发给适当的叶子结点。半分布式结构也是一个层次式结构,超级点之间 构成一个高速转发层,超级点和所负责的普通结点构成若干层次。最典型的案例 就是k a z a a 。 半分布式结构的优点是性能、可扩展性较好,较容易管理,但对超级点依赖 性大,易于受到攻击,容错性也受到影响。 下表比较了4 种结构的综合性能。 表2 - ip 2 p 协议拓扑比较 比较标准中心化拓全分布式非结构化拓全分布式结构化半分布式拓 扑扑拓扑扑 可扩展性差差好中 可靠性 差 好好中 可维护性最好最好好中 算法效率最高中高中 复杂查询支持支持不支持支持 2 3 主要p 2 p 协议 这部分介绍一些较为流行的p 2 p 协议。 6 北京邮电大学硕+ 学位论文 第三章现有p 2 p 流量识别技术分析 ( 1 ) b i t t o r r e n t b i t t o r r e n t 是一种半分布式p 2 p 文件传输协议,该网络由一个中央服务器 和多个客户所组成。客户之间可以直接互联,用于接受和发送一个单独文件中的 某些部分;服务器( 又称为t r a c k e r ) 是用来协调用户之间的行为并管理连接, 收集下载者信息,将此信息提供给其他下载者,使下载者们相互连接起来,传输 数据。 在b i t t o r r e n t 协议中,服务器并不为客户机提供所需文件的位置。文件发 布者会根据要发布的文件生成提供一个t o r r e n t 文件,即种子文件,也简称为 “种子”。t o r r e n t 文件本质上是文本文件,包含t r a c k e r 信息和文件信息两部 分。t r a c k e r 信息主要是b t 下载中需要用到的t r a c k e r 服务器的地址和针对 t r a c k e r 服务器的设置,文件信息是根据对目标文件的计算生成的,计算结果根 据b i t t o r r e n t 协议内的b 编码规则进行编码。它的主要原理是需要把提供下载 的文件虚拟分成大小相等的块,块大小必须为2 k 的整数次方,并把每个块的索 引信息和h a s h 验证码写入t o r r e n t 文件中;所以,t o r r e n t 文件就是被下载文 件的“索引 。 这样,b i t t o r r e n t 客户端在下载文件内容前要先得到相应的t o r r e n t 文件, 然后使用b t 客户端软件进行下载。下载时,b t 客户端首先解析t o r r e n t 文件得 到t r a c k e r 地址,然后连接t r a c k e r 服务器。t r a c k e r 服务器回应下载者的请求, 提供下载者其他下载者( 包括发布者) 的i p 。下载者再连接其他下载者,根 据t o r r e n t 文件,两者分别向对方告知自己已经有的块,然后交换对方没有的 数据。此时不需要其他服务器参与,分散了单个线路上的数据流量,因此减轻了 服务器负担。下载者每得到一个块,需要算出下载块的h a s h 验证码与t o r r e n t 文件中的对比,如果一样则说明块正确,不一样则需要重新下载这个块。 ( 2 ) e d o n k e y e d o n k e y 协议也是半分布式的文件传输协议,在该协议中有个强大的中心索 引服务器的网络。e d o n k e y 协议由服务器端和客户端两部分组成。 服务器端是客户端连接的,为了搜索和查找可以下载用户的桥梁。在服务器 一客户端握手连接时,服务器分配一个4 个字节的i d 给客户端,仅仅在客户端一 服务器t c p 连接时有效,用于识别客户端。客户端i d 的分配是从低到高的。只 要客户端启动,就会与一个确切的e d o n k e y 服务器建立t c p 连接。在查找到下载 源( 其他客户端) 后,下载就是客户端和客户端通过点对点( p 2 p ) 进行直接对话了, 期间没有数据流通过服务器。各部分( 文件、客户端) 通过t c p 连接。若一段时间 ( 默认4 0 s ) 都没有活动的套接字或对等客户端断开连接,则连接关闭。 e d o n k e y 客户端连接采用限定u d p 方式,增强了文件查询和“源”查询的功 北京邮电大学硕j 二学位论文 第三章现有p 2 p 流量识别技术分析 能,同时提供保持在线( k e e pa l i v e ) 功能( 确保客户端的服务器列表中的服务器 是有效的) 。e d o n k e y 客户端产生u d p 包的数量( 不是字节数) 最多只能达到e m u l e 客户端发送所有包的5 。 ( 3 ) f a s t t r a c k f a s t t r a c k 是一种半分布式p 2 p 系统,以实现快速检索以及网络的可测量性。 f a s t t r a c k 是采用树型对等网络模型,是集中目录式网络结构的发展模式。处于 网络模型中的节点自动组成树型结构,其中计算能力较强的或者带宽更宽的节点 成为超级节点,超级节点的功能类似于集中目录式网络中的服务器。客户节点加 入超级节点的树中之后,当需要查询某个文件时,客户节点会向超级节点发出文 件查询请求。超级节点进行相应的检索和查询后,会返回符合查询要求的客户节 点地址信息列表。查询发起客户节点接收到应答后,会根据网络流量和延迟等信 息进行选择与合适的客户节点直接建立连接,并开始文件传输。 其工作流程主要包括如下几个部分: ( a ) 连接。节点每次启动时先到服务器上注册,从服务器上得到2 0 0 个超 级节点的列表( 服务器中有s u p e r n o d el i s tc a c h e ) 。本机上的程序会自动检查 是否为超级节点,如果是就连到其它超级节点,如果不是就选择一个超级节点作 为父节点进行连接。与节点连接时,先用u d p 包来探查在s u p e r n o d el i s t c a c h e 中所有可用的连接,然后跟探查成功的超级节点建立t c p 连接,再根据策略选 择其中的一个作为父节点,断掉其它的连接,然后向父节点上传其共享文件的信 息。选择父节点的策略通常是超级节点的负荷和超级节点的位置。位置的判断可 以依据i p 地址的前缀、r t t 等。 ( b ) 搜索。用户搜索时,发送搜索请求到父节点,然后父节点向其连接的 超级节点广播这个搜索请求,直到t t l 为0 。最终父节点在给用户的应答中会提 供一个可用的文件列表,以及文件所在节点的位置。 ( c ) 传输文件。用户从可用文件列表中选择一个地址,进行t c p 连接,发 出文件共享请求( h t t p ) 。文件所有者进行响应( h t t p ) ,然后用此t c p 连接传输 文件。 ( 4 ) 6 n u t e l l a g n u t e l l a 是一个用于分布式搜索和数字资源共享的协议。尽管支持传统的 客户机n 务器架构,g n u t e l l a 的特色是它的点对点、非中心的模型。在这个模 型中,任何一个客户端同时也是一个服务器,反之亦然。所以g n u t e l l a 中给它 们起了一个专门的名字叫做s e r v e n t 。s e r v e n t 提供客户端接口,它是一个1 6 字长的随机数,用户通过这个接口可以提交查询并查看查询结果,同时,它们也 可以接受查询请求,在本地数据中检索,并返回符合条件的结果。 北京邮电大学硕十学位论文第三章现有p 2 p 流量识别技术分析 每个参与者启动一个g n u t e l l a 程序,它寻找其他g n u t e l l a 节点并进行连接, 这些连接起来的节点承担g n u t e l l a 消息的传送任务,这些消息包括:查询、对 查询的应答,以及为了发现节点而发送的控制信息。用户可以提供一个他们希望 共享的资源的列表,可以提交查询并得到查询结果,可以选择结果中的资源。资 源之间的数据交换采用标准的h t t p 协议。 ( 5 ) s k y p e s k y p e 是创建k a z a a 的组织在2 0 0 3 年开发的一个基于p e e r t o p e e r 的v o l p 客户端。它可以几乎无缝的穿越n a t 和防火墙,并且语音质量比其他的v o l p 客 户端软件要好很多。他加密了端到端的通话,分散式存储用户信息,支持即时消 息通信和网络语音会议。 s k y p e 以p 2 p 的方式提供四类服务:p c t o p c 、p c t op h o n e 、p h o n et op c 和 语音信箱。s k y p e 网络结构由普通主机和超级节点、s k y p e 登陆服务器组成。一 个s k y p e 客户端通过监听特殊的端口来接受打入电话,维护一个称作主机缓存的 节点表。所谓得主机缓存就是一个超级节点和其开放端口,被定期刷新的列表。 使用多种方式的语音编码方式,在本机保留一个好友列表,对信息进行端到端的 加密。 一 当s k y p e 客户端被执行后,首先要判断出是否自己在n a t 设备,若在,则按 不同方式去应对n a t 连接造成的问题,s k y p e 客户依据主机缓存地址和端口发送 u d p 包到超级节点。若u d p 包被n a t 设备限制,则转而使用t c p 协议跨过n a t 设 备,若采用端口连接无效,就试图分别采取8 0 端口( h t t p 端口) 和4 4 3 端口( h t t p s 端口) 躲过防火墙的干预。s k y p e 被人称道的是其使用a e s 算法对每个电话和即 时信息使用2 5 6 b i t 加密,使用1 5 3 6 b i t ,- - 2 0 4 8 b i tr s a 去协商对称a e s 密钥。用 户的公钥在进行登陆服务认证时鉴定。 s k y p e 使用其全局索引技术来搜索s k y p e 用户,这种技术是分布式的,若用 户存在且在最近7 2 小时登陆过,就保证能够查找到。 s k y p e 语音信令使用t c p 协议来传输,其通信占用带宽只有3 k b i t s 1 6 k b i t s 。不同的主、被叫用户的位置情况不同,s k y p e 采用的技术方式也不同, 分为: 主、被叫用户都使用公网i p 地址,信令使用t c p 方式连接,媒体流使用 u d p 方式。 主叫用户在端口受限的n a t 设备后,接收者是一个公网i p 用户,通过已 在线的公网的其他s k y p e 节点,以t c p 方式转发信令、媒体流,转发信令,以 u d p 方式转发媒体流。 主、被叫用户都在端口受限的n a t 设备后,则通过已在线的公网其他s k y p e 9 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 节点,以t c p 方式来转发信令、媒体流。 由于其随机连接其他s k y p e 节点,使用随机i p 地址和端口连接s k y p e 网络, 有时还使用知名端口( 8 0 或4 4 3 ) 跳过防火墙连接,因此鉴别s k y p e 流量是很困 难的。 ( 6 ) p p l i v e p p l i v e 是一款用于互联网上大规模视频直播的软件,本软件采用多点下载, 网状模型的p 2 p 技术,具有人越多,播放越流畅的特性。典型的一次p p l i v e 通 信分为下面几个阶段: 加入p p l i v e 网络,获取频道信息 p p l i v e 应用程序先是向域名为w w w p p l i v e c o m 的主机建立t c p 连接。在建 立t c p连接后, 主机发送一个h t t p包 “g e t w e b x m l n e w c h a n n e l 一2 0 5 2 x m l 7 2 0 a = 1 4 3 4 2 7h t t p 1 1 ”,其后对方将一个x m l 数据页面发送给p p l i v e 应用软件。其中,g e t 信息中的“2 0 a = 1 4 3 4 2 7 ”字段是 可变的,1 4 3 4 2 7 标识了不同时刻的x m l 信息。在它对应的是动态变化的节目频 道信息。通过协商更新间隔时间,p p l i v e 软件按照一定的频率更新频道列表。 跟固定节点通信,获取网络资源拓扑信息。( u d p ) 获得了频道信息后p p l i v e 应用程序通过u d p 协议端口8 2 9 6 与域名为 x g 1 d n e t 的目的主机通信( 其中x 可以为1 5 ) 。 与一些固定数量的相对动态变化的节点通信 之后程序跟一系列的i p 地址( 5 0 个) 通过u d p 协议通过8 2 9 6 端口进行通 信,发出的数据报的净荷只有5 7 字节,而收到的数据报大小不一,但是它们有 一个共同的特点就是数据量不大,跟控制数据包形式相似。这一部分的通信可以 看作是新加入的主机在跟一些标志性的节点或者是所在区域的代表节点通信。 数据传输 之前的协议交互都是在具体数据传输,也就是用户观看具体节目前的一些准 备工作。当启动具体某一个的频道节目时,主机与大量的远端主机建立t c p 连接。 当积累的数据量到达规定的阈值时停止抓包。最后观察发现p p l i v e 协议中的数 据通信大量的采用了t c p ( 8 8 ) ,而其他一些控制消息包则用u d p 来传输。 1 0 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 第三章现有p 2 p 流量识别技术分析 3 1基于端口识别 当p 2 p 网络还处在第一代,即集中式p 2 p 的时候。p 2 p 的应用都是使用固定 的端口号进行通信的( 详见表3 一1 ) 。所以,最早的p 2 p 识别方法就是基于p 2 p 应用的特征端口号的。但随着p 2 p 技术的演化和改进,许多新的反监测、反封锁 技术也被引入。当前大部分的p 2 p 系统已经开始支持用户自定义端口号、随机动 态端口号、端口跳变技术或h t t p 伪装技术,使基于特征端口号的p 2 p 流量识别 方法的识别率和准确率都大大下降。因此基于特征端口号的p 2 p 流量识别方法已 经不再适用于今天的p 2 p 网络环境。 基于特征端口号的p 2 p 流量识别方法属于确定性方法,即这类方法可以直接 识别出是何种具体的p 2 p 协议( 如e m u l e 、b i tt o r r e n t 等) ,也可以直接排除知 名的非p 2 p 应用( 如f t p ,m a i l ,w w w 等) 。目前,基于特征端口号的p 2 p 流量识 别方法已经不是学术研究的热点,但由于该方法原理简单,技术成熟,一些对准 确性要求不高的流量监测系统仍使用特征端口号识别作为主要的p 2 p 流量识别 手段。 表3 - 1 部分p 2 p 应用的特征端口号 p 2 p 应用名称特征端口号( t c p )特征端口号( u d p ) g n u t e ll a6 3 4 6 ,6 3 4 86 3 4 6 ,6 3 4 8 ,6 3 4 9 w i n m x6 6 9 96 2 5 7 b i tt o r r e n t6 8 81 ,6 8 8 2 ,6 8 8 4 ,6 8 8 6 e d o n k e y 4 6 6 24 6 7 2 s o r i b a d a 2 2 3 2 2 ,7 6 7 5 ,7 6 7 6 ,7 6 7 72 2 3 2 1 ,7 6 7 4 s h a r e s h a r e6 3 9 9 6 3 8 8 ,6 7 3 3 ,6 7 7 7 3 2 基于p a y io a d 识别 针对特征端口号不再有效的情况,基于应用层特征字段的p 2 p 流量识别方法 随即被提出。该方法通过分析数据包载荷中的特征字段( 详见表3 - 2 ) 来将网络 流量关联到具体的p 2 p 应用。以b i t t o r r e n t 为例,其原理大概是这样的:当两 北京邮电大学硕士学位论文第三章现有p 2 p 流量识别技术分析 台应用了b i t t o r r e n t 协议的主机试图共享文件信息时,他们首先需要通过三次 握手来建立连接。在这些数据包中,p a y l o a d ( 应用层用户数据) 部分便会包含 表3 所示的特征字段一“x 1 3 b i t t o r r e n tp r o t o c o l ”( 其中x 1 3 即十进制中的 1 9 ,表示其后跟了1 9 个字符b i t t o r r e n tp r o t o c 0 1 ) 。识别出包含特征字段的数 据包之后,提取并记录下源和目的的i p 地址及端口号。之后出现的与此四元组 相匹配的数据包即为两主机间进行具体文件数据传输的数据包( 事实上,进行文 件数据传输的数据包并不包含上面提到的特征字段) 。这样,就达到了识别两主 机间b i t t o r r e n t 流量的目的。在此方法提出的初期,多次的实验结果表明该方 法在准确性、实时性、健壮性方面都取得了令人满意的效果。因此,直到目前为 止,基于应用层特征字段的流量识别方法仍然在多数商用系统上得到了广泛的应 用。有个很出名的开源软件l 7 - f i l t e r 也是根据应用层的特征字段来识别各种应 用的,当然,其中也包括各种p 2 p 应用。该软件安装完以后有个p r o t o c o l 文件 夹,里面是以各协议名称命名的p a t 文件。该文件的内容就是以正则表达式来体 现的此种协议的特征字段值,有些文件甚至有多个由简到繁的可选特征字段,感 兴趣的读者可以自己找来看一看。这个软件有很好的扩展性,只要按照规则写一 个新的协议的p a t 文件,l 7 - f i l t e r 就能支持这种协议的识别。 至此可以看出,基于应用层特征字段的识别方法同基于特征端口号的p 2 p 流量识别方法一样,都是属于确定性方法。即这类方法可以直接识别出是何种具 体的p 2 p 协议( 如e m u l e 、b i t t o r r e n t 等) 。但
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试高三地理检测卷打印版
- 2026-2027学年上学期单元测试二年级语文易错题卷
- 2025超声技师心血管超声素养检测题及答案
- 格宾石笼封边绑扎施工工艺及填充密实度
- Chuanbeinone-22-Epidelavinone-生命科学试剂-MCE
- 旅游计划协调员绩效考核表
- 运动器材销售策略与市场分析能力绩效表
- 无人机航空物流安全操作手册
- 食品加工企业追溯体系构建指南
- 国际物流专员绩效评价表
- 2026福建福州旗山供水有限公司招聘2人考试模拟试题及答案解析
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 正大集团人才评估行测题目
- UL 9540A 2026 储能电池热失控传播测试标准中文版 模组防火试验规范
- 物业服务履约评价报告
- 光伏组件拆除方案
- 2026年出版社招聘考试面试题及参考答案
- 2025-2026学年江西省赣州市大余县部分高中高三上学期11月期中考试英语试题
- 小区物业消防安全培训课件
- 空乘课件教学课件
评论
0/150
提交评论