已阅读5页,还剩46页未读, 继续免费阅读
(计算机应用技术专业论文)基于行为特征的多重p2p流量分类.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 p 2 p 技术已经使互联网格局发生了巨大的变化,改变了以往网络以服务器为 中心的模式,使广大的互联网用户群体加入到网络共享的过程中来,有效的发 掘了网络共享资源的潜力,为所有网络用户提供了一种全新的获取资源的方式。 然而,随着p 2 p 流量的飞速增长,管理这些流量变得日益困难。网络不堪重负, 极大的影响了网络上的其他服务。考虑到p 2 p 的发展已经成为不可阻挡的趋势, 当今运营商必须面对这一问题。寻找一种对p 2 p 流量进行分类识别的方法显得 越来越重要。 p 2 p 应用一直没有通用的网络协议规范,而其曲折的发展过程也使大部分目 前的p 2 p 软件纷纷采取了各种手段以逃避网络检测,这使得对p 2 p 流量进行分 类变得非常困难。常见的端口扫描和深层数据包检测方法面对p 2 p 流量都有失 效的危险。本文对目前流行的各种p 2 p 应用进行了研究,通过分析传统应用和 p 2 p 应用之间各个方面的差异,总结出p 2 p 流量的共性。然后从连接模式、数 据包特征等方面归纳出p 2 p 流量的行为特征,结合传统检测和机器学习方法, 提出了一种利用行为特征分层对p 2 p 流量进行分类的方法,使用该方法进行分 类所需信息量少,并能对加密p 2 p 流量进行分类。 全文共分为7 章,第1 章为绪论,主要介绍研究本课题的背景意义以及本 文主要内容。第2 章介绍了p 2 p 的发展历史以及常用于p 2 p 流量分类的各种方 法。第3 章对广泛应用的p 2 p 协议b i t t o r r e n t 进行了分析。第4 章对p 2 p 应用 各个方面的行为特征进行了分析。第5 章提出了实现p 2 p 流量分类的具体方法。 第6 章是对本文中的流量分类方法给出的测试报告。第7 章对本文内容的总结, 并指出进一步研究的可能方向。 关键词:p 2 p 网络流量分类行为特征 a b s t r a c t n o w a d a y sp 2 pt e c h n o l o g yh a sc a u s e dag r e a tc h a n g eo ni n t e r a c t ,i ta l t e r st h e s e r v e r - c e n t e r e dp a t t e mo fn e t w o r k ,m a k e sal a r g en u m b e ro fi n t e r n e tu s e r sp a r t i c i p a t e i nn e t w o r k ss h a r i n ga n de x p l o r e st h ep o t e n t i a lo fo n l i n er e s o u r c e se f f i c i e n t l y , i tg i v e s p e o p l eab r a n dn e ww a yt oa c q u i r er e s o u r c e s h o w e v e r , a l o n ew i t ht h ei n c r e a s i n g l y g r o w i n gp 2 pt r a f f i c ,i th a sb e c o m eap r o b l e mt om a n a g et h et r a f f i c n e t w o r k sa r e o v e r b u r d e n e d ,w h i c ha f f e c t st h eq u a l i t yo fo t h e ro n l i n es e r v i c e s i nv i e wo ft h ef a c t t h a tt h ed e v e l o p m e n to fp 2 pi su n s t o p p a b l e i s p sh a v et od e a lw i t ht h i sp r o b l e m i t s g e t t i n gm o r ea n d m o r ei m p o r t a n tf o ru st of i n dw a y st oc l a s s i f yp 2 pt r a f f i c p 2 pa p p l i c a t i o n sd o n th a v eau n i v e r s a l p r o t o c o l ,a n d b e c a u s eo ft h e i r c o m p l i c a t e dd e v e l o p m e n t a lc a u s e ,m a n yc u r r e n tp 2 ps o f t w a r e sa p p l ya l lk i n d so f t e c h n o l o g yt o a v o i db e i n gd e t e c t e d ,w h i c hm a k e sp 2 pt r a f f i cd i f f i c u l tt ob e c l a s s i f i e d t r a d i t i o n a lm e t h o d ss u c ha sp o r ts c a n so rd p iw o u l dp r o b a b l yf a i li nt h i s c a s e t h i st h e s i sm a k e sar e s e a r c ho fs e v e r a lp o p u l a rp 2 pa p p l i c a t i o n s ,a n a l y s e s v a r i o u s p h a s e s o fd i f f e r e n c e sb e t w e e nt r a d i t i o n a la n dp 2 pa p p l i c a t i o n s ,a n d s u m m a r i z e st h ec o m m o n n e s so fp 2 pt r a f f i c ,t h e ni n f e r sb e h a v i o rf e a t u r e sf r o m c o n n e c t i o np a t t e r n s ,p a c k a g ec h a r a c t e r i s t i c s ,e t c ,a n dp r e s e n t sam u l t i l e v e lm e t h o d b a s e do nb e h a v i o rf e a t u r et oc l a s s i f yp 2 pt r a f f i ci naw a yc o m b i n i n gt r a d i t i o n a l m e t h o d sa n dm a c h i n el e a r n i n g t h i sm e t h o dn e e d sl e s si n f o r m a t i o nt or e a c ha c o n c l u s i o n ,a n dh a sa b i l i t yt oc l a s s i f yt h et r a f f i ce n c r y p t e d t h e r ea r es e v e nc h a p t e r si nt h i sp a p e r , c h a p t e r1p r o v i d e sab r i e fi n t r o d u c t i o no f t h er e s e a r c hb a c k g r o u n da n dt h em a i nc o n t e n to ft h ep a p e r c h a p t e r2i n t r o d u c e st h e h i s t o r yo fp 2 pa n ds e v e r a lm e t h o d sw h i c ha r eu s e dt oc l a s s i f yp 2 pt r a f f i c c h a p t e r3 g i v e saa n a l y s i so ft h em o s tw i d e l yu s e dp 2 pp r o t o c o lb i t t o r r e n t c h a p t e r4p r o v i d e s a n a l y s i so fd i f f e r e n ta s p e c t so fp 2 pb e h a v i o rf e a t u r e c h a p t e r5p r e s e n t sam e t h o dt o a c h i e v ep 2 pt r a f f i cc l a s s i f i c a t i o n c h a p t e r6i st h et e s tr e p o r to ft h ec l a s s i f i c a t i o n m e t h o dt h i sp a p e r p r e s e n t s c h a p t e r7i st h es u m m a r i z a t i o no ft h er e s e a r c hw o r ka n d p o i n t so u tt h en e x ts t e pt oe x p a n dt h es t u d y k e yw o r d :p 2 pn e t w o r kt r a f n cc l a s s i f i c a t i o nb e h a v i o rf e a t u r e i i 独创性声明 本人声明,所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其 他人已经发表或撰写过的研究成果,也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名:垄日期:2 丝! :受 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定,即:学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索,可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文,并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) :茎盟 导师( 签名)期:2 1 竺皇! 垒:锣 武汉理工大学硕十学位论文 1 1 课题背景和意义 第1 章绪论 p 2 p 是p e e rt op e e r ,即对等点网络的缩写,这是一种分布式网络,网络 的参与者共享他们所拥有的一部分资源,如处理能力、存储能力、网络连接能 力、打印机等,这些共享资源直接通过网络向其他对等点提供服务和信息,同 时也接受其他对等点所提供的资源服务,每一个对等点既是服务器又是客户端。 使资源和信息的共享不受服务器能力的限制。 图卜1c s 模式和p 2 p 模式比较 p 2 p 网络是目前新一代互联网技术研究的热点之一,被美国财富杂志称 为改变因特网发展的四人新技术之一,甚至被认为是无线宽带互联网的未来技 术。p 2 p 引导网络计算模式从集中式向分布式偏移,也就是说网络应用的核心 从中央服务器向网络边缘的终端设备扩散:服务器到服务器、服务器到p c 机、 p c 机到p c 机,所有网络节点上的设备都可以彼此分享资源。这使人们在 i n t e r n e t 上的共享行为被提到了一个更高的层次,使人们以更主动深刻的方式 、净,茜 蜜、 瑟澎1 武汉理丁大学硕+ 学位论文 参与到网络中去,正如第二代互联网之父d o u g v a nh o u w e l i n g 说的:“下一 代互联网民们将真正参与到网络中来,每个人都能为网络的资源和功能扩展作 出自己的贡献。” 但是目前p 2 p 的广泛应用也带来了麻烦由于p 2 p 应用无限抢占带宽的特 点,使得原本并不富裕的网络带宽更是捉襟见肘,严重的影响了互联网上其他 的应用。而网络运营商也感受到了越来越多的压力。鉴于p 2 p 应用的飞速发展, 研究一种可以对各类p 2 p 应用进行管理的方法显得非常重要,而要管理p 2 p 流 量,首先要能够识别。本论文的任务和核心内容就是针对目前流行的各种p 2 p 应用进行识别,寻找有效的基于行为特征的应用层识别实现方案。 1 2p 2 p 发展现状 1 9 9 9 年之前,互联网的流量以f t p 和w e b 的流量为主,这两种网络应用的 流量约占互联恻总流量的7 0 以上。然而,自从n a p s t e r 首先在互联网上应用 p 2 p 思想,使用户能够以自由、开放的方式交换文件以来,各类p 2 p 应用就如 雨后春笋一般进入互联网市场。到2 0 0 9 年的今天,互联网的流量成分己发生重 大的转变。根据德国一家i s p 流量检测设备制造商j p o q u e 提供的2 0 0 8 2 0 0 9 年 度报告,p 2 p 流量在全世界大部分地区已经成为主导流量。图卜2 显示了各个 地区排名前两位的网络流量的具体比例。 s 砌h w e de u r e 图l2 最常用协议的分布 武汉理工人学硕士学位论文 根据此前各个年份对互联网流量的统计,p 2 p 流量占总体流量的比例已经连 续3 年超过5 0 。可见在今天p 2 p 应用的发展不仅仅是趋势,而是已经成为现 实。在中国,由于网络版权的管理较为宽松,p 2 p 的使用更加广泛,中国工程 院副院长邬贺铨曾在“2 0 0 7 年宽带世界论坛亚洲会议”上指出,“中国的宽带 用户数还低于世界平均水平,数字鸿沟问题严重:而且中国p 2 p 流量已经是美国 的三到四倍。”,因此,对p 2 p 流量监管的需求显得尤为迫切。 目前p 2 p 的应用目前主要集中在几个方面: 对等计算。一直以来,科学家都在尝试利用大量计算机联合起来处理超级 计算机才能完成的计算任务。采用p 2 p 技术的对等计算可以通过把网络中的众 多计算机暂时不用的计算能力连结起来,使用积累的能力执行超级计算机的任 务。1 9 9 9 年,美国柏克莱大学开展的寻找外星生命的s e t i h o m e 研究计划就利 用p 2 p 技术串联所有参与研究计划者闲置的电脑来执行庞大复杂的运算,然后 把结果传到s e t i h o m e 总部,来分析星际间无线电信号,寻找宇宙中可能存在 的其他外星文明证据。现在的p c 计算能力已经大大加强,而且正以极短的周期 不断进步,如何利用分布于世界各地的无数台p c 拥有巨大的计算潜能,是一个 极具吸引力的课题,任何需要大量数据处理的行业都可从对等计算中获利,如 天气预报、动画制作、基因组的研究等。 搜索引擎,利用p 2 p 技术不受服务器资源限制的优点可以开发出强大的搜 索工具。现在的搜索引擎只能搜索一定深度的网页内容,过于全面的搜索只能 让服务器不堪重负。p 2 p 技术允许用户能够深度搜索文档,而且这种搜索无需 通过w e b 服务器,也可以不受信息文档格式和宿主设备的限制,可达到传统目 录式搜索引擎无可比拟的深度。通过用户自发的进行搜索,搜索范围可以以几 何级数增长,几分钟内就可搜遍几百万台p c 上的信息资源。p 2 p 为互联网的信 息搜索提供了全新的解决之道。 文件交换,可以说文件交换的需求直接引发了p 2 p 技术热潮。以前,要实 现文件交换需要将文件上传到某个特定的服务器,用户再通过特定服务器进行 下载,使下载受到很多条件限制。目前,p 2 p 文件交换已成为网络上最大的流 量来源,根据i p o q u e 公司的年度报告,5 0 以上的p 2 p 流量由b i t t o r r e n t , e d o n k e y 等文件下载软件提供。近年来,基于p 2 p 技术的视频、音频播放软件 如p p l i v e 、s k y p e 也逐渐变得流行起来。p 2 p 文件共享取代传统共享方式的趋 势j 下变得越来越明显。 武汉理工大学硕十学位论文 1 3 论文的结构和内容 本文对当前网络上流行的多种p 2 p 应用进行了研究,提取网络流量中i p 层 行为特征,归纳p 2 p 流量模式,从而较为准确地对流量进行识别,并对方法进 行了实验测试。本文的核心内容是针对目前的常见p 2 p 应用进行识别,在比较 容易获取信息的应用层寻找有效的识别方法。 论文的主要内容和结构安排如下: 第1 章为绪论,主要介绍本课题的背景意义以及p 2 p 网络的发展现状。介 绍了当前p 2 p 应用研究的几个方向和前景,并对本文研究的主要内容做了阐述。 第2 章介绍了p 2 p 的研究发展,包括p 2 p 的发展历史、网络结构模式和p 2 p 流量分类的主要方法。 第3 章详细介绍了目前使用最广泛的p 2 p 协议b i t t o r r e n t 。分析了 b i t t o r r e n t 所使用的网络结构、节点定位方式、连接过程、连接策略,并总结 了b i t t o r r e n t 的特征。 第4 章对p 2 p 应用各个方面的行为特征进行了分析。在节点社会关系、功 能、数据包特征方面将p 2 p 应用与其他应用进行了对比,从而找到p 2 p 应用之 间的共性以及与其他应用之间的差别。 第5 章根据对流量行为特征的分析结论,结合传统分类方法和机器学习, 提出了对p 2 p 流量进行分类的方法。 第6 章是对基于行为特征的流量分类方法给出的测试报告,对识别的完整 性和j 下确率进行测试,并依据这2 个参数对本文提出的分类方法进行了评估。 第7 章对前6 章的内容进行了总结,并指出未来可以从寻找更好的机器学 习方法和加强检测方法的实时性的角度来进行研究。 4 武汉理工大学硕士学位论文 第2 章p 2 p 研究及发展 p 2 p 中的p e e r 在英语里有“对等者”、“伙伴等意义。这样一来,p 2 p 也就可以理解为“伙伴对伙伴的意思,或称为对等联网。简单的说,p 2 p 直 接将人们联系起来,让人们通过互联网直接交互。用户可以直接连接到其他用 户的计算机、交换文件,而不是像过去那样连接到服务器去浏览与下载,节省 了中间环节,提高了网络利用率。 p 2 p 的一个重要特点是改变互联网现在的以大网站为中心的状态,使占网络 使用者人数绝大部分的普通网络用户成为交互的主要组成部分。这个理念与互 联网刚刚建立时的理念不谋而合。如果回顾一下,我们会发现在万维网出现伊 始点对点连接就是互联网主要连接方式。人们各自建立网页、互相做链接,上 网就是沿着链接冲浪。那时的w e b 是真正意义上的“网 。但是当y a h o o ! 和 l y c o s 建立了搜索引擎和门户站点后,人们上网的方式被改变了,人们从此到 一个地方去获取所有的信息,逐渐形成了客户机n 务器模式。这种模式允许用 户通过资源配置较低的终端上网,降低了上网的门槛,客观上促进了互联网的 兴起。 时至今同,随着客户机功能的不断强大,几乎每台个人电脑都具有存储数 以百g 的信息的能力和大大提升了的处理能力、网络带宽。同时,互联网用户 以每年1 4 的比率急速增长。这一切使得客户机所掌握的资源大大超过服务器 资源,人们迫切需要找到到一种联系互联网所有用户进行共享的方法。p 2 p 技 术正好满足了用户的需求,因此一经推出就取得了迅速的发展。 2 1p 2 p 发展历史 自从1 9 9 9 年,第一个真正意义上的p 2 p 软件公司成立以来,p 2 p 软件的技 术、功能和用户群体都发生了翻天覆地的变化。虽然这并不是p 2 p 技术研究的 起点,但正是从这时起,p 2 p 才进入了一个充满活力的发展期。下面简单的对 p 2 p 软件的发展进行回顾。 1 9 9 9 年5 月,n a p s t e r 公司成立,其推出的n a p s t e r 程序能够搜索音乐文 5 武汉理t 大学硕士学位论文 件并提供检索,把所有的音乐文件地址存放在一个集中的目录服务器中,这样 使用者就能够方便地过滤上百的地址而找到自己需要的m p 3 文件。散布在互联 网上的音乐爱好者通过这个程序,瞬间就可以分享其他人的珍藏,无数人在一 夜之内开始使用n a p s t e r 。在最高峰时n a p s t e r 网络有8 0 0 0 万的注册用户,这 是p 2 p 真正广为人知的一个开始。在它之后的短短数年时间里,p 2 p 迎来了发 展的高峰。 到了2 0 0 0 年,p 2 p 技术的发展就得使用月甚至日来记载了。其中佼佼者是 名为g n u t e ll a 的p 2 p 文件共享系统,它和n a p s t e r 最大的区别在于g n u t e ll a 是纯粹的p 2 p 系统,没有索引服务器,它采用了基于完全随机图的洪泛 ( f l o o d i n g ) 发现和随机转发( r a n d o mw a l k e r ) 机制。 2 0 0 1 至2 0 0 2 年相继发布的e d o n k e y 和b t t o r r e n t 是p 2 p 文件共享软件家族 不可缺少的重要成员。i p o q u e 提供的年度报告显示,2 0 0 8 年欧美各地的p 2 p 流 量中,这2 种软件及其升级版本所提供的流量仍然占据了极大的份额。而 b t t o r r e n t 软件所采用的协议更是为许多其他软件提供了借鉴的标准。 b 搦r r e n l 幽n 畸 h m l = 碡eh 0 计i n g 踟s l l 麟1 0 2 麟筠i 柏j 6 图2 12 0 0 8 年欧洲网络最常用协议 6 置弪 l 盈 一一 n 7 8 m 7 武汉理工大学硕士学位论文 在中国,虽然p 2 p 软件的开发起步较晚,但是由于网络环境比较宽松,发 展一直都相当迅速。由中国公司所研制的软件在国内的占有率已经超过了国外 的竞争对手,比如2 0 0 3 年推出的迅雷、2 0 0 5 年推出的视频播放软件p p l i v e 和 基于b t t o r r e n t 协议的文件共享软件b i t c o m e t 。 2 2p 2 p 网络模式 p 2 p 网络的结构对其行为往往具有重要的影响,随着p 2 p 技术研究的深入, p 2 p 网络的结构模式也得到了巨大的发展,从最初的依赖传统c s 模式的网络 结构,到后来结构化的自连接网络,p 2 p 网络正变得越来越高效,覆盖面越来 越广。 2 2 1 集中目录式模式 集中目录式p 2 p 结构是最早出现的p 2 p 应用模式,因为仍然具有中心化的 特点也被称为非纯粹的p 2 p 结构。其结构如下图所示 目录服务器0 普通节点 图2 - 2 集中目录式p 2 p 结构 7 武汉理t 大学硕士学位论文 如上图所示,p 2 p 网络中各个节点必须与目录服务器进行连接并注册,以 进行文件检索和定位其他节点。这个过程类似于传统的c s 模式,区别在于所 有资源本身并非存储在服务器上,而是存储在各个节点中,每个节点在登录服务 器时,把共享文件的索引提交到服务器。需要下载的节点通过服务器搜索需要 的文件,然后根据网络流量和延迟等信息选择合适的节点建立直接连接,而不 必经过目录服务器进行。这种早期的网络结构非常简单,但是它的出现使第一 次允许普通用户通过自己的电脑在互联网上大规模交换资源。n a p s t e r 就是集 中目录式结构p 2 p 网络最著名的代表。这种结构的缺点是,节点必须通过目录 服务器相互连接,和c s 模式一样,当服务器未能正常工作时,网络就会陷入 瘫痪。 2 2 2 纯p 2 p 模式 纯p 2 p 模式也被称作广播式的p 2 p 模型。它取消了集中目录服务器,每个 用户进入网络时,自己通过广播方式寻找相邻节点,构成一个p 2 p 网络。对等 节点之间的内容查询和内容共享都是直接通过相邻节点广播接力传递,同时每 个节点还会记录搜索轨迹,以防止搜索环路的产生。 图2 - 3 纯p 2 p 模式 这种网络结构完全不需要目录服务器的存在,是真正意义上的点对点网络。 8 武汉理丁大学硕士学位论文 g n u t e l l a 是使用纯p 2 p 网络结构的代表性软件。这种结构的特性是扩展性和容 错性较好,任意节点出现问题一般不至影响整个网络的性能。但是这种p 2 p 网 络中的操作通常使用泛洪方式进行,往往消耗大量带宽,造成网络拥塞。考虑 到p 2 p 网络巨大的用户群,这个问题会给这种网络的使用带来严重的负面影响。 同时,这种连接方式也容易被网络病毒所利用。 2 2 3 混合式模式 混合式网络是在纯p 2 p 网络结构模型基础上引入了超级节点的概念,综合 了集中式目录服务器结构查找快速和纯p 2 p 去中心化的优点。最早采用此模型 的是k a z a a 软件,现在广泛使用的语音通讯软件s k y p e 也采用这种模型。该模 型将所有网络中的节点按网络状况、硬件配置等条件区分为普通节点和超级节 点两类。其中超级节点与其临近的若干普通节点之间构成一个自治的簇,簇内 采用基于集中目录式的p 2 p 模式,而整个p 2 p 网络中各个不同的簇之间再通过 纯p 2 p 的模式将超级节点相连起来,构成整个网络的结构。 0l0- 超级节点 普通节点 图2 - 4 混合式网络 9 武汉理t 大学硕士学位论文 由于普通节点的文件搜索先在本地所属的簇内进行,只有查询结果不充分 的时候,再通过超级节点之间进行有限的泛洪。这样就极为有效地消除纯p 2 p 结构中使用泛洪算法带来的网络拥塞、搜索迟缓等不利影响。同时,由于每个 簇中的超级节点监控着所有普通节点的行为,这也能确保一些恶意的攻击行为 能在网络局部得到控制,并且超级节点的存在也能在一定程度上提高整个网络 的负载平衡。 总的来说,基于超级节点的混合式p 2 p 网络结构比以往有较大程度的改进。 然而,如果超级节点本身出现的问题,可能导致其簇内的结点都无法正常与网 络的其他部分进行连接,因此这种局部索引的方法仍然存在一定的局限性。 2 2 4 结构化模式 结构化p 2 p 模式是一种纯分布式的网络结构,目前的主流方法是采用分布 式哈希表( d h t ) 技术,这也是目前扩展性最好的p 2 p 路由方式之一。使用d h t 技 术的p 2 p 网络中各节点通过一定方法存储其临近的对等节点路由信息,从而对 网络中的所有节点进行查找。使用这种技术,查找的收敛速度可以达到 0 ( 1 0 9 a n ) 。这种路由查询方法使节点之间沟通所需要的信息量大大减少,从而 增强了p 2 p 网络的扩展性。 目前使用较为广泛的分布式哈希表技术是纽约大学的p e t a r p m a y m o u n k o v 和d a v i dm a z i e r e s 提出的k a d e m li a 协议。在所有使用b t 协议的文件下载工具 和e m u l e 中都使用了类似技术。 2 3p 2 p 流量分类方法 对p 2 p 流量进行分类的目的,是为了在实际应用中,有效的把p 2 p 流量和 其他类型的流量区别丌来,从而进一步进行研究和管理。以下对几种常见的p 2 p 流量分类方法进行简单介绍。 2 3 1 端口识别方法 端口识别是通过检测t c p 或u d p 包头,获得流量流经的端口来判断流量类 型。这种方法的依据是o 1 0 2 3 之间的端口被认为是公认端口( w e l l k n o w n p o r t s ) , 通常与某些特定服务绑定,如8 0 端口是h t t p 协议使用的端口、2 l 是f t p 协 1 0 武汉理工大学硕士学位论文 议使用端口。 图2 5 常规服务连接模式 在网络的初始阶段,利用已知端口号可以简单、快速的区分流量。大部分 程序通常使用固定的端口进行通信,包括p 2 p 程序,例如,g n u t e l l a 使用 6 3 4 6 6 3 4 7 端口,b i t t o r r e n t 使用6 8 8 1 6 8 8 9 端口等。可以从其使用的端口号上 直接推断程序所提供的服务,这使得区分不同流量变得非常容易。但是现在虽 然很多常规应用仍绑定于端口,但是许多p 2 p 程序为了躲避防火墙的限制,开 始使用任意端口,甚至利用端口跃变,通过随机端口建立连接,这使得传统的 基于端口的识别变得毫无用处。因此这种流量分类方法很少用于p 2 p 流量的分 类。 2 3 2 数据包深层检测方法 数据包深层检测又称d p i ( d e e pp a c k e ti n s p e c t i o n ) ,由于大多数协议或者程 序在数据包中含有一个特别字符串用于区分不同协议或者程序,这些字符串有 些是公开的或易于得到的,因此d p i 方法通过检测和匹配这一字符串可以实现 流量的识别。 这种分类方法应用于已知特征字符串的流量的结果是非常准确的,c i s c o 、 一圉同 二鼠 一慝雕 一 武汉理1 二大学硕士学位论文 c a c h e l o g i c 等都提供了基于d p i 的流量管理方案,可识别g n u t e l l a 、e d o n k e y 、 b i t t o r r e n t 等软件,准确率高达9 5 。由于特征字符串出现在数据包中的位置不 定,需要检测大量数据来进行识别,所以这种方法的难点主要在于找到一种快 速进行字符串匹配的算法;另外,这种方法需要一个完备的规则数据库支持。 这种方法本身仍有一定缺陷,如果遇到未知特征字符串的流量,这种方法 就无能为力了。近年来p 2 p 软件针对这种方法的弱点,纷纷采取对数据包内容 进行加密的方法防止流量被d p i 方法识别出,如b i t t o r r e n t 和b i t c o m e t 都添 加了对数据包进行加密的选项。另外,数据包内可能含有个人、组织的敏感信 息,检测会导致法律问题。 2 3 3 基于行为特征分类方法 这是当前主要的研究方向,利用p 2 p 数据流与其它流量在行为特征上的统 计学差异进行区分。这些信息来自于对数据包特征的记录,如t c p 、u d p 协议 包头信息、数据包到达时间间隔等,其不依赖于数据包内容,所以获取容易, 无法被隐藏,信息量也较少。 这类方法可以克服前面2 种方法的缺陷,但也存在一些缺点,这种方法一 般只能用于事后对流量的分析,不能用于实时的流量识别,记录流量的信息也 需要额外的存储空间,应用何种特征,采取什么算法来提高识别几率也是待研 究的问题。目前,随着数据挖掘技术的不断发展,已经有很多研究人员开始将 机器学习中的贝叶斯分类、雅各布算法等常用手段应用到流量识别的研究当中, 如何利用这些方法提取p 2 p 流量中的行为特征以准确的进行分类,是目前研究 的重点。 1 2 武汉理工大学硕十学位论文 第3 章p 2 p 网络协议分析 p 2 p 应用在各个方面都与其他传统应用有较大差异,例如,网络结构,节点 定位方式、资源搜索方式、下载上传方法等都有所改变,有些特点是以往没有 出现过的。而由于p 2 p 协议没有达成统一的标准,每种p 2 p 软件,甚至同一软 件的不同版本,都会有所不同。下面我们以被广泛应用在文件共享方面的 b i t t o r r e n t 协议来对p 2 p 网络的特点进行研究,以发现其中的共性,找出对p 2 p 流量分类的有效方法。 3 1b i t t o r r e n t 概述 b t 是一种互联网上新兴的的p 2 p 传输协议,全名叫“b i t t o r r e n t ”,中文名 称为“比特流”,最初的编写者是b r a mc o h e n ,现在则独立发展成一个有广 大开发者群体的开放式传输协议。它通过u r l 来识别内容,并且可以无缝的和 w e b 进行交互。它基于h t t p 协议,它的优势是:如果有多个下载者并发的下 载同一个文件,那么,每个下载者也同时为其它下载者上传文件,这样,文件 源可以支持大量的用户进行下载,而只带来较少的服务器负载的增长,使资源 发布者不需要拥有高性能服务器就能迅速有效地把发布的资源传向其他的b t 客户软件使用者,因此迅速获得了大量用户的关注,时至今日,b i t t o r r e m 仍然 是欧美地区使用量最大的p 2 p 软件之一。 从2 0 0 2 年b i t t o r r e n t 发布以来,历经了多次更新,早年b i t t o r r e n t 曾经使 用随机端口进行数据传输,近年来由于p 2 p 应用经常遭遇被封杀的命运,大多 数p 2 p 软件采取了端口跳跃、数据加密等方式来逃避检测,所以分析其特点对 找到一种适用于所有p 2 p 应用的方法是很有意义的,这里我们用正式发布的 b i t t o r r e n tp r o t o c o ls p e c i f i c a t i o nv 1 0 版本来进行分析。 3 2 节点定位方式 b i t t o r r e n t 采用了集中目录式结构和结构化网络两种模式相结合的网络构 武汉理工大学硕士学位论文 造。当节点连入p 2 p 网络中时,同时通过目录服务器和d h t 方法来定位其他 节点进行连接。这种定位其他节点进行连接的方式与传统c s 模式直接由客户 机连接服务器的方式具有明显的不同,因此从这方面我们可以得到p 2 p 应用的 一些特征。下面我们对p 2 p 独特的节点定位方式进行介绍。 3 2 1t r a c k e r 服务器定位方式 b i t t o r r e n t 所使用的目录服务器称为t r a c k e r 服务器,当每个节点进入p 2 p 网络时,首先通过h t t p 协议向t r a c k e r 服务器发送g e t 请求。t r a c k e r 服务器 存放有一张包含所有连接并下载此资源的用户列表,在接收到某用户节点请求 的时候,服务器就将该列表传给用户,并且在列表中记录下该用户的地址信息, 以方便其他节点连接。每过一段时间,t r a c k e r 服务器都会连接列表上的用户以 获得回应,证明节点仍处于活跃状态,保证当用户连接服务器时,总能取得最 有效的其他节点的信息。在获取其他对等节点的列表后,各个b i t t o r r e n t 用户 自动连接具有自己需要资源的对等节点协调下载上传,服务器不参与实际的数 据传输操作。 3 2 2d h t 定位方式 除了与t r a c k e r 服务器相连以外,b i t t o r r e n t 还采用动态哈希表技术( d h t ) 来寻找对等节点进行连接。这种连接方式不需要t r a c k e r 服务器的帮助,对等节 点就能自行寻找对等节点,互相连通。 在b i t t o r r e n t 软件中使用的d h t 技术是由p e t a r p m a y m o u n k o v 和d a v i d m a z i e r e s 提出的k a d e m l i a 协议。这是一种以异或算法为度量距离度量基础的 d h t 结构,与同类技术相比,k a d e m l i a 协议大大提高了路由查询速度。其核心 思想为,每一个进入p 2 p 网络的节点都被分配一个1 6 0 位的i d 值,节点之间 的距离被定义为i d 之间进行异或运算之后的结果。每个节点维护一个包含距离 自己远近不同节点的路由表,并定时将自己节点的资源信息发送到距离相近的 其他节点上,当寻找某个节点时,就向自己所知的离目标节点最近节点发送查 询信息,接收到查询信息的节点再将自己所知道的最接近节点回应给源节点, 这个过程递归下去,就能够逐渐逼近被查询节点。即使未查询到该节点,由于 其信息定时在周围节点进行备份,所以所需信息仍然有很大几率被找到。 1 4 武汉理工大学硕士学位论文 d h t 技术与t r a c k e r 服务器相比,网络节点担当了比上传和下载更复杂的 工作。首先,每个节点需要时刻对周围节点的信息进行备份,这样当某个节点 退出网络时不至于影响信息的完整性,以提高网络健壮性。其次,每个节点维 护一个路由表,在p 2 p 网络中承担着路由查询的作用,当接收到查询请求时, 节点需要根据情况给予回应。由于基于d h t 技术的p 2 p 应用在连接过程中需 要进行多种不同功能的操作,所以使用的控制信息大大多于传统应用。 3 3 优化策略 由于每个节点性能、带宽都有一定的限制,为了在有限的条件下尽量提高 下载效率,每个节点需要在巨大的p 2 p 网络中选择最值得连接的部分对等节点 进行连接,优先下载最有利于整个网络性能的内容,为了在这个过程中保证网 络中节点负载均衡,维持网络的稳定性,连接过程必须依照一定策略进行。而 在传统文件下载应用中,通常只需要简单的完成数据传输,而无需制定使用特 别的策略,这也使得p 2 p 流量呈现出与众不同的特征,下面对这些策略进行介 绍。 3 3 1 文件块下载策略 p 2 p 应用中,文件一般被划分成多个文件块,以便从不同的对等节点上下载 文件的不同部分。b i t t o r r e n t 客户端中,每一个节点通过b i t f i e l d 消息通报 对方自己拥有的文件内容,用h a v e 消息表示自己已下载完成某文件块内容,用 c a n c e l 消息来表示已从其他源头获取某文件块,取消该文件块的下载,这样每 个节点都能够实时的了解之连接的对等节点是否含有自己感兴趣的内容后,需 要选择优先要求哪些文件块进行下载。 b i t t o r r e n t 是以最稀少文件块优先下载的策略来请求文件块的。b t 客户端 保留每个与其相连的节点送来的b i t f i e l d 消息内容,这是对方所拥有文件内容 的位图信息,并且随着消息实时更新。当b t 客户端要请求一个文件块时,它比 较各个节点的文件位图信息,找出其中出现频率最小的几个文件块,在其中随 机选择一个下载,这样避免所有客户端都要求同一个文件块,使出现频率最小 的文件块短时间内变成最常见的文件块。这里文件传输通过r e q u e s t 和p i e c e 消息来进行,与传统应用不同的是,节点只能请求对方拥有的文件部分,不但 武汉理- 【大学硕士学位论文 需要指定下载文件块的序号,还需要指定下载文件部分从该文件块的多少字节 开始。 对初始的文件内容上传者,我们称为原始做种者,b i t t o r r e n t 采用一种称 为超级种子的策略增加做种效率。当一个种子进入“超级种子 模式时,每当 有其他客户端对其进行连接时,它都会告知对方,自己仅拥有一个以前从未发 送给其他节点的文件块,如果所有文件块都曾经发送过,就告知自己仅拥有发 送频率最低的文件块,促使对方下载。当对方下载完成以后,在刚刚下载的文 件块未出现在其他至少一个客户端上之前,不再对它发送任何文件内容。这样, 就确保做种者只发送必要的文件内容。 文件块下载策略通过限制文件块下载的先后次序,确保了文件内容在各个 客户端上的均匀分布。换句话说,在p 2 p 网络的各个对等节点上实现了负载均 衡,从而实现了p 2 p 网络的分散化,增加了网络健壮性。 3 3 2 阻塞策略 对单个客户端来说,拥有的处理性能和带宽都是有限的,无限制的增加连 接其他客户端的数目只能拖慢程序整体的运行表现,而且未必能得到下载速度 的提升,所以每个客户端需要通过阻塞算法来决定哪些客户端值得连接,哪些 客户端值得尝试,而哪些客户端则需要被阻塞。 b i t t o r r e n t 中,每个客户端有4 种状态,分别为c h o k e 、u n c h o k e 、 i n t e r e s t e d 、n o ti n t e r e s t e d ,表示阻塞状态、非阻塞状态、对方内容感兴趣、 对方内容无兴趣。开始连接时都处在阻塞状态下,4 个被阻塞并且含有自己感 兴趣的文件内容的客户端会首先被激活,同时,上传速度较好,但对自己所拥 有文件内容不感兴趣的4 个客户端被激活,如果这部分客户端之后对自己持有 文件内容有需求了,则阻塞其中上传速度最小的一个客户端。如果自己拥有完 整文件,即为种子,则以其他客户端的上传速率为解除阻塞的依据。为了避免 客户端状态频繁的在阻塞和激活之间切换,造成性能浪费,每次改变阻塞状态 时需要延迟1 0 秒进行。 这部分策略保证了每个客户端都优先选择对自己有利的客户端进行连接, 提升了下载速度,同时使上传较多的客户端得到回报,确保了网络中各个节点 的公平性,提升整个网络的性能。 1 6 武汉理工大学硕士学位论文 3 4b i t t o r r e n t 特征分析 根据以上对b i t t o r r e n t 的分析,可以从各个方面得出b i t t o r r e n t 产生流 量的规律,与传统应用相比较,其差异主要体现在以下4 个方面: ( 1 ) b i t t o r r e n t 客户端在连接进入p 2 p 网络之后,都会在短时间内通过上 述2 种不同模式获取其他对等节点的地址信息,并立刻与大量节点建立连接, 这个过程在开始阶段尤为迅速,经统计,1 分钟之内,b i t t o r r e n t 客户端一般 会发起1 0 0 个左右的连接,虽然这个数值受到网络状况和下载情况的较大影响, 但是和传统应用的区别仍然是巨大的。而且连接双方都使用随机端口进行连接, 意味着单个客户端维持连接的数目和对方使用的不同端口号数目是一样或者是 相近的。 ( 2 ) 由于p 2 p 网络中每个节点都是在下载的同时进行上传,所以各个节点拥 有的文件内容不确定。正在互相连接的节点必须对彼此的文件持有状况进行实 时的沟通,才能顺利下载自身需要的文件块。b i t t o r r e n t 通过b i t f i e l d 、h a v e 、 c a n c e l 消息来实现这一过程,类似的操作在传统应用中是没有的,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试高三地理检测卷打印版
- 2026-2027学年上学期单元测试二年级语文易错题卷
- 2025超声技师心血管超声素养检测题及答案
- 格宾石笼封边绑扎施工工艺及填充密实度
- Chuanbeinone-22-Epidelavinone-生命科学试剂-MCE
- 旅游计划协调员绩效考核表
- 运动器材销售策略与市场分析能力绩效表
- 无人机航空物流安全操作手册
- 食品加工企业追溯体系构建指南
- 国际物流专员绩效评价表
- 2026福建福州旗山供水有限公司招聘2人考试模拟试题及答案解析
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 正大集团人才评估行测题目
- UL 9540A 2026 储能电池热失控传播测试标准中文版 模组防火试验规范
- 物业服务履约评价报告
- 光伏组件拆除方案
- 2026年出版社招聘考试面试题及参考答案
- 2025-2026学年江西省赣州市大余县部分高中高三上学期11月期中考试英语试题
- 小区物业消防安全培训课件
- 空乘课件教学课件
评论
0/150
提交评论