（计算机应用技术专业论文）p2p网络监控与拓扑发现的关键技术研究.pdf

摘要 摘要 随着互联网的日益普及、网络传输和终端设备能力的不断增强，以及人们对 信息共享的迫切需求，对等网络( p e e r - t o - p e e r ，简称p 2 p ) 技术迅速发展起来， 成为当今信息科学与技术的研究热点，财富杂志更是将p 2 p 技术列为影响i n t e r n e t 未来的四项科技之一。p 2 p 技术在文件共享、实时通信、协同计算、流媒体传输 等方面得到广泛应用的同时，也带来了诸多问题，其中的安全问题成为了p 2 p 技术发展的瓶颈。如何对大规模p 2 p 网络进行有效的安全监控和拓扑发现是当前 国际上p 2 p 技术研究的一个关键问题。 本论文对p 2 p 网络监控和拓扑发现的关键技术进行了研究，包括p 2 p 网络 拓扑结构研究、应用层协议特征发现方法、s k y p e 协议分析和拓扑发现、b i t t o r r e n t 协议分析和拓扑发现，以及p 2 p 网络监控与拓扑发现原型系统的实现。主要创新 工作如下： 1 提出p 2 p 应用层协议特征发现方法。本论文在分析了3 种典型的p 2 p 流 量识别方法的基础上，设计了键树与序列挖掘结合的p 2 p 应用层流量特 征码发现方法。运用序列挖掘与键树相结合的特征发现算法，对网络上 的数据包进行预处理和自动分析，找出数据包中存在的高频特征码。这 种新的特征码发现方法的计算复杂度较小，又能保证发现特征码的效 率，使得p 2 p 协议识别方案更加简洁、实现复杂度大大降低。 2 提出s k y p e 覆盖网络拓扑发现方法。在大量数据和反复实验的基础上对 s k y p e 协议进行了逆向解析，得到了s k y p e 私有协议的特征码，实现了 对网络中s k y p e 流量的快速识别。在s k y p e 协议分析的基础上，提出一 种快速的分布式s k y p e 超级节点搜索方法。它依据s k y p e 网络节点问交 互超级节点信息的特性，不断收集当前在线的全球范围的超级节点，并 对数据库中的超级节点历史数据进行主动探测，进行快速的在线超级节 点搜索，并实时显示出在线超级节点的地理位置和逻辑拓扑。 3 提出b i t t o r r e n t 网络拓扑发现方法。在分析b i t t o r r e n t 协议的基础上，利 用网页搜索爬行技术先收集到种子文件，然后分析种子文件得到 b i t t o r r e n t 网络中的t r a c k e r 服务器地址。通过向支持s c r a p e 的t r a c k e r 北京工业大学工学博士学位论文 服务器发送s c r a p e 请求，获得它负责的种子列表，随后根据每一个种子 再次向服务器查询，收集到该种子对应的p e e r s 列表。对不支持s c r a p e 的t r a c k e r 服务器，则构造一个以t r a c k e r 为索引的种子仓库，然后再根 据每一个种子向相应的服务器提交申请，得到客户端予集列表。据此建 立了一个分布式的b t 拓扑发现系统，快速收集在线的p e e r s 列表，得 到以种子为中心和以t r a c k e r 服务器为中心的两种b i t t o r r e n t 网络拓扑， 并显示网络节点的地理位置信息。 4 提出具有主动监控功能的大型p 2 p 网络监控系统框架模型。本论文在 p 2 p 协议识别的基础上，根据拓扑发现技术获得实时的p 2 p 网络节点数 据，结合被动监控进行面向目标节点的主动发现和控制，通过分析特定 p 2 p 应用系统的覆盖网络拓扑，实现面向公网的p 2 p 应用系统的监控和 拓扑发现原型系统。 关键词对等网络；网络监控；协议识别：拓扑发现；主动测量 a b s t r a c t w i t ht h ep o p u l a r i z a t i o no ft h ei n t e r n e t , r a p i di m p r o v e m e n to ft h en e t w o r k t r a n s p o r t a b i l i t ya n dt h et e r m i n a lp e r f o r m a n c e ，m o r ea n dm o r ep e o p l ed e m a n d i n f o r m a t i o ns h a r i n g , t h ep 2 p ( p e e r - t o - p e e r ) t e c h n o l o g yh a sd e v e l o p e dr a p i d l ya n d b e c o m eah o tr e s e a r c ht o p i co fi n f o r m a t i o ns c i e n c ea n dt e c h n o l o g y e v e nm o r e ，t h e f o r t u n em a g a z i n er a n k e di ta so n eo ft h ef o u rk i n d so ft e c h n 0 1 0 9 yt oi n f l u e n c et h e f u t u r eo f t h ei n t e m e t n l cp 2 pt e c h n o l o g yh a sb e e nu s e dw i d e l yi nm a n yf i e l d st o d a y , s u c h 觞f i l es h a r i n g , i n s t a n tm e s s e n g e r , c o m p u t i n gc o o r d i n a t i o na n ds t r e a mm e d i a t r a n s m i s s i o ne t c h o w e v e r , i tb r o u g h ta l s oag r e a td e a lo fp r o b l e m s ，a n dt h es e c u r i t y p r o b l e mh a sb e c o m et h ec h o k ed o i n to ft h ed e v e l o p m e n to fp 2 pt e c h n o l o g y h o wt o m o n i t o re 伍c i e n t l ya n dd i s c o v e rt o p o l o g yf o rl a r g e - s c a l ep 2 pn e t w o r ki sac r i t i c a l i s s u ei np r e s e n ti n t e r n a t i o n a li 2 pt e c h n o l o g yr e s e a r c h t h i st h e s i sp r e s e n t st h er e s e a r c ho nt h ek e yt e c h n o l o g i e so ft h ep 2 pn e t w o r k m o n i t o r i n ga n dt o p o l o g yd i s c o v e r y , i n c l u d i n gs t u d y0 nt h ep 2 pn e t w o r kt o p o l o g y s t r u c t u r e ，t h ed i s c o v e r ym e t h o d so ft h ep r o t o c o ls i g n a t u r e si nt h ep 2 pa p p l i c a t i o n l e v e l ，s k y p ep r o t o c o la n a l y s i sa n dt o p o l o g yd i s c o v e r y , b i t t o r r e n tp r o t o c o la n a l y s i s a n d t o p o l o g yd i s c o v e r y , a n dt h ep r o t o t y p es y s t e mi m p l e m e n t a t i o no f t h ep 2 pn e t w o r k m o n i t o r i n ga n dt o p o l o g yd i s c o v e r y t h em a i nc o n t r i b u t i o n sa r e - _ 1 an o v e lm e t h o do fp r o t o c o ls i g n a t u r e sd i s c o v e r i n gi nt h ep 2 pa p p l i c a t i o n l e v e l w i t ht h ea n a l y s i so ft h et h r e et y p i c a lm e t h o d sf o rt h ep 2 pp r o t o c o l i d e n t i f i c a t i o n , ac o m b i n a t i o nm e t h o do fd i g i t a ls e a r c ht r e ew i t hs e q u e n c e p a t t e mm i n i n gi sd e s i g n e d t h ep r o p o s e dp r o t o c o li d e n t i f i c a t i o nm e t h o dc a n a u t o m a t i cp r e t r e a t m e n ta n da n a l y z et h ed a t ap a c k a g e s a n dd i s c o v e rt h el l i g h f r e q u e n c ys e q u 衄c ep a t t e r n s 1 1 1 i s m e t h o dr e d u c e st h e c o m p u t a t i o n c o m p l e x i t ya n da l s om a i n t a i n st h es i g n a t u r ed i s c o v e r i n gp e r f o r l l l a n c eo ft h e p 2 pp r o t o c o l s i ts i m p l i f i e st h ei d e n t i f i c a t i o ns o l u t i o na n dr e d u c e st h e c o m p l e x i t yo f i m p l e m e n t a t i o n 2 1 1 1 et o p o l o g yd i s c o v e r i n gm e t h o do ft h es k y p eo v e r l a yn e t w o r k b a s e do n t h ea n a l y s i so fl a r g ed a t as e t sa n dm a n ye x p e r i m e n t s ，a n du s i n gr e v b 醴 s e p a r s i n gt e c h n i q u eo ft h es k y p ep r i v a t ep r o t o c o l ，s o m ea p p l i c a t i o nl e v e l s i g n a t u r e so fs k y p ep r o t o c o lw e r ea c q u i r e d c o n s e q u e n t l y , t h es k y p o p r o t o c o li d e n t i f i c a t i o nw a sr e a l i z e d a c c o r d i n gt ot h ei n t e r a c t i o n a l i n f o r m a t i o na m o n ga l lk i n d so fn o d e si nt h es k y p en e t w o r k , af a s ta n d d i s t r i b u t e ds e a r c hf o rs u p e rn o d e sm e t h o di sp r o p o s e d t b i sm e t h o d c o l l e c t e dt h eo n l i n es u p e rn o d e sc o n t i n u a l l yo v e rt h eg l o b a l ，a n di n i t i a t e d a c t i v ep r o b i n gf o r t h es u p e rn o d e si nt h el l i s t o r yd a t a b a s e f i n a l l y , t h e d i s t r i b u t i o ni naw o r l dm a pa n dt h el o g i c a lt o p o l o g yf i g u r eo ft h eo n l i n e s u p e rn o d e sa r ed i s p l a y e di nr e a l - t i m e 3 1 1 1 ct o p o l o g yd i s c o v e r i n gm e t h o do ft h eb i t t o r r e n tn e t w o r k b a s e do rt h e a n a l y z i n go ft h eb i t t o r r e n tp r o t o c o l ，t h i sm e t h o du t i l i z e dw e bs e a r c h t e c h n i q u ef o rt h et o r r e n tf i l e sc o l l e c t i o n t h e nt h o s et o r r e n tf i l e sw e r e 一一 北京工业大学工学博士学位论文 置詈曼笪| ill 暑詈鼍! 苎曼曼曼曼曼曼曼曼曼曼曼皇曼曼曼曼苎量詈量曼曼皇量皇曼曼曼曼! 曼寰喜舅量曼鼍毫暑宣 a m d y z e dt og e tt h eu r l o f t h et r a c k e rs e r v o ri nt h eb i t t o r m n tn e t w o r k s t h e c r a w l e rs e n ts c r a p er e q u e s tt ot h et r a c k e rs e r v e ra n dg o tt h el i s to fa l lt h e t o r r e n t s , a n dt h e nq u e r i e dt h et r a c k e rs e l v e l t oa c q u i r et h ec o r r e s p o n d i n g p e e r sl i s to ft h et o r r e n t f o rt h eu n s u p p o r t e ds c r a p er e q u e s tt r a c k e rs e r v e r , a t o r t e n tw a r e h o u s ew i t ht h ei n d e xo f t h et r a c k e rs e r v e rw a sc o n s t r u c t e d t h e n a c c o r d i n gt oe a c ht o r r e n tf i l e ，t h ec r a w l e rq u e r i e dt h ec o r r e s p o n d i l l gt r a c k e r s 3 1 v e rt oo b t a i nt h ei j s to ft h ep e e r s f i n a l l y , ad i s t r i b u t e db tn e t w o r k t o p o l o g yd i s c o v e r i n gs y s t e mw a sd e s i g n e d ，i tc o l l e c t e da n dp r o b e dt h e o n l i n ep e e r sf a s t , a n dt w ok i n d so fb tn e t w o r kt o p o l o g yw e r ed i s p l a y e d , r e s p e c t i v e l yc e n t e r e do nt h et o r r e n tf i l ea n dt h et r a c k e rs e r v e r 4 l a r g es c a l ep 2 pn e t w o r km o n i t o ts 3 ，s t e mf r a m em o d e lw i t ha c t i v em o n i t o r f u n c t i o n b a s e do nt h ep r o t o c o li d e n t i f i c a t i o na n dt h ep 2 pn e t w o r kn o d e s i n f o r m a t i o n a c q u i r e db y t h et o p o l o g y d i s c o v e r i n gs y s t e m , t h ep r o p o s e d m e t h o dc o m b i n et h ep a s s i v em o n i t o t i n gt om o n i t o tt h es p e c i f i e do b j e c t n o d e si nt h ep 2 pn e t w o r k w i l ht h en e t w o r kt o p o l o g ya n a l y s i so ft h ea c t u a l p 2 ps y s t e m ，t h em o n i t o r i n ga n dt o p o l o g yd i s c o v e r yp r o t o t y p es y s t e mo r i e n t t h ei n t e m e to f t h ep 2 pa d p i i c a f i o ns y s t e mi si m p l e m e n t e d k e y w o r 凼p e e r - t o - p e e rn e t w o r k ；n e t w o r km o n i t o r i n g ；p r o t o c o li d e n t i f i c a t i o n ； t o p o l o g yd i s c o v e r y ；a c t i v em e a s u r e m e n t i v 插图 插图 图2 - 2g n u t e l l a 搜索机制 图2 - 3 混合式结构 图2 - 4c h o r d 结构 图2 - 5p a s u y 结构 图2 - 6 网络中疾病平均波及范围与传染强度关系 图2 - 7e 1 1 随机图 图2 - 8e 1 1 随机图的节点度分布 图2 - 9 无标度网络的拓扑结构 图2 1 0 雪崩规模分布图 图2 1 l 小世界网络拓扑结构 图3 - 1 数据预处理模块顺序 图3 - 2e t h e r e a l 输出的t x t 格式数据包 图3 3 处理后的数据包。 图3 4 基于键树的特征发现算法流程图 图3 - 5 特征码发现模块顺序 图3 - 6 特征码发现算法流程 图3 7 选择u d p 协议数据包 图3 - 8 特征码自动发现系统界面 图4 - 1s k y p e 网络和普通节点登录过程 图4 - 2 普通节点发送p i n g 包 图4 3 普通节点与引导节点交互信息并选择连接超级节点 图4 4 普通节点与注册服务器和登录服务器交互信息 图4 5 普通节点查询版本更新信息 图4 6 七个引导节点的信息 图4 7s k y p e 的加密体制 图4 - 8s k y p e u d p 报的结构 图4 _ 9s k y p e t c p 包的解密 图4 1 0r c 4 密钥流 图4 1 1s k y p e t c p 的明文 图4 - 1 2s h a r e d x m l 文档结构 图4 - 1 3s k y p e 网络拓扑发现系统的模型 图4 - 1 4 超级节点探测模型 图4 1 5 每小时超级节点的增量 图4 一1 6 超级节点总量每天的变化情况 图4 1 7 收集超级节点客户端界面 图4 1 8 获取的超级节点信息 图4 一1 9 超级节点的地理位置分布 图4 - 2 0 超级节点的逻辑拓扑快照 图4 - 2 1 有t r a c k e r 的b t 网络( 左) 和d h t 网络( 右) - - 坫墙班毖m”勰n孔霉：柏舵钳钙钉勉船盼8：卯仉斛甜：8的酊毋n饥仍竹似；2 北京工业大学工学博士学位论文 图4 - 2 2b t 网络结构示意图 图4 2 3t r a c k e r 服务器发现流程图 图4 - 2 4u r l 状态流程图 图4 - 2 5 种子文件的部分内容 图4 2 6b t 拓扑发现的系统结构 图4 2 7a n n o u n c e 请求 图4 2 8 对等节点发现流程图 图4 - 2 9 种子分析界面 图4 - 3 0b t 网络资源信息展示界面 8 0 8 2 8 3 8 4 8 6 8 7 8 8 8 8 8 9 9 1 9 2 图4 3 1 以t r a c k e r 服务器为中心的资源信息。 图4 3 2 获得的种子数量 图4 - 3 3 获得的t r a c k e r 服务器数量 图4 - 3 4 选择种子的界面 图4 - 3 5 以种子为中心的资源信息一 图4 - 3 6 以种子为中心的t r a c k e r 服务器信息 图4 3 7b t 网络中一个群的逻辑拓扑 图4 _ 3 8 对等节点的地理位置分布 图5 - 1 监控系统总体框架 图5 - 2 被动监控模型 9 2 9 3 9 4 9 4 9 5 图5 - 3 控制策略的定制 图5 - 4 阻断b t 后的网络流量变化 图5 - 5 阻断b t 后的b t 连接数变化 图5 - 6 阻断b t 后的数据包变化 图5 - 7 原型系统主界面 图5 - 8 原型系统的数据信息展示 图5 - 9 原型系统的数据搜索 图5 1 0 原型系统的逻辑拓扑展示 1 0 2 1 0 4 1 0 5 1 0 6 1 0 6 1 0 6 i v - 1 0 9 1 1 0 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：日期：2 2 ：! ：! 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名： 第1 章绪论 1 1 引言 第1 章绪论 p 2 p 是p e e r - t o - p e e r 的简称，也称为对等网络技术、对等计算或点对点技术。 p 2 p 技术将不同用户的终端设备连接起来，共享各终端的软硬件资源( 如计算能 力、存储能力、连接带宽等) ，各终端可以不经过中心节点直接互相访问和交换 信息。它打破了传统的客户端，服务器( c l i e n t s e r v e r ) 模式，在网络中每个节点 的地位都是对等的，每个节点既充当服务器为其他节点提供服务，同时也享用其 他节点提供的服务。p 2 p 应用的扩展性强，实现方式灵活多样，部署的成本非常 低，给互联网的分布和共享带来了无限的遐想空间。目前，p 2 p 技术已经在文件 共享、即时通信、协同计算、流媒体传输等方面得到应用，其中p 2 p 文件共享技 术的应用最为广泛”。 p 2 p 网络构建在i n t e m e t 之上，允许全球的电脑互联，在给i n t e m e t 用户通 信交流和共享资源带来方便的同时，也引发了诸多问题。比如，在p 2 p 文件共享 系统中，为了提高资源获取速度，通常启动多条并发进程进行数据传输，极大地 增加了网络负担，使网络拥塞现象日益严重”。同时，p 2 p 网络中存在大量的非 法传播影音文件的行为。这都使得网络运营商和内容提供商的传统管理模式和盈 利模式受到了挑战。另外，p 2 p 网络环境中方便的共享和快速的选路机制，为某 些网络病毒提供了更好的入侵机会，具有反动、色情内容的文件也充斥其中。正 是这些原因，近年来封杀p 2 p 的呼声此起彼伏，关于p 2 p 的版权官司在全球也 接连不断。但是，简单的封杀并不能最终解决问题，如何对p 2 p 应用系统进行有 效的监控管理是一个值得深入研究的课题。 随着p 2 p 技术的发展，目前的p 2 p 应用系统大都采取了躲避检测和封堵的 多种手段，传统的检测方法对p 2 p 应用系统已经不能适用。同时，p 2 p 网络用户 的分散性和动态性也对大规模p 2 p 网络的监控提出了挑战。研究p 2 p 网络监控 和拓扑发现的关键技术的目的就是针对大规模p 2 p 应用网络探寻有效的监控手 段，为p 2 p 技术提供一个健康有序的发展环境，实现安全可靠、性能优良的下一 北京工业大学工学博士学位论文 代互联网络。本课题通过对主流p 2 p 应用系统的信息资源流动和用户活动征兆的 采集和分析，研究p 2 p 应用系统的协议实时识别技术，针对特定p 2 p 应用系统 结合被动测量和主动测量研究p 2 p 覆盖网络( o v e r l a yn e t w o r k ) 拓扑发现技术， 最终构建一个p 2 p 网络监控和拓扑发现的原型系统，为实现全网的p 2 p 网络监 控提供技术支持和保障。 1 2 p 2 p 应用 近年来，随着i n t e m e t 的迅速发展和网络终端设备能力的增强，边缘网络的 信息不断丰富，越来越多的人开始用自己的p c 机来对外提供一些特定的服务。 然而，无论从计算能力还是网络资源来说，p c 机都不具备提供大规模服务的能 力。但是，如果把互联网上众多的p c 机作为一个整体联系起来，就可以提供任 何服务器都难以比拟的丰富资源和强大的计算能力。因此，对等网络技术应运而 生，并迅速应用到现代社会的各个领域。 p 2 p 技术引导网络计算模式从集中式向分布式偏移，将网络应用的核心从中 央服务器向网络边缘的终端设备扩散。互联网的存储模式也将改变以大网站为中 心的状态，将权力交还给用户，使用户以更主动的方式参与到网络中去。p 2 p 技 术使得互联网发生了翻天覆地的变化，它不仅仅是一种技术，更是一种思想。越 来越多的用户开始通过各种p 2 p 应用软件在整个因特网的范围内进行资源共享 和协作交流。 1 2 1 主流p 2 p 应用系统 从1 9 9 9 年的n a p s t e r l 开始，国内外众多的p 2 p 软件纷纷闯世，涵盖了文件共享、 即时通信、协同计算、分布存储、流媒体传输等多个方面。目前主流的p 2 p 应用 软件有国外的g - n u l e l l a 2 、b i t t o r r e n t 3 、e m u l e 4 、s h a r e a z a s 、k a z a a 6 、s k y p e 7 等， 国内有酷狗( k u g o o ) 8 、p o c 0 9 、p p 点点通m 、p p s t r e a m u 、p p l i v e l 2 、迅雷1 3 等 h t t p ：w w w n a p s t e r c o m h t l p ：w w w g n u t e l l a e o m h t t p w w w b i t t o r r e n l c o r n h t t p ：w w w e m u l e t o m h t l p ：w w w s h a r e a z a c o m h t t p ：l l w w w k a z a a c o m h a p ：w w w s k y p e t o m h t t p ：w w w k u g o o c o m h t t p w w w p o c o c n 2 第1 章绪论 当前用于文件共享的p 2 p 软件种类很多，在美国大量使用的是k a z a a ，在欧洲存 在大量用户的是e m u l e ，在我国使用最频繁的是b i t t o r r e n t 。大量p 2 p 软件的用户 使用数量分布从几十万、几百万到上千万并且急剧增加，给i n t e r n e t 带宽带来巨大 冲击。c a 龇西c 公司对欧洲顶级i s p 骨干网的流量进行了统计1 4 ，统计报告显示 p 2 p 业务己占据了互联网业务总量的6 0 以上，成为当前最为重要的宽带互联网 应用。 p 2 p 技术正不断应用到军事、商业、政府和信息通讯等领域，应用类型主要 涉及： ( 1 ) 内容共享 如b i t t o r r e n t 和o c e a ns t o r e 应用系统”。内容共享可以分为文件共享与数据分 布存储两大类。文件共享主要是音频、视频、图像等多种文件的交换，文件共享 是p 2 p 技术应用最为成功的领域之一。数据分布存储利用整个网络中闲散的内存 和磁盘空间，将大量的存储计算工作分散到多台计算机上共同完成，这样可以有 效地增加数据的可靠性和传输速度。o c e a ns t o r e 是其中比较突出的系统。 ( 2 ) 即时通讯 如s k y p e 并, d m s n 应用系统1 6 。s b p e 开创了p 2 p 技术与v o i p ( v o i c e o v e r i p ，也 称为网络电话) 技术相结合的先河，以s k y p e 为代表的p 2 p 软件电话正以革命性的 方式冲击着传统的电信市场。通过充分利用对等节点的网络资源，p 2 p 网络可以 无限的扩展，并且不会因为扩展而导致搜索时间的延长和费用的增加。它利用终 端用户机器的处理能力和网络带宽，每增加一个节点，网络的处理能力和带宽都 相应增加。当s k y p e 用户之间需要语音通信时，s k y p e 疰其覆盖网络中找出一条当 前带宽最大的通路，通过多跳转发的方式进行数据传送，减少延迟和增强语音质 量有非常明显的效果，使得语音呼叫的接通率、语音质量在很大程度上甚至超过 传统的电话网络。s k y p e 提供了比以往通过m e t 直接连接的口电话更好的语音 效果，因此受到用户的广泛欢迎，f 1 2 0 0 3 年发布以来，其用户增长速度迅猛，截 至2 0 0 6 年l o 月，s k y p e 的注册用户己达1 1 3 亿，同时在线用户超过7 0 0 万。由于 h t t p ：w w w p p 3 6 5 c o i n h t t p ：w w w p p s t r e a m c n h t t p ：w w w p p l i v e c o r n h t l p ：w w w x u n l e i t o m h t t p ：w w w c a c h e l o g i c c o m h o m e j p a g e s r e s e a r c h p 2 p 2 0 0 5 p h p h t l p 3 o c e a n s t o r e b e r k e l e y 酣“ h t t p w w w m s n 唧n 3 北京工业大学工学博士学位论文 s k y p e 的出现和高速发展，越来越多的用户转向口电话，像s k y p e 这样的基于p 2 p 的网络电话系统在将来很可能会取代传统电话业务，成为人们日常通信的基本方 式之一。 ( 3 ) 信息搜索 由于p 2 p 技术使处于网络边缘的p c 机用户可以直接交换信息，因此p 2 p 技术 使用户能够更深入的搜索文档，而且这种搜索无需通过w c b 服务器，也不受信息 文档格式和宿主设备的限制，可达到传统目录式搜索引擎无可比拟的深度。传统 目录式搜索引擎只能搜索到2 0 - 3 0 的网络资源，而基于p 2 p 技术的搜索引擎理 论上将搜索到网络上所有开放的信息资源。以g n u t e l l a 搜索原理为例，一台p c 上 的g n u t e l l a 软件可将用户的搜索请求同时发给网络上多台p c 机，如果搜索请求未 得到满足，这多台p c 机中的每一台又会把该搜索请求转发给另外多台p c 机，这 样，搜索范围将在几秒钟内以几何级数增长，几分钟内就可搜遍几百万台p c 上 的信息资源。 ( 4 ) 网络流媒体传输 如p p l i v e 和p p s t r e a m 直用系统。流媒体( s t r 锄i n gm e d i a ) 指在数据网络上按 时间先后次序传输和播放的连续音视频数据流。以前人们在网络上观看电影或 收听音乐时，必须先将整个影音文件下载并存储在本地计算机上，然后才可以观 看。而流媒体在播放前并不下载整个文件，只将部分内容缓存，使流媒体数据流 边传送边播放，这样就节省了下载等待时间和存储空间，同时流媒体方式为媒体 内容的版权控制提供了有效的解决方案。本质上，流媒体技术是一种在数据网络 上传递多媒体信息的技术，带宽要求很高，因此传统的c s 结构的组播系统往往 由于服务器出口带宽的限制而导致系统的可扩展性很差通过引入p 2 p 技术，只 有少数节点从服务器直接获取数据，更多的节点从其它节点处获得数据。利用对 等节点的资源，可以实现低成本的流媒体分发。p p l i v e 、p p s t r e a m 等网络电视软 件的出现，仅仅是p 2 p 网络流媒体服务时代的前奏，p 2 p 技术将为视频点播、i p t v ( 网络电视) 、远程教学等领域提供强有力的技术支持。 ( 5 ) 协同工作 如c - r o o v e 应用系统1 7 。p 2 p 协同应用的目标是允许多用户在应用层上协同工 h t 自p ：1 w w w g t o o v e n e t 第1 章绪论 作。这种应用的范围很广，比较典型的有g r o o v e 、q q 游戏等。另外，在p 2 p 网 络上开展电子商务也有着光明的前景，例如e b a y l 9 公司的交易系统就采用t f 2 p 技术，使买卖双方直接联系，不需要第三者参与。 二 ( 6 ) 网络计算 如s e n h o m e 应用系统。网络计算是利用整个网络上计算机的闲置资源， 进行大规模的运算，其典型代表是s e l r i h o m e 系统。s e t i h o m e 旨在利用连 入i n t e m e t 的成千上万台计算机的闲置能力搜寻地外文明的试验。它可以将计算机 闲置时的处理运算能力整合起来，形成一个具有超强计算能力的虚拟计算机，通 过这个虚拟机对收集的外太空无线电磁波数据进行分析。它是目前最大的、运行 时间最长的p 2 f 系统。 1 2 2p 2 p 应用带来的问题 ( 1 ) 带宽问题 广泛应用的p 2 p 文件共享机制主要具有以下几个特点翻： 向多个口并发多个连接，使用峰值带宽； 在下载数据的同时，使用相当的带宽上载数据； 用户上载、下载持续时间长，一般为几个小时； 使用时间无限制，峰值集中在晚上和周末。 正是这些特点，再加上p 2 p 共享网络中用户的总数庞大到数以百万计，带宽 问题主要由共享文件类的p 2 p 应用系统所引起。p 2 p 共享网络造成了网络带宽的 巨大消耗，甚至引起网络拥塞，大大降低了网络性能，劣化了网络服务质量，妨 碍了正常的网络业务的开展和关键应用的普及。 ( 2 ) 信息安全问题 每一个用户在p 2 p 网络的交换中既是客户端又是服务器，安全问题可能就在 用户毫不知情的情况下产生。一些针对p 2 p 应用程序的病毒利用p 2 p 环境下方便 的共享和快速的选路机制，进行大范围的快速传播，其覆盖面广，危害更严重。 在p 2 p 网络中，每个节点防御病毒的能力是不同的。只要有一个节点感染病 毒，就可以通过内部共享和通信机制将病毒扩散到附近的邻居节点。在短时间内 ”h t t p j g a m e _ q q c 0 1 1 9 h t t p ：w w w c b a y c o m ”i m p ：b o i n c e q u m c o n f f p r o j c c t s s e t i h t m - 5 北京工业大学工学博士学位论文 可以造成网络拥塞甚至瘫痪，共享信息丢失，机密信息失窃，甚至通过网络病毒 可以完全控制整个网络。因此，网络病毒的潜在危机对p 2 p 系统安全性和健壮性 提出了更高的要求，迫切需要建立一套完整、高效、安全的防毒体系。 另外，由于缺乏对p 2 p 网络的有效监控管理，在一些p 2 p 网络中充斥着具有 反动、非法和色情内容的文件。 ( 3 ) 版权问题 目前，网络盗版的主要方式就是通过p 2 p 网络共享，在p 2 p 共享网络中普遍 存在着知识产权保护问题。p 2 p 共享软件的繁荣加速了盗版媒体的分发，提高了 知识产权保护的难点。美国唱片工业协会r j a a ( r e c o r d i n gi n d u s t r ya s s o c i a t i o no f a m e r i c a ) 与这些p 2 p 共享软件公司展开了漫长的官司拉锯战，著名的n a p s t e 施 是这场战争的第一个牺牲者。尽管如此，至今仍然有大量的影音文件在网络上被 自由下载。目前，已经有些p 2 p 厂商和其它公司一起在研究知识产权保护机制， 这也许将是下一代p 2 p 共享软件面临的挑战性技术问题之一。 1 4 研究内容和意义 1 4 1 研究背景 针对p 2 p 网络带来的上述问题用传统的处理方法逐渐暴露出以下缺点： ( 1 ) 阻塞p 2 p 常用端口：这样的方法一方面拒绝了用户的正常通信要求， 降低或者违反了服务条约，另一方面导致了p 2 p 应用转向使用随机端口和专用端 口( 如i 玎t p 8 0 端口) 躲避检测； ( 2 ) 使用n a t 方法隐藏用户公网口：这样的方法导致了n a t 穿越技术在 p 2 p 软件中的广泛应用； ( 3 ) 阻塞p 2 p 对等体向p 2 p 信息服务节点的通信：这样的方法导致了p 2 p 对等体使用代理服务器的方法躲避检测，也导致p 2 p 信息服务节点的向随机分布 和隐藏的方向发展； ( 4 ) 限制用户的上行带宽：这样的方法违反了服务条约而且导致了向公网 用户的数据请求量增大。 要想解决传统的网络安全设备不能解决的问题，就必须针对目前的主流p 2 p 第l 章绪论 系统研究p 2 p 协议实时识别技术，结合被动监控和主动测量，对不同类型p 2 p 系统的资源、流量、行为和拓扑等测量对象的特征及其内在联系进行系统研究。 最终提出协议实时识别、拓扑发现、恶意信息阻断和遏制的整体技术方案，并完 成原型系统的开发，为全网范围内p 2 p 系统的发现与监控提供技术支持。 针对这些关键问题，信息产业部互联网应急处理协调办公室将p 2 p 网络的发 现和监控技术列入了国家2 4 2 信息安全计划项目，由北京工业大学和四川大学承 担此课题的研究。本文即是在此项目的资助下展开研究，该项目的部分研究成果 也体现在本文中 1 4 2 研究现状 有关p 2 p 应用的研究主要涉及几个方面的内容：p 2 p 网络拓扑结构、资源定 位、消息路由算法、信任体系、信息安全和p 2 p 网络测量等方面。 p 2 p 系统是建立在i n t e m e t 上的大规模分布式协作网络，p 2 p 技术近年来迅 猛发展，成为计算机技术的新亮点，国外许多研究机构和企业都在从事相关的研 究工作。国外开展p 2 p 研究的学术团体主要包括p 2 p 工作组( p 2 p w g ) 、全球 网格论坛( g l o b a lg r i df o r u m ，g g f ) 2 1 。p 2 p 工作组成立的主要目的是希望加 速p 2 p 计算基础设施的建立和相应的标准化工作。f 2 p w g 成立之后，对p 2 p 计 算中的术语进行了统一，也形成相关的草案，但是在标准化工作方面工作进展缓 慢。目前p 2 p w g 已经和g g f 合并，g g f 负责网格计算和p 2 p 计算等相关的标 准化工作m 。从国外公司对p 2 p 计算的支持力度来看，m i