（信号与信息处理专业论文）基于网络编码的p2p内容分发系统研究.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向：现代通信中信号与信息处理技术 作者：张莹 指导教师：徐澄圻教授 题目：基于网络编码的p 2 p 内容分发系统研究 英文题目：c o n t e n td i s t r i b u t i o ns y s t e mb a s e d o nn e t w o r k c o d i n g 主题词：网络编码；p 2 p ；内容分发；b i t t o r r e n t ；多代混合( 方式) k e y w o r d s ：n e t w o r kc o d i n g ；p 2 p ；c o n t e n td i s t r i b u t i o n ；b i t t o r r e n t ； m u l t i g e n e r a t i o nm i x i n g 南京邮电大学硕士研究生学位论文 摘要 摘要 网络编码利用其在网络节点上对所要求传送的消息作适当的线性或非线性处理来改 善网络的传输效率、可靠性、鲁棒性、安全性、节点能耗等性能，是有别于传统方法的一 种新的思路，因而受到高度重视，成为当前网络信息论中一个重要的研究方向。网络编码 是一种新颖的网络传输技术，它从网络总体或系统性的角度出发，能有效解决最大流量、 路由策略等问题。与多数技术一样，网络编码在充分利用其优势的同时，也伴随着相应的 开销。因而，尽可能地减少各种开销，是网络编码在实际应用中所要解决的重要问题。 本文首先对内容分发网络进行了综述，包括理论背景、研究概况和发展趋势，重点讨 论了b i t t o r r e n t 的基本原理、算法及缺陷等。接着介绍了网络编码的基本原理和数学模型， 包括线性网络编码、随机网络编码的概念，以及网络编码的性能、优点和应用范围。针对 目前网络编码在内容分发应用方案中存在的缺陷，提出了相应的改进思路，目的在于提高 文件分发系统的整体性能，降低运算或处理的复杂度。 在本文设计的系统中采取了三个方面的改进措施：( 1 ) 采用多代混合方式( m g m ) 的 编码技术对文件进行分组预处理，文件以分组为编码单位在网络中传输，可以降低解码的 运算复杂度；( 2 ) 在节点传送编码块之前设置一个判断机制，当判断出来自源节点只拥有 一个编码块，这时无需进行二次编码，直接将编码块发送给目的节点，以减少编码开销， 进而缩短节点的编码时间；( 3 ) 采用了一种改进的数据传输方案，即源节点在发送编码块 之前，先向目的节点发送随机产生的编码系数，当目的节点确认编码系数与自己拥有的系 数线性无关时，源节点再发送生成的编码块，藉此减少线性相关编码块的产生，从而减少 重复数据的传输。 本文最后在比较和分析各种p 2 p 仿真工具的基础上选择o p n e t 作为仿真工具，并设 计系统的应用层模块，建立系统的仿真框架。随后仿真比较了现有和改进文件分发系统在 下载成功率、编码时问、文件下载速度和文件丢块率等方面的性能。仿真结果表明改进的 内容分发系统虽然会增加一些时延，但在整体上具有更好的文件分发性能。 最后，论文就今后研究工作的发展方向提出了一些个人的观点。 关键词：网络编码；p 2 p ；内容分发；b i t t o r r e n t ；多代混合( 方式) 南京邮电大学硕上研究生学位论文 a b s t r a c t a b s t r a c t n e t w o r kc o d i n ga l l o w st h ei n t e r m e d i a t en o d e st os e n do u tp a c k e t st h a ta r el i n e a ro r n o n - l i n e a rc o m b i n a t i o n so fi t sr e c e i v e di n f o r m a t i o n , a n dt h u st oi m p r o v et h ep e r f o r m a n c eo f t r a n s m i s s i o ne f f i c i e n c y , r e l i a b i l i t y , r o b u s t n e s s ，s e c u r i t ya n de n e r g ye f f i c i e n c y c u r r e n t l y , t h e r e s e a r c ho fn e t w o r kc o d i n gh a sr e c e i v e dg r e a ti n t e r e s t sa n dh a sb e c o m eo n eo ft h em o s t i m p o r t a n tf i e l d si nn e t w o r ki n f o r m a t i o nt h e o r y n e t w o r kc o d i n gi sab r a n dn e wi n f o r m a t i o n t r a n s m i s s i o nt e c h n o l o g y , w h i c hs o l v e sp r o b l e m ss u c ha sm a xf l o wa n dr o u t i n gs t r a t e g i e si n p e r s p e c t i v eo ft h ew h o l en e t w o r ko rs y s t e m h o w e v e r l i k em o s to t h e rt e c h n o l o g i e s ，t h e a d v a n t a g eo fn e t w o r kc o d i n gg e t sa l o n gw i t hs o m eo v e r h e a d t h e r e f o r e ，h o wt or e d u c et h e s e o v e r h e a db e c o m e sa b i gc h a l l e n g e t l l i st h e s i sf i r s tr e v i e w st h ec o n t e n td i s t r i b u t i o nn e t w o r kt oi n t r o d u c ei t st h e o r e t i c a l b a c k g r o u n d ，r e s e a r c hp r o g r e s sa n dd e v e l o p m e n tt r e n d ，a n df o c u s e so nt h eb a s i cp r i n c i p l e s ， a l g o r i t h m sa n dd e f e c t so fb i t t o r r e n t s e c o n d l y ，t h eb a s i cp r i n c i p l ea n dm a t h e m a t i c a lm o d e lo f n e t w o r kc o d i n gi n c l u d i n gl i n e a rn e t w o r kc o d i n g ，r a n d o mn e t w o r kc o d i n g ，t h ea d v a n t a g e sa n d p e r f o r m a n c e so fn e t w o r kc o d i n ga n dt h ea p p l i c a t i o no fn e t w o r kc o d i n ga r ei n t r o d u c e d f o rt h e d e f e c t so ft h ei m p l e m e n t a t i o no fc o n t e n td i s t r i b u t i o ns y s t e mt h a tu s e sn e t w o r kc o d i n g ，a l l i m p r o v e m e n ts c h e m ei sp r o p o s e dt oi m p r o v et h ep e r f o r m a n c eo fc o n t e n td i s t r i b u t i o na n d d e c r e a s et h ec o m p u t a t i o n a lc o m p l e x i t y t h es y s t e mo ft h i st h e s i sm a d ei m p r o v e m e n t si nt h r e ea r e a s ：( 1 ) t h es y s t e mu s e s m u l t i g e n e r a t i o nm i x i n gt op r e t r e a tt h ef i l eg r o u pa n df i l e sa r et r a n s m i t t e di nt h en e t w o r ki n u n i t so fg r o u pc o d i n g i nt h i sc a s e ，t h ec o m p u t a t i o n a lc o m p l e x i t yo fd e c o d i n gi sr e d u c e d ( 2 ) a j u d g m e n tm e c h a n i s m i ss e tu pb e f o r ec o d i n gp i e c e sa r et r a n s m i t t e d i ft h es o u r c en o d eh a so n l y o n ec o d i n gp i e c e ，t h ec o d i n gp i e c ei ss e n tt ot h ed e s t i n a t i o nn o d ed i r e c t l yt oa v o i ds e c o n d a r y c o d i n g t h i sm e c h a n i s mr e d u c e st h ec o d i n go v e r h e a da n dc o d i n gt i m e ( 3 ) a ni m p r o v e dd a t a t r a n s m i s s i o ns c h e m ei ss t u d i e d t h er a n d o m i z e dc o e f f i c i e n t sa r es e n tt ot h ed e s t i n a t i o nb e f o r e t h ec o d i n gp i e c e si st r a n s m i t t e db ys o u r c en o d e w h e nt h ed e s t i n a t i o nn o d ei d e n t i f i e st h a tt h e c o e f f i c i e n t sa r el i n e a ri n d e p e n d e n t ，t h es o u r c en o d et h e ns e n d st h ec o d i n gp i e c e st od e s t i n a t i o n n o d et or e d u c et h ep r o d u c t i o no fl i n e a rc o r r e l a t i o nc o d i n gp i e c e sa n dr e t r a n s m i s s i o no fd a t a f i n a l l y , s o m ep 2 ps i m u l a t i o nt o o l sa r ei n t r o d u c e da n dc o m p a r e dw i t he a c ho t h e r , a n dt h e i l 壹壅堂皇查兰堡圭堑窒生堂垡丝兰 一垒! 型 _ _ _ - _ - _ _ _ _ _ _ _ - _ - - _ - _ _ - _ _ _ _ _ - _ l _ i _ - _ _ _ _ _ - _ - _ - - - - - - _ - _ _ _ i - _ _ _ _ _ _ _ i _ _ i _ _ _ _ _ _ - _ _ _ 一一一 一 一一一 a p p l i c a t i o nl a y e rm o d u l ea n ds i m u l a t i o nf r a m e w o r ka l ed e s i g n e db a s e do no p n e ，lt h e na c o m p a r i s o nb e t w e e ne x i s t i n gc o n t e n td i s t r i b u t i o ns y s t e ma n di m p r o v e ds y s t e mi s g i v e n ，t h e s i m u l a t i o nr e s u l t ss h o wt h a ta l t h o u g ht h ei m p r o v e ds y s t e ma d d ss o m ed e l a y , i th a sb e t t e r c o n t e n td i s t r i b u t i o np e r f o r m a n c ei nt h em a s s f i n a l l y , s o m ea s p e c t sn e e d e dt ob es t u d i e df o r f u ! t h e rr e s e a r c ha l ep o i n t e do u t k e y w o r d s ：n e t w o r kc o d i n g ；p 2 p ；c o n t e n td i s t r i b u t i o n ；b i t t o r r e n t ；m u l t i - g e n e r a t i o nm i x i n g 1 1 1 南京邮电大学硕士研究生学位论文 缩略词表 p 2 p c s n c c d n c a n u r l l c m n s f s m n a m p m a m a c i c i m g m 缩略词表 l i s to fa b b r e v i a t i o n s p e e r t op e e r c l i e n t s e r v e r n e t w o r kc o d i n g c o n t e n td e l i v e r yn e t w o r k c o n t e n ta d d m s s a b l en e t w o r k u n i f o r m u n i v e r s a lr e s o u r c el o c a t o r l i n e a r - c o d em u l t i c a s t n e t w o r ks i m u l a t o r f i n i t es a t em a c h i n e n e t w o r ka p p l i c a t i o nm a n a g e r p r o f i l em a n a g e r a p p l i c a t i o nm a l l a g e r a p p l i c a t i o nc l i e n t s i n t e r f a c ec o n t r o li n f o r m a t i o n m u l t i g e n e r a t i o nm i x i n g i v 对等网络 客户栅服务器 网络编码 内容分发网络 内容可寻址网络 统一资源定位符 线性码组播 网络模拟器 有限状态机 网络应用程序管理 配置文件管理 应用管理器 应用程序客户端 接口控制信息 多代混合( 方式) 南京邮电大学硕士研究生学位论文 目录 目录 摘要i a b s t r a c t i i 缩略词表 第一章绪论l 1 1p 2 p 和网络编码的产生背景及发展1 1 1 1p 2 p 的产生背景及发展l 1 1 2 网络编码的产生背景及发展2 1 2 论文的研究背景3 1 3 论文主要工作及章节安排4 第二章p 2 p 内容分发网络及相关技术6 2 1 内容分发网络概述6 2 2o v e r l a y 技术6 2 3p 2 p 技术7 2 3 1p 2 p 网络应用及结构分类7 2 3 2p 2 p 文件共享系统的发展历程和性能指标。9 2 3 3 以b i t t o r r e n t 为代表的内容分发系统1 0 2 4 本章小结。17 第三章网络编码及其在内容分发中的应用1 8 3 1 网络编码原理概述18 3 1 1 网络编码原理及模型l8 3 1 2 线性网络编码2 0 3 1 3 随机网络编码2 5 3 1 4 网络编码的性能优点2 5 3 2 网络编码的应用2 6 3 2 1 在无线网络中的应用。2 6 3 2 2 在应用层多播中的应用2 7 3 2 3 在网络安全中的应用2 7 3 3 网络编码在p 2 p 内容分发中的应用2 8 3 3 1a v a l a n c h e 系统2 9 3 3 2 基于稀疏性网络编码技术的内容分发系统3 0 3 3 3 现有系统存在的问题和缺陷3 1 3 4 本章小结3 1 第四章基于网络编码的内容分发系统总体设计方案3 2 4 1 基于网络编码的内容分发系统总体网络架构及设计分析。3 2 4 1 1 系统设计思想3 3 4 1 2 系统详细设计分析3 4 4 2 现有内容分发系统的缺陷及改进思路3 9 4 3 一种改进的基于网络编码的内容分发系统4 l 4 3 1 对文件的分组预处理4 l 4 3 2 一种判断策略4 4 v 南京邮电大学硕士研究生学位论文 目录 4 3 3 一种改进的数据传输方案4 5 4 4 本章小结5 0 第五章性能仿真及结果分析一5 l 5 1p 2 p 网络模拟器介绍5 1 5 1 1p 2 p s i m 51 5 1 2g n u t e l l a s i m 51 5 1 3p e e r s i m 5 2 5 1 4n s 2 5 2 5 1 5o p n e t 一5 2 5 2 基于o p n e t 的p 2 p 内容分发系统的仿真实现5 3 5 2 1 应用层模块的内部结构分析5 4 5 2 2p 2 p 文件分发协议的实现5 5 5 3 仿真内容和环境设置5 8 5 4 仿真结果分析5 9 5 4 1 分组数对下载进度的影响5 9 5 4 2 判断策略对编码时间的影响6 0 5 4 3 数据传输方案在时间上的比较6 1 5 4 4 数据传输方案对丢块率的影响6 2 5 4 本章小结。6 3 第六章总结与展望6 4 6 1 本文总结6 4 6 2 下一步- l 作一6 5 j 1 5 谓| 6 6 参考文献6 7 攻读硕士学位期间发表的论文7 2 v l 南京邮电大学硕上研究生学位论文 第一章绪论 第一章绪论 本章首先介绍p 2 p 和网络编码的基本理论及研究现状；然后介绍了本文的研究背景； 最后对本文的主要工作及结构进行了简单说明。 1 1p 2 p 和网络编码的产生背景及发展 1 1 1p 2 p 的产生背景及发展 p 2 p ( p e e rt op e e r ) 是点对点或对等的意思，用它定义计算机系统或网络，在该p 2 p 网络中既是客户端又是服务器，允许文件共享。在p 2 p 网络中，每个节点所拥有的权利 和义务都是对等的，每个客户终端既是客户端，又是服务器。p 2 p 技术不仅能利用服务器 的资源，同时也能合理地使用用户计算机的空闲资源。 p 2 p 起源于最初的联网通信方式，如在建筑物内计算机通过局域网互联，不同建筑物 间通过调制远程拨号互联。所以从基础技术角度看，p 2 p 不是新技术，而是新的应用技术 模式。现在的互联网是以服务器客户机( c s ) 结构的应用模式为主的，这样的模式是在 网络内设置一个服务器，信息通过服务器才能传递，但如果利用p 2 p 系统软件，普通的 个人计算机就可以不通过服务器直接与另一个拥有同样p 2 p 系统软件的个人计算机形成 互联，双方共享资源。 p 2 p 结构与传统的c s 结构的一个本质区别是：在网络中每个节点的地位是相同的。 与传统的c s 结构相比，p 2 p 结构具有以下一些主要特点： 1 、非中心化：网络中的资源和服务分散在所有节点上，信息的传输无需服务器的介 入，直接在节点之间进行，这样避免了可能存在的瓶颈问题。非中心化特点使p 2 p 网络 具有可扩展性和健壮性等优点。 2 、可扩展性：p 2 p 网络中，当用户不断加入时，服务的需求增加了，系统整体资源 和服务能力同时也在扩充，始终能够满足用户的需求。 3 、高性能价格比：采用p 2 p 结构可以有效地利用互联网中的普通节点，将任务和存 储资料分布到所有的节点上，可以以更低的成本提供更高的计算能力和存储能力。 4 、健壮性：由于服务是分散在各个节点之间进行的，部分节点或网络遭到破坏时对 整个网络的影响很小，因此p 2 p 结构具有耐攻击、高容错的优点。p 2 p 网络通常都是以自 南京邮电大学硕士研究生学位论文第一章绪论 组织的方式建立起来的，并允许节点自由加入和离开，还能够根据网络带宽、节点数、负 载等变化不断地做自适应式的调整。 5 、隐私保护：p 2 p 网络中，信息的传输分散在各节点之间进行而无需经过某个集中 环节，因此用户的隐私信息被窃听和泄漏的可能性比较低。 6 、负载均衡：p 2 p 网路中，每个节点既是服务器又是客户端，减少了对传统c s 结 构服务器计算能力和存储能力的要求，所以更好地实现了整个网络的均衡负载。 近年来，v 2 p 1 - 4 1 技术已经进入内容分发、即时通信、分布式计算、流媒体传输等领 域，并使这些领域出现新的发展和应用。内容分发是p 2 p 技术最典型的应用，将p 2 p 技 术引入内容分发领域，参与p 2 p 内容分发的节点之间可以直接进行文件交换而不用通过 专门的文件服务器，节点既可以下载文件又可以上传文件，当网络中的节点不断增加时， 系统的服务能力也相应地提高，因此分布在各个节点的带宽资源、存储能力都得到了有效 的利用，实现了均衡负载。 国外研究p 2 p 的学术团体主要包括p 2 p 工作组、全球网格论坛和各高校的研究小组。 p 2 p 工作组成立后，对p 2 p 计算中的术语进行了统一，形成了相关的草案，目前p 2 p 工 作组已经和全球网格论坛合并，并由该论坛管理p 2 p 计算相关的工作。全球网格论坛负 责网格计算和p 2 p 计算等相关的标准化工作。在国内p 2 p 技术的发展也已被认可，相应 的软件被网民广泛使用，其中最为成功的是p 2 p 流媒体，它的推出最早流行于校园网络， 通过校园网络的架构服务器，借助p 2 p 流媒体技术，用户在观看视频的同时可以相互共 享流资源，减少服务器压力，提高在线视频的流畅度。在国内存在的几家知名p 2 p 产品 几乎都是以即时通信、文件搜索和共享为主，相对p 2 p 在国外的全方位发展，国内p 2 p 软件在对等计算和协同工作等方面的应用还相对较少。 1 1 2 网络编码的产生背景及发展 网络通信的目的是在源节点和目的节点之间传递信息，因此，网络设计中最基本的问 题就是怎样增加传输的信息量。计算机通信网络的飞速发展以及边缘学科的兴起，使人们 的目光越来越多地投入到网络信息论上面。2 0 0 0 年，a h l s w e d e 和香港中文大学的r w y e u n g 、n c a i 等人首次将网络和编码进行结合，提出了网络编码的概念【5 7 】，其核心思 想是在网络中参与传输的节点不单纯地执行存储转发功能，而是对来自多条链路的数据 信息进行一定的线性或非线性处理( 即编码) ，然后发送出去，并保证接收节点可正确恢 复源节点所发送的信息，从而达到通信网络的最大容量，最大限度地利用网络的现有资源。 2 南京邮电大学硕士研究生学位论文第一苹绪论 l i 等人证明了使用线性网络编码能够达到网络多播容量【6 】。随机网络编码【9 】在2 0 0 3 年被提出，扩宽了网络编码的适用场景，使得网络编码不再局限于确定的网络拓扑和集中 式算法。在文献【7 】中c a i 利用分布式网络编码来纠正整个网络中的差错，并论述了网络 编码在安全方面的应用【l o 】，为网络编码增加了新的应用领域。k o e t t o r 和f r a g o u l i 在网络 编码的复杂度方面做出了研究，应用k o e t t o r 的算法【8 】，编码系数的符号集可以小于 l 0 9 2 ( m h + 1 ) ，而f r a g o u l i 1 1 将其缩小到2 肌一7 4 + 1 2 ( h 是广播流量，m 是接收节点的 数目) 。 目前，网络编码是国际信息论和网络理论领域关注的热点，很多学者已经在网络编码 的数学描述方法等方面做了大量工作，得到了有线网络中利用网络编码实现最大流传输的 若干判定定理。此外，还有一些学者利用网络编码的思想提出了一些方案用来进行网络优 化。文献 1 2 1 针对无线传感器网络提出了一种结合分布式源编码和网络编码的优化算法， 目的是用来提高传感器网络的容错性和可靠性，同时对分布式源编码的压缩效率和网络鲁 棒性进行了折衷考虑。d i m a k i s 等提出了一种传感器网络中基于网络编码的数据聚合算法 【1 3 】，使得数据聚合的效率得到极大的提高。 总而言之，现在关于网络编码的研究是百家争鸣，各种方法和应用层出不穷，但是 没有一个统一的标准，而且多数是基于理论分析，试验仿真很少。到目前为止，将网络编 码应用到实际网络中还比较少，所以关于网络编码的研究还有很多东西去做。 1 2 论文的研究背景 基于网络编码的p 2 p 内容分发协议一直是网络编码的研究热点之一，它在节省带宽资 源、提高系统的抗毁性和可扩展性等方面都比无编码协议优势明显，但也面临着解码计算 复杂、延时过大导致系统性能下降的新问题。文献 1 4 1 指出，在p 2 p 系统中采用随机线性编 码，仅在编码块数目较少且块大小合适的情形下，其性能才可接受。m a 等人【1 5 】实现了 一个基于稀疏线性编码策略的p 2 p i 为容分发系统，通过邻居选取、环路检测和编码区间划 分3 种策略，降低了各编码块间的线性相关性，提升了系统的整体性能。文献 1 6 】提出了一 种基于网络编码的p 2 p 流媒体直播方案，仿真实验表明，采用网络编码后，节点的播放质 量得到了普遍增强。l a v a 1 7 是首个集成网络编码技术的p 2 p 流媒体协议实际系统，通过 与已实现的标准流媒体协议v a n i l l a l 匕较，网络编码协议在可用上传带宽略大于流媒体所需 带宽的时候优势较明显。a c e d a n s k i 等人【1 8 研究了在多个存储资源受限的节点间进行分布 式文件存储的问题，比较了无编码存储、基于纠删码存储和采用随机线性码存储3 种策略， 3 南京邮电大学硕士研究生学位论文 第一章绪论 仿真结果表明，基于随机线性码的分布式存储策略在无需全局文件服务器的参与时，其性 能接近集中式全局调度算法。文献【1 9 】关注基于纠删码的文件存储在保持冗余度不变时， 如何最小化网络带宽的问题。 g k a n t s i d i s 等人【2 0 】研究的是使用了网络编码技术的p 2 p i 为容分发网络的安全问题。他 们集中研究了如何抵抗针对系统熵或试图完全阻塞系统的安全攻击，提出了一种能够提高 验证效率的方案。他们还提出一种基于安全随机校验和的、能够防止伪造警报造成d o s 攻 击的有效机制。o l i v e i r a 等人【2 1 】通过研究证明，利用网络编码的优势，可以为传感器网络 设计出一种密钥分配方案，它只需要用到少量预先存储的密钥，但仍然可以确保以概率l 建立共享密钥连接，并且移动节点并不知道所分配的密钥。 网络编码作为一项新型的信息处理技术受到了广泛的认同，已经由早期的仅限于有线 网络的组播传输发展到覆盖有线和无线网络的各个层面，随着更多学者对该领域的深入研 究，网络编码必将能够在未来通信中得到更多的应用。 1 3 论文主要工作及章节安排 在参阅了大量中英文文献的基础上，本文的主要工作是将对文件的分组预处理、一种 判断策略和一种改进的数据传输方案应用于p 2 p 内容分发系统中，以减少编码开销和重 复数据的传输。本文研究通过在应用层构架p 2 p 内容分发环境，将网络编码功能应用到 客户端的文件传输中。研究的重点是实现一个改进的基于网络编码的内容分发模型，讨论 其在网络中文件分发的整体性能。据此，论文研究了p 2 p 网络特别是b i t t o r r e n t 系统的基 本原理、算法以及缺陷，针对此缺陷，将网络编码技术运用到内容分发系统中，并分析了 现有基于网络编码的内容分发系统的优缺点，接下来，本文主要进行了以下几方面的研究： 1 、为了进一步提高算法的有效性，在现有研究结果的基础上，本文研究了改进的网 络编码技术。首先系统采用多代混合方式的编码技术对文件进行分组预处理，仿真结果表 明，它虽然稍微增加了文件的下载时延，但降低了解码的运算复杂度，系统的整体性能得 到了改善；其次引入了一种判断策略，在节点传送编码块的时候设置一个判断机制，判断 源节点是否只拥有一个编码块，这时无需进行二次编码，直接将编码块发送给目的节点， 以减少编码开销，仿真结果表明，该策略缩短了节点的编码时间。 2 、针对文件分发网络中的数据传输方案存在的问题，论文还探讨了改进的数据传输 方案，对网络编码块是否线性相关这个问题采用了先判断后传输的方法，源节点在发送编 码块之前，先向目的节点发送随机产生的编码系数，当目的节点确认编码系数与自己拥有 4 南京邮电大学硕士研究生学位论文 第一覃绪论 的系数线性无关时，再向源节点发送确认信息，这时源节点生成编码数据块，并发送给目 的节点，若线性相关则丢弃此编码系数，并记录源节点信息，为尝试性疏通提供依据。此 方案减少了线性相关编码块的产生，从而减少了重复数据的传输，论文最后分别对在现有 的和改进的数据传输方案下，系统中节点的平均下载时间、总分发时间和文件丢块率进行 仿真比较，结果表明，改进的数据传输方案能够有效地提高系统的性能。 本文的章节安排如下： 第一章绪论，简单介绍p 2 p 网络和网络编码的产生背景及其发展应用。 第二章介绍内容分发网络特别是p 2 p 网络的基本概念和原理。 第三章对网络编码的基本理论进行讨论，先对网络编码的数学模型和原理进行研究。 然后依次介绍线性网络编码、随机网络编码的概念，总结网络编码的性能优点和应用范围。 最后详细介绍了网络编码在内容分发中的应用和一些系统存在的缺陷。 第四章介绍了基于网络编码的p 2 p 内容分发系统的设计方案，主要介绍了系统的总 体框架设计和改进方案，描述了分组预处理、一种判断策略和一种改进的数据传输方案。 第五章介绍了几种p 2 p 仿真工具，并将o p n e t 作为本文系统的仿真工具。然后详 细介绍了基于网络编码的p 2 p 内容分发系统在o p n e t 中的协议实现，最后仿真验证了第 四章中提出的改进方案对p 2 p 内容分发系统性能的改善。 第六章对全文工作的总结和展望。 5 南京邮电大学硕士研究生学位论文 第二章p 2 p 内容分发网络及相关技术 第二章p 2 p 内容分发网络及相关技术 本章首先介绍内容分发网络的基本概念，分别阐述了内容分发网络的两个技术支持 山e r l a y 技术和p 2 p 技术。在p 2 p 技术介绍中，描述了p 2 p 网络的应用范围及结构分 类，讲述了p 2 p 文件共享系统的几种典型模型，详细介绍b i t t o r r e n t 系统的原理、算法、 协议及面临的问题等。 2 1 内容分发网络概述 随着计算机和互联网技术的发展，用户数量也不断增加，同时对i n t e r n e t 的服务质量 和访问速度要求也越来越高，使得网络负载急剧增加，而从传统的因特网内容提供端直接 提供内容服务的模式受到严重的挑战，在这种背景下，一种新的网络内容交付模型，即内 容分发网络c d n ( c o n t e n td e l i v e r yn e t w o r k ) 得到应用，它建立在高速缓存和复制的技 术基础上，具有较好的性能。 c d n 2 2 2 4 是一种解决互联网性能不佳的有效手段，是为了解决互联网拥挤的状况， 提高用户访问网站的响应速度，从技术上解决由网络带宽小、用户访问量大、网点分布不 均等造成的用户访问网站响应速度慢的问题。c d n 的基本思路是在现在的i n t e m e t 中增加 一层新的网络架构，将网站内容发布到最接近用户的网络“边缘”，用户可以就近取得所需 内容，解决网络拥塞状况，提高用户访问网站的响应速度。当前的内容分发算法的基本特 点有合作性和位于应用层，这两个特点相应的技术支持是对等网络( p 2 p ) 技术和覆盖网 ( o v e r l a y ) 技术。p 2 p 网络中不同的架构有不同的自治性和合作性，o v e r l a y 技术支持算 法工作在应用层。下面的内容主要介绍这两种技术。 2 2o v e r l a y 技术 o v e r l a y 网络 2 5 】是构建在一个或多个已经存在的网络之上的网络，它附加了一个间 接的虚拟层次来改变下层网络的一个或者多个属性，从而实现原有网络无法提供的功能和 服务。现有的i n t e m e t 构建于众多局域网和电话网之上，所以是一个覆盖网络，目的是为 了通过统一的i p 协议实现异构的局域网之间的通信。p 2 p 网络也是一种覆盖网络，构建 于i n t e m e t 之上。o v e r l a y 网络模型如图2 - l 所示。 6 南京邮电大学硕士研究生学位论文 第二章p 2 p 内容分发网络及相关技术 图2 10 v e r l a y 网络模型 2 6 1 o v e r l a y 网络的优点是显而易见的。首先o v e r l a y 实现方便，不需要对原有的设备和 协议做改变，下层网络节点可以随时选择是否要加入覆盖网络以使用其功能，具有很强的 灵活性。再者，o v e r l a y 易于部署和扩展，不需要路由器的支持，同时具有独特的应用型 架构。但o v e r l a y 网络的实现也需要成本，如增加网络协议栈的层数、复杂性等。目前 o v e r l a y 网络的典型应用有应用层组播、w e bc o n t e n t 分布式网络、弹性重叠网( r e s i l i e n t o v e r l a y ) 等。 2 3p 2 p 技术 对等网络( p 2 p ) 指网络用户之间可以直接通信的网络结构。p 2 p 使得网络上的沟通 变得更容易、更直接共享和交互，使用户可以直接连接到其他用户的计算机，而不是像过 去那样连接到服务器去浏览和下载。p 2 p 网络不同于传统的c s 模式，改变了几种存储和 处理资源的方法。p 2 p 网络中的节点既可以获取其他节点的资源和服务，同时又是资源和 服务的提供者，具有比c s 模式网络更好的健壮性和抗毁性，成为搭建健壮性网络的有效 方式。 2 3 1p 2 p 网络应用及结构分类 当前的p 2 p 技术主要应用到以下技术： 7 南京邮电大学硕士研究生学位论文第二章p 2 p 内容分发网络及相关技术 l 、p 2 p 流媒体 利用p 2 p 技术来分发实时性很强的流媒体数据、p 2 p 直播和点播技术目前已比较成 熟。p 2 p 技术在流媒体应用中特别适用于一些热门事件，即使是大量用户同时访问流媒体 服务器，也不会造成服务器因负载过重而瘫痪。此外对于多人的多媒体通信，p 2 p 技术会 对网络状况和音频质量带来改进。例如v o i p 通过p 2 p 技术在因特网中传输实时话音数据， 已能满足大多数用户的需求。 2 、即时通信 即时通信软件如q q 、m s n 、s k y p e 等是网络用户常用的软件。无论是近在咫尺还是 远隔重洋，用户之间都可以通过即时通信软件进行文字、语音和视频交流。并且随着网络 的不断发展，即时通信因实时交互、资费低廉等优点已经成为网络生活中不可或缺的一部 分。 3 、文件共享 利用p 2 p 技术在大量终端用户之间分发和共享文件，将大量终端用户组织在一起形 成应用层覆盖网，节点之间通过应用层消息传输文件，构成一个文件共享系统。目前流行 的p 2 p 文件共享协议有：n a p s t e r 、g n u t e l l a 、k a z a a 、b i t t o r r e n t 等。 p 2 p 网络具有复杂的拓扑结构，这个拓扑结构是一个上层的网络拓扑结构，p 2 p 网络 也是一个覆盖网，它在物理层之上。对于已经应用或还处于理论阶段的p 2 p 网络，国内 外研究者从不同