P2P环境下的内容分发机制研究

摘要随着网络技术的进步，Internet己经发展成为信息社会中最重要的内容发布系统，但Internet中传统的以应用服务器为中心的内容分发网络（ContentDistributionNetwork，CDN）存在着性能瓶颈，不利于网络扩大和维护费用高等问题。与此同时，一种新的分布式资源利用模式——对等网络（Peer-to-Peer，P2P）计算产生了。与传统的C/S计算不同的是，P2P计算一般不需要中心服务器。网络中每个节点既是客户端，又是服务器。P2P允许计算节点之间的直接交流和协作。P2P计算可以充分利用Internet边缘日益丰富的闲置资源，包括计算、存储、带宽等资源。内容发布和共享是P2P计算的一个主要应用领域，基于P2P的内容发布系统的特点是能够充分利用大量的客户端资源，减轻或者抛却应用服务器的负载。P2P内容分发机制的核心是负载均衡算法以及文件分块选择算法。其中负载均衡算法的目的是选择更接近的、性能更好的节点作为分发服务器。为适应P2P网络的各个节点随时变化的状态以及性能，内容分发机制采用动态的基于优先级的负载均衡算法——根据节点CPU和内存的状况、两节点之间的逻辑距离以及网络状况进行优先级计算并排序，然后顺序选择节点发出资源请求。文件分块选择算法依据文件两层分块的原理划分为两部分：部分选择算法以及块选择算法。前者采用基于优先级的原则：通过该部分在各节点的分布情况、完成度等因素计算出优先级，选择优先级最大的部分进行分发。后者采用顺序选择以及节点反馈相结合的方法：正常情况下，按照块的顺序进行选择；否则，跳跃到下载点所反馈回来的下一块进行顺序选择。负载均衡算法使得下载者趋向于向更接近的、性能更好的上传者发出资源请求，以获得更好的分发速度；文件分块选择算法有助于增大网络中文件分块在各个下载者之间的差异性，以便加快下载者之间的分发速度。以此为核心的内容分发机制可以更快的速度从更接近、性能更好的节点处获得资源。关键字：内容分发、对等网络、负载均衡、分块选择、KademliaAbstractWiththedevelopmentofnetworktechnology,Internethasbecomethemostimportantcontentdistributionsystemintheinformationsociety,butthetraditionalserver-centriccontentdistributionmodeisalsoconfrontedwithperformancebottleneck.Atthesametime,P2Pcomputingasanewmodeofutilizingdistributedcomputingresourcescomesintobeing.ItisdifferentfromClient/Servercomputing,commonlythereisnospecialserverinP2Pnetworkandnodescancommunicateandcollaboratedirectlywitheachother.P2PcomputingcanutilizeincreasinglyunusedresourcesintheedgeoftheInternet.ContentdistributionandsharingisoneofthemainapplicationsofP2Pcomputing,P2P-basedcontentdistributionsystemcanfullyutilizeresourcesofvastclientsandlightentheloadofapplicationserver.ThecoreoftheP2P-basedcontentdistributionmechanismistheloadbalancearithmeticandthefile’spartchoosingarithmetic.Thepurposeoftheloadbalancearithmeticistochoosethenodewhichisnearerorhasabetterperformanceasthedistributionserver.Toadapttothemomentarilychangingofthestateandtheperformanceofthenodes,thepriority-basedloadbalancearithmeticisused,whoseprincipleis:calculatingandsortingtheprioritybythestatesoftheCPUandmemory,thelogicdistanceofthenodesandthestatesofnetwork,thensendaresourcerequesttothenodethathasthehighestpriority.Liketheprincipleofthefile’spartition,thefile’spartchoosingarithmeticisdividedintotwo:thePart-choosingarithmeticandtheBlock-choosingarithmetic.ThePart-choosingarithmeticispriority-based:calculatingandsortingeveryPart’sprioritybythesituationofthePartinthenodesandthefinishpercentage,thensendingthePartthathasbiggestpriority.TheBlock-choosingarithmetic’sprincipleischoosingintheorderandthenode’sfeedback:InthenormalconditionchoosingtheBlockintheorder;otherwise,choosingtheBlockbeginningwiththefeedback.Theload-balancearithmeticcouldmakethedownload-nodetosendtheresourcerequesttotheupload-nodewhichisnearerandhasbetterperformance;thefile’spartchoosingarithmeticisgoodformakingthedifferenceofthefile’sPartinthedownload-nodesbigger,andmakingthespeedofthedistributionfaster.Thecontentdistributionmechanismwhosecoreisthetwoarithmeticscanmakethenodetogettheresourcefasterfromthenearerandbetterperformancenodes.Keyword:ContentDistribution,P2P,LoadBalance,PartChoose,Kademlia目录TOC\o"1-2"\u摘要……………………. 图52可以看出，文件的平均分块丢弃率随着的分发子网的增大，而逐渐的增大。如果不限制分发子网的节点个数，文件的平均丢弃率奖达到100％，甚至可能超过100％。如此用平均丢弃率来衡量文件分块选择的性能就没有多大的意义。而且平均丢弃率越大意味着分发子网中的无效传输越多，逐渐增多的无效传输对整体的分发性能并没有好处，而会对网络带来拥塞。因此，应该控制分发子网的大小，而这也是负载均衡算法的设计原因之一。图STYLEREF1\s5SEQ图\*ARABIC\s12分块选择算法测试结果图本章小结本章的工作是对原型系统的测试以及结果分析。由于本文的重点集中在负载均衡算法以及文件分块选择算法上，因此对本系统的测试也是集中在这两点上。本章对负载均衡算法的算法的正确性进行了简单的测试与分析，并利用文件分块丢失率来测试文件分块选择算法的性能。总结与展望本文工作总结本文针对P2P网络环境下的内容分发机制进行研究，分析了包括客户端/服务器模式和各种P2P模式（集中式P2P，分布式非结构化P2P、混合式P2P以及分布式结构化P2P）在内的各种内容分发方法的优缺点，并结合系统的拓扑结构——分布式结构化覆盖网络Kademlia，提出并实现了一个P2P环境下的内容分发机制——分发方式、负载均衡算法以及文件分块选择算法，最后对内容分发模块进行了测试，并对结果进行了分析。本文提出了混合式的内容分发方式。对于部分级的文件分块粒度，实现的是拉方式；对于块级粒度，实现的是推方式。但这都只是大层次的划分，事实上，两种粒度实现的都不是单纯的一种方式，而是两种方式的混合。本文提出了两层的文件分块选择算法：基于优先级的部分选择算法和连续选择的块选择算法。本文提出了基于优先级的负载均衡算法，但在具体实现时，为避免过多的节点相互信息交换通信，在请求者端实现的基于逻辑距离的负载均衡算法，而在被请求者端实现阻塞机制。展望本文完成了基于文件的P2P环境下的内容分发机制的设计与实现，实现了分布式结构化覆盖网络Kademlia下的对各种文件进行内容分发的功能。但是本系统在某些方面依然需要进一步的研究与完善，本人认为今后在以下方面有待进一步的研究：实现内网互连和防火墙穿透功能。提高系统的安全性。提高跨平台性。参考文献StefanSaroiu,KrishnaP.Gummadi,etal.AnAnalysisofInternetContentDeliverySystems.InProc.ofOSDI'02,2002TyronStading,PetrosManiatis,MaryBaker.Peer-to-PeerCachingSchemestoAddressFlashCrowds.IPTPS2002,LNCS2429.203～213StephenAdler.TheSlashdotEffect:anAnalysisofThreeInternetPublications.LinuxGazette38,1999GuillaumePierre,MaartenvanSteen.Globule:aplatformforself-replicatingWebdocuments.Proceedingsofthe6thInternationalConferenceonProtocolsforMultimediaSystems,2001,10.1～11谢智文.互联网P2P应用技术探讨.武汉市第二届学术年会、通信学会2006年学术年会论文集.2006.236~237梁毅，王忠.P2P技术的发展与应用.四川省通信学会2005年学术年会论文集，2005.440~443LiZP,HuangJH,HuangDY,ZhuangL.IntroductiontoPeer-to-Peernetworkingtechnologyanddevelopment.TelecommunicationsScience,2003,19(3).1-4李之棠.P2P原理与技术[J].华中科技大学计算机学院.CERNET第十一届学术会议李珊.P2P技术：互联网发展的新惊喜.电子商务，ElectronicScience&TechnologyReview,2005,02期.72~74DejanS.Milojicic,VanaKalogeraki,etal.Peer-to-PeerComputing.HPLaboratoriesPaloAlto,HPL-2002-57李阳明，王丽芬，郭慧.P2P对等网络的关键技术及应用.现代计算机（专业版），2005年08期BalachanderKrishnamurthy,CraigWills,YinZhang.OntheUseandPerformanceofContentDistributionNetworks.InACMSIGCOMMINTERNETMEASUREMENTWORKSHOP2001LazarI,TerrillW.ExploringContentDeliveryNetworking[J]，ITProfessional,Volume3,Issue4,July-Aug.2001.47~49IonStoica,RobertMorris,DavidKarger,M.FransKaashoek,HariBalakrishnan.Chord:AScalablePeer-to-peerLookupServiceforInternetApplications,InProc.ACM,SIGCOMM,SanDiego,CA,August2001.149~160JohnKubiatowicz,DavidBindel,YanChen,StevenCzerwinski.Oceanstore:AnarchitectureforGlobal-ScalePersistentStorage.InProc.ASPLOS’2000,Cambridge,MA,November2000.190~201BenY.Zhao,JohnKubiatowiczandAnthonyD.Joseph.Tapestry:AnInfrastructureforFault-tolerantWide-areaLocationandRouting.TechnicalReportNo.UCB/CSD-01-1141,UniversityofCaliforniaBerkeleyThomasKaragiannis,AndreBroido,NevilBrownlee,etal.File-sharingintheInternet:AcharacterizationofP2Ptrafficinthebackbone.CAIDA,SDSC,UCSDM.Ripeanu.Peer-to-peerArchitectureCaseStudy:Gnutella.InProceedingsofInternationalConferenceonP2PComputing,2001S.Saroiu,P.K.Gummadi,etal.AmeasurementStudyofPeer-to-PeerFileSharingSystems.ProceedingsofMultimediaComputingandNetworking(MMCN),2002NicolDM.Communicationloadbalancingindistributedsystems[C].ProcofScalableHighPerformanceComputingConf,1992.292~299张联峰，刘乃安等.综述：对等网(P2P)技术，计算机工程与应用，2003P.Backx,T.Wauters,B.Dhoedt,P.Demeester.AComparisonofPeer-to-PeerArchitectures[J],EurescomSummit2002.67~75DavidLiben-Nowell,HariBalakrishnan,DavidKarger.Observationsonthedynamicevolutionofpeer-to-peernetworks[J],InProceedingsoftheFirstInternational,WorkshoponPeer-to-PeerSystems,Cambridge,MA,2002.3.25~68JaimeWoret.InterconnectingUnstructuredP2PFileSharingNetworks.P2PJournal.January,2005乐光学.基于Gnutella协议的P2P网络路由搜索算法：Light-Flooding[J]，计算机工程,2005年11期.121~123JainS,MahajanR,WetherallD.AstudyoftheperformancepotentialofDHT-basedoverlays.In:Proc.ofthe4thUSENIXSymposiumonInternetTechnologiesandSystems(USITS2003).2003.256~261AFiat,JSaia.Censorshipresistantpeer-to-peercontentaddressablenetworks.ProceedingsofthethirteenthannualACM-SIAMsymposiumonDiscretealgorithms.2002.94~103SRatnasamy.AScalableContent-AddressableNetwork.[Ph.D.Thesis].UniversityofCalifornia,Berkeley.October2002LuaE.Keong,CrowcroftJon,PiasMarcelo.ASurveyandComparisonofPeer-to-PeerOverlayNetworkSchemes.IEEECommunicationsSurveys&Tutorials,SecondQuarter2005A.Rowstron,P.Druschel.Pastry:Scalable,DistributedObjectLocationandRoutingforLarge-scalePeer-to-peerSystems.Proc.Middleware,2001PetarMaymounkov,DavidMazieres.Kademlia:APeer-to-PeerInformationSystemBasedontheXORMetric.In:Proc.ofthe1stInt'lWorkshoponPeer-to-PeerSystems(IPTPS2002).2002.153