品学量化分析评估系统基于BitTorrent的VOD系统分析与评估

品学量化分析评估系统基于BitTorrent的VOD系统分析与评估 摘要：网状多播以其稳定性、易操作性和健壮性被广泛应用，但高流畅性和低延迟策略始终是视频点播技术面临的挑战。文章围绕如何设计一个高流畅和低延迟的点播系统，对比研究了三种典型的基于BitTorrent的VOD解决方案Bass、Bitos、Give-to-Get和常用的基于BitTorrent协议的VOD系统的性能评估方式，总结了在基于BitTorrent的VOD系统的优化过程中遇到的问题和解决思路。 关键词：P2P；BitTorrent；VOD；对比；评估 0 引言 xx年7月份，第24次中国互联网发展状况统计报告显示，截至xx年6月底，中国网民规模达到3.38亿人，其中网络视频应用的使用率已高达67.1，且保持10的增幅。目前的网络视频应用大致可分为三种类型第一种：线上下载线下观看，也就是把完整的视频文件下载到本地后再启动本地播放器观看；第二种：直播，当视频内容在广播时，用户收看，如电视频道直播；第三种：点播，视频内容以流的形式到达用户，用户可以在任何时候观看能够获取的任何一个节目，如优酷，PPLIVE等。对于用户而言，显然点播是最方便的。 传统的中心服务器，客户机模式的视频点播服务模式不具有可扩展性，既不能让大量用户同时访问系统，也不能为大量用户同时提供足够的带宽以获取流畅视频服务。P2P网络因为其节点在作客户机获取数据的同时，也作为服务器为其他节点提供服务，所以能够快速高效地在网络上传递数据。将P2P这种网络特性引入视频点播服务，能够有效地地避免传统服务器的上述不足。BitTorrent协议是P2P网络中应用最为广泛的仂议，在当前的网络中已经存在多种以BitTorrent协议为基础的P2P点播系统。但是，低延迟和高流畅性始终是P2P点播研究开发和布署的重点和难点。 本文围绕如何设计一个兼具低延迟和高流畅度且服务器负载低的视频点播系统，对比分析了以BitTorrent协议为基础的三个具有代表性的视频点播系统，归纳了基于BitTorrent的视频点播系统的常用的性能评估方式。 1 基于BitTorrent的视频点播系统 BitTorrent采用了优秀的片选算法和“针锋相对(Tit-For-Tat)”的节点阻塞机制。片选算法并没有考虑对时间的敏感性，因此不能够直接应用于点播系统。据我们了解，研究界将BitTorrent协议引入视频点播服务经历了三个阶段。第一个阶段是BitTorrent网络和中心服务器共存的模式，如BASS，Toast等，本文对BASS作了分析；第二个阶段是将BitTorrent的片选算法改造为适应于对时序有要求的点播模式，典型的代表有BiTos；第三个阶段是在对片选算法改进的基础上对阻塞机制也做了改进，典型的代表是Tribler系统。 1.1 BASS 如图1所示，我们把BASS(由BitTorrent辅助的流媒体点播系统)归为第一代基于BitTorrent的视频点播系统。 该系统针对中心服务器的带宽利用率对客户节点数的线性增长关系，在传统服务器旁再附加一个BitTorrent的tracker服务器，让客户机同时通过媒体服务器和BitTorrent网络下载播放数据。该方案延用了传统BitTorrent的tit-for-tat(针锋相对)和rarest-piece-first(最少片断优先)机制，通过对传统BitTorrent客户端的修改，不下载当前播放点之前的数据，减轻了传统媒体服务器的压力，使从Bifrorrt网络上获取的数据片断不再从媒体服务器获取，但没有考虑BitTorrent下载的片断和播放时间的同步。 1.2 BiTos 我们把BiTos归为第二代基于BitTonrrnt的视频点播系统。BiTos的设计者借鉴了CoolStreaming的滑动窗口策略，通过给即将播放的数据片断更高的下载优先级满足了边下载边播放的需求；通过修改BitTorrent的机制，使得层叠网单独使用BitTorrent网络就能够提供流媒体服务。 BiTos在下载片断中执行以下平衡策略：播放顺序优先，保证平滑的播放效果。稀有优先原则，保证并行下载片段且在下载过程中丢弃已经超过播放期限(deadlihe)的数据片段。 BiTos的平衡策略通过以下四种手段实现：将媒体文件的片断划分为四个集合：当前已接收到的所有的片断属于接收缓存区集合B；在当前播放点后m时段内的片断属于高优先级集合H；经预估在播放点到达之前不能够下载到的片断属于放弃下载的集合D；属于将要被播放的内容，且不属于前两个集合的片断归为剩余片断集合R。添加一个专门的模块用来检测片断能否及时地到达，不能够到达的放入集合D。以P的概率下载H中的片断，以1-P的概率下载R中的片断。在下载H和R时，均采用最少优先策略；如果H中两个片断同样稀少，则优先选择离播放点最近的片断。根据播放点与可供播放的缓冲区的长度之间的比例关系调控概率。通过实验评估，认为当集合H的大小为媒体文件的8，P=80时，整体下载性能最优。 1.3 Tribler 我们把采用了Give-to-Get机制的Tdbler系统归为第三代基于BitTorrent的视频点播系统。该系统采用独立于视频的编码和重叠网的视频点播服务机制。系统根据视频点播对时序的强关联性和数据传播的有序性，在阻塞机制上用基于邻居节点累计转发片断数量的控制策略，替代传统BitTorrent协议中基于邻居节点上传速率的控制策略，提高了视频片断在P2P网络上的传播效率。该机制中每个节点都动态地维护一个长度为10的邻居列表，视频片断的上传和下载都在节点和它和邻居列表中的节点之间发生。假设使用了Give-to-Get机制的系统中有一个节点P，它的邻居分别是P0，P1，P2P9，Pi、Pi为P的邻居中的任意两个结点。对于上传服务：P基于以下原则决定向哪些Pi提供服务：把PO到P9按照从P中获取的片断被转发的数量排序，对排在前3位的提供上传服务。如果P0到P9中存在Pi和Pj序位相同的情况，再按Pi和Pj转发的总的片断的数量排序，优先为转发片断最多的邻居提供上传服务。这样的排序周期为A T。P对于它邻居的转发数量的信息是从Pi的邻居中获取(不包括P)的。对于下载任务：P将需要下载的片断分为如图3所示三个集合：高优先级，中优选级，低优先级。正在播放时，对于高优先级中的片断，使用实际播放顺序下载；其余情况下，无论是哪个集合，部使用最少优先原则下载。 1.4 分析对比 我们将从服务器带宽消耗和播放延迟两个维度对BASS系统和传统服务器模式作一对比。文献的第六部分，使用播 放连续度考察了BiTos系统中的P和集合A对性能的影响；文献的第四部分，借助离散事件仿真器对比了BiTos系统和Give-to-Get的性能。综合上述分析对比，可得出表1所示结果。 由此可见，为提高流畅度和减小播放时延，对基于BitTorrent的VOD系统的研究应主要集中在对片选算法和阻塞机制的改进和优化上。 2 基于BitTorrent协议的VOD系统的性能评估方式 常见的对基于BitTorrent协议的VOD系统性能的评估方式主要从两个方面入手：其一是根据BitTorrent协议具体实现中的片选算法、阻塞机制等建模并仿真；其二是从宏观角度入手，在真实网络环境中通过对BitTorrent客户端、Tracker服务器实时状态信息、日志文件、用户行为等信息的获取来评估其性能。 2.1 建模分析 BitTorrent协议的片选算法多种多样，并且灵活多变，仅靠有限的测试、理想状态的仿真和有限的经验数据，不足以评估一个算法或者机制的优越性。可以将片选算法原则概括为两种：第一种是传统的最少优先原则；第二种是贪婪原则，即前面提到的播放顺序优先原则(离播放点最近的片断优先级最高)。最少优先原则能够动态地最大化网络中数量较少片断的分布，有利于整个BitTorrent重叠网处于一种帕累托最优(Pareto Optimality)状态。贪婪原则能够最大地缩短播放时延。如何在恰当的时候使用恰当的片选原则，使得视频点播系统兼具高流畅度和低时延，是一个值得探讨的问题。 2.2 基于统计 _性能评估 为了研究BitTorrent的特性，我们选取一个包含较大文件的种子，分别对tracker服务器和客户端的行为做了长达5个月的跟踪，分析了BitTorrent的一般行为，论证了BitTorrent协议在解决网络上共享较大文件这一关键问题的优越性。 首先，通过Tracker服务器的监控获取了5个月中每个时间点的节点总数、上传者总数、下载者总数等，以及不同时间点下的上传、下载字节数量，统计了不同地区的用户节点数量等信息，详尽地分析了5个月期间不同用户产生的不同行为。其次，通过对校园网内一个Client节点的监控，获取了单个节点上传、下载、网络吞吐量以及对网络突发流量的反应等信息。 在研究基于BitTorrent协议的VOD系统时，我们通过修改BitTorrent协议中Tracker服务器和对等节点客户端的日志模块，来实现对VOD行为的完全监控，由此获取用户点播过程中产生的大量有价值的信息，从而进一步提高VOD系统的性能。 2.3 基于离散事件仿真的性能评估 离散事件的仿真是通过离散事件发生器来模拟网络事件，从而对大规模的网络行为做出理论上的分析。常见的离散事件仿真器有NS-2、Matlab和基于C+的Adevs。 传统的P2P仿真器大体可以分为两类：一是基于重叠网层次(Overlay-Level)的仿真器，如PeerSim、P2PSim等。它们侧重于P2P重叠网(各种DHT网络及非结构P2P网络)层次上的查找算法的仿真，而没有提供对BitTorrent中特有的文件下载过程的仿真。并且只关注网络应用层，没有考虑底层网络流量等因素。二是基于包层次(Packet-Level)的仿真，最典型的如NS-2。这一层次的仿真器优点是可以提供较为真实的底层网络流量仿真，且准确率较高，通过二次开发，可以做到对BitTorrent协议的仿真。此类仿真器由于对网络层以下仿真，较之重叠网层次的仿真器计算开销大，对于拥有大量节点的P2P网络便无能为力，而其提供的某些方面的准确率并不是必须的，完全可以简化。 在对BitTorrent协议的仿真中，文献中提到了GPS(A General Peer-to-Peer Simulator)开源仿真器。GPS是一个消息级(Message-Level)的、事件驱动的对等网络仿真器，其关键技术是利用宏模型(Macro-Model)来仿真消息级的流量。由于采用了较为成熟的流模型(Flow-Model)来仿真网络流量，其准确率接近于传统的包层次的仿真器，而由于其开销方面显著减小，因此可以用来仿真拥有较大数量节点的P2P网络。 2.4 真实环境表现 当前针对BitTorrent协议的研究主要集中在上述的建模分析、系统日志分析、实验仿真等方面。在真实的网络环境中，由于存在着多种不同的BitTorrent客户端，其实现方式也有很大不同，因此，如何在真实的环境中通过对不同版本的BitTorrent客户端行为的分析来正确评估BitTorrent协议是一个重要的有待解决的问题。 文献提供了一个开源的综合评估框架：在相同的网络环境下，同时通过不同的客户端(Azureus，Tribler，Transmission，h