（通信与信息系统专业论文）基于网络测量的ppstream网络电视系统研究.pdf

中文摘要 摘要：p p s t r e a m 网络电视是全球第一家集p 2 p 直播点播于一身的网络电视软件， 能够在线收看各种视频节目，播放流畅、完全免费，是网民喜爱的装机必备软件。 据我们所知，目前针对p p l i v e 网络电视研究的文章比较多，而针对p p s t r e a m 进行 系统性测量研究的文章还很少。由于p p s t r e a m 是私有协议，没有原代码，无法了 解该系统模型和采用的策略，因此，本论文采用单机抓取启动过程和稳定播放过 程的数据，对p p s t r e a m 进行了被动测量。 启动过程是新用户加入过程，主要是服务器返回节点用户列表，节点返回共 享窗口数据信息给客户端，客户端请求第一块视频数据以及客户端广播自己的共 享窗口信息四个主要阶段。通过对启动过程的研究，我们获得了视频数据的组织 请求传送过程以及请求传送的规则。 稳定播放过程中本论文主要研究客户端和用户节点的行为特征，主要包括在 播放过程中请求和返回节点用户列表的规律，不同客户端数据块偏移量的特点， 共享窗口中视频数据块请求传送的次序和策略，用户的连接度，上传下载速度以 及上传下载量在用户节点间的分布，共享率和冗余率等问题。 通过对启动过程和播放过程的测量分析研究，指出p p s t r e a m 中只有2 0 的用 户是视频数据下载提供者，类似于p p l i v e 中“超级节点一的功能，而大量的8 0 的用户是“免费搭车者 ( f l e e - r i d e r s ) ；揭示了视频数据块是使用顺序策略和混 合策略相结合的下载策略，在启动阶段使用顺序策略。本论文的主要贡献是推断 出p p s t r e a m 系统模型是一种具有跳动共享窗1 3 的大缓存系统，是由c o o l s t r e a m i n g 小缓存系统向p p l i v e 大缓存系统过渡的一种中间系统。该系统的特点就是网络的 互惠关系和下载环境不稳定，论文从相空间分析了跳动窗和滑动窗在邻里关系和 下载环境方面的区别，并用过滤出的数据绘图验证了这些特点对视频数据块三个 下载阶段的影响，为以后后续的大规模测量提供依据，并为以后p p s t r e a m 的优化 完善提供一些理论知识。 关键词：p p s t r e a m ：对等网络；网络电视；流媒体； 分类号：t p 3 9 3 ；t n 9 4 9 a bs t r a c t a b s t r a c t ：p p s 仃e a mi st h ef i r s ti p i vs o t t w a r ew i t hl i v ea n dv i d e o o n d e m a n d b yw h i c hw e c a nw a t c hm o v i e ，s p o r t s ，n e w sa n ds oo n i ti sc o m p l e t e l yf r e eo fc h a r g e ， f l u e n t l yp l a y i n ga n da b s o l u t e l yn e c e s s a r i l yo f i n t e r n e tu s e r s a sf a ra sw ek n o w , t h e r ei s m u c hm o r er e s e a r c ho i lp p l i v et h a no i lp p s t r e a m w ec a nn o tk n o wt h es y s t e mm o d e l b e c a u s ep p s t r e a m sp r o t o c o li sp r o p r i e t a ya n dn o $ o l l r c ec o d ei sp r o v i d e d t h e r e f o r e ， t h i sp a p e rc a p t u r e sd a t ao fs t a r t - u pa n dp l a yp r o c e s s ，t a k i n gp a s s i v em e a s u r e m e n t s t a r t - u pp r o c e s sm e a n san e wc l i e n tt a k i n gp a r ti n i n c l u d i n gp e e r l i s tr e t u r n ，b ma n d o f f s e tr e t u r n ，t h ef i r s tr e q u e s tc h u n k , t h ef i r s ta d v e r t i s i n gb mi n f o r m a t i o n t h i sp a p e r a n a l y z e st h er u l e so f v i d e or e q u e s ta n ds e n d i n ga tt h ec h a n n e ls t a r t u pp r o c e s s a tt h ep l a yp r o c e s s ，w eb e g i nt or e v e a lt h ep e e r s a p p l i c a t i o nb e h a v i o r i n c l u d i n g t h ep e r i o dp e e r l i s tr e q u e s ta n dr e t u n l t h es a m eo f f s e to fd i f f e r e n tc l i e n t sf o rt h es a m e c h a n n e l ，t h ec o n n e c t i o np e e rn u m b e r , d o w n l o a da n du p l o a dt r a f f i cd i s t r i b u t i n g , t h e d o w n l o a da n du p l o a dr a t e ，s h a r i n gr a t i o ，r e d u n d a n c yr a t i o m e a s u r e m e n t , a n a l y s i sa n dr e s e a r c ho ns t a r t - u pa n dp l a yp r o c e s s ，t h ep a p e rr e v e a l s t h a t2 0p e r c e n tp e e r s 撇d o w n l o a d p r o v i d e rw h i l e8 0p e r c e n ta r ef r e e - r i d e r s t h e f e t c h i n gs t r a t e g yi ss e q u e n c em i x e dd i s o r d e rs t r a t e g y p p s r e a mt a k e ss e q u e n c es t r a t e g y a tt h es t a r t - u pp r o c e s s t h i sp a p e rc o n t r i b u t e st h a tp p s t r e a m ss y s t e mi sa b i g b u f f e r s y s t e mw i t hj u m ps m a l ls h a r i n gw i n d o w t h ec h a r a c t e r i s t i c so ft h i ss y s t e ma l eu n s t a b l e 0 1 1r e c i p r o c a lr e l a t i o n s h i pa n dd o w n l o a ds u r r o u n d i n g s w ea n a l y z et h ed i f f e r e n c eo f j u m pa n dg l i d ew i n d o wo np e e rc o n n e c t i o na n dd o w n l o a ds u r r o u n d i n g sf r o mp h a s e s p a c e t h i sp a p e rf i n d ss o m ea n g l eo fv i e wf o rt h el a r g e s c a l em e a s u r e m e n ta n d p r o v i d e sa c a d e m i ck n o w l e d g e f o rt h ep e r f e c to fp p s t r e a mi nt h ef u t u r e k e y w o r d s - p p s t r e a m ；l 2 p ( p e e l - t o - p e e r ) ；i p t v ；s t r e a m i n gm e d i a ； c l a s s n o 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：嘻代伶 导师签名： 签字日期：彻矿年d 多月肜1 7 t 签字日期： 口g 年占月扩日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：芩眠钐 签字日期：刎矿年硝月p 日 致谢 本论文的工作是在我的导师陈常嘉教授的悉心指导下完成的，陈常嘉教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 陈常嘉老师对我的关心和指导。 胡师舜老师悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向胡师舜老师表示衷心的谢意。 李纯喜老师对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，张敏、陈姝英、周星月等同学对我论文中的 数据研究工作给予了热情帮助，在此向她们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 1 引言 1 1i p t v 现状 随着宽带接入的广泛应用，多媒体服务受到越来越多的用户的欢迎，传统媒 体正经历着深刻的转型。许多多媒体应用，如i p t v ( 网络电视) 、新闻广播、在 线音乐等成为人们工作之余首选的休闲娱乐方式。以流媒体技术为基础的网络电 视彻底改变了传统互联网以文字内容为主导的传播模式，由单纯对于静态的文字、 图片的传播，发展为对动态的音频、视频的传播。所谓网络电视，就是通过互联 网宽带向用户提供包括数字电视在内的多种交互式数字媒体服务，网络电视是将 多媒体信息融为一体的数字化、全方位、互动性的立体传播方式，整合了电视媒 体与互联网的优势，是对传统媒体的进一步发展。目前网络电视用户数量以它惊 人的速度增长，这样就对接入网和骨干网的承载能力提出了挑战。传统的c s 模 型已经不能满足用户的需要，于是基于p 2 p 架构网络电视应运而生，它能够支持 较多的在线人数，有比较流畅的图像质量。这种架构主要有以下的特点：。 1 每个视频节目都被分成若干个媒体块，我们称之为b u f f e rm e s s a g e ( 简 称b m ) 媒体块，b m 媒体块又分为小的c h u n k 块，由一个。低e t 偏移 量和一系列的“1 打、“0 序列组成，o f f s e ；t 是第一个c h u n k 块的d ， 每个c h u n k 块包含一段时间( 例如2 0 秒) 的视频数据，视频数据在各 个用户之间的传输以c h u n k 为单位。 2 每个用户端维护一个缓存器，用于缓存视频数据，并且用“0 和“l 标识视频数据是否有效。缓存器中的视频数据是可分享的，即用户可 以为其他用户上传自己可用而其他用户不可用的视频数据，并从其他 用户下载自己不可用而他们可用的视频数据，即媒体数据的流向完全 由数据本身的可用性决定，而不像组播树结构那样限定了数据的流向。 3 每个用户端维护一个用户列表，并且周期性的更新列表。这些用户观 看的节目相同。用户周期地从自己的用户列表随机选择一部分用户， 向这些用户发起连接。 4 为了提供更高的上传下载速率，用户不停地尝试与更多的用户建立连 接，同时也能避免由于用户的离开造成的数据下载速率突然急剧下降 的影响。 这种p 2 p 架构的主要特点是没有一个全局的应用层组播树结构或其他的类似 结构，来限制数据的流向，数据的流向完全取决于数据的有效性，这使得它更加 适应动态网络。目前，比较流行的在网络上取得成功的p 2 p 网络电视有：p p s t r e a m 、 p p l i v e 、t v a n t s 、s o p c a s t 、f e i d i a n 等。 1 2研究目的及意义 据报道，目前同时在线的网络电视用户已达上百万，各种网络电视也曾出不 穷，如m 2 1 1m 嘲，都取得了巨大的成功。据我们所知，目前针对p p l i v e 、 c o o l s t r e a m i n g 、s o p c a s t 等网络电视已经有相关文章对其做了测量工作，如盯3 揭 示了c o o l s t r e a m i n g 是一种小缓存系统，h 8 1 揭示了p p l i v e 是一种大缓存系统，但 是对于p p s t r e a m 的测量研究还没有，p p s t r e a m 使用哪种模型? 如何测量，观察什 么都还不清楚，因此，本论文的任务就是通过一个小规模的测量，对p p s t r e a m 的 模型有一个初步的猜想，为以后的大规模测量找到一些视角。 在本论文中，我们通过抓取两类数据，分析协议，提取有用数据，分析p p s t r e a m 网络电视启动过程中视频数据如何组织请求传送以及播放过程中客户端和p e e r 节 点在数据传送时的特征，视频数据传送是p p s t r e a m 网络电视的核心问题，在这个 过程中，从哪些p e e r 节点下载数据，采取什么算法都是对播放质量有直接影响的。 通过我们的分析，可以了解整个视频数据组织传送的过程，初步猜想出p p s t r e a m 系统的模型以及该模型对邻里关系和下载环境的影响。 由于p p s t r e a m 是私有协议，要对其深入透彻掌握并不容易，有些现象也无法 给出确切地解释，甚至无法解释，只能留给后续更深入的工作。由于该实验环境 是在校园局域网内，统计的时间段、网络环境可能与使用宽带的用户有些差别。 本文作为对p p s t r e a m 私有协议的探索性和初期研究，通过对大量的数据进行分析， 对频道启动过程以及视频数据请求传送过程有了一个详细的了解。 本文的主要工作有： 研究p p s t r e a m 启动过程中视频数据请求组织传送过程 使用协议，客户端如何确定自己的第一块酬，向哪个p e e r 节点请求第一块 c h u n k ，第一次请求的是哪一个c h u n k ，有何规则? 稳定播放阶段过程中客户端和p e e r 节点的特征规律 在这个稳定播放过程中客户端是从所有的p e e r 节点同等下载还是有所选 择。在下载过程中平均连接的p e e r 节点数目，对于每一个b m 的1 2 8 个 c h u n k ，首先下载的是哪些，采取何种下载策略? 下载速度和上传速度比 较，共享率和冗余率等问题。 p p s t r e a m 使用的缓存模型? 2 c o o l s t r e a m i n g 是一种小缓存系统，p p l i v e 是一种滑动窗口的大缓存系 统，p p s t r e a m 使用哪种缓存模型呢? 通过上面两点的研究，我们可以得 出p p s t r e a m 使用的缓存模型。 p p s t r e a m 的缓存模型特点? 我们通过相空间看一下滑动窗和跳动窗的区别，以及对邻里关系( p e e r 用户之间) 、下载环境有何影响? 1 3相关工作 在过去的几年，p 2 p 流媒体播放系统成为研究的热点。【7 】较早地研究了p 2 p 流 媒体播放系统，自此以后，许多这方面的研究工作就层出不穷，如 【8 】【9 】【1 0 】【l l 】【1 2 】【1 3 】【1 9 】，这些研究工作描述了一个p 2 p 流媒体播放系统如何工作，各p e e r 节点如何协调等。对于p 2 p 流媒体播放系统，虽然都是采用p 2 p 原理，但是不同 的网络电视软件采用不同的协议，如在文掣1 5 】中分析了p p l i v e 和s o p c a s t 的协议， 而【9 】中则详细分析了p p l i v e 的用户行为，拓扑结构。按照p 2 p 工作原理，网络电 视的各p e e r s 用户的拓扑结构应该是网状拓扑，但【l5 】研究指出在p 2 p 网络电视中 ( p p l i v e 、s o p c a s t ) 存在一些超级节点，【l 刀提出了p p s t r e a m 网络电视各p e e r 用 户的拓扑结构是层状或者树状模型。另外，最近网络污染也成为一个新兴的研究 话题，如【1 4 】研究了p 2 p 网络电视中的污染攻击问题。在所有这些研究文章中，我 们发现，目前对p p s t r e a m 网络电视协议的研究论文则还很少见，大部分研究p 2 p 网络电视的文章都选择了p p l i v e 作为研究的对象，譬如最早对p p l i v c 研究的论文 早在2 0 0 6 年5 月就出现t 1 9 1 。在本论文中，我们将选择p p s 仃e a m 网络电视作为研 究对象，虽然他们都是使用p 2 p 流媒体技术，但是在使用协议、视频划分为b u f f e r m e s s a g e 块、视频数据选择传送策略等方面，p p s 仃e a m 和p p l i v e 有着完全的不同。 本论文将研究p p s t r e a m 使用的协议；频道启动过程中视频数据请求传送组织 规律以及在启动过程中四个重要阶段的特征规律；稳定播放过程中客户端请求 p e e r l i s t 列表、服务器返回p e e r l i s t 列表时间及数量、上传下载流量在p e e r 节点间的 分布及速度、平均连接p e e r 节点数量、p e e r 节点的共享率、冗余率等问题，通过 这些问题的研究，猜测总结出p p s 仃e a m 系统的模型及该系统的特点，为以后的后 续研究工作提供依据。 1 4 章节内容安排 第一章，介绍了相关领域的现状、相关工作和理论基础，并简要说明研究工 作的目的、范围、方法和预期结果。 第二章，介绍p p s t r e a m 网络电视软件，详细介绍了p p s t r e a m 的b u f f e r m e s s a g e 和o 凰e t 、p p s t r e a m 的启动过程各个阶段。 第三章，介绍数据采集的工具软件、实验环境、数据的抓取和过滤等。 第四章，分析频道启动连接过程以及视频数据请求组织传送过程。启动过程 四个重要阶段的协议分析、视频数据特征分析、组织规律策略等。 第五章，分析从启动过程至稳定播放过程中客户端及p e e r 节点的特征规律， 如客户端请求返回p e e r l i s t 的时间规律、p e e r l i s t 返回数量特征、客户端上传下载的 规律、请求每个b m 连接多少p e e r 节点、共享率和冗余率等。 第六章，根据第四章和第五章的分析研究猜测得出p p s t r e a m 的缓存模型，总 结比较该缓存模型的特点；并提出改进建议及未来需要解决的问题。 4 2p p s t r e a m 简介 2 1p p s t r e a m 概述 p p s t r e a m 是全球第一家集p 2 p 直播点播于一身的网络电视软件，能够在线收看 电影、电视剧、体育直播、动漫、综艺、新闻、财经资讯等，播放流畅、完全免 费，目前在教育网内我们可以看至u p p s t r e a m 共提供7 0 0 多个直播和7 0 0 多个点播频 道。p p s 订e a m 采用了流媒体发布和传输技术，使得千万级别的用户能够同时在线， 欣赏清晰流畅的音视频节目，并且用户越多，播放越流畅。 流媒体简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是 把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边 观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输 技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资 料作为缓冲，当网路实际连线速度小于播放所耗用资料的速度时，播放程序就会 取用这- d , 段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。 目前在这个领域上，竞争的公司主要有三个：m i c r o s o f t 、r e a ln e t w o r k s 、a p p l e ， 而相应的产品就是：w i n d o w s m e d i a 、r e a lm e d i a 、o u i c k t i m e 。常用流式媒体 格式有r m 、r m v b ( r e a l 格式) 和w m a 、a s f ( 微软的格式) 。 2 2p p s t r e a m 的b u f f e rm e s s a g e 和o f f s e t 在所有的网络电视中，服务器都要把视频节目划分为小的b u f f e rm e s s a g e 块， 简称为b m 块，在p p s t r e a m 中，这个b m 是固定大小的1 m ，而在p p l i v e 中大小是不 定的，因此在p p s t r e a m 中每个b m 播放时间长度从l 抛8 秒不等，平均大约2 0 秒长。 每个b m 由一个o f f s e t s - - 系列连续“1 一或者“0 一组成，每个b m 又被分为1 2 8 份， 称为c h u n k ，如果在该位置上是“l ，则表示有该c h u n k 块，反之则表示没有，如下 图1 所示。比如p e e r 节点返回给客户端的b m 的c h u n k 块信息为为7 f f f f f f f f f 口 r f r i j f f r f f f r f r 行f r 行，用二进制表示就是0 1 1 1 l 1 1 1 l ，共1 2 8 b i t ( 0 1 2 7 位) ，则该 b m 没有第一个c h u n k 块的视频。p p s t r e a m 网络电视中的视频传输就是以c h u n k 块为 传输单位的。 o f f s e t 是b m 的第一个c h u n k 块的i d 值，用一个四个字节的十六进制数表示，这 个十六进制数的数值表示的是从1 9 7 0 年1 月1 日o 点o 时o 分o 秒开始计时的秒数，也 就是一个时间，可以表示其相对位置，因为每个o f f s e t 对应一个b m ，所以可以用 5 。位e t 的值来代指b m 位置，在p e c r 节点返回的b m 信息中，我们就是通过返回的 。凰e t 来得知b m 在视频节目中的相对位置。 t - v7l jj 一o o h 9 i b mb mb m i - ，2 7 l 2，。 1i1o1 i c h u n kc h u n kc h u n k c h u n k c h u n k 图1 ：p p s t r e a r n 的b m 和o 凰e t f i g u r e1 ：b m 锄d o m c t o f p p s 咖 2 3p p s t r e a m 的启动过程 在这一小节，我们将详细介绍p p s 仃e 锄的启动过程，分为如下六个过程，如图 2 所示。 l 、当点击p p s t r e a m 左侧频道列表中任一个频道节目后，客户端就会向p p s 晚锄 的t r a c k e r 服务器发送一个请求p e e r l i s t 列表的数据包。本论文中把这个时间定为时 间零点，下面过程的时刻都是相对此零点来说的； 2 、t r a c k c r 服务器收到客户端的这个数据包后，会返回同时观看该节目的 p e e r l i s t 列表，该时刻定为t l ； 3 、客户端收至u t m c k e r 服务器返回的p e e r 列表，随机选取一些p e e f 节点建立连 接：和客户端建立连接的p e e r 节点会返回自己b m 的信息，包括o 凰c t 和c h u n k 块信 息，把第一个p e e r 返回b m 的时刻定为t 2 ； 4 、客户端根据收到的b m 信息确定自己初始的b m 和o 凰e t ，随后向p e e r 节点请 求确定的b m 和o 仃s e t 的c h u n k 块，把第一次向p e e r 请求c h u n k 块的时间定为t 3 ； 5 、p e e r 收到客户端请求c h 啪k 视频数据块的数据包后，检查自己的o 凰e t 和 c h u n k 块，如果有指定的相同o 侬e t 的c h u n k 块视频数据时，就会传送自己的视频数 据给客户端，如果没有则返回没有该o 凰e t 的c h u n k 块； 6 、客户端收到一定的c h u n k 块后，会向p e e f 节点发送广播信息，广播自己有哪 个b m 的c h u n k 视频数据块，我们把第一次向p e c r 节点广播的时间定为t 4 ，当观看相 同节目的p e e r 节点收到这个交互数据包后，就可以从客户端下载自己没有而客户端 6 有的c h u n k 视频块。 在本论文中，启动过程中主要研究四个重要的时刻的数据，即上面的t l 、t 2 、 t 3 、t 4 时刻，t i 是t r a c k e r 服务器返回p e e r l i s t 列表，过程比较简单，t 2 是p e e r 节 点向客户端返回b m 和o f f s e t 信息，这个时刻返回的数据很重要，因为p e e r 节点 返回的这个b m 是客户端作为自己起始播放位置的b m 。t 3 时刻第一次向p e e r 节 点请求c h u n k 数据块，一般是向t 2 时刻返回b m 的p e e r 节点请求c h u n k 数据。t 4 是第一次向p e e r 节点广播自己不为零的b m 信息，表示已准备好提供上传了。 图2 ：p p s t r e a m 的启动过程 f i g u r e2 ：s t a r t u pp r o c e s so f p p s t r e a m 当客户端收到自己初始播放b m 的1 2 8 个c h u n k 视频数据后，就可以启动媒 体播放器来播放视频数据了，同时继续向p e e r 节点请求下一个b m 的c h u n k 视频 数据。 2 4p p s t r e a m 的播放过程 下面我们简要地描述一下视频播放过程。p p s t r e a m 是与媒体播放器( w i n d o w s m e d i ap l a y e r 或者r e a l p l a y e r ) 相结合来显示视频图像的。图3 显示了p p s t r e a m 软 件和媒体播放软件的交互方式。p p s t r e a m 的播放单位是b m ，当客户端收到自己 初始播放位置b m 的1 2 8 个c h u n k 块后，p p s t r e a m 引擎便启动媒体播放器，媒体 播放器向p p s t r e a m 发出请求获取视频数据，媒体播放器也先将接收到的数据缓存， 当缓存到足够的视频数据后，便开始播放。如果在视频播放期间，p p s t r e a m 引擎 没有足够传输速率为媒体播放器提供数据( 由于用户的下载速率低于媒体的播放 速率) ，媒体播放器的视频播放将会变得不流畅，严重时，媒体播放器会冻结图像， 7 或者循环播放，直到获取了所缺数据为止，或者采取跳帧的操作，越过缺失的数 据继续播放。 图3 ：p p s t r e a m 与媒体播放软件 f i g u r e3 ：p p s t r e a ma n dm e d i ap l a y e r 8 3 数据采集和预处理 由于p p s t r e a m 是私有协议，没有任何的技术和理论的介绍，只能通过对比分 析和数据分析来获取信息。我们的具体工作也是从数据采集开始的，本论文中我 们利用e t h e r e a l 软件，分别抓取了1 0 0 个测试频道的启动过程和l o 个5 - - 6 分钟 频道的播放过程，总计抓取了1 0 g 左右数据，并利用a w k 软件过滤分析。之后的 分析工作都是在这些数据集上展开的。首先简要介绍一下抓包软件和分析软件。 3 1工具软件 在本论文中，我们主要使用的工具软件主要是e t h e r e a l 咖3 、m a t l a b 晗、a w k 蚴。 e t h e r e a l 主要用来抓取测试数据，a w k 用来过滤出有效数据，而m a t l a b 用来分析数 据和绘图。 3 1 1e t h e r e a l e t h e r e a l 是g e r a l dc o m b s 为了跟踪网络问题并更好的研究网络而开发的一种 工具。1 9 9 8 年7 月发布了最初的版本v o 2 0 。后来经多人的改进和完善，取得了 重大的成功。目前，已经发布了v 0 9 9 0 版本。 e t h e r e a l 是一款网络协议分析软件，它捕获网络上的数据包，并尽可能详细的 显示。e t h e r e a l 功能非常强大，网络管理员可以用它充当网络问题故障检修员；网 络安全工程师可以用它检查安全问题；开发人员可以用它调试协议的执行；普通 人员可以用它学习网络协议等等。e t h e r e a l 主要有以下特点： w i n d o w s 和u n i x 都可以使用。 可以在网络接口上实时的抓包。 可以显示数据包非常详细的协议信息。 可以打开和保存捕获的数据包。 可以导入导出其它软件捕获的数据包，几乎与其它所有抓包软件兼容。 能够以多种标准过滤数据包，能够以多种标准查找数据包。 彩色显示数据包。不同的协议或情况，颜色不同。 能够创建多种统计信息。 支持近8 0 0 种协议，有很强的协议扩展性。 能够以文本形式输出。 9 e t h e r e a l 是源码公开的。 3 1 2a w k a w k 是u n i x 平台上一种可以对文本进行逐行处理的编程语言，它来源于3 个创 作者的名字：a h o 、( p e t e r ) w e i n b e r g 和( b r a i n ) k e m i g h a l l 。与s e a 和g r e p f t 相似，a w k 是一种样式扫描与处理工具，但其功能却大大强于s e d 和g r e p 。a w k 提供了极其强大 的功能：它几乎可以完成g r e p 和s e d 所能完成的全部工作，同时，它还可以进行样 式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。在本篇 论文中，我们主要是用它从捕获的数据包中过滤出对我们研究有用的数据包，提 取数据包我们主要使用p p s t r e a m 中的一些关键字，如0 x 4 3 ，0 x 0 3 ，0 x 0 2 ，0 x 0 4 ，0 x 0 5 等。 3 2 实验环境 我们的实验室处于校园网内网，也就是说，实验的主机与i n t e r n e t 之间有多重 防火墙，下图4 为实验环境的简化图。 主机 - 一 p e e r 图4 ：实验环境模型 f i g u r e4 - m o d e lo f m e s u r e r a e n te n v i r o n m e n t 我们采用单机抓取数据，计算机硬件配置如下： c p u ：i n t e lp e n t i n m4 ，2 6 6 毗 1 0 主板：a s u sp 5 g p l 内存：飚n g s t o nd d r 5 1 2 m 硬盘：s e a g a t es a t a1 6 0 g 显卡：g e f o r c e6 2 0 0t u r b o c a c h e 网卡：集成 声卡：集成 3 3数据的采集和过滤 我们尽可能关闭其它所有网络应用，只打开e m e r e a l 和p p s 仃e a m 。在这种情 况下，仍然有许多非p p s t r e a m 应用数据包，如d n s 查询、子网广播、系统升级以 及流氓软件的后台运行等。我们首先要将p p s 仃e a m 数据包从这些混杂的包中过滤 出来，然后再根据需要做相应的处理。数据的处理过程可分为数据捕获、数据过 滤和应用处理。 3 3 1 数据的捕获 我们设计了两种类型的测量方案，一种是频道启动过程，这里我们抓取一百 个频道的启动过程来统计分析，频道的启动过程时间很短，每个频道最多抓取2 分 钟的数据就可以看到整个过程。首先，尽可能的关闭其他网络应用，打开p p s 仃c a m 软件，然后打开e 蛔e f l ，选定一个节目频道，开始抓包。在这里，考虑到我们研 究的目的，我们只需要研究频道的连接过程，不需要对从节目列表服务器获取频 道列表过程作深入研究。所以我们的数据从选定一个节目开始抓取，当显示缓冲 至5 左右时可停止抓包，如果没有显示缓冲百分比，我们设定每个频道的抓包时 间最长为2 分钟。 另一种测试数据我们需要分析在播放过程中的一些客户端和p e e r 节点的用户 行为，上传下载量以及共享率、冗余率等问题，因此我们可以抓取一段时间的数 据来分析。这里我们抓取了测试频道从启动过程开始后大约5 6 分钟的播放数据， 每个5 6 分钟的测试频道的数据大约在6 0 07 0 0 m b 之间。一般2 3 分钟后 p p s t r e a m 就能很稳定播放了，5 6 分钟就可以看稳定播放时客户端、p e e r 的行为 以及p e e r 的连接度等问题。 3 3 2 数据的过滤 通过对以上原始数据集的分析，我们认为p p s t r e a m 网络电视的控制信息是使用 u d p 协议，视频数据传输使用t c p 协议。 我们首先把u d p 协议的数据包过滤出来，这些数据包主要包括三部分： l 、客户端与t r a c k e r 服务器交互获取p e e r l i s t 列表的数据包，这种数据包的 关键字是0 x 4 3 以及o x f c 、o x f d ，其中o x f c 表示请求t r a c k e r 服务器，对应 的o x f d 表示t r a c k e r 服务器返回p e e r l i s t 列表。 2 、客户端询问已经建立t c p 连接的p e e r 的节点信息，这种数据包的关键字 o x 0 8 、o x 0 9 ，o x 0 8 表示询问，o x 0 9 表示响应。 3 、客户端申请加载m e d i a p l a y e r d l l 的数据包，这种数据包的关键字为0 x 9 6 、 0 x 9 7 ，其中0 x 9 6 表示请求，0 x 9 7 表示响应。 其次我们把t c p 协议的数据包过滤出来，p p s t r e a m 中t c p 数据包是传送视频数 据的，因此占了超过数据总量的9 5 。我们利用a w k 来过滤我们所需要的数据包， 这些数据包括一下几部分： l 、关键字为o x 0 2 的数据包，这一部分包括p e e r 节点向客户端返回自己的b m 和 o f f s e t 信息的数据包，也包括p p s t r e a m 客户端向p e e r 节点广播自己的b m 和o f f s e t 信息的数据包。 2 、关键字为o x 0 3 的数据包，这是表示请求c h u n k 视频数据的数据包，其中既 有客户端向p e e r 节点请求，也有p e e r 节点向客户端请求数据包。 3 、关键字为o x 0 4 、o x 0 5 的数据包，这是上面请求的响应包，o x 0 4 的数据包表 示传送c h u n k 视频数据块，而o x 0 5 表示p e e r 节点没有所请求的c h u n k 视频 数据块。 4 、我们还可以过滤出客户端与p e e r 节点建立t c p - _ _ - - 次握手连接的数据包，这 些数据包是以“5 05 3 5 07 26 f7 46 f6 36 f6 c 打开始的，翻译过来就 是单词“p s p r o t o c o l 。 在过滤之前，我们要知道每个字段的含义，保证过滤出的数据是对我们的分 析研究有作用的，没有关系的字段就没必要过滤出来。这里要注意一个问题，使 用a w k 过滤出有效数据时，关键字的位置并不是固定的，所以我们要把关键字所在 位置确定后再过滤。这样，我们基本上就把需要的数据全过滤出来了，尽管还有 一些数据包我们不能确定其功能，但是并不影响本论文的研究，所以就不做考虑 了。 1 2 4 频道启动连接过程分析 在上面第二章中我们已经分析过p p s t r e a m 的频道启动连接过程，本章中将详 细介绍启动过程中的每个步骤。我们主要分析t 、t n 、t 。、t 。的时间规律，t 。时刻p e e r 节点返回的b m 及其o f f s e t 偏移量的特征，t 。时刻请求的c h u n k 块位置及向哪个p e e r 节点r e q u e s t ，使用哪种请求传送策略，t 。时刻广播自己b m 的各个c h u n k 块的出现概 率等问题。通过对启动连接过程中视频数据组织请求传送的分析，揭示了客户端 得至o p e e r 列表、确定自己初始播放位置、请求传送视频协议、广播b m 信息以及p e e r 节点返回b m 的特征，我们认为目前p p s t r e a m 启动过程中采用的策略还有很多可以 优化的地方，采用优化方法可以缩短启动时间和播放时间，从而为观众提供更好 的服务。 、 在本章中我们用到的数据是上面抓取的1 0 0 个启动过程测试节目的数据，每个 测试频道的启动过程不超过2 分钟。 4 1 客户端r e q u e s tt r a c k e r 服务器( t o ) 客户端共向7 个或者8 个t r a c k e r 发送请求，其中7 个t r a c k e r 服务器是1 0 0 个测 试节目中每个客户端都发送请求的，这七个服务器分别是2 1 0 3 8 3 3 、 6 0 2 8 2 3 1 0 、6 1 1 2 9 5 7 7 8 、2 1 8 1 6 2 2 5 8 0 、6 1 1 7 2 1 9 6 1 0 4 、1 2 5 9 0 2 0 5 1 6 3 、 2 2 1 2 0 7 2 2 0 2 3 4 ，另外一个t r a c k e r 服务器是可变的，在1 0 0 个测试节目中，几乎 每个测试频道该服务器都是不一样的。发送的数据包都是一样的，下面是客户端 请求t r a c k e r 服务器获取p e e r l i s t 歹u 表的u d p 数据包： 0 0 2 0 0 0 3 0 0 0 4 0 0 0 5 0 0 0 6 0 0 0 7 0 0 0 8 0 0 30 32 3f el f 4 0 0 0 6 de f b l6 10 04 3 o o0 0 【f c 6 a 7 2c f9 a7 0 4 8f 0l e0 94 48 26 35 b6 d6 29 0 d o 7 23 70 20 1o o o o o o0 02 0 00 0o oo oo o0 0 0 0o o o o 0 00 0 1 14 14 d3 5 5 8 4 b4 45 34 5 5 45 44 55 8 5 5 4 a4 9 34 d3 24 d4 d 5 94 d3 3 5 54 e4 7 4 c4 f 4 d5 44 4o o5 05 0 5 3 7 4 7 2 6 56 16 d2 e6 5 7 86 5 0 0o o o oo o o o o o o o 关键字 节的频道i d 值 n ti d 我们把抓取这个包的时间定为t o ，后面几个过程的时间都是相对这个时间来 说的。在这个数据包里，最重要的两个字段是表征该过程的关键字0 x f c 和2 0 个字 节的频道i d 值。0 x f c 表征该过程，而2 0 个字节的频道i d 值可以表示频道服务器 中唯一一个频道。0 x 6 1 表示十进制中的9 7 ，说明数据包长度为9 7 个字节，这里 是从填充字类型0 0f c 开始，一直到结束的9 7 个字节。 4 2t r a c k e r 服务器返回p e e r l i s t 列表( t 1 ) 共有四个t r a c k e r 服务器响应返回p e e r l i s t 列表，分别是6 1 1 2 9 5 7 7 8 、 2 1 0 3 8 3 3 、2 1 8 1 6 2 2 5 8 0 和6 0 2 8 2 3 1 0 。6 1 1 7 2 1 9 6 1 0 4 服务器也返回了数据包， 但是并不是p e e r l i s