（信号与信息处理专业论文）基于ip的多点视频研究.pdf

摘要 蟹3 9 37 5 9 作为网络多媒体运用中的重点，网络视频一直是网络多媒体 运用比较活跃的研究领域。本文的工作主要是基于旦的网络交 互式多点视频方面的研究与实现，重点是网络视频的实时编解 码、网络多点传输机制和多点协作控制机制研究，主要内容为： 网络视频的编解码研究与实现；研究了基于 l 3 2 3 框架协议 下r t p r t c p 协议的视频包封装，在分析m p e g - - i 和h 2 6 3 协 议视频帧结构基础上，提出一种基于帧重建的视频包封装方案： 按照r t p 标准，将视频帧有效分解为i 盯p 封装包，通过u d p 向网络中发送，在接收端重构视频帧，进而实现视频解码，实验 表明：该封装方案可以实现视频的实时网络传输。在上述方案的 基础上，用多点组播( m u l t i c a s t ) 代替u d p ，对多点组播中参数和 视频编码参数进行调整，实现基于多点组播的网络视频实时传 输。手 。网络多点传输机制研究；f 针对多点组播是基于u d p 的不可 靠传输和视频控制信息传输可靠性要求之间的矛盾，以及多点组 播控制机制中可靠性( r e l i a b i l i t y ) 与控制机制中可扩展性 ( s c a l a b i l i t y ) 之间的矛盾，本文将扩展性方案中超立方体 ( h y p e r c u b e ) 拓扑思想与可靠性方案中反馈重发局部化 ( l o c a l i z a t i o n ) 思想用于控制机制，提出一种基于超立方体拓扑 的可靠扩展控制机制：将视频节点控制拓扑从1 维树型拓扑映射 为n 维超立方体拓扑，运用超立方体拓扑的几何特性将基于包丢 失的局部反馈重发可靠性有效融于视频节点扩展性中，实现i p 多点组播视频的有效可靠扩展。通过理论分析与实际测试表明： 基于超立方体拓扑的控制机制有良好的扩展性和极高的可靠性： 可靠性随扩展性扩展规模增加而提高，可靠性通常在9 0 以上， 可满足不同网络条件下的视频信息的可靠性扩展。 多点视频系统模型研究；f 在以上可靠控制机制的基础上，将 原来c s c w 系统研究成果一二混合协作模型引入视频系统控制 机制，提口2 种基于混合交互模式的交互式网络视频系统模型， 有效实现视频的多点传输与交互控制。 多点视频系统的设计与实现c 在以上研究的基础上，实现 个多点视频系统原型m u l t i c a s tv i d e os y s t e m 2 0 0 0 。该系统融合 c s c w 的协作机制和多点组播传输机制，可以有效实现基于多 点组播的多点视频交互与传输。 2 a b s t r a c t i n t e r n e t v i d e o ，a s a l l i m p o r t a n ta p p l i c a t i o n o fn e t w o r k m u l t i m e d i a ，i s a na c t i v er e s e a r c hf i e l dt h e s e y e a r s t h i s t h e s i s c o n c e r n st h ed e v e l o p m e n to fm u l t i p o i n ti n t e r a c t i v ev i d e oi n c l u d i n g i t se n c o d e d e c o d ee n c a p s u l a t i o n ，m u l t i p o i n tt r a n s m i ta n dc o o p e r a t i v e c o n t r 0 1 t h ee s s e n t i a lc o n t e n t so f t h i st h e s i si n c l u d e ： t h er e s e a r c ha n d i m p l e m e n t a t i o n o fr e a l - t i m ev i d e o e n c a p s u l a t i o n o v e ri p ：a t i e r a n a l y z i n g t h er t p r c t p p a c k e t e n c a p s u l a t i o n o fh 3 2 3a r c h i t e c t u r e p r o t o c o l a n dt h ef o r m a to f m p e g i & h 2 6 3v i d e of r a m e an e wp a c k e te n c a p s u l a t i o ns o l u t i o n b a s e do nf r a r n e r e c o n s t r u c t i o ni sp r o p o s e d t h es o l u t i o nf i r s td i v i d e s t h ev i d e of r a m e si n t op a c k e t sa n de n c a p s u l a t e sb yr t pr u l e s ，t h e n u s i n gu d p t ot r a n s m i tt h e s ee n c a p s u l a t e dp a c k e t si n t oi n t e r n e t ，a n d f i n a l l yr e c e i v e sa n dr e c o n s t r u c t st h e ma so r i g i n a l f r a n l ef o r m a ta t r e c e i v e r s t h ee x p e r i m e n tr e s u l t ss h o wa c c e p t a b l et r a n s m i s s i o no f v i d e o f o r t h e r m o r , t h ef o l l o w i n gs t e di st or e p l a c eu d p t r a n s m i s s i o n w i t hm u l t i c a s tm o d e ，a d j u s t i n gt h ep a r a m e t e r so fb o t hm u l t i c a s ta n d v i d e op a c k e te n c a p s u l a f i o n s ，t h es o l u t i o nw o r k sw e l l t h er e l i a b l e & s c a l a b l ec o n t r o lr e s e a r c h o fv i d e oc o n t r o l i n f o r m a t i o n ：ar e l i a b l e & s c a l a b l ec o n t r o ls o l u t i o nb a s e do n h y p e r c u b ei sp r e s e n tt o s o l v et h et w op r o b l e m s ( o n ei sm u l t i c a s t u n r e l i a b l et r a n s m i s s i o na n dv i d e oc o n t r o li n f o r m a t i o nt r a n s m i s s i o n r e l i a b l e r e q u i r e m e n t ，a n d a n o t h e ri sc o n t r a d i c t i o no fm u l t i c a s t r e l i a b i l i t y a n dm u l t i c a s ts c a l a b i l i t y ) t h es o l u t i o ni sc o m b i n e dt h e h y p e r c u b e c h a r a c t e ro fr e l i a b l es o l u t i o na n dt h e1 0 c a l i z a t i o no f s c a l a b l es o l u t i o n ：e m b e dt h e1d i m e n s i o nt r e e t o p o l o g y i n t on d i m e n s i o nh y p e r c u b e t o p o l o g y a n da p p l yt h el o c a la r qt ot h e s c a l a b i l i t y a c c o r d i n gt ot h et h e o r ya n a l y s i sa n de x p e r i m e n tr e s u l t ，i t s h o w se m c i e n t r e l i a b i l i t y ( 9 0 ) a n dh i g h l ys c a l a b i l i t y t h em o d e l i n go fm u l t i e a s tv i d e o s y s t e m ：b a s e d o no r i g i n a l c s c w s y s t e ma n da b o v ec o n t r 0 1s o l u t i o n ，ah y b r i dj n t e r a c t i v ev i d e o m o d e l i s p r e s e n t ，w h i c hi ss u i t a b l ef o rv i d e ot r a n s m i ta n di n t e r a c t i o n m u l t i c a s tv i d e os y s t e md e s i g na n di m p l e m e n t a t i o n ：b a s e do n t h er e s e a r c ha b o v e ，a ni n t e r a c t i v em u l t i p o i n tv i d e os y s t e mp r o t o t y p e 一 一m vs y s t e m 2 0 0 0 ( m u l t i c a s tv i d e os y s t e m 2 0 0 0 ) i si m p l e m e n t e d m vs y s t e m 2 0 0 0i sb a s e do nh 3 2 3a r c h i t e c t u r e p r o t o c 0 1 a n d c o m b i n e dc s c wi n t e r a c t i o na n dm u l t i c a s tt r a n s m i s s i o nc o n t r 0 1 2 致谢 由于时间和能力所限，本论文还存在许多疏漏和不足之处， 研究深度和广度也有所欠缺，恳请各位专家、学者、老师和同学 给予批评指导，以求今后作进一步的完善和提高 本论文是在尊敬的导师阮秋琦教授悉心指导下完成的阮老 师渊博学识、严谨活学、深邃见解、虚怀若谷，都给我留下了难 以忘怀的印象。从本科时期在阮老师指导下进行学习，到师从于 他攻读硕士学位，从师四年，受益一生。无论在科研工作、课程 学习，还是在日常生活上，阮教授都给了我极大的支持帮助和深 刻的教诲阮教授渊博的知识、严谨求实的治学态度、开阔敏锐 的思维更将使我受益非浅从阮教授这里，我不仅深深体会到作 为学术人的远见卓识，也学到了对科学事业的献身精神及平易近 人、为人着想的生活态度本文的完成凝聚着阮老师大量的心血 在此，我要向我的导师表示我衷心的感谢和诚挚的敬意! 在攻读硕士学位期间，得到以下教师的指导和热情帮助，他 们是：袁保宗教授、裘正定教授、林碧琴副教授、赵耀副教授、 唐晓芳老师等特向他们表示感谢 在攻读硕士学位期间，曾与已经毕业的师姐李华，许晓斌博 士，李梦东、蔡平，刘建秋、王延江、胡明星、正在美国求学的 韩旭博士生，正在新家坡的大师兄王海滨博士后，迟男、舒志龙、 陆宽、王岩松、王锋、倪蓉蓉等同学都曾给予我许多有益的启发 和帮助，使我能够顺利完成硕士期间的学习和工作，在此一并致 以诚挚的谢意 在整个硕士学习与研究期间，我的父母、姐姐以及关心我的 朋友朋友们都不时地鼓励和支持我，我学业的完成也是这些亲人 朋友的殷切期望，他们为我能在学业上不断地取得成绩而感到由 衷的骄傲和高兴，他们对我的深切关怀是我人生道路上不断前进 的动力。 最后，再一次对各位师长、同学的支持和鼓励表示最衷心的 谢意! 堡兰垡堡苎苎二兰堡一垄 第一章综述 网络技术的发展。使得各种单一媒体相继成为网络传输中的数据，而 各种媒体的相互融合使得网络多媒体运用层出不穷。未来网络发展的一个 趋势是：网络技术将向网络计算模式过渡，与之相伴的是媒体数字化。网 络计算模式与媒体数字化的相互融合将使网络模式向统一网络模式过渡。 统一网络是3 c o m 公司c e oe r i cb e r h a m o u 在九十年代率先提出的：“所 谓统一网络，就是把并行的语音，视频和数据网络转为统一的，集成的网 络，就是网络服务的一元化，由一个全数字化的网络设旖来承当所有的通 信服务，包括语音，数据和视频的通信服务”。 在统一网络进程中最富挑战性的技术是网上多媒体技术，统一网络中 信息媒体最终将是互动多媒体信息。网络多媒体对网络提出了应用需求： 大吞吐( t h r o u g h p u t ) 要求，包括高传输带宽，大存储缓存，以及高效流量 控制；网络延时抖动高要求，尤其是视频与音频同步。传统网络最初是 为数据传输而设计的，是典型的点到点( u n i c a s 0 通信模式，现有的传输协 议多为点到点模式协议。其主要的特点是：使用点到点通信模式；将 i p 地址作为独立传输对象，向一组i p 地址传输数据要依次向每个i p 地址 发送相同的数据；代价高昂的差错控制，反馈重发实现可靠性传输将增 加网络发送负载和网络延时。 传统网络点到点的传输特点与网络多媒体互动性内在要求间的矛盾， 最终导致了网络带宽瓶径问题，网络带宽瓶颈问题成为当前制约网络多媒 体发展的主要障碍。在多媒体应用中问题最为突出的是多媒体视频传输中 带来的网络带宽问题。例如， 个i p 地址同时接收多媒体视频流，设每 一多媒体视频流所需传输带宽为1 5 m ，按照现有网络结构，所需传输带 宽为1 5 ”m ，同时会带来无法忍受的网络延时和抖动。 现有的大部分网络多是基于t c p i p 点到点( u n i c a s t ) 协议构置网络， 并不适合网络多媒体传输要求，因此在现有网络条件下研究满足网络多媒 体应用需求的解决方案成为当前网络研究的热点。 网络多媒体一个重要组成部分是网络视频运用，网络视频是当前网络 堡兰竺堡兰笙二兰堡j 苎一 运用研究的重点。网络视频有其应用特点：视频流对数据可靠性要求不高 而对网络传输延时与抖动比较敏感，部分数据丢失不会过多影响网络视频 服务质量( q o s ) ；其次网络视频必须具有最大效率( b e s te f f e c t ) 发送机 制，能够在最短时间内最大限度满足视频发送需求。 网络视频的研究主要包括视频编码研究：视频传输机制研究： 视频控制机制研究。 1 1 1 视频编码研究 视频编码研究，研究高效视频压缩算法，其目的是实现视频高质量下 的高效视频压缩，使所需传输带宽大大减少。当前视频编码的研究焦点是 ( 甚) 低码率编码算法研究。接下来阐述视频标准化进展以及( 甚) 低码 率视频编码研究。 视频标准化 视频编码技术的研究，在理论和工程上已经取得了很多进展。自1 9 4 8 年提出视频数字化概念后，经过将近4 0 年的探索，i t u 和1 s 0 等国际组织 在对已有成果进行收集、整理、综合和加工的基础上制定了一系列标准： 1 9 8 2 年电视演播室数字编码成为国际标准( c c i r6 0 1 号建议) ；1 9 8 4 年 h 2 6 1 成为第一个实用化用于会议电视和可视电话的编码标准；1 9 9 3 年 m p e g 1 成为活动图像的编码压缩标准；1 9 9 4 年m p e g - 2 成为国际标准， 向下兼容m p e g 1 ，向上兼容h d t v 的图像质量；1 9 9 9 年公布m p e g 4 标准；今后的计划为m p e g - 7 标准。 h - 2 6 1 标准，1 9 9 0 年1 2 月成为c c i t t 推荐标准，即”采用p x 6 4 k b s 的声像业务的图像编解码”，简称p 6 4 。h 2 6 1 标准是用于可视电话和电 视会议的图象编码标准。当p 取l 或2 时，速率只能达到1 2 8 k b s ，适合 于面对面的可视电话。当p 6 时，速率 3 8 4 k b s 则速率较高，可以传 输清晰度尚好的图像，适用于电视会议。 m p e g 1 标准，1 9 9 2 年1 1 月成为标准，m p e g - 1 标准适用于数码率 在1 5 m b p s 左右的应用环境，是为c d r o m 光盘的视频存储和放像所制 定的。m p e g 1 标准可以处理各种类型的活动图像，其基本算法对于压缩 水平方向3 6 0 个像素垂直方向2 8 8 个象素的空间分辨力，每秒2 4 至3 0 幅画面的运动图像有很好的效果。 m p e g 1 标准采用了一系列技术获得高压缩比：对色差信号进行亚 采样：采用运动补偿技术减少帧间冗余度；二维d c t 变换去除空间 相关性，量化分量按照频率重新排序以及变字长编码；对直流分量( d c ) 进行预测差分编码，对i ( i n t r a ) 图像采用帧内编码，p ( p r e d i c t e d ) 图像 2 堡兰垡丝苎兰二兰! 一 参照前幅i 或p 图像运动补偿编码，b ( b i d i r e c t i o n a l ) 图像参照前一幅 和后一幅i 或p 图像做双向运动补偿编码。 m p e g 一2 标准，1 9 9 4 年1 1 月正式确定为国际标准，即”活动图像及 有关声音信息的通用编码”( g e n e r i cc o d i n go fm o v i n gp i c t u r e s a s s o c i a t e d a u d i oi n f o r m a t i o n ) 标准。向下与m p e ( 3 1 的兼容。 m p e g 。4 标准，1 9 9 9 年成为国际标准，m p e g - 4 标准将支持7 个新 的功能，可划分为3 类：基于内容的交互性、高压缩率和灵活多样的存 取模式。 基于内容的交互性( c o n t e n t b a s e di n t e r a c t i v i t y ) ：基于内容的操作与 比特流编辑，可在图像或比特流中选择一具体的对象( o b j e c t ) 改变它的某 些特性：自然与合成数据混合编码，提供将自然视频图像同合成数据( 文 本、图形) 有效结合的方式，同时支持交互性操作；提供有效的随机存 取方式：在有限的时间间隔内，可按帧或任意形状的对象，对音视频序列进 行随机存取。 高压缩率( c o m p r e s s i o n ) ：提高编码效率， 在与现有的或正在形成的 标准的可比拟速率上，m p e g 4 标准将提供更好的主观视觉质量的图像； 对多个并发数据流的编码m p e g 4 将提供对一景物的有效多视角编码， 加上多伴音声道编码及有效的视听同步。在立体视频应用方面，m p e g 4 将利用对同一景物的多视点观察所造成的信息冗余有效描述三维自然景 物。 灵活多样的存取( u n i v e r s a la c c e s s ) ：抗错性( r o b u s t n e s s ) ，”灵活多 样”是指允许采用各种有线、无线网和各种存储媒体，m p e g 4 将提高抗 错误能力( e h d rr o b u s t n e s sc a p a b i l i t y ) ：选择性前向纠错( s e l e c t i v ef o r w a r d e r r o r c o r r e c t i o n ) ，错误遏制( e r r o rc o n t a i n m e n t ) ，或错误掩盖( e r r o r c o n c e a l m e n t ) ，m p e g 4 是第一个在其音、视频表示规范中考虑信道特性 的标准；基于内容的尺度可变性( c o n t e n t b a s e ds c a l a b i l i t y ) ，内容尺度 可变性意味着给图像中的各个对象分配优先级，对比较重要的对象用较高 的空间和或时间分辨率表示，基于内容的尺度可变性是m p e g 4 的核心。 对甚低比特率应用来说，尺度可变性是一个关键的因素，因为它提供了自 适应可用资源的能力。对具有最高优先级的对象以可接受的质量显示，第 二优先级的对象则以较低的质量显示，而其余内容( 对象) 则不予显示，晟 有效地利用有限的资源。 ( 甚) 低码率视频编码 当前视频编码的焦点是( 甚) 低码率的视频压缩解决方案，接下来介 绍视频编码算法模型与低码率视频压缩编码算法进展 z - z h a n 9 9 7 ： 硕学位论文 第一章综述 每一种图象编码算法的提出，均基于一种图象源的假设，而对图象性 质有更深刻理解的新的图象源模型又将促进新一代编码算法的提出。目 前，用于图象编码的源模型概况为7 类，如下表1 1 。 层源模型编码信息编码技术 l 象素象素颜色 p c m 2 象索统计相关性象素与象素块d p c m 和变换编码 3 运定块平移象秉块与】巨明矢重运动补偿混台编码 4 运动结构参数或者形状映射及运动分形，轮廓儆理编码 5 未知运动物体形状，运动和颜色物体基分析综合编码 6 已知运动物体形状，运动和颜色知识基编码 i 7 面部表情活动单元语义基编码 衷l1 图象编码的源模型 随着编号增加，模型对图象的描述逐步升级，从单独的象素描述，到 象素统计相关描述，再到结构级描述，最后是知识级描述，表2l 总结了 对图象源认识的发展过程。其中模型l ，2 ，及其相应的编码技术不能应 用于甚低码率环境。典型的低码率视频编码算法：基于运动补偿( m c ) 的编码算法、三维变换编码、分形图象编码、模型基编码( 分为基于限定 景物的语义基编码和景物不限的物体基编码) 、神经网络方法。 1 1 2 视频传输机制研究 视频传输机制研究，主要研究视频有效传输方案，其目的是实现高效 网络视频传输，适应未来网络交互视频的需要。初期的网络视频传输采用 的是传统点到点的u d p 协议，h 3 2 3 中视频主要采用u d p 实现点到多点 传输。随着网络技术的发展，一种适合网络多媒体应用的传输方式多点组 播( m u l t i c a s o 应运而生。多点组播是当前网络视频传输的最佳选择方案， 因而成为当前网络研究中的一个重点。接下来阐述多点组播特点以及当前 的研究进展 h e 9 9 。 i p 协议版本4 0 定义了3 种i p 数据包传输：点到点传输( u n i c a s t ) 、 广播( b r o a d c a s t ) 和多点组播( m u l t i c a s t ) 。点到点传输指的是两个i p 站 点进行的数据传输，是最常见的i p 传输；广播指的是在i p 子网内广播数 据包，所有子网内部的i p 站点都能够收到这种数据包；组播指的是在i p 网上对一组j p 地址进行数据传送，这一组i p 地址是动态形成的，每一个 i p 站点都可以动态地加入或者退出这个组，是介于点到点传输u n i c a s t 和 广播b r o a d c a s t 闾的传输机制。1 9 8 5 年s t a n f o r d 大学s d e e r i n g 和d c h e r i t i o n 向i e t f 提交的r f c 9 6 6 d e e r i n 9 8 5 ，是最早有关增加i n t e m e t 的 4 堡兰垡丝兰 墨二兰至i ! 一 多点组播m u l t i c a s t 支持功能的正式规定。随着网络的发展以及网络多媒 体运用的兴起，多点组播越来越多的成为关注与研究的焦点，i p 多点组 播由于在不过多影响现有网络前提下扩展运用功能而将成为未来网络中占 重要地位 q u i n n 9 8 。多点组播主要特点是多点组播是基于u d p 的不可 靠传输，不能保证数据传输的可靠性：多点组播组成员的动态性：可以 随时加入退出组播组，地理分布无限制；多点组播数据分发范围由路 由器和t t l 控制。其最大优点是当向多个i p 地址发送同一数据时，可以 减少不必要的重复发送，有效地利用网络的带宽。另外相对于多次点到点 传输而言i p 组播虽增加相关协议的处理，但仍减少了大量组播路由器 和主机对于i p 报的处理时间。 当前多点组播的研究主要涵盖三方面的内容 q u i n n 9 8 ： 异质性研究( h e t e r o g e n e i t y ) 研究异质终端和异质环境下多点组播的接收与发送：解决组播组中异 质终端和异质网络数据多点组播接收发送的同步与确定问题。主要问题 是：( ! ) a c k n a c k 反馈引起的收端发端“e x p l o s i o n ”问题；组播组中 最好最差性能收端接受数据流的同步问题。典型的解决方案：统发 送反馈方案，具体算法可见r t p r t c p i g m p ：局部化恢复方案，多用 于可靠多点组播传输中：改进u d p 的反馈机制( 降低传输帧率，f e c 纠错机制，优先级传输和高效去冗余编码) 。异质性研究中有代表性的工 作是b e r k e l e ym a s hp r o j e c t 所做的工作 e l a n 9 8 】【y a t i n 9 8 】。 可靠性研究( r e l i a b i l i t y ) 研究多点组播的可靠性数据传输，解决数据传输的可靠性问题。已经 存在许多可靠多点组播的协议以及商业运用，但无统一标准。最基本的方 法主要有两类：f e c ( f o r w a r de l t o rc o r r e c t i o n ) 和a r q ( a u t o m a t i cr e p e a t r e q u e s t ) z - n o n 9 6 1 。可靠性方案按照可靠性由发送端保证还是接收端 保证的不同分为两类：基于发端( s e n d e r - o r i e n t e d ) 方案：由发送端负 责确保数据的正确接收 z - r a m s 7 【z s t r 9 2 】 z - y a v 9 5 】 z a m m 9 2 。其 缺点是负载开销过多的集中在接收端，不具有太大的扩展性。基于收端 ( r e c e i v e r o r i e n t e d ) 方案：由接收端只负责发送认为丢失的数据重传请求 z - f l 0 9 5 z - l i n 9 6 z - c h l 9 8 z - l u c 9 8 z - l e e 9 9 】。其优点为各端( 包 括发送端与接收端) 负载开销平均，可以实现组播节点的有效扩展。 可扩展性研究( s c a l a b i l i t y ) 研究如何实现多点组播终端节点的有效扩展，是多点组播运用实用化 的关键。可扩展性研究是2 0 0 0 年第4 届m u j t i c a s t 年会的一个重要议题 m c a s t 2 0 0 0 。可扩展性研究中v i r g i n i ah y e r c a s tp r o j e c t 是比较有效的方案 堡兰些笙兰笙二兰j 至堇_ l i e b e h e r r 9 8 1 l i e b e h e r r 9 9 。本论文就是在此基础上进行多点组播的可靠 扩展传输机制研究。 当前i p 多点视频研究的一个焦点为：i p 多点视频的可靠扩, 展( r e l i a b l e s c a l a b i l i t y ) 研究 m c a s t 2 0 0 0 。本论文中提出的传输机制就是一种可靠可 扩展机制。 1 1 3 视频控制机制研究 视频控制机制，研究视频会议过程中的协同控制机制，其目的是实现 视频间的有效控制以及视频的交互协同控制。交互协同是网络视频的一个 重要特点。当前网络视频研究的方向之一是交互式网络视频的研究，其目 的是将系统的单向视频扩展为双向视频，以利于视频会议参加者间的互相 交流。当前最为典型的交互协同控制研究是c s c w 的研究，接下来阐述 c s c w 研究进展 l i 2 0 0 0 1 。 c s c w ：c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ( 计算机支持的协同工 作) ，研究群体协作的方式、机制、管理、协调和协作过程控制，互连、 互操作和协同工作是c s c w 的基础结构。自1 9 8 4 年c s c w 这一概念被 提出后。c s c w 这一领域就为各方面专家、学者和企业所关注。国外对 c s c w 研究一直报有浓厚兴趣，目前研究c s c w 的组织主要有a c m 的 办公信息系统小组，英国的c s c w s i m 和欧洲的协作工作技术基础f c m t 等，1 9 8 6 年，第一届c s c w 会议在美国的德克萨斯洲举行，自此以后 a c m 每两年组织一次c s c w 国际会议，欧洲的学术工作者也组织了 e c s c w 国际会议，专门讨论c s c w 理论、技术与应用。与此同时，相 应的初步可供实用的c s c w 系统也纷纷出现，比较典型的是p i c t u r e t e l l i v e l a n ，c r e a t i v es h a r ef i s i o np c 3 0 0 0 ，a p p l eq u i c k t i m e 和s u ns h o w n e 。 近年来，国内也开始投入对c s c w 的研究，1 9 9 8 年第一次全国c s c w 学术会议在北京召开。同类产品也纷纷出现，如东北大学软件中心基于 f d d l 的视频会议系统、清华大学计算机系m c o n f ( 多媒体会议系统) 、 国防科技大学h y p e r c a r d 系统以及西安交通大学的分布式多媒体协同 工作系统d m c s 。总体来说，国内对c s c w 的研究尚属于初级阶段，对 c s c w 的协作机制、建模方法、协作多用户接口等方面还有待进一步的 研究。 本文在原来c s c w 系统研究成果一一混合协作模型引入视频系统控 制机伟l j l i 2 0 0 0 基础上，设计出一种视频控制机制，用于实现有效的视频 交互协作。 6 t 堡兰垡丝奎 一星二童曼生 网络视频研究包括视频编码、视频传输机制、和视频控制机制研究。 视频编码研究是网络视频研究的基础，甚低码率视频编码是当前研究的热 点：视频传输机制是网络视频实用化的前提，高效带宽利用率传输方案是 当前研究热点：视频控制机制是网络视频交互性的关键，自然交互协同是 其研究的最终目的。 随着网络多媒体发展，网络视频已经在诸多领域得到广泛运用。网络 视频发展的直接推动力是i p 组播实验网m b o n e 。m b o n e 源于d a r 丁n e t 的一个协作项目，用于测试和连接参与联合研发的诸多机构，包括南加州 信息科学研究所0 s b 、m i t 、x e r o x p a l o a l t o 研究中心和l a w r e n c e b e r k e l e y 国家实验室( l b l ) 等众多机构。1 9 9 0 年m b o n e 正式成功运行，在此基础 上一系列基于多点组播的研究相继展开： 1 9 9 1 年s t e p h e ne d e e r i n g 在d a r t n e t 上进行了第一次i pm u l t i c a s t 网络层实验；此后研究重点转向基于多点组播的实时交互式多媒体运用， 研究解决包交换网络多点远程会议。1 9 9 1 年2 月，i s i 成功开发音频会议 系统v t ( v o i c et e r m i n a t e ) ，1 9 9 1 年6 月起，d a r t n e t 使用v f 召开每周 研讨会；1 9 9 1 年l b l 在w 基础上开发出具有更好用户界面和控制的工具 v a t ( v i s u a la u d i ot 0 0 1 ) ，同年秋天成功运用于d a r t n e t 研讨会。 1 9 9 2 年3 月，m b o n e 借助隧道技术( t u n n e l ) 实现组播网络与非组播网 络桥接，使支持多点组播网络突破了m b o n e 的限制扩展到更大的网络范 围。第2 3 届i e t f ( i n t e m a t i o n a le n g i n e e r i n gt a s kf o r c e ) 会议借助多点组播 技术成功实现音频会议实况组播，这一成功运用大大鼓舞了远程协作工具 的进一步研究，一系列音视频远程协作系统纷纷研制成功： x e r o xp a k cn v 网络视频系统【z - k o n 9 4 】( 1 9 9 2 年1 2 月) 是最早广 泛使用的i n t e m e t 视频运用之一，运用组播传输机制实现网络视频传送， r t y 无拥塞控制机制；1 n r l ai v s z - t h i e r r y 9 6 】( 1 n r l a ：法国国家计算机科 学与控制研究所，i n r l av i d e o c o n f e r e n c es y s t e m1 9 9 3 ) 是基于h 2 6 1 的 音视频会议系统，胁使用基于发送端拥塞控制算法支持网络拥塞控制； c u s e e m e 是c o m e l l 在m a c i n t o s h 上实现的视频系统 z t i m 9 5 1 ( 1 9 9 5 年 3 月) ，使用基于点到点的传输控制，c u - s e e m e 广泛使用的原因在于使用 现有的硬件，不需要多点组播支持：b e r k e l e yv c 视频会议系统( 1 9 9 9 年 7 堡兰焦笙奎 茎二兰堕i 查一 1 月1 ，在原有v f c 系统基础上实现远程控制框架的系统 h o d e s 9 9 】。 当前网络视频研究的方向之一是交互式网络视频的研究，其目的是 将系统的单向视频扩展为双向视频，以实现视频会议参加者间的互相交 流。以上的视频系统多是在传统网络框架下实现的，缺乏有效的传输控制 机制与交互协作支持，并不完全满足当前网络视频的运用要求。 本论文所做工作是网络交互视频研究，研究适合当前网络视频运用 的编码方案、传输控制与交互机制，以满足网络视频运用需要。本论文选 择网络视频作为研究，出于以下的考虑：从研究角度考虑，网络视频研究 是当前网络多媒体运用研究的重点，而多点组播传输机制代表未来网络发 展的方向。研究多点网络视频，其目的是改变传统网络视频传输与控制机 制，选择当前网络视频研究的主流，最大限度和最有效实现网络视频，为 未来网络视频研究提供有效的解决方案。从应用角度考虑，网络视频已经 运用到远程教学，远程协作等诸多领域，具有广泛的运用前景。 1 3 本论文的工作 本论文以2 0 0 0 年多点组播年会 z - m c a s t 2 0 0 0 会议主题( 实现有效 扩展的大规模数据分发) 作为研究出发点，就基于多点组播的网络多点视 频，从视频r t p 封装方案，可靠可扩展传输机制展开相应的研究工作。 本论文的工作包括网络多点视频r t p 封装、传输控制与协作控制方 面的工作，以及在此基础上的系统模型设计与实现，本文的主要内容为： 网络视频的蝙解码研究与实现：研究了基于h 3 2 3 框架协议下 r t p ，i 盯c p 协议的视频包封装，在分析m p e g i 和h 2 6 3 协议视频帧结 构基础上，提出种基于帧重建的r t p 视频包封装方案以适合多点组 播网络传输：将多点组播传输特性作为编解码因素加入方案，将视频帧有 效分解为r t p 封装包，通过u d p 向网络中发送，在接收端重构视频帧， 进而实现视频解码，实验表明：该封装方案适合多点组播。可以改善视频 包丢失引起的视频质量下降，保证一定的q o s 。在上述方案的基础上，用 多点组播机制代替u d p ，对多点组播中参数和视频编码参数进行调整， 实现基于多点组播的网络视频实时传输。 网络多点传输机制研究：针对多点组播是基于u d p 的不可靠传输和 视频控制信息传输可靠性要求之间的矛盾，以及多点组播控制机制中可靠 。 生( r e l i a b i l i t y ) 与控制机制中可扩展性( s c a l a b i l i t y ) 之间的矛盾，本文将扩展 性方案中超立方体( h y p e r c u b e ) 拓扑思想与可靠性方案中反馈重发局部 化( l o c a l i z a t i o n ) 思想用于控制机制，提出一种基于超立方体拓扑的可靠 8 硕学位论文 第一章综述 扩展控制机制：将视频节点控制拓扑从1 维树型拓扑映射为n 维超立方体 拓扑，运用超立方体拓扑的几何特性将基于包丢失的局部反馈重发可靠性 恢复有效融于视频节点扩展性中，实现i p 多点组播视频的有效可靠扩展。 通过理论分析与实际测试表明：基于超立方体拓扑的控制机制有良好的扩 展性和极高的可靠性；可靠性随扩展性扩展规模增加而提高，可靠性通常 在9 0 以上，可满足不同网络条件下的视频信息的可靠性扩展。 多点视频系统模型研究：在以上可靠控制机制的基础上，将原来c s c w 系统研究成果一一混合协作模型引入视频系统控制机制，提出一种基于混 合交互模式的交互式网络视频系统模型，有效实现视频的多点传输与交互 控制。 多点视频系统的设计与实现：在以上研究的基础上，实现一个多点视 频系统原型m u l t i c a s tv i d e os y s t e m 2 0 0 0 。该系统融合c s c w 的协作机制 和多点组播传输机制，可以有效实现基于多点组播的多点视频交互与传 输。 本文的文章结构： 第一章：综述 主要介绍网络视频历史、现状和发展方向。在回顾了国内外在这一领 域的研究现状，特别阐明网络视频系统的研究进展基础上，阐明网络视频 的研究内容和研究意义。最后给出论文的组织结构。 第二章：多点组播研究 阐述多点组播发展进程与研究进展，尤其突出1 9 9 9 年、2 0 0 0 年m u l t i c a s t 年会研讨内容以及多点传播对网络视频研究的促进因素。从当前多点组播 研究与网络多媒体运用发展角度，分析阐述当前基于多点组播的网络视频 研究进展和研究方向，以明确基于多点组播网络视频的研究意义。 第三章：多点组播视频包封装方案 详述针对多点组播传输特点提出的一种r t p 视频包封装方案：基于帧 重建封装方案。在介绍h 3 2 3 框架协议与r t p r t c p 协议基础上，详细阐 述整个方案的设计过程。 第四章视频可靠可扩展传输机制 阐述多点组播可靠性研究发展现状、基本方法和经典方案；多点组播 可扩展性研究发展现状、基本方法和经典方案以及多点视频可靠性与扩展 性问题，及本文提出的基于超立方体( h y p e r c u b e ) 拓扑的可靠可扩展控 制传输方案。 第五章多点视频系统m 、，s y s t e m 2 0 0 0 阐述在以上基础上实现的多点视频系统m v s 2 0 0 0 ( m u l t i c a s tv i d e o 9 堡兰垡丝壅 蔓二皇堡垄一 s y s t e m 2 0 0 0 ) 。主要阐述系统的设计框架和设计过程：系统的模型框架： 系统的关键性技术设计以及系统实现与功能。 第六章结束语 全文的总结，介绍本论文的主要研究成果及创新之处，特别是根据目 前的研究成果，提出了有待研究的关键技术问题。 堡主兰焦丝苎! ! 三兰兰生塑翌翌堕! 一 第二章多点组播研究 2 1 引言 多点组播( m u l t i c a s t ) ，是向一组i p 地址发送不保证可靠接收和发送顺 序数据包的传输机制，介于点到点传输( u n i c a s t ) 和广播( b r o a d c a s t ) 间 的传输机制。1 9 8 5 年s t a n f o r d 大学s d e e r i n g 和d c h e r i t i o n 向i e t f 提交的 r f c 9 6 6 ，是最早有关增加i n t e r a c t 多点组播支持的文档 d e e r i n 9 8 5 。随着网 络发展以及网络多媒体运用的兴起，多点组播越来越多成为关注与研究的 焦点，由于在不过多改变现有网络前提下实现运用功能扩展，多点组播将 在未来网络中占重要地位 q u i n n 9 8 】。 本章详述多点组播的发展以及研究进展，系统阐述多点组播发展对网 络视频的推动作用，从当前多点组播研究与网络多媒体运用发展角度，分 析阐述当前基于多点组播的网络视频研究进展和研究方向，进而明确基于