（计算机软件与理论专业论文）桌面视频会议视频分层压缩传输.pdf

梨面视频会议视频分层胩缩化输 摘罄 摘要 桌面视频会议系统是当今视频会议系统的一个发展方向，随着电脑的普及以及互联网 络的发展逐渐深入人，t 3 , 。与此相关的问题和技术也是层出不穷，如网络问题、共享问题、 编码以及会议控制问题等。由于桌面视频会议是通过互联网进行多媒体传输的，所以在设 计系统时必须要考虑到互联网的特性问题。互联网是由各个不同的子网互联而成，而且其 中有形形色色的客户端，无论从网络状况还是计算能力上都于差万别。这种条件下对多媒 体信息的传输以及处理就造成了很大的影响，而视频需要大数据量，对视频的影响尤为突 出。视频会议发展的初期采用的单一编码传输很难满足所有客户端的要求。近几年来有人 提出了分层编码的思想，为此，基于这一思想进行了一些系统实现的实验。其结果是不同 的客户端可以根据自己的实际情况来选择所接收的视频数据，从而为网络异构问题的解决 奠定了基础。 本文根据视频会议多个发送端多个接收端的特点提出了一种用r t p r t c p 实现分层压 缩传输的方法。包括其打包方法、按照编码顺序对包进行编号，以及包头内容的再造等。 本文通过分析现有的多种编码标准，包括它们的适应范围、实现技术等，采纳或改造 这些技术从而形成了分层编码的方法。并且找了一种高效的小波算法，克服了一般情况下 小波分解较慢的缺点，满足了视频会议实时高效的特点。 关键字：桌面视频会议视频编码分层压缩实时传输小波变换 桌面 ! ! l ! 频会议视频分层压缩传输 a b s t r a c a b s t r a c t d e s k t o pv i d e o c o n f e m n c i n gi sd e v e l o p i n gv e r yq u i c k l yw i t ht h ep r e v a l e n c eo fp c a n dt h e d e v e l o p m e n to fi n t e r n e t t h e r e a r el o t so fp r o b l e m sa n dt e c h n i c sa b o u ti t ，s u c ha st h ep r o b l e mo f n e t w o r k s ，s h a r i n g ，c o d i n g ，a n dc o n f e r e n c ec o n t r 0 1 t h em u l t i m e d i ai n f o r m a t i o ni s t r a n s m i t t e di n t h ei n t e m e ti n d e s k t o pv i d e o c o n f e r e n c i n g ，s o w em u s tc o n s i d e rt h ea t t r i b u t e so fi n t e m e t i n t e m e ti sc o m p o s e do fm a n yd e f e m n ts u b n e t s ，a n da l lk i n d so fc l i e n t s ，w h i c ha r ev a r i o u sb o t hi n c o n d i t i o n so fn e t w o r k sa n di nc o m p u t i n gc a p a c i t y t h i si m p a c t st r a n s p o r t i n ga n dp r o c e s s i n go f m u l t i m e d i ai n f o r m a t i o nm u c h ，e s p e c i a l l yv i d e ot h a tn e e d sl a r g ed a t a t h ep r o b l e mw a sf i r s t s o l v e db ys i n g l ec o d i n g ，w h i c hi sh a r dt os a t i s f yt h en e e d so fe v e r yc l i e n t s r e c e n t l y , s o m e o n e p r o p o s e dt h ei d e ao fl a y e r e dc o d i n g ，a n dw et o o ks o m ee x p e r i m e n t s t h er e s u l t i st h a te v e r y c l i e n tc a nr e c e i v ed i f f e r e n td a t ab a s e do nt h ec o n d i t i o n s s ot h ep r o b l e mo fh e t e r o g e n e o u s n e t w o r k sc a nb es o l v e de a s i l ya f t e rt h a t t h i s p a p e rp r e s e n t av i d e o l a y e r e dt r a n s p o r t i n g m e t h o dw i t h r t p r t c ei n c l u d i n g p a c k e t i s a t i o n ，n u m b e r i n gb y t h eo r d e ro f d e c o d i n g ，a n dt h em o d i f i c a t i o no fp a c k e th e a d e c t h i sp a p e ra n a l y z et h es t a n d a r d so fv i d e oc o d i n g ，i n c l u d i n gt h er a n g eo f a p p l i c a t i o na n dt h e t e c h n i c s ，a d o p ta n dm o d i f yt h et e c h n i c st oi m p l e m e n tl a y e r e dc o d i n g f u r t h e r m o r e ，w ef o u n da n e f f i c i e n ld w t a r i t h m e t i c o v e r c o m i n gt h es h o r t c o m i n go fn o r m a ls l o wd w t , s om a k i n gt h e c o n f e r e n c i n g e f f i c i e n t k e y w o r d d e s k t o pv i d e o c o n f e r e n c i n g ，v i d e oc o d i n g ，l a y e r e dc o d i n g ，r e a l t i m e w a v e l e t 墨堕塑塑垒堡塑塑坌些堡塑! ! 塑一! 堕 第一章前言 1 1桌面视频会议简介 视频会议系统是支持人们远距离进行实时信息交流、开展协同工作的应用系统。 视频会议系统实时传输视频与音频信息，使协作成员可以远距离进行直观、真实的视音 频交流。另一方面，利用多媒体技术的支持，视频会议系统可以帮助使用者对工作中各 种信息进行处理，如共享数据、共享应用程序等，从而构造出一个多人共享的工作空间。 视频会议产生于二十世纪6 0 年代，随着7 0 年代的数字式传输的出现，8 0 年代编 码和信息压缩技术的发展，到9 0 年代视频会议系统己发展成熟。 最早的视频会议是拨号组群电视会议，它是一种”预先安排”的”共享式”组群会议环 境。后来又出现了基于i s d n 的桌面视频会议系统，它不是一种组群共享式环境，而且 会议不必预先安排，但它都依赖于i s d n 。 随着l a n 的发展，出现了基于l a n 上的组播视频会议，l a n 上的组搔视频会议 与前述两种会议方式相比，有它自己不同的特征，首先，它被设计为多用户共用方式， 考虑一下l a n 的多路复用运作方式可以发现，在其中与多人通信是一件非常简单的事 情，它有内置的协议，并使多用户会议以及加入或退出会议变得非常简便。事实上，这 萨是这一模式非常诱人之处。其次，在于它的使用非常自然方便，它支持过去的工作环 境以及目前直使用的工件环境。在熟悉的p c 协作环境上层，媒体工具如视频邮件与 集中式存储环境等在l a n 中都是可访问和可使用的。最大的不同在于，它是一种公司 内部的应用，而不是全球性的应用。首先它是一种低代价网络，而且它是公司业务所需 的最基本的部分。 目前最大的发展潮流就是i n t e r a c t 上的组播视频会议，尽管它也将是最有争议的潮 流。它具有许多l a n 产品所具有的特征，并且也被设计为多用户共同模式，它是一种 支持多人讨论会的高效方式。使用过i n t e r n e t 和w e b 的人都知道，在i n t e r n e t 和w e b 上 要快速到达许多地点是非常容易的。i n t e r n e t 视频会议具有其服务器环境所具有的所有 特征，它把i n l e m e t 本身的财富作为自己通信能力的部分，所以它是通信能力和信息 资源结合的产物，同时它还在全球性环境适用，时区不同己不成问题。 前面介绍了视频会议的概念以及发展情况，那么什么是桌面视频会议昵? 所谓桌 面视频会议系统( d e s k t o p v i d e o c o n f e r e n c i n g ) ，也称为基于伊的视频会议，可以支持语 桌面视频会泌视频分层压缩传输 叫i 哥、视频、文本、图形等多种媒体，因此也称为多媒体会议系统( m u l t i m e d i a c o n f e r e n c e s v s t e m ) 。桌面视频会议系统是i n t e m e t 上组播视频会议的一种，是视频会议由硬件向 软僻方向发展的重要标志【1 ，也是一个快速发展的方向。它是利用视频技术和i p 数据 通信技术通过网络在两点或多个地点之间建立可视通信，实现图像、语音及数据交 流的一种会议形式。 桌面视频会议系统主要功能有：文本讨论( c h a t ) ，共享白板( w h i t eb o a r d ) ，共 享应用程序( s h a r e d a p p l i c a t i o n ) ，视频，音频等。本文讨论的重点是视频子系统。 1 2 视频子系统简介 i n t e r n e t 是全球性的计算机网络，规模最大，用户最多，影响最广。因此基于i n t e r n e t 的视频会议系统将是未来发展的必然趋势，也是最理想的视频会议系统。 视频会议中对视频的处理历来就是一个重点也是一个难点。因为在视频会议中音 频数据量还不及视频数据量的十分之一，为了实现一个较理想的实时或准实时的视频会 议系统，视频传输的协调和处理必然是一个关键的技术问题。如今在i n t e m e t 上实施视 频会议，对视频的要求也就更高，难度也会更大。 视频处理的特点是数据量大，实时传送。虽然在处理及传输过程中是逐帧进行， 但由于人的视觉具有暂留特性，所以如果帧之间的时差较小的话就会有一个连续的感 觉。如果帧之间的时差过大就会产生跳跃的感觉。另外，在视频会议中，视频作为一种 交互性的信息，从发送到接收以及显示不能有太大的延迟，否则就会影响到视频会议的 交互性，这就要求实时性更好。大数据量和实时传输本身就是矛盾的，为了解决这一矛 盾就必须对视频进行压缩处理。 视频子系统的主要功能是视频采集、视频编码、打包、传输、接收，解码，以及 显示。作为多人对多人的会议系统，每个客户端可以选择是否接收某个发送端的视频信 息t 甚至可以根据实际情况选择接收不同速率、不同质量的视频信息。 视频子系统所涉及的技术包括视频编码技术、实时传输技术、i p 组播技术等。 视频子系统需要解决的问题也很多，尤其是在i n t e r n e t 上进行的视频传输。比如目 | j i 视频数据均采用差分编码压缩，又因为相邻图像间需编码的信息量变化很大，因此视 频的实时数据传输率也反复变化，对静止场景传输率几乎为零，而对于变化幅度较大的 场景图像，数据传输率将很高，这种变化不利于视频的稳定传输，如何使得视频流的速 率更均匀是个重要的问题。再如，视频数据属于一种流式的数据，而i n t e m e c 是分组 堡堕型塑垒堡塑塑坌星! 塑生熊坐! l 率更均匀是一个重要的问题。再如，视频数据属于一种流式的数据，而i n t e r n e t 是分组 交换网，不利于这种流式的数据稳定的传输，比如可能忽快忽慢，时断时续，所以视频 会议需要一个质量保证的标准，q o s 保证。因此，如何通过运用阻塞控制机制以阻止 共享资源的混乱，在i n t e r n e t 上有可能获得很好的q o s ( 服务质量) 也是一个研究课题。 在设计和实现桌面视频会议系统之前，我们对现有的一些视频会议系统进行了 些分析和总结，包括他们的系统结构，功能，以及性能等。现有的系统主要有m i c r o s o f t n e t m e e t i n g ，w e b e x ，a s t o u n d 以及清华的视频会议系统。在视频方面，它们有的只允 许一对一( 如n e t m e e t i n g ) ，有的可以通过调节编码的图像质量来改变所需带宽。但这 些系统都没有很好的解决互联网的异构问题( 我们在第二章中做了进一步的解释) ，因 而当不同网络条件的客户共同参加会议的时候，只能根据带宽条件最差的客户来设置编 码，每个人不能根据自己的条件得到一个满意的视频质量。如果能够对这个问题进行解 决，那么这些系统会更加完善。我们进行的这项研究最终可以扩大视频会议的适应范围， 并且提高视频会议的效果。 本文重点讨论的问题是i n t e r n e t 异构的问题。就是针对不同客户端具有的不同的网 络状况以及计算能力，通过编码使得每个客户端都能满足自己的需要，而且不会产生数 据冗余。 1 。3 本文结构与内容组织 本文的第二章首先讲述了视频处理的基本问题以及本文要重点解决的网络异构性 的问题，然后是介绍了解决这些问题所需要的方法，包括p 组播传输与视频分层编码。 第三章介绍了系统中视频传输模块的设计。根据视频分层编码传输的特点设计了 数据包的格式，以及发送端与接收端。 第四章介绍了系统视频编码模块的设计。其中，首先讲述了视频编码的基本技术， 然后介绍了现有分层编码的方法以及本系统的分层编码方案和模型。 第五章介绍了系统的实现情况，包括实现的网络环境以及所用的工具，还有实现 过程中所做的优化。最后是对系统的运行结果进行了分析。 第六章对本文的研究内容进行了总结，并包括结论分析。最后，对尚未解决的研 究问题进行了分析，对未来的研究方向进行了展望。 垒型迪丝型塑星堕堂坠：一；坐坠墅倒些苎型生 第二章视频分层编码的基本思想 2 1视频处理概述 视频会议系统最吸引人的就是提供一个面对面交互的环境，所以视频是至关重要 的一项功能。视频功能的好坏，直接影响到系统使用的满意度。而视频一般需要的庞大 的数据，在处理中是最复杂的，因此也就成为整个系统的重点和难点。下面就来具体介 绍一下视频处理的基本问题以及基本技术。 2 1 1 视频处理的基本问题 带宽问题 视频庞大的数据量在传输中所遇到的最为突出的问题就是是网络带宽问题，而在 视频会议中网络带宽的问题更为突出。比如，n 个i p 地址同时发送和接收视频流，设 每一多媒体视频流所需传输带宽为1 5 m ，按照现有网络结构，所需传输带宽为1 5 * nm ， 同时会带来无法忍受的网络延时和抖动。所以应该想办法充分降低带宽的使用。 实时问题 与其他传统的媒体，如文字、图片相比，视频有着其独有的特点，即一般多媒体 视频流对数据可靠性要求不高而对网络传输延时与抖动比较敏感，适当的数据丢失不会 过多影响多媒体视频应用。在视频会议中，对视频实时的要求可能更高一些，因为需要 在两端实现交互。如果从一端传到另一端延时3 0 m s ，那么另一端再传回所造成的延时 就是6 0 m s 。在i n t e m e t 上，文字图片的传输采取可靠的传输方式，一般采用t c p 。我 们知道，t c p 是一种可靠传输，而可靠性是通过发送确认信息来实现的。t c p 发送大 量的确认信息。显然不适于视频实时传输。 2 1 2 删络异构住问题 视频广播随着计算机网络的发展而逐步扩展到i n t e r n e t 上。由于视频信g - - 般需要- 占用大量带宽，所以在i n t e r n e t 上的视频广播中带宽能力是个中心问题。现有i n t e r n e t 网络的现状是，在不同网段之间网络能力变化很大，如i s d n 可达1 2 8 k b p s ，a t m 主干 剜可达1 5 5 m b p s 。很自然，网上所以接受者都希望收到最高质量的视频，低能力的链 接很容易被拥塞，因此一般会用最低的物理带宽来解决视频广播问题。在此问题上，不 仅会出现在连接的带宽方面，还会出现在计算机处理能力上。高带宽如果计算能力不够 4 生耍坐塑叁坚型塑! ! 竺堕塑生堑 鲨塑! 坐塑竺塑苎兰! ! 竺 同样会出现过度的流量。因此需要一个编码方案能允许选择和调整接收的信息量。 2 2i p 组播与分层编码 本文主要就是解决网络异构性的问题，而解决的主要方法就是在口组播1 e i 勺基础l 二 进行视频的分层编码。 2 2 1 视频i p 组播传输 网络技术的发展，使得各种单一媒体相继成为网络传输中的数据，进而各种媒体 的融合使得网络多媒体运用层出不穷。网络各相关领域对未来网络发展较统一的观点 是：网络技术将向网络计算模式过渡。与之相伴的是信息媒体数字化。两者相融合的结 果使i n t e r n e t 未来继任者将是统一网络，统一网络是3 c o m 公司c e oe r i cb e r h a m o u 在 九十年代率先提出的：“所谓统一网络，就是把并行的语音，视频和数据网络转为统 的，集成的网络，就是网络服务的一元化，由一个全数字化的网络设施来承当所有的通 信服务，包括语音，数据和视频的通信服务”。现阶段表现为所说的”三网合一。而在 统一网络进程中最富挑战性的是网上多媒体技术。因为统一网络中信息媒体最终将是交 互的，互动的多媒体信息。网络多媒体对网络提出了以下的应用需求： 吞a l _ ( t h r o u g h t p u t ) 要求，包括高传输带宽，大存储带宽( 缓存) ，流量控制。 可靠性要求：对可靠性要求不是重点 网络延时要求：网络延迟，抖动要求高，尤其是对视频与音频同步。 传统网络最仞是为数据传输而设计的，是典型的点点通信模式，是为保证数据可 靠传输而设汁的，所用的传输协议多为点到点的协议。其特点为： 使用点点通信数据传输模式 对每一个i p 都作为独立的传输对象，即使传输同一数据也要依次向每个i p 对象 发数据。 不具有扩展性。只能通过重复发送实现数据传输。 代价高昂的差错控制。通常是通过反馈重发实现，这显然将增加网络发送负载带来网 络延时。 显然传统网络并不满足网络多媒体应用要求。n 上n 息的交互与互动将使网络中 的信息传输量剧增，将带来网络传输瓶径问题。因此，对现有网络基础上对网络设施不 做过多更新而又满足网络多媒体视频应用需求的解决方案成为网络多媒体视频应用的 关键。 墨耍堡塑垒丛娑塑坌星压堕垡笙 。些墅丝塑墅墅篓坠! i 坠 i pm u l t i c a s t ，国内多译为”组播。成组通信”，是与点点通信( u n i c a s t ) 和全网广 播( b r o a d c a s t ) 相对而言的网络通信方式。i p 组播的发展已经有十多年的历史：1 9 8 6 年d e e r i n g 研制了i p 组播；1 9 9 2 年出现支持i p 组播的m b o n e ( m u l t i c a s t 实验网) 和 m b o n e ( 主- t n ) 桌面工具：1 9 9 3 1 9 9 6 年i f m u l t i c a s t 成为业界关注的焦点，然而出于发 展条件不成熟而使得口组播只为业界所关注：进入1 9 9 9 年i pm u l t i c a s t 同时具有了发 展的三个关键条件：支持i pm u l t i c a s t 的路由协议；基于开放标准可测试管理协议：商 业发展机遇而进入高速发展阶段。i p 组播具有的巨大潜在价值使得业界厂商纷纷研制 开发基于i p m u l t i c a s t 的产品与运用。1 9 9 6 年i n t e l 公司在o r e g o n 发布了具有4 0 0 0 个 结点能够进行i p m u l t i c a s t 的实用网络；微软于1 9 9 6 年秋季推出基于i p m u l t i c a s t 的网 络服务。c i s c o 在1 9 9 9 年第三届i p m u l t i c a s t 峰会m c a s t 9 9 上提出1 9 9 9 年将是i p m u l t i c a s t 商业服务的应用年，预测i s p 将于年内发布域内( i n t r a _ d o m a i n ) i p m u l t i c a s t 产品。 i p v 4 定义了3 种p 数据通信方式：点点通信( u n i c a s t ) 、全网广播0 3 r o a d c a s t ) , i i 组 播( m u l t i c a s t ) 。点点通信( u n i c a s t ) 指的是特定两个p 地址间进行的数据通信，是最常 见的i p 通信；全网广播0 3 r o a d c a s t ) 指的是在i p 子网内向m 子网内部所有i p 地址以广 播的方式发送数据包，所有在子网内部的口站点都能够收到这种数据包的通信；组播 ( m u l t i c a s t ) 指在p 网上对一组特定妒地址进行数据传送，是居于点点通信与全网广播 之间的通信方式。i n t e r n e t 标准委员会i e t f 在1 9 9 2 年建立了一个i n t e m e t 上i p 组播的 主干，并命名为m b o n e ，用来进行毋组播的实验。 对i p v 4 定义了3 种i p 数据通信方式进一步比较不难发现组播具有个明显区别 于点点通信( u n i c a s t ) - n - z 全n 广播( b r o a d c a s t ) 的特点：某个口站点向m 网多个站 点发送同一数据时，i p 组播可以减少不必要的重叠发送，有效地利用网络的带宽，可 以减少网络延时与抖动。虽然目前许多路由器还不支持p 组播而使得m 组播应用受限： i p 组播的可靠传输还在研究中，但由于i p 视频对传输的可靠性要求不高而对网络延时 抖动敏感使得p 组播成为p 视频传输的有效解决方案。 i p 单播与组播如图所示： 6 墨堕坐堡叁坚垫鉴坌生生塑簋塑 一型塑坌堡塑旦塑苎：竺! 翌 图2 - 1 单播与组播 22 2 视频分层编码 前面已经介绍了网络异构性的问题，在本文中对此问题的解决是在球组播基础上 的分层压缩来实现的。其基本思想 5 】，【6 ，【7 】是视频流被编码和压缩成多个不同的层次 每个层次用不同的多播通道分别传输，接收者根据能力和喜好来选择加入这些通道。接 受的层次越多，会得到更高的质量，但同时伴随着更高的带宽需求和处理能力的需求。 最重要的层次包含最基本的信息。称之为基础层，随后的层次是各个增强层。基础层包 含相对低质量的视频流，所需带宽小，因此可满足很大范围的接收者。增加增强层会提 高视频质量同时也增加带宽要求。 前面曾说，高质量视频需高带宽，那么如何来衡量视频质量呢。其中有三个参数 会影响视频质量。帧速率，指示每秒更新的帧数，更多的帧产生更为平滑的视频显示， 同时也增加数据量。分辨率，用( x + y ) 来度量，指示图象的分辨率，高分辨率可以提供 更多的图像细节，从而有更好的质量，但同时也需传输更多数据。最后一个参数是象素 塞里坐塑窒堡型塑坌望生塑堡竺型塑坌星塑型堕墨兰! ! 竺 位数，定义了象素的精度，对于一个象素而言，8 位对应2 8 = 2 5 6 级的细节，级数越高， 图象质量越高，同时所需位数也越多。 根据这三种质量参数，可以得到三种分层类型： 空间分层( s p a t l a ll a y e r i n g ) ，就是将图像分成多个较低分辨率的帧。基础层具有最 低的分辨率，随之增强层的增加，分辨率也在增加。空间分层有多种方式。比如对= ，f i 同 分辨率的帧进行分别编码。或每隔n 行或n 列取一行或一列象素。 信噪比分层( s n rl a y e r i n g ) ，就是将输入的各个象素值分解成多个等级。其结果是 基础层象素位数很少，从而形成了一个粗糙的图像版本。而增强层逐步提供更高的象素 精度。比如像素的灰度级为2 5 6 ，可用一个字节来表示，对其进行s n r 分层，分为4 个等级，第一个等级是高2 位，第二个是较低的两位，最后两位是第四等级。显然第一 个等级的重要性最大，可以作为基础层，其它的作为增强层。s n r 分层可通过逐级量 化的方法实现。 时间分层( t e m p o r a ll a y e r i n g ) ，就是将视频流分解成具有不同帧速率的层次。基础 层帧速率最低，随之层数的增加，帧速率也随之增加。如果在编码过程采用运动估计和 运动补偿，可以将关键帧在基础层传输，而将预测帧放在增强层传输。 另外，我们还要照顾到视频会议中视频压缩的基本的一些要求。一是鉴于视频的 大量数据造成处理和传输的不便，一般视频应用都通过编码减少数据量。在视频会议中， 对编码有更高的要求。一个是压缩率必须更高，这正是由带宽问题决定的；二是效率更 高t 因为在视频会议中客户端一般都是p c ，计算能力不是很大，而且还要运行其他的 应用程序。 在本文中，我们就来介绍所设计和实现的一种视频分层编码，它是结合了空间分 层、s n r 分层，并且采用了混合小波d c t 编码方案。空间分层使用的是正交祥条小波， 而s n r 分层通过重复量化来实现。另外，低分辨率小波层在进行量化之前又进行了d c t 变换。 桌面视频会议视频分层压缩传输 视频传输模块设汁 第三章视频传输模块设计 先介绍下系统基本的思想。该系统使用组播技术来降低发送端网络的负载，数据 在发送端只传输一份拷贝，不管有多少接收者。为了解决接收端网络异构问题，我们实 现了分层的视频压缩，在网络上传输多级数据流。接收端只需要根据自己的能力接收相 应的层数从而得到相应厦量的媒体。发送端就是通过这种方式满足不同接收端的需要。 系统结构如下网所示： l a y e r o l a y e r l l a y e t 2 e r 3 图3 - 1 视频传输总体结构 图中发送端将压缩的数据发送到组播通道( 对应一个组播地址) ，每一层对应一个 组播通道。所有发送端都将相同的层次发送到相同的地址中。 我们用层组束表示所有发送端发送的一层数据。属于一个层组的数据被发送到 个组播地址中。 在图中，a 发送4 层数据，b 发送3 层数据。x 接收两层，y 接收4 层。实际上 接收端可以任何时刻根据他们的连接速度和拥塞状况来调整接收的层数。 3 1 传输格式 下面我们来介绍一+ 下视频压缩和打包。 前面我们提到三种分层编码方法，我们来研究一种最一般的分层压缩方法，它结 合了三种分层方法，这就是h 2 6 3s n r 分级编码器。当然它只能提供最基本的三级分 层，仅仅是我们用来借鉴的一个原型。它的结构( 包括分层过程及帧间关系) 如下图所 示： 9 生堕塑塑墨堡鲨塑坌垄堡堑竺塑 些墅堑型型! ! ! 坠 2 3 4 5 图3 - 2 分层及帧间依赖关系 第2 层 第l 层 第o 层 原始帧序列 时间 ，- - - - - - - - - - - - o 每个方块代表某一层的重建画面，而箭头湿示了画面之间的依赖关系。最低的 行显示了原始未编码的画面。下一层是基础层( 第0 层) ，它的帧率是第l 层的一半。 第。层是从前面编码的帧预测得到的。第l 层从前面第l 层的帧同时结合第0 层编码的 图像预测得到。第2 层从前面第2 层的i 帧同时结合第l 或0 层编码的图像预测得到。 压缩的视频数据要进行打包以便传输。一副画面的压缩数据可能会用1 个或多个 包传输。这主要依赖与编码产生的位数，进一步它是由原始图像的内容以及压缩比决定 的。每个包的数据是由一层的一副图像压缩得到的。 图中方块中的数代表图像编码的顺序。同时也是解码的顺序。没有画面1 画面2 就不能解码，同样画面4 也不能在2 之前解码。 31 1 对数据包进行编号 对于单编码来说，传输打包很简单，编码、打包、接收、解码都是一对应的， 顺序也容易控制。但是对于分层编码，通过上面的分析可以看到，分层前后的帧之间都 有一些依赖关系，重构时必须根据这些依赖关系。所以在传输过程就要解决个问题， 就是发送端将分层的数据传出，然后接收端收到这些数据后怎样才能按照正确的顺序将 它们组装起来，从而准确无误地进行解码。这是在进行系统设计时必须要考虑到的一个 问题。 为了使得客户端对接收的包能够进行排序，所以需要一个编号的策略。这种策略 也需要解决包丢失的现象。 0 桌血视频会议视频分层缩传输 视频传输模块设汁 下图就是我们的编号策略。方块代表单个包，竖直的分割线显示了包和图像之划 的关系。每个包由两个序列号。块中上面的数是层内序列号，记为s e q ，下面的数是 所有层的序列号，我们记傲x s e q 。 帧2 冈田同 2 6 l2 7 | l 2 8 1 1 1 j 【。j 【- j 冈田 2 4 if2 5 ； 冈罔同m 倒刚幽剧 帧3 图3 - 3 数据包编号方案 第2 层 第1 层 第0 层 时间 。1 。1 。1 。j 接收端用两个过程将包按照正确阿解码顺序进行封 序。 第一个阶段是对每一层用s e q 进行排序。这个序号也用来判定是否存在包丢失。 接收端可以等接收到一个或多个后续的包后判定包已丢失。这个过程对每层都独立进 行。 第二阶段是用x s e q 序号将每一层的包排序成为一个流并进行解码。如果接收端 安装顺序接收所有包，那么这个过程就可以安装顺序直接进行。下图是一个只接收两层 的接临端。 团固因囤图 帧2 国囡 因固圉国 帧3 图3 - 4 从第0 层和第1 层接收到的包 第1 层 第0 层 堕坚 、 冈幽n 倒冈幽冈删用倒阳凹冈幽 冈凹阳u 三三 圈曰圈 园圈圈帧 田田团 冈u 罔曰 目同帧 阳h 门 桌面视频会议视频分层胜缩传输 桃频传输模块殴汁 对于这个接收端，x s e q 序号不是顺序的，因为在第二层的包有一个蚓隙。开始 的7 个包能够像前面一样排序，因为这些x s e q 是顺序的。尽管在x s e q 的数值l 有 一个跳跃，但也可以判断出下一个要解码的包。通过检测下面的第0 层和第1 层的包， 可以看到s e q 序号是顺序的，所以没有层内的包丢失。可以判定x s e q = i 的包是要解 码的下个包，因为它的x s e q 要小于下一个第0 层的包。 一般图像压缩所得到的位数是不固定的，即使传输速率是固定的。无运动估计的 画面要比运动预测编码的画面所得到的位数多。如果在编码中采用运动补偿或运动估 计，那么需要用一个控制策略以及输出缓冲区进行平滑处理以得到个圃定的位速率。 在分层编码中，每一层都有自己的控制策略和缓冲区。每一层之问的延迟不会一样。这 种延迟变化产生于数据源，而网络的传输会使这种延迟差异增加 2 】。在本文的讨论中， 由于系统的设计没有用到运动估计和运动补偿，所以没有对位速率进行控制。 3 1 2 包格式 声音和视频信息是用u d p 和r 1 r p 打包在口网络上传输的，如下图。u d p 提供了 校验和来检测传输错误，但不能保证数据传输的其它问题：包会丢失，重复或者无序。 r 1 p 提供了端到端的服务。例如负载类型识别、序列号、时间戳和传输监控。虽然负 载类型当中目前还没有分层编码的类型，但可以使用包头的扩展来支持分层编码。下图 是以h ，2 6 3 为例说明u d p 与翮r p 的包结构。 图3 - 5 h 2 6 3 的r t p 包格式 r t p 头结构如下图所示：开始的1 2 个字节是所有r t p 包都具有的。c s r c 列表只 有当c c 被指定为非零数值时才具有。扩展位( x ) 总被设定，r t p 包头的扩展前面有 桌面视频会议视频分层住缩传输 视频传输模块设计 个固定的头。 0l23456789 1 0 l l ll2 1 3 1 4 1 51 6171 81 9 2 4 2 12 22 3 2 4 2 5 2 6 2 72 82 9 3 03 l v = 2pxc cmp t序列号 时间黜 同步源标识( s s r c ) 分技源标识( c s r c ) 图3 - 6r t p 头结构 每发送一”个r t p 数据包都会使序列号( s e q u e n c en u m b e r ) 增加l ，在接收端可以用来 检测包丢失和恢复包的顺序。这个字段可以用来传送s e q 序列号。s s r c 字段指示同 步源，在接收端可以区别不同发送端发送的包。这个标识符被随机选取，在同一个r t p s e s s i o n 中两个不同的同步源具有不同的s s r c 标识符。 在我们的实现中，每个层组定义为一个r t ps e s s i o n 。这就意味着当有n 个层组， 在系统中就会有n 个r t p 组播地址和n 个r t c p 组播端口。同个发送端的一层的r t p 包头的序列号是顺序的。同一个发送端不同的层上序列号是独立的。因此为了使接收端 将不同层得到的包按照解码顺序排序，需要使用x s e q 序列号机制。我们用r t p 包头 扩展结构( 见下图) 来传输x s e q 。 1 3 j 1 4 1 1 5 f 1 6 1 1 7 i 1 8 1 1 9 2 q2 l l2 2j2 3 l2 4 2 5 l2 6 f 2 7 l e n g t h 图3 7 r t p 头扩展 在r r p 头扩展结构中，p r o f i l e 字段设定为0 ，l e n g t h 被设定为1 ，指定后面有一个 3 2 位的字段。这就可以用来传输x s e q 序列号。 3 2 发送端设计 每个参加会议的成员既是发送端又是接收端，所以此处的发送端实际是发送模块。 桌面规频会议观频分屠l r 缩传输 祝频传输模块殴计 在发送功能之前，我们假设已经进行了视频采集、编码。然后便是打包和发送。下图是 发送端的系统结构图。 图3 - 8 发送端系统结构 打包模块将连续的视频流分解成多个包，并附上包头信息。在这里，我们采用h 2 6 3 包头信息，便于对丢失包的处理。此外还包含诸如运动向量估计等视频流的信息。 打包阶段还要对包进行编号。前面已经介绍了，该编号是为了在解码阶段重新组 装包。每层的数据通过独立的r t p s e s s i o n 在不同的组播地蛙上进行传输。传输协议是 r t p r t c p 3 1 。r t c p 协议可以用来指示包的时间和错误统计信息。 3 3 接收端设计 接收端包含的功能主要是接收数据，解包，解码，视频播放。其结构如图3 9 所示：从同一多播地址接收的数据是几个发送端传输的同层，可以用r t p 包头的 s s r c 字段区分不同的发送端，每个发送端的视频流用不同的窗口来显示。 每个r t p s e s s i o n ( 使用一个多播地址) 接收一个层次的视频数据。首先根据s s r c 字段区分不同的发送端的视频数据。然后需要排序。同一发送端发到一个r t ps e s s i o n 的视频包在般情况下是顺序的，其序列号也是连续的。如果不连续，而且断点后又已 经收到儿个包( 如设定为两个) ，就可以判定包已经丢失。然后就是将同源的视频流按 照幽像分段，即，将重构后得到同一图像的包集中起来，便于重构。分段也是属于排序 模块的。 前面所做的一切都是为解码做准备的，下面就可以方便的进行解码了。 桌面视频会议视频分层压缩传输视频传输模块砹汁 分 离 彳 发 + 送 端 数 据 + 图3 - 9 接收端系统结构 5 皇堕鲨塑垒些塑塑坌星垦塑竺塑 一塑塑型塑! ! 堂立 第四章视频编码模块设计 在2i 1 中提到，为了减少视频数据量，以减少存储的空1 1 郇或传输所需的带宽，需 要对视频进行j 矗缩编码。而为了解决网络的异构性，又对编码有了一个更新的要求，就 是将一个视频流分成多个流不同个数流的叠加可以重构形成不同质量的视频信息。另 外，第0 层应该做到压缩比尽量高，从而能够提供更多的带宽适应范围。还要保证各层 之问没有冗余信息，以免给发送端造成过大的网络负荷。 为了设计一种分层的视频压缩算法，首先应该看一下视频编码的基本方法与技术。 4 。1视频编码基本技术 视频编码的基本过程是先进行变换，如d c t ，d w t 等，然后量化，最后统计编 码( 包括h u f f m a n 编码，算术编码等) 。另外般视频编码还包括运动补偿或运动估计， 虽然在设计本系统时暂时还没有使用该方法，为了便于将来的研究，也对其介绍“一下。 最后我们来分析下现有的一些编码标准，从中找一些分层编码值撂借鉴的地方。 4 1 ，1d c t 与小波变换 在此主要介绍。一下离散余弦变换( d c t ) 和离散小波变换( d w t ) 。 离散余弦变换( d c t ) 余弦变换是傅立叶变换的一种特殊情况，傅立叶变换只包含余弦项。离散余弦变 换在数字图像数据压缩编码巾性能很好，可与最佳变换k ，l 变换媲美。因为压缩性能 和误差接近，而计算复杂度适中。具有可分离特性，还有快速算法【4 】等特点，所以在 图像数据压缩中，采用离散余弦变换编码的方案很多。二维快速离散余弦变换的公式是： c 咖丽4 硒心v ) m 萎i 萎n - i m y ) c 0 s ( 等u 疗) - c o s ( 等嘲 “= 0 ，i ，m 一1 v = 0 “1 ，n l 其中，阢) ，脚) ：毖当“= 耐 1 1其余 关于d c t 进一步的介绍可参考f 3 ，p ，1 0 5 】。 离散小波变换( d w t ) 小波变换可以将图像分解为高频和低频子带。从小波的观点看，图像是二维离散 墨堕堡塑叁坚型塑壁塑堡笪型型塑鳖堕 样本，可以将其分解为4 个子带。其分解如图4 一l 所示。变换将l e n a 图像分解为l l 、 ：l 、l h 、h h 四部分。生成的每一个子带大小都是原始图像的1 4 。其结果中的l l 子 带是原始图像的下采样和过滤版本，其它3 个子带，h l ，l h ，以及h h 分别包含了用 于重构的水平、竖直、和对角线方向的高频信息。 图4 - 1l e n a 图像的小波分解 小波可以进行分解，其实质上是一组数字滤波器。小波滤波器将一组样本转化到 频率域。傅立叶变换基于周期的三角函数，而小波则不同，它是基于多项式的。小波是 对小的重叠块进行操作，这与离散余弦变换不同。这也意味着小波可以进行重复的多级 分解，一般称之为8 段分解。小波函数和小波变换发展非常迅速。 关于小波的论述请参阅【7 】，【8 】，【l o 】。 41 ，2 量化 量化在数字信号处理中是指，将连续的模拟信号在值域上的离散化。在图像压缩 系统，数据信息已经是离散化的。这里的量化就是指减少块中的符号数。量化可定义为 以f 函数； q ( s ) = l i ，i fj ( d h ，d 。】，i = i ，l 对给定的一个j ，量化器q 输出重构级数，如果5 在判定等级的范围( 一+ d ij 当 中则输出l i 。对于统一量化器，它的重构级数是等步长的，即乡邻等级之间的差是 个常数：，。一，= 对i i l 一1 ，这里称为步长。这很容易实现，即用步长 做除法驭整即可。 墨堕鲨塑窒些塑塑坌生! ! 笙生垫型塑竺璺堕! ! 兰! 生 在量化中会引入误差，或噪声。均方噪声定义为： d = ( j s 7 ) 2 坛s 其中，s 7 = q ( s ) 指s 量化后的数值。随着量化级数的减少，误差d 也会增加。 这可以归为信噪比，即信号方差与噪声方差2 的比率 盯 吼2 吉 变成两倍，s n r 则会减少大约6 d b 。 在图像压缩系统中，量化通常会利用人类视觉系统对空间高频成分不敏感这一 事实。这意味着高频比低频用更少的重构级数，这样进一步减少了表示图像所使用 的符合。在m p e g 视频标准中，量化矩阵是： t ( x ，y ) = 在量化矩阵重的每个系数都对应d c t 块的一个系数，也就是d c t 系数是通过量 化矩阵中处在同一位置的数作为步长进行量化的。可以看出，最高的频率使用的量 化级数是最低频率( 即d c 成分) 所有级数的十分之一，低频成分具有更高的敏感 度。量化前后的系数如下所示： 数函的 氏步成形形变过经以可 b 、， d巨则 鼢 m 位 l i 单 舭 姗 、 壹武 内 k 悟 心 g g 0 0 o 0 = | | r r n n s u s 鲋”鹅躬弱驺凹m弭卯铝弱卯凹弘弘弱拍卯猾四弛巧娼铂毖弭卯凹弛弭粥挎龙拍拍卯凹凹撕拍拉拢拍卯眇 0 m坞鸵孢撕拍 墨耍型塑叁墨塑塑坌星堡塑堡塑一竺塑塑旦堕! ! 墼生 一4 9 1 6 1 3 2 o 0 0 00 0 0 o0 00 00 00 00 可以看出量化后符合大大的减少了，剩下的符号就可以准备最后的编码了。 通常当对视频数据