（通信与信息系统专业论文）无线网络视频传输差错控制技术研究.pdf

复旦大学硕士学位论文 摘要 随着多媒体、网络技术以及移动通信的发展，视频通信的应用变得越来越 广泛。为了减小传输数据量，需要对视频信息进行压缩，由此导致了视频数据间 原本存在的冗余信息丢失，使得视频数据在传输中抵抗信道误码的能力变得十分 脆弱。 但是，无论在有线网络还是在无线网络的信道中，误码的产生、数据的丢 失总是难以避免的。当前技术并没有在整个网络范围内为视频传输提供完善的服 务质量保证，当网络拥塞时很容易造成突发性的分组丢失现象，引起图像质量严 重下降，因而必须采用有效的差错控制技术进行处理。然而视频传输有效率、实 时性的要求，在许多应用场合中，过强的纠错编码、重传机制等差错控制方法并 不适用于视频传输。因而，必须寻找适于视频传输的差错控制方法。 为了在无线网络中对视频传输进行更有效的差错控制，本文在无背景流量、 有背景流量、以及采用特殊流量控制策略这三种不同情况下，对无线网络的视频 丢包长度进行了测量和比较。然后在实验平台上模拟了视频数据在不同位置出错 的情况，借此了解差错对视频的影响。在分析了上述视频传输的有关特性后，本 文提出了一种适合于无线网络环境下视频传输的差错控制方法。通过在传输域和 应用层分别建立不同的差错控制方法，实现了视频在无线网络环境下传输质量的 提升。本文所述的差错控制方法具体包括：1 实现了一个基于丢包检测的流量自 适应算法，在服务器端和客户端之间增加了一条反馈回路，服务器能根据接收到 的网络状态信息，采取加性上升乘性下降的策略自动调整发送的码率，使得整个 视频传输系统能够自动适应可用带宽的变化，避免了拥塞的出现；2 编码器端实 现了一种宏块重排序的算法，使得连续的丢包错误能分散到不同的位置上，以提 升后续差错掩藏的技术效果；3 解码器端实现了一种自适应的差错掩藏算法，能 够根据视频差错的位置、数量以及视频图像自身特征等条件，自动从基于时间、 空间、频域的差错掩藏方法中选出较佳的一个加以执行。本文对所提出的差错控 制方法进行了仿真实验，实验结果表明，在无线网络环境下，采用本文提出的差 错控制方法能够有效提升视频传输的质量。 关键词：视频传输系统、差错控制、流量自适应、宏块重排序、自适应差错掩藏 中图分类号： r p 3 9 3 1 复旦大学硕士学位论文 a b s t r a c t w 曲t h ef a s td e v e l o p m e n to fm u l t i m e d i a , n e t w o r kt e c h n i q u ea n dm o b i l e c o m m u n i c a t i o n ，t h ea p p l i c a t i o no fv i d e oc o m m u n i c a t i o nh a sb e c o m em o r ea n dm o r e p o p u l a r i no r d e rt ot r a n s m i tl e s sd a t a , v i d e on e e d sc o m p r e s s i o n ，w h i c hr e m o v e st h e r e d u n d a n td a t a h o w e v e r t h ec o m p r e s s e dv i d e od a t ai sh i g h l ys e n s i t i v i t yt oe r r o rc o d e i nt h et r a n s m i s s i o n n om a t t e ri nt h ew i r e dn e t w o r ko ri nt h ew i r e l e s sn e t w o r k , e r r o rc o d ea n dl o s s o fd a t ac a n tb ea v o i d e d t h ew h o l en e t w o r ks t i l lc a n tp r o v i d eq u a l i t yo fs e r v i c e g u a r a n t e ef o rt h ev i d e ot r a n s m i s s i o nt o d a y d u et ot h ec o n g e s t i o n ，p a c k e t sm a y b el o s t o rc o r r u p t e di nb u r s t , r e s u l t i n gi nas e r i o u sd e g r a d a t i o no f t h ei m a g eq u a l i t y s oi ti s n e c e s s a r yt 0m a k eu s eo ft h ee r r o rc o n t r o lt e c h n i q u e s h o w e v e r , 5 0 m ee l 惭c o n t r o l t e c h n i q u e s s u c ha sf o r w a r di a l t o rc o r r e c t i o na n dr e p e a tr e q u e s t , a r en o ts u i t a b l ef o r t h ec a s e o f r e a lt i m ev i d e oa p p l i c a t i o n s ow em u s tw o r kc a r e f u l l yt of i n da l le f f e c t i v e w a y i no r d e rt oh a v em o r ee f f e c t i v ee r r o rc o n t r o lf o rt h ev i d e ot r a n s m i s s i o no v e r w i r e l e s sn e t w o r k , w em e a s u r et h ee r r o rl e n g t hi nd i f f e r e n ts i t u a t i o n , s u c ha s w i t h w i t h o u tb a c k g r o u n dt r a f f i ca n du n d e ras p e c i a lr a t ec o n t r o lm e t h o d a f t e r a n a l y z i n gt h ec o m m o na r o r c o n t r o lt e c h n i q u e s ，w ep r o p o s es o m ee r r o rc o n t r o l t e c h n i q u e sf o rt r a n s m i t t i n gv i d e os t r e a m i n go v e rw i r e l e s sn e t w o r k f i r s t , w ed e p l o y a na d a p t i v er a t ec o n t r o lm e t h o d af e e d b a c kl o o pi sa d d e db e t w e e nt h es e r v e ra n dt h e c l i e n t a f t e rr e c e i v i n gt h em e s s a g ea b o u tt h en e t w o r ks t a t e , t h es e r v e rc a r l a u t o m a t i c a l l yc o n t r o lt h es e n d i n gr a t eu s i n gt h ea i m dm e t h o d t h u s ，t h ev i d e o t r a n s m i s s i o ns y s t e mc a na v o i dc o n g e s t i o na n dm o s to fp a c k e tl o s s s e c o n d ，w ea d da m a c r ob l o c kr e o r d e r i n gp r o c e s sj nt h ee n c o d e r , w h i c hm a k e st h ec o n s e c u t i v el o s t p a c k e t ss c a t t e r e di nt h ef i m n e t h i r d ，w ea d da ni m p r o v e de r r o rc o n c e a l m e n t a l g o r i t h mi nt h ed e c o d e r 1 1 1 ed e c o d e r c a l lc h o o s eab e u e rm e t h o dt oc o n c e a lt h ee r r o r a u t o m a t i c a l l y , b a s e do nd i f f e r e n te r r o rt y p e sa n dv i d e ot y p e s w ea p p l ya b o v ee r r o r c o n t r o lt e c h n i q u e si no u rt e s tb e d t h er e s u l ts h o w st h a tt h ep r o p o s e dm e t h o d sc a l l i i 复旦大学硕士学位论文 i m p r o v et h eq u a l i t yo f v i d e ot r a n s m i s s i o no v e rw i r e l e s sn e t w o r ke f f e c t i v e l y k e yw o r d ：v i d e ot r a n s m i s s i o n ，e 附c o n t r o l ，a d a p t i v er a t ec o n t r o l ，m b r e o r d e r i n g , a d a p t i v ee l r o tc o n c e a l m e n t i i i 复旦大学硕士学位论文 研究背景和意义 日! j 舌 2 0 世纪9 0 年代以来，i n t e r n e t 迅猛发展，同时无线通信也在全球范围内得到 普及，人们开始有了在网络上、甚至在无线网络上传输声音、图像和视频等多媒 体信息的愿望，由此多媒体内容在网络上的传输量日益增长。近年来，有线多媒 体通信技术己趋成熟，如视频电话、视频点播( v i d e oo nd e m a n d ，简称“v o d ”) 、 多媒体电子邮件、有线数字电视、电子商务和视频监控等技术已获得广泛应用”1 。 而在无线移动通信技术上，随着第三代( 3 g ) 移动通信系统、宽带接入网络标准 和无线宽带网络设施的建设，无线多媒体通信技术己越来越成为人们关注和研究 的热点。现在无线局域网( 1 e a n ) ”1 已经可提供高达每秒数兆至数十兆的传输速 率。而第三代移动通信网在静止应用上可提供2 u b p s 的传输速率，在一般步行状 态下达到3 8 4 k b p s ，在车速行进中，也可达1 2 8 k b p s 。未来的第四代( 4 g ) 无线通信 系统，传输速率可高达l o i b p s 以 - 。在这样的带宽条件下，各种无线多媒体业务， 如实时视频传输应用等将得到快速的发展。可以预期，在未来的几年内，无线多 媒体业务不论在种类、还是市场占有率都将接近甚至超过目前的有线多媒体业 务。 在多媒体数据中，视频信息是人类最赏心悦目的信息，因为它直观、具体、 生动、确切。视频是连续运动的图像序列，每幅图像称为一帧，由于人眼的视觉 特性，以每秒2 4 帧以上的速率播放图像，就能在视觉上形成具有连续活动影像感 觉的视频。有研究指出，人们日常接受的信息有7 0 来自视觉，这就决定了视频 传输技术的重要地位。 然而，数字视频的数据量是非常巨大的。以分辨率为3 5 2 x 2 8 8 、每秒3 0 帧、 y ：u ：v = 4 ：2 ：0 的c i f 格式图像为例，每个像素的分量用8 比特表示。则不压缩 的码率为3 5 2 x 2 8 8 x 3 0 x 8 x 1 5 = 3 6 5 i b p s ，这样的比特率对于当今的大多数网 络都是吃不消的。而高清晰度数字电视( h d t v ) 未压缩的码率更是要接近1 g b p s ， 如果不对原始图像进行压缩，许多应用将难于推广。目前，一般信道的带宽都比 较有限，因此为了更有效地传输和存储，在进行视频传输前必须对视频信息进行 压缩。经过半个多世纪的发展，视频压缩编码技术在理论和工程上都取得了很多 复旦大学硕士学位论文 成果。在i s 0 和1 1 1 j 等国际组织的协调下，对视频编码的成果进行了收集、整理、 综合和加工，制定了几个通用的压缩编码标准，包括m p e g l 、b p e g 2 、m p e g 4 和h 2 6 1 、 2 6 3 、h2 6 4 等等。 一 尽管已经对视频进行了压缩，然而，在无线网络上进行视频传输仍是一个 富有挑战性的课题。这是由无线网络以及压缩视频本身的特性决定的，具体表现 为以下几点： 1 ) 无线网络具有较高的差错率：无线信道是一种时变信道，存在多径衰落， 无线通信系统的一个潜在问题是信道噪声，信息可能在传输过程中被改 变或丢失。对于压缩的视频，信息丢失的结果可能导致解码器明显的解 码失真。因此，视频应用一般地都要求有较小的丢包率。然而，当前互 联网只能最大限度的提供服务( b e s t e f f o r t ) ，并不提供任何关于丢 失的保证，特别是当网络发生拥塞时，丢包率会更高，这就造成了视频 质量的严重损失。与有线网络相比，无线网络存在多得多的噪声，而且 由于无线网络带宽的限制，比有线网络更容易出现拥塞，因而无线网络 上的视频传输对鲁棒性有更高的要求。 2 ) 无线网络的可用带宽波动较大：无线网络上传输视频的另一个挑战在于 用户可以获得的带宽在不停的变化。为了达到可接受的观看质量，典型 的视频传输都有一定的带宽要求。但由于当前整个网络范围内还没有提 供完善的资源预留的协议保障，并且由于传统的路由器不参加拥塞控 制，视频传输的可用带宽将可能出现比较大的变化。如果视频传输码率 不能及时适应这种变化，将很容易导致拥塞的出现。当网络发生拥塞时， 大量的丢包将直接影响用户的观看质量。如果不对拥塞加以控制，情况 往往会越来越糟糕，甚至造成无法观看。 3 ) 视频的实时性要求较高：相对于一般没有严格时间限制的数据传输，实 时视频都要求有限的端到端延迟。因为视频必须连续播放，所以每个视 频包必须及时到达目的端以进行解码和显示。如果视频数据包不能按时 到达，画面将出现停滞感，对观看感觉造成较大影响。对于一个视频数 据包，即使正确传送，但如果错过了其播放时间，该数据包还是得被丢 弃，所以说实时性是视频传输必须考虑的因素。 4 ) 压缩视频的抗扰性不高：当前广泛应用于低码率视频应用中的视频压缩 标准，如m p e g 4 、h 2 6 x 等，使用帧间预测编码和可变长度编码( v l c ) 等压缩技术减少帧间的时间冗余和统计冗余，这些措施虽然可以增大压 缩率，但会造成视频信息容易受到传输错误的影响。部分数据包的错误 甚至会在时间和空间上扩散，影响观看质量。 复旦大学硕士学位论文 因此，对现有的视频编解码技术和无线视频传输技术作进一步研究是十分 有必要的。本文研究的就是在差错率较高、有效带宽波动较大的无线网络中的视 频传输差错控制技术，使得用户能实时高效的获得较佳的视频观看质量。 现有的差错控制技术概述 当前，视频在诸如无线网络等差错信道上的传输是一个热点课题，涉及的 技术包括视频的编解码和各种传输技术，从作用的位置和方式上分类，现有的差 错控制技术可大致分为以下四种：基于编码器端的差错控制、基于信道的差错控 制、基于反馈的差错控制和基于解码器端的差错控制。 基于编码器端的差错控制：为了提高压缩效率，当前的视频编码标准，如 m p e g 2 m p e g 4 和h 2 6 3 h 2 6 l 等都采用了预测编码和可变长度编码( v l c ) 的 方式。预测编码使得解码端可以利用参考宏块的信息恢复当前宏块的信息，这使 得视频码流各个部分之间存在依赖关系，因此当在码流的某个地方出现错误，很 可能会在后续的时间和空间上造成差错的扩散。而可变长度编码的引入，使得解 码器从差错信道中解码图像的过程变得更困难，因为可变长度编码中某一位丢失 或发生错误，将导致码流与解码器不同步，使得解码无法进行，除非达到新的同 步点。因此，基于编码器的差错控制技术在编码器进行视频编码时，有意地保留 一些冗余，使得解码器能更好地掩盖错误或快速恢复数据。常用的方法有：重同 步、可逆v l c 编码( r v l c ) 、帧内块或帧更新、数据独立分割、分层编码和多 描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ，简称“m d c ”) 等。 基于信道的差错控制：与传统的信道编码一样，它是为了克服编码信道中 的错误而采取的措施。其基本思想是在发送端传输的信息序列上附加上一些多余 的检验码元或监督码元，这些监督码元与信息码元之间以某种确定的规则相互关 联约束。接收端按预定的规则检验信息码元与监督码元之间的关系，一旦传输过 程中出错，它们两者之间的关系必然会改变，从而可以发现错误，以至纠正错误。 常用的基于信道的差错控制技术有前向纠错( f e c ) 。 基于反馈的差错控制：在实际传输中，如果发送端和接收端之间存在反馈 信道，解码器端可以通过反馈信道发送消息通知编码器端哪部分信息在传输中出 现了问题或者当前信道的状态信息，这样编码器端就可以采取相应的措施，如重 发出错的数据、采用帧内编码、调整量化步长以增加或减少发送速率等，以减少 错误产生的后果。 基于解码器端的差错控制：在编码过程中，编码器并没有也不可能把视频 复旦大学硕士学位论文 中的所有信息冗余去除掉。一般地，编码器都会周期性地使用帧内编码，以防止 差错大范围地传播。当图像帧或其中的块因为传输差错丢失后，解码器可根据邻 近的像素在时间或空间上的相关性，利用其周围已正确接收到的块对其进行估 计，以重建图像，即进行差错掩藏。由于人眼的视觉特性，图像或视频出现一定 程度的失真，人眼也是可以忍受的，所以可以利用人眼的特性使用差错掩藏技术。 采用这种方法，只需对解码器作适当的修改，在现有的设备上比较容易实现，具 有通用性。因此，差错掩藏技术己成为当前视频通信领域中对抗错误的重要方法。 差错掩藏作为一种基于解码器端的差错控制技术，它是要估算一个损坏的宏块的 纹理信息、运动向量( m o t i o nv e c t o r ，简称“m v ”) 信息和编码模式信息。 本文的工作与论文内容安排 为了在无线网络上更有效的进行视频的传输，作者较深入的研究了m p e g 4 视频编码原理及其具体实现，分析了m p e g 4 视频流在8 0 2 1 l b 无线网络上传输 的特性，接着分析对比了现有各种视频传输差错控制技术，最后提出了一套融合 流量自适应控制策略、宏块重排序以及自适应差错掩藏算法的差错控制系统，并 对其进行了实现。具体包括： 1 ) 在传输过程中实现了基于丢包率判决的流量自适应多媒体传输策略，在 编码器和解码器之间增加了一条反馈通路，使得编码器能通过解码器反 馈过来的丢包率信息判断无线信道的状况，根据加性上升乘性下降的策 略自动调整视频流的发送目标码率，从而有效的避免了无线网络出现严 重拥塞，使得丢包率维持在一个较低水平。 2 ) 结合m p e g 4 视频流在8 0 2 1 l b 无线网络传输的特性，在编码端实现了 一个宏块重排序的过程，使得在视频流传输过程中，即使出现连续的丢 包，丢失的宏块都不会聚集在一起，这样就可以通过相邻正确接收的宏 块来估计丢失宏块的信息，以更好的提升差错掩藏的效果。 3 ) 在解码器端实现了一个自适应的差错掩藏算法，它能根据视频流的特性 和丢包的情况，自动从基于时间、空间、频域的差错掩藏方法中选择一 种较佳的方法进行差错掩藏，以获得更好的观看效果。 以下是本文的内容组织结构： 第一、二章是背景知识介绍，分别介绍了视频的压缩原理、当前的各种视 频压缩标准，以及介绍了视频传输系统和视频传输系统中所使用的网络协议。 4 复旦大学硕七学位论文 第三章是分析问题，主要分析了m p e g 4 视频流在8 0 2 1 1 b 无线网络中传输 的特性，通过实验着重描述了丢包和带宽变化对视频的影响。 第四章是提出解决方案。在对比了现有的几种差错控制技术后，提出了一 种适合于无线网络环境下视频传输的差错控制方法，包括：基于传输域的流量控 制技术和基于应用层的宏块重排序以及白适应差错掩藏技术。 第五、六章是对上述方案的实现。第五章详细讨论并实现了基于丢包率判 决的流量自适应多媒体传输策略，并给出了实验结果，说明该流量自适应算法能 有效避免视频传输过程中出现严重拥塞，使得丢包率维持在一个较低水平。 第六章根据m p e g 4 在8 0 2 1 1 b 无线网络中传输的特性，在编码端实现了一 个宏块重排序的过程，降低了相邻数据包之间的相关性；在解码端引入了一个自 适应的差错掩藏过程，实验结果表明，这些措施能有效的提升视频的观看质量。 第七章对本文所涉及的有关内容进行总结与展望。 复旦大学硕士学位论文 第一章视频压缩编码及其标准概述 1 1 视频压缩的必要性 如前所述，随着网络技术的发展，人们越来越多的通过网络来传输视频多 媒体信息。然而，数字视频图像信息具有海量数据特性，即使现在计算机性能、 磁盘容量、传输信道的性能已经得到极大的发展，但是在网络上进行未经压缩的 视频传输仍然是不现实，或者说是十分不经济的。表l - l 列出了分别以l o f r a m e s 和3 0 f r a m e s 的帧率传输各种不同空间分辨率的未经压缩的黑白和彩色视频时的 比特率。 比特率( m b p s ) 视频格式分辨率每帧象素 1 0 f r a m e s 3 0 f r a m e s 黑白 彩色黑白彩色 s q c i f 1 2 8 9 61 2 2 8 80 9 8 31 4 72 9 54 4 2 q c i f 1 7 6 + 1 4 42 5 3 4 42 0 33 0 46 0 99 1 2 c i f3 5 2 * 2 8 81 0 1 3 7 68 1 1 2 22 4 33 6 5 4 c i f7 0 4 * 5 7 64 0 5 5 0 43 2 44 8 79 7 31 4 6 1 6 c i f1 4 0 8 1 1 5 21 6 2 2 0 1 61 2 9 81 9 4 63 8 9 35 8 3 9 c c i r6 0 17 2 0 * 4 8 03 4 5 6 0 02 7 6 54 1 4 78 2 9 41 2 4 4 2 h d t v l 4 4 01 4 4 0 9 6 01 3 8 2 4 0 0l l o 5 9 1 6 5 8 93 3 1 7 84 9 7 6 6 h d t v1 9 2 0 * 1 0 8 02 0 7 3 6 0 01 6 5 92 4 88 3 4 9 7 6 67 4 64 9 s q c i f ：s u b q u a r t e rc o m m o ni n t e r m e d t a t ef o r m a t q c i f ：q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t c i f ：c o m m o ni n t e r m e d i a t ef o r m a t h d t v ：h i i g hd e f i n i t i o nt e l e v i s i o n 表l - 1 未压缩的各种视频格式码率 6 复旦大学硕士学位论文 从表1 - ! 可知，无论是从经济还是技术的角度上考虑，直接传输未压缩的视 频序列是不现实的。为了节省视频传输所占用的带宽和资源，在视频传输前，必 须对其进行压缩编码。 1 2 视频压缩的可行性 视频信息之所以能进行有效的压缩，主要是因为原始视频数据中存在大量 的信息冗余。另外，只要压缩得当，人眼对压缩前后的图像的感觉没有明显的差 异，这也使得视频压缩成为可能。 这些原始视频的的冗余大体可以分为以下几类： 1 ) 时间冗余：视频序列是由连续的图像组成的，采样的帧速率一般为2 5 或 3 0 帧每秒。相邻两帧图像的时间间隔为1 2 5 秒或1 3 0 秒。在这么短的 时间间隔内，图像的内容变化一般是不大的。在一帧的时间间隔内， 人们测得：对于缓慢变化的2 5 6 级灰度的黑自图像序列，帧间差值超过3 的像素数不到辅；对于变化较为剧烈的彩色电视图像序列，亮度信号 ( 2 5 6 级) 帧间差值超过6 的像素数平均只有7 5 ，而色度信号平均只有 0 7 5 $ 。因此相邻两帧图像的像素之间有较强的相关性。在原始数据中 完整地记录了每一帧图像的每一个像素的值，这就造成了数据的冗余。 去除数据中的时间冗余一般采用帧间预测加运动补偿的方法。 2 ) 空间冗余：在数字视频序列中，同一帧图像的邻近像素的值( 亮度和色 度) 在大多数情况下差别不大。如果在对视频进行数字化采样的时候并 没有利用这种现象，而是原原本本的记录了每一个像素的值，这就造 成了数据的冗余。实际上利用像素的这种相关性可以有效地减少数据 的长度。例如各种变换编码，以及帧内预测编码等都利用了像素的空 间相关性。 3 ) 信息熵冗余：把原始数据变换为由符号组成的序列，各个符号在原始数 据中出现的频率是不同的。如果在原始数据中都是用相同的二进制位 数来表示各个符号，虽然这种方法既简单又方便，但是无形中增加了 总体数据的长度。霍夫曼( h u f f m a ) 编码和算术编码等变长码编码方 法，根据各个符号出现的频率，用较少的二进制位数表示出现频率高 的符号，用较多的位数表示出现频率低的符号，可以有效地减少数据 的总长度。 4 ) 重要性冗余：对一幅图像或者一段视频序列，人眼对其不同部分的关注 程度是不一样的。一般地，人眼对亮度信息比较敏感，色度信息次之： 复旦大学硕士学位论文 图像的中心部分比边缘部分重要，运动的部分比静止的部分重要。如 果不考虑各个部分的重要程度，分配同样多的位数，就会产生重要性 冗余。 除了上述冗余，视频信息中还存在结构冗余、知识冗余、视觉冗余等。视 频压缩的目的就是要去除这些冗余以减少视频信息的比特数。目前各种视频压缩 标准中，一般使用离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，简称“d c t ”) 、 小波变换( w a v e l e tt r a n s f o r m ，简称“盯”) 、整数变换( i n t e g e rt r a n s f o r m ) ， 帧间预测和运动补偿( t i o nc o e p e n s a t i o n ，简称“眦”) ，以及变换后的各种 量化方案来去除时间冗余、空间冗余和重要性冗余；使用霍夫曼编码或基于上下 文算术编码( c o n t e x t - b a s e da r i t h i n e r i ce n c e d i n g ，简称“c a e ”) 来去除信息 熵冗余。至于知识冗余和结构冗余处理起来比较复杂，目前技术还不太成熟。 值得一提的是，目前的压缩技术并不能完全去除视频信息中的冗余，而且 为了提高容错性，有时还会故意保留一些冗余。这些未被去除的冗余，特别是空 间冗余和时间冗余为解码端的差错掩藏提供了必要的条件。 1 3 视频压缩的一般过程 视频编码的主要目的是在保证一定重现质量的前提下，以尽量少的比特来 表征视频信息。一般视频压缩都包括帧间预测和图像压缩两个方面。帧间预测包 括运动估计和运动补偿，用于去除时间冗余；而图像压缩过程具体的包括以下几 个步骤：变换编码、量化、熵编码等，用于去除空间冗余和信息熵冗余等。 1 3 1 视频的采样和表示 现实生活中的影像( v i s u a is c e n e ) 在空间和时间上都是连续的。为了用数 字的形式去表示和处理这些影像，必须对它进行空问和时间的采样。空间采样， 一般地是指在一个图像平面中，取若干个采样点( 又称像素) ，每个采样点以数 字的形式记录了图像在该处的亮度、颜色信息。时间采样，一般是指在固定的时 间间隔中，采样取得一系列“静止”的图像( 帧) ，每一帧表征了影像在该时刻 的形态。图1 1 是空间采样和时间采样的示意图。 对于黑白的影像，每个采样点，即像素只需用一个数值表示该位置的亮度 信息，数值越大，亮度越大。如果用n 位( b i t ) 信息来表示像素值，那么当像 复旦大学硕士学位论文 素值为0 时表示全黑，( 2 1 ) 表示全白；而其他数值就表示不同的灰度。对于 普通的应用，每个像素值一般用8 bit 来表示。 现实影像 空间采样时阐采样 图1 1 影像的空间采样和时间 对于彩色图像，每个像素需要用多个数值来表示，以记录不同的颜色。当 前主要有两种颜色的表示方法，分别是r g b ( r e d g r e e n b i u e ) 和 y c r c b ( i m u l i n a n c e r e dc h r o m i n a n c e b i m ec h r o m i n a n c e ) 。在r g b 中。每个像素 需要用3 个数值去表征，这3 个数值分别代表了红、绿、蓝三种基本颜色的分量。 因为每种基本颜色都用8 b i t 去表示，因此一个像素值共需要3 8 = 2 4b l t 。 但是r g b 并不是一个最有效的颜色表示方式。因为人眼系统对颜色的敏感度不及 亮度，然而在r g b 中并没有体现该特性，亮度信息分布在三种基本颜色分量中。 因此，需要引入y c r c b 。它把亮度信息和色度信息区分开来了。y c r c b 中也分成 三个分量，分别为y ：c r ：c b ，其中y 是亮度信息，c r ，c b 是色度信息。y c r c b 与 r g b 之间的关系可以由式1 1 定义： 由于人眼对c r ，c b 不太敏感，因此可以降低c r ，c b 的分辨率。现在有三 种比较常用的采样比例，分别为4 ：4 ：4 ，4 ：2 ：2 和4 ：2 0 。如图1 2 所示，在 4 ：4 ：4 格式中，y ，c r ，c b 的分辨率是一样的，保留了全部c r 、c b 分量；在4 ：2 ：2 瓣 茹一 复旦大学硕士学位论文 格式中，c r 、c b 在垂直方向上与y 的分辨率一致，在水平方向上是y 分辨率的 一半；而4 ：2 ：0 是使用最广泛的格式，c r 、c b 在垂直和水平方向上均是y 分辨 率的一半。 铷鳓簿 镭镭镭镭 汹埯滔滔 汹嫱汹汹 童撕i qv 缉o 汹 锚o 铸 褥0 嫱 嗡鳓 ：鐾曩 彩伪 铀。冷 o 汹汹o 0o t 牲 图l - 2三种采样比例的y c 疋b 1 3 。2 视频编码模式 在视频序列中，不同的帧可以有不同的视频编码模式。以m p e g 4 为例， 它可以有三种编码模式： 1 ) 帧内编码：不进行帧间预测，直接进行图像压缩，称为i 帧( i n t r af r a m e ) 。 由于i 帧没有去除时问冗余，压缩效率不高。但是为了满足一定的视 频质量和随机访问的要求，每隔若干帧要有一个i 帧( 例如每隔5 0 帧 插入一个i 帧) 。另外，当预测的效果很差时，比如发生场景转换时， 也需要采用帧内模式编码。 前向预测：利用前帧进行预测，然后再对图像残差进行图像压缩，称 为p 帧( p r e d i c t e df r a m e ) 。p 帧利用它前面的一个i 帧或者p 帧进行 预测，由于参考的帧数少，而且相隔较远( 一般是前面的第三帧或者第 四帧，中间隔着两个或三个b 帧) ，因此压缩效率也不是很高，在保持 与i 帧的质量差不多的情况下，压缩比一般能达到l 帧的2 5 倍至3 倍。 3 ) 双向预测：利用前帧和后帧进行预测，然后再对图像残差进行图像压 缩，称为b 帧( b i d i r e c t i o n a lp r e d i c t e df r a m e ) 。b 帧利用它前面和后面 的各一个i 帧或p 帧进行预测，由于参考帧多并且时间间隔短，因此 压缩效率最高。在保持同等质量的情况下，一般能够达到p 帧压缩比 复旦大学硕士学位论文 的2 倍至3 倍。 b 帧一般是不被用来作为预测帧的，i 帧、p 帧、b 帧的参考关系如图l - 3 所示。图中的箭头表示参考关系。 图1 3l 帧p 帧b 帧的参考关系 1 3 3 图像压缩编码 无论是i 帧、p 帧、b 帧都需要用到图像的压缩编码，它们的区别是i 帧是 直接对当前帧进行图像压缩，而在处理p 帧和b 帧时，则是对当前帧与参考帧的 残差进行图像压缩编码。图像压缩编码一般包括图1 - 4 所示几部分： 压 压罗 至卜臣，七圈 毳 流 图1 4 图像压缩编码示意图 基于块的正交变换： 变换编码的基本思想是：由于数字图像像素在空间存在高度相关性，因此可 以进行某种变换来消除这种相关性，这种变换通常是对像素进行另一种描述，或 变换到另一种空间中，变换编码实际上去除的是图像的空间相关性。即把信号由 空间域变换到变换域中，用变换系数来描述。这些变换系数之间的相关性明显下 降，并且能量常常集中于某些低频区域中。这样，很容易实现码率压缩，因为变 换系数在经过一定处理( 即量化) 后，大部分将为零，或很接近零。这时只须对 少数低频分量系数分配一定比特数，这就实现了变换压缩编码。目前存在很多的 变换方法，如离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，简称“i ) c t ”) 、k l 变换、d g t 变换和骱i s h 变换等，其中d c t 是使用最广泛的方法。 在d c t 中，编码端将原始图像分割成n 个子图像块( 一般足8 x 8 的图像块) ， 复旦大学硕士学位论文 每个图像块送入正交变换器做正交变换，二维d c t 变换的过程如式1 2 和式1 3 所 示。 二维d c t 的正变换： 删= 丢c c u ) c ( v ，陲删灿学c o s 鱼尝 c 如：， 二维d c t 逆变换： 舢中1 c ( v ) 粪砉v ) c 。s 竺c o s ( 2 j 丁+ 1 ) v ：一t c 灿s ， 上面两式中 c ( “) ，c ( v ) = 1 压 ( 当”，v = o ) c ( h ) ，c ( v ) ：1 ( 其他情况) d c t 是一种次最优的正交变换，与最优正交变换k l 相比，变换的压缩性能 和误差都与k l 变换接近，而d c t 变换算法复杂度适中，又具有可分离的特性， 还有快速算法等特点，所以近年来在图像数据压缩中，采用离散余弦变换的编码 方案很多，例如j p e g ，m p e g ，h 2 6 x 标准都用到了d c t 变换进行数据压缩。 量化： 经过d c t 变换后，实际上还没有获得任何的压缩，这只是换另一种方式去描 述信息而已。要实现压缩，量化是一个强有力的措施。量化的目的是去除图像中 对视觉影响较少的成分，而保留重要成分。因为量化是一个有信息丢失的不可逆 过程，而且对压缩质量和成像质量都有关键的作用，因此量化器的设计十分重要。 我们可以通过设置不同的量化步长来平衡压缩质量和成像质量。量化步长 越大，越多d c t 系数被舍去为0 ，图像的解码质量就越差，但压缩质量就越好。因 为不同的d c t 系数对图像质量的影像不一样，一般低频系数对图像质量影像最大。 通过给低频系数使用较小的量化步长，高频系数使用较大的量化步长，使得量化 后的d c t 系数仅保留左上角的低频分量。这样可以在压缩质量和图像质量间取得 一个较好的平衡。 另外，值得一提的是，调整量化步长也足一个码率控制的有效手段。如果 复旦大学硕士学位论文 传输网络出现拥塞，可以通过量化步长的设置，改变发送速率，以改善信道的拥 塞状况，当然这是以牺牲部分图像质量为代价的，需要小心控制，本文将在第五 章对此进行讨论。 熵编码： 信源中含有自然冗余度，这些冗余度既来自信源本身的相关性，又来自于 信源概率分布的不均匀性，只要找到去除相关性或改变概率分布不均匀性的手段 和方法，也就找到了信息熵编码的方法。 经过量化后的d c t 系数一般仅保留左上角的低频系数，其余高频分量都被舍 去为0 ，经过“z ”字型扫描和行程编码( r u ni e v e i ) 后，d c t 系数可由一系列 ( r u n ，l e v e l ) 对表示。这些( r u n ，l e v e l ) 对出现的概率并不相同，熵编码的处 理过程主要是对出现概率越高的符号，分配以越短的编码，反之，分配以较长的 编码，从而达到用尽可能少的编码符号表示数据源。 1 3 4 帧间预测 如前所述，相邻的帧的差别一般来说是比较小的，如果将相邻两幅图像直 接相减( 如图1 5 所示) ，将剩下比原始的图像能量小得多的残差，并且残差中各 空间单位的能量的起伏也不会太大。在这种情况下如果对残差作d c t 变换的话， o c t 系数将以较小的低频分量为主，同样高频分量也较小。随后的量化、游程编 码和熵编码后将获得很高的压缩效果。 a 当前帧b 参考帧c 残差 图1 - 5 相邻帧及其残差 复旦大学硕士学位论文 比直接使用相邻图像相减更有效的帧间预测方法是使用运动估计和运动补 偿技术。运动估计和运动补偿的基本假设是：当前帧中的像素是从参考帧中平移 而来的，图像没有变形或变形较少。这个假设在大多数情况下是成立的。运动估 计和运动补偿的基本流程是把当前帧中的每个宏块( 或块) 在参考帧中的最佳匹 配块找出来( 运动估计) ，然后求差( 运动补偿) ，最后对差值和运动向量信息进行 压缩编码。经过运动估计后，参考帧可以更好的对当前帧作出估计，这样得到的 残差就会更小。从原理上讲，在实际编码传输时，并不是传输当前帧的宏块，而 是宏块和其预测宏块的差值。如果运动估计十分有效，a 中的概率基本上分布 在零的附近，从而导致比原始宏块的能量小得多，编码传输所需的比特数也 就小，这是运动补偿技术能够去除信源中时间冗余度的本质。运动预测和运动补 偿的基本框图如图1 6 所示。 图1 6 运动估计和运动补偿 经过运动估计后，将获得当前帧的宏块与参考帧最佳匹配块之间的位移， 该位移称为运动向量( m o t i o nv e c t o r ，简称“m v l 。m v 信息与残差信息将一同 传递到解码器，解码器利用运动向量和它保存下来的参考帧信息，找到对应宏块 的预测值，然后加上接收到的差值信息，从而重建出该帧信息。然而，图l 击中 存在一个问题，编码端和解码端使用的参考帧并不一致( 一个经过压缩和解码， 另一个没有) ，这将导致“漂移”( d r i l l ) 效应，使得解码质量越来越差。解决办 法是在编码端加入一个解码器，使得两边都使用解码后的帧作为参考帧，其结构 如图1 7 所示。 复旦大学硕士学位论文 图l - 7 改进的运动估计和运动补偿 在运动估计中，如何判断参考帧的哪个宏块是最佳匹配宏块? 目前用于判 断最佳匹配的标准，用的最广泛的是绝对差值和( s u mo f a b s o l u t ed i f f e r e n c e s ，简 称“s a d ”) ，如式1 - 3 所示。最佳匹配就是使得s a d 值最小的参考帧的一个宏 块。 1 6 5 _ d = 1 日，( t ，_ ) 一旦，。，( t ，d l ( 式l 一3 ) 旦( 七，t y 当前帧中( ij ) 宏块( k ，i ) 位置像素的值； 马。一( t ，耻参考帧中( i u j v ) 宏块( k i ) 位置像素的值； ( i j ) ：宏块坐标； ( k ，i ) ：像素在宏块中的位置坐标； “，v ) ：运动向量； 搜索过程如图1 8 所示，首先在参考帧中设定一个搜索区域，称为搜索窗 口，然后在搜索窗口中以一定的搜索算法寻找备选宏块进行s a d 的计算。这里涉 及以下问题。一个是搜索窗口大小的确认，越大的搜索窗口将越有可能获得更好 的解，但对算法时问复杂度而言，搜索窗口越大其复杂度也就最高，这需要在两 者之间做出权衡。另一个是搜索算法的问题，最好的当然是全搜索，也就是对搜 索区域中的每个点都作匹配，全搜索算法可以获得在该搜索区域中的最优解，但 是全搜索算法的时间复杂度是最高的。为了提高效率，现有系统通常使用三步搜 索法( t h r e es t e ps e a r c h ，简称“t s s ”) 、对数搜索法( l o g a r i t h m i cs e a r c h ) 、 交叉搜索法( c r o s ss e a r c h ) 等快速算法”“”“。 复旦大学硕士学位论文 参考帧 图1 - 8 搜索过程 1 4 视频质量的判断标准 当前帧 视频经过不同方法的压缩和传输，其最终获得的效果是有差异的。为了对 比不同方法的优劣，需要对视频的质量进行判断。一般有主观评价”和客观评价 两种。主观评价就是通过人的主观感觉来区分图像的优劣。但是主观评价通常 不是很确定的，它常常与人的心理变化、兴趣爱好相关，所以我们还需要客观评 价来辅助。客观评价是用图像的某个确定的数值特性来衡量图像压缩后的质量， 通常使用峰值信噪比( p s n r ) 。p s n r 的定义如式1 4 所