（通信与信息系统专业论文）无线网络实时视频流业务的抗误码方法研究.pdf

摘要 随着无线承载网络性能的提高，特别是3 g 网络的普及，以实时视频流应用 为代表的各种多媒体应用将会大方光彩。最典型的应用包括可视电话、电话会 议、实时电视直播等，这些都是有非常高的q o s 要求的业务，然而无线信道是 带宽有限的有误信道。一方面由于带宽的有限性需要对原始数据流进行压缩， 而压缩后的码流采用的特殊的编码方式，对于比特错误相当敏感；另一方面又 由于无线信道由于反射和衰弱容易导致大量的随机误码和突发误码。所以如何 能够解决在无线应用环境中实现高质量的实时视频传输是一个难题。本文主要 阐述在高误码率的无线信道传输条件下如何通过纠正传输中的比特错误来提高 实时视频流业务的抗误码能力由此提高传输质量。方法的研究是以h 2 6 4 a v c 编解码标准为基础，提出了一个基于h 2 6 4 a v c 码流的整体的纠错模型。模型 中主要提出了两种纠错算法，一种是基于预测的匹配翻转算法，另一种是基于 数字水印的错误检测和恢复的方法，并建立了一个测试模型，给出了相关的测 试结果和分析。基于预测的匹配翻转算法充分利用时域上前后传输单位( 帧片) 之间头部字段的相关性，通过设置特征字段以及其预测值来确定出错范围，进 行纠错，理想情况下设置n 个特征字段最高可以纠正n + 1 个比特错误。基于数 字水印的错误检测和恢复方法是通过在编码数据中嵌入脆弱性水印，其中包括 强制转换一个a c 系数，而在解码端由水印的正确与否定位错误，并通过比特位 翻转来尝试纠正错误。 关键词：无线信道，抗误码，h 2 6 4 a v c ，错误检测，错误恢复，数字水印， 字段预测 中图分类号：t n 9 1 a b s t r a c t w i t ht h ee n h a n c e m e n to fw i r e l e s sn e t w o r kp e r f o r m a n c e ，e s p e c i a l l yt h e p o p u l a r i t y o ft h et h i r d g e n e r a t i o n w i r e l e s sn e t w o r k ，v a r i o u so fm u l t i m e d i a a p p l i c a t i o n sl e a d i n gb yt h er e a l t i m ev i d e os t r e a ms e r v i c eh a v eb e e nw i d e l yu s e d t h em o s tt y p i c a lv i d e oa p p l i c a t i o n si n c l u d ev i d e o p h o n e 、v i d e om e e t i n ga n dl i v i n g b r o a d c a s t t h e s ea p p l i c a t i o n sd e m a n dh i 曲q u a l i t yo fs e r v i c e b u tw i r e l e s sn e t w o r k i sak i n do fe r r o r p r o n et r a n s m i s s i o nc h a n n e lw i ml i m i t e db a n d w i d t h i naw a yi t s n e c e s s a r yt oc o m p r e s st h ev i d e od a t as t r e a mw h i c hi ss e n s i t i v et ob i te r r o rd u et o s p e c i a lc o d e dp a t t e r n o nt h eo t h e rh a n dw i r e l e s sc h a n n e li sp r o n et ob u r s tal o to f r a n d o me r r o r sb e c a u s eo fs i g n a le c h oa n dd e g r a d a t i o n i t sd i f f i c u l tt op r o v i d eh i g h q u a l i t yv i d e ot r a n s m i s s i o n s ot h ea i mo ft h i sp a p e ri st oo f f e r a l le r r o rc o r r e c tm o d e l w h i c hi st oc o r r e c tb i te r r o ru n d e rw i r e l e s se n v i r o n m e n tt oe n h a n c ee r r o rr e s i l i e n c e o fr e a l t i m ev i d e ot r a n s m i s s i o ni no r d e rt op r o v i d eb e t t e rt r a n s m i s s i o nq u a l i t y t h e m o d e li so nt h eb a s i so fh 2 6 4 a v cs t a n d a r d i tm a i n l yi n c l u d e st w oe r r o rc o r r e c t a r i t h m e t i c o n ei sm a t c h i n ga n db i tr e v e r s a lb a s i n go np r e d i c t i o na r i t h m e t i c t h e o t h e ri se r r o rc o r r e c t i n ga r i t h m e t i cb a s e do nd i g i t a lw a t e r m a r k a n dt h ep a p e rg i v e s r e l a t i v et e s t i n gr e s u l tt h r o u g hc o n s t r u c tat e s t i n gm o d e l m a t c h i n ga n db i tr e v e r s a l b a s e do np r e d i c t i o na r i t h m e t i cu t i l i z e st h er e l a t i v i t yb e t w e e nc o n t i n u o u st w o f r a m e s s l i c e s i tl o c a t e se r r o rp o s i t i o nb ys e t t i n gan u m b e ro ff e a t u r e ds y n t a xf i e l d s a n dp r e d i c t e dv a l u e s t h em o s tp e r f e c tr e s u l ti st h a tt h ea r i t h m e t i cc a nc o r r e c tn + l b i t se r r o rb ynf e a t u r e ds y n t a xf i e l d s t h ee r r o rc o r r e c t i n ga r i t h m e t i cb a s e do n w a t e r m a r ke m b e d sak i n do ff r a g i l ew a t e r m a r ki n t oc o d e dd a t as t r e a mi n c l u d i n ga f o r c e dt r a n s m i t t e da cc o e f f i c i e n t a n dt h ed e c o d e rl o c a t e se r r o rb yd e t e c t i n g w a t e r m a r ka n da l s ot r yr e v e r s i n gb i t st oc o r r e c te r r o r k e yw o r d s ：w i r e l e s sc h a n n e l ，e r r o rr e s i l i e n c e ，h 2 6 4 a v c ，e r r o rd e t e c t i o n ，e r r o r c o r r e c t ，d i g i t a lw a t e r m a r k ，f i e l dp r e d i c t i o n c l a s s i f i c a t i o nc o d e ：t n 9 1 2 第1 章绪论 1 1无线网络的发展 无线网络的发展经历了三代的历程：第一代模拟蜂窝系统解决了通话问题； 第二代数字蜂窝系统实现了从模拟系统到数字系统的飞跃，不但提高了通话质 量，减小了终端体积，降低了系统运营费用而且创造了短信，彩信，上网等新 业务；随着人们对实时视频流业务期待的不断提高，能够承载这些业务的3 g 网络孕育而生。第三代移动通信网络 1 3 ( 3 g ) 是从第二代移动通信网络( 2 g ) 演 化过来的，同时又拥有许多更先进的无线接入技术 3 ，不仅继承了时分多址接 入( ) m a ) 技术，还发展了一系列全新的码分多址接入( c d m a ) 技术，包 括直接序列扩频宽带c d m a 、多载波c d m a 及t d s c d m a ( 时分复用同步 c d m a ) 等。正是由于引入了具有先天技术优势的c d m a 无线接入技术，3 g 移动网络具备了高速数据传送能力。正如国际电信联盟( i t u ) 所定义的那样， 3 g 网络应具备至少1 4 4 k b i t s 的数据传送能力，根据其具体运用的传输技术， 可以实现从3 8 4 k b i t s 2 4 m b i t s 的速率甚至更高速率的数据传送。随着3 g 网 络的不断延伸及最新无线通信协议的进展和先进3 g 通信设备的研制成功，无 线运营商可以随时、随地为移动用户提供宽带数据发送及接收应用业务，这些 应用业务包括视频、视讯会议、高保真音频及互联网接入等服务。3 g 网络的标 准协议主要分为3 种：w c d m a ，t d s c d m a 和c d m a 2 0 0 0 。w c d m a 和 t d s c d m a 是由3 g p p 提出并组织维护，而c d m a 2 0 0 0 由3 g p p 2 提出并维护。 3 g 网络本身也经历了几个不同的版本过程：r 9 9 是第一个版本，它具有较高的 数据传输速率，理论上可以达到2 m ，有1 2 2 k b p s ，6 4 k b p s ，1 2 8 k b p s ，3 8 4 k b p s 等多种业务速率可选：r 4 ，r 5 版本引入了很多新的特性，值得注意的是w c d m a 在r 5 版本中引入了h s d p a ，它的下行速度已经达到1 4 4 m ；如果说r 5 是半包 交换域网络的话，r 6 版本的3 g 已经引领无线网络进入了一个新的高度一全i p 无线网络。 1 。2 无线视频流业务应用的发展 尽管在中国3 g 牌照的发放一直悬而未决，但这并不能阻碍运营商、内容提 供商、手机厂商对3 g 时代的渴望。中国联通、西伯尔科技、l g 共同在北京推 出了首个真正意义上3 g 业务一流媒体业务，此举着实让人眼前一亮，也预示 着无线多媒体应用时代的到来，其中当然离不开丰富多样的视频流业务。视频 流业务从其对网络延时的要求来分可以分为实时视频流业务和非实时视频流业 务。实时视频流业务 8 主要包含可视电话、视频会议、实时直播、v o d 等。 非实时性的视频流业务如视频下载、文件传输等。目前在我国由于第二代无线 网络的承载能力不够，上述的几种应用都尚未普及。以作为3 g 杀手级应用的 可视电话为例，它在有线网络领域的技术发展已经非常成熟，从基于h 3 2 4 的 电路域到基于h 3 2 3 的包交换域的可视电话都取得了成功，最典型的代表就是 s k y p e 。在无线网络领域，直到3 g 网络3 g 3 2 4 m 协议的诞生才翻开了无线网络 可视电话业务的篇章。3 g 3 2 4 m 协议是基于电路域网络的协议，它能够呈现很 好的业务质量，但是独占信道资源，对于有限的资源来说消耗太大，而且和整 个3 g 网络向包交换域发展的蓝图相违背。在包交换领域，s i p 协议加入r t p 和m p e g 4 册2 6 4 a v c 是业界的事实标准，但是由于目前的技术不能够呈现很 好的业务质量 1 0 ，所以应用得不够广泛。 1 3 当前的研究进展 学术界和工业界在视频传输业务的研究领域一直非常重视的有两个问题： 一个是原始的视频数据流的数据量比较大，不适合直接在实际的信道上传输， 因此要对视频数据流进行压缩，去掉原始信息中的冗余信息。另一个问题是压 缩后的码流对信道误码相当地敏感，所以必须采取有效地抗误码 2 3 措施提高 传输质量。本文主要针对第二个问题进行研究。以前对于传输过程中抗误码的 工作都是由信道编码完成，近几年来，在信源编码端从视频流的码流结构上提 高其抗误码性能成为一个研究热点，主要分为3 个方面： ( 1 ) 改进码流结构。包括从在编码策略上进行改进。例如最先进的编码标准 h 2 6 4 a v c 提出了很多针对i p 网络和无线网络恶劣环境的抗误码的方 法，其中灵活地划片方式( f m o ) ，数据分割a t ap a t i t i o n ) ，参数集设置 都是典型的代表。此外还可以在编码后的数据中嵌入额外的信息来进行 错误检测和定位，比如嵌入水印信息。还有一个方法是将信道编码的方 法应用于信源编码中来进行检错纠错。典型的如对编码后的数据进行卷 积交织，实验数据表示对这种方法对于丢包比较有效。或者进行分层的 纠错编码设计，对重要的数据进行级别较高的前向纠错编码，非重要的 数据进行级别较低的编码。 ( 2 ) 错误隐藏。解码器的错误隐藏算法是要和编码器配合设计的，是和码流 结构分不开的，越合理的码流结构能提供约好的错误隐藏方式。在这方 面的研究也有很多，比如y uc h e n 等提出的视频传输中整幅图像丢失时 的错误隐藏算法 2 4 ，b e l f i o r es 提出保存边缘和纹理的错误隐藏算法 4 2 5 等。 ( 3 )反馈协议。在容易错包和丢包的i p 交换域应用中，对于实时性不是特别 高的应用也会采用一种反馈策略，最简单的比如重传帧的选择。 1 4 作者的工作 作者在研究了当前信源信道的抗误码技术、无线应用环境的特性、无线网 络协议标准和h 2 6 4 a v c 编码标准以后，基于h 2 6 4 a v c 码流结构提出了个 纠错模型。模型主要由不增加数据冗余度的信源级错误检测和恢复方法一预测 匹配翻转纠错算法和基于数字水印的纠错算法构成。作者并根据提出的算法， 搭建了实验环境，进行模拟测试，在本文中给出了相关的测试结果及分析。 1 5 本文的组织结构 论文共分为六章。在接下来的几章中，作者将详尽的介绍提高无线网络实 时视频流业务的抗误码能力的方法和作者的工作。 第二章主要介绍了无线实时视频流业务的关键技术，包括主要的视频编解 码标准，其中详细介绍了h 2 6 4 a v c 标准，因为本文提出的所有的算法都是基 于h 2 6 4 a v c 标准，和其紧密联系的。同时也介绍了当前在视频传输研究和应 用领域主要的抗误码技术，特别是信源的抗误码技术，对其进行了分析。在章 节的最后两节介绍了无线实时视频流业务的框架和特性，以供读者对实时视频 流业务有一个整体而直观的理解，便于了解算法的应用背景。 第三章主要分析无线应用环境。首先是介绍了无线网络的概况，包括能够 承载众多多媒体应用的第三代无线网络标准以及其应用的主要多媒体协议，然 后分析了本文主要解决的问题一无线网络误码率特性，从分析中论证了本文算 法的实际应用价值。 第四章是论文的核心部分，系统地提出了一个基于h 2 6 4 a v c 的算法模型， 主要有两个创新性的算法一预测匹配翻转算法和基于数字水印的纠错算法。 第五章是对算法的实践论证，显示了部分的实验数据，并对其进行了分析。 第六章是总结和展望。总结了当前已经完成的工作，并对还待展开的研究 工作做了展望。 第2 章实时视频流业务技术分析 2 1 视频编码技术简述 2 1 。1 概述 一直以来视频编解码标准分为两个派系，一个是m p e g 系列，另一个是 h 2 6 x 系列。m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 是指运动图像专家组，它 是一个隶属于i s o i e c 的专家工作组，主要负责为数字音视频编码算法开发和 制定标准。该组织成立于1 9 8 8 年，在1 9 9 2 年制定出m p e g 1 ，也就是v c d 和 m p 3 播放器使用的标准。m p e g l 将视频数据压缩成1 - 2 m b s 的标准数据流。到 了1 9 9 4 年，该组织推出了m p e g 2 标准 3 9 ，该标准是为了获得更高的分辨率 ( 7 2 0 * 4 8 6 ) ，提供广播级视频和c d 品质的音频而产生的高质量音视频编码标准， 它的传输速率在3 1 0 m b s 之间，它也是数字电视、d v b 和高清晰的d v d 使用 的工业标准。到了1 9 9 8 年1 0 月，i s o 又公布了”超低比特率活动图像和语音压 缩标准”，也就是m p e g 4 的第一个版本，1 9 9 9 年2 月正式命名为国际标准 i s o i e c1 4 4 9 6 。m p e g 4 4 0 以其高质量低传输速率等优点已经被广泛应用到 网络多媒体、视频会议和多媒体监控等图像传输系统中。m p e g 一4 技术标准是 对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频， 术语称为”a v 对象”，而连续的a v 对象组合在一起又可以形成a v 场景。因此， m p e g 4 标准就是围绕着a v 对象的编码、组织、存储、传输和组合而制定的。 目前业内所说的m p e g 4 通常意义上是指s p ( 简级) 或者a s p ( 先进的简级) ，主 要是针对低码率的应用。尽管m p e g 4s p 和h 2 6 3 有很多相似的地方，但也有 很多细节方面的不同，比如码流结构和头信息、熵编码的部分码表。m p e g - 4 a s p 较s p 增加了一些技术，主要有：1 4 象素精度的运动估计、b 帧、全局运 动矢量( g m v ) ，因而压缩效率得以提高。 与此同时，i t u t 的视频编码专家组( v c e g ) 也一直在致力于应用于通信 业的视频压缩标准的研究，他们从1 9 9 7 年就开始制定一个新的视频编码标准并 在内部命名为h 2 6 l 。在2 0 0 1 年后期，运动图像专家组( m p e g ) 和v c e g 决 定共同成立一个联合视频组( t ) ，为i t u t 即将推荐的h 2 6 4 a v c 4 4 以及 m p e g 4 最新的部分a v c 创立一个单独的技术设计。t 成立后，技术规范、 标准文档以及软件在2 0 0 2 年i1 月已经制订下来。h 2 6 4 a v c 的主要目标就是 提高编码效率和提高网络适应性。在相同的图象质量下，h 2 6 4 a v c 的算法比 以前的标准如i t u tr e c h 2 6 3 和i s 0 i e cj t c1m p e g - 4 的码流都大为降低。 6 编解码标准的发展如图2 1 所示： 2 1 2 h 2 6 4 技术概述 图2 - l 编解码标准发展历程 2 。1 2 - 1 h 2 6 x 系列标准的发展 h 2 6 1 是最早的运动图像压缩标准，它是i t u t 为在综合业务数字n ( i s o y ) 上开展双向声像业务( 可视电话、视频会议) 而制定的，速率为p * 6 4 k b s ，其中p 为6 4 k b s 的取值范围，是1 到3 0 的可变参数，所以h 2 6 1 又称为p 6 4 。h 2 6 3 是最早用于低码率视频编码的i t u t 标准，它是在h 2 6 1 基础上发展起来的为 低于6 4 k b s 的窄带通信信道制定的视频编码标准。i t u t 在h 2 6 3 发布后又修 订发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某 方面的功能。h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流 在恶劣信道上的抗误码性能，同时为了提高增强编码效率。1 9 9 6 年制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研究：一个是短期 研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) ；另一个 是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产 生了h 2 6 l 标准草案，在压缩效率方面与先期的i t u t 视频压缩标准相比，具 有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后 i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频组 ( j v t ) ，j v t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。于是，在 i s o i e c 中该标准命名为a v c ( a d v a n c e d v i d e o c o d i n g ) ，作为m p e g 4 标准的第 1 0 个选项；在i t u t 中正式命名为h 2 6 4 a v c 标准。 2 1 2 1 1 h 2 6 1 视频编码标准 h 2 6 1 实际的编码算法类似于m p e g 算法，但不能与后者兼容。h 2 6 1 在 实时编码时比m p e g 所占用的c p u 运算量少得多，此算法为了优化带宽占用 量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动 的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编 码而非恒定质量可变码流编码。h 2 6 1 只能处理c i f 和q c i f 两种图像格式，每 帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 2 1 2 1 2 h 2 6 3 视频编码标准 h 2 6 3 比h 2 6 1 支持更多的图像格式，包括s - q c i f 、q c i f 、c i f 、4 c i f 或 者1 6 c i f 的彩色4 ：2 ：0 亚取样图像格式。h 2 6 3 与h 2 6 1 相比更是采用了半 象素精度的运动估计，并提出了4 种更为有效的压缩编码模式。 第一种是无限制的运动矢量模式。h 2 6 3 支持指向图像以外区域的运动矢 量。当某一运动矢量所指的参考宏块位于编码图像之外时，就用其边缘的图像 象素值来代替。这种模式对存在跨边界运动的图像，特别是小图像，能取得较 大的编码增益。而且，无限制的运动矢量模式允许使用更大的运动矢量，这对 摄像机运动特别有利。 第二种是使用基于句法的算术编码模式，从而代替了霍夫曼编码，这种模 式可以降低码率而不影响信噪比和重建图像质量。 第三种是更精确的预测模式。它允许一个宏块中4 个8 x 8 亮度块各对应一 个运动矢量，而两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。 在运动补偿时使用重叠的块运动补偿，8 x 8 亮度块的每个象素的补偿值由3 个 预测值加权平均得到。使用该模式可以产生显著的编码增益，特别是采用重叠 的块运动补偿，会减少块效应，提高主观质量。 第四种是p b 一帧模式，它规定一个p b 帧包含作为一个单元进行编码的两帧 图像。p b 一帧模式可在码率增加不多的情况下，使帧率加倍。 2 1 2 1 3 h 2 6 3 + 视频压缩标准 原h 2 6 3 标准限制了其应用的图像输入格式，仅允许5 种视频源格式。 h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标 准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及 宽屏图像。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 帧模式改 进了h 2 6 3 的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩 效率，而且提供重建图像的主观质量。 为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和空间分级，对在噪声 信道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、 参考帧选择模式增强了视频传输的抗误码能力。 2 1 2 1 4 h 2 6 3 + + 视频压缩标准 h 2 6 3 + + 较之h 2 6 3 + 又增加了3 个选项 4 1 ：选项u 、选项v 和选项w 。 选项u 提供增强的编码效率和信道错误再生能力( 特别是在包丢失的情形下) ， 需要设计多缓冲区用于存贮多参考帧图像。选项v 提供增强型的抗误码能力( 特 别是在传输过程中本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系 数头和运动矢量数据，采用可逆编码方式保护运动矢量。选项w 在h 2 6 3 + 的码 流中增加补充信息，保证增强型的反向兼容性，附加信息包括：指示采用的定 点i d c t 、图像信息和信息类型、任意的二进制数据、文本、重复的图像头、交 替的场指示、稀疏的参考帧识别。 2 1 。2 1 5 h 2 6 4 视频编码标准 h 2 6 4 a v c 4 3 和以前的标准一样，也是d p c m 加变换编码的混合编码模 式。但它采用”回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得 多的压缩性能；加强了对各种信道的适应能力，采用”网络友好”的结构和语法， 有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析 度以及不同传输( 存储) 场合的需求：它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 a v c 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 4 块的整数变换、分层的编码语法等。这些措 施使得h 2 6 4 a v c 算法具有很的高编码效率，在相同的重建图像质量下，能够 比h 2 6 3 节约5 0 0 左右的码率。h 2 6 4 a v c 的码流结构网络适应性强，增加了 差错恢复能力，能够很好地适应i p 和无线网络的应用。 2 1 - 2 2 h 2 6 4 基本框架 h 2 6 4 a v c 标准 4 4 分为三个框架( p r o f i l e ) ：b a s e l i n e 、m a i n 和x ，代表 了针对不同应用的算法集和技术限定。b a s e l i n e 主要规定了一些低复杂度、低 延时的技术特征，主要是针对交互式的应用，比如会议电视，可视电话，考虑 到了恶劣环境下的容错性。b a s e l i n e 的内容基本都被其它的p r o f i l e 所包括。m a i n p r o f i l e 针对更高编码效率的应用，比如s d t v ，h d t v ，d v d 等视频存储应用。 xp r o f i l e 主要针对流媒体的应用，比如视频点播，所有的容错技术和对比特流 的灵活访问及切换技术都将包括在其内。 2 1 2 2 。1 b a s e l i n ep r o f i l e 的主要技术特征 b a s e l i n e p r o f i l e 规定支队i 、p s l i c e 进行操作。对于帧间预测，宏块可以划分 成有7 种子块进行运动估计，运动估计的精度也可以达到1 4 像素，运动矢量 9 由相邻块预测得到，其预测差值被编码传输。多参考帧数最多1 5 帧。帧内编码 支持4 * 4 和1 6 1 6 两种模式，帧内预测不允许跨越片边界。系数变换采用整数 变换，量化使用5 2 级步长的量化器，量化步长以1 2 5 递增。头部信息使用单 一的变长编码表。支持f m o 、a s o 、r s 等方式。 2 1 2 。2 2 m a i np r o f i l e 的主要技术特征 m a i np r o f i l e 包含b a s e l i n ep r o f i l e 的所有特征，并有一些额外的补充，但还 是不支持f m o 、a s o 和r s 等技术，也不支持多个s l i c eg r o u p 的划分，只支持 对i 、p 、bs l i c e 的处理。m a i np r o f i l e 里提出了适配块划分尺寸的变换的概念， 就是将对预测差值进行变换编码的块尺寸与进行运动预测的块的尺寸联系起 来，尽可能利用最大的信号长度进行变换编码，但是由于复杂度的关系，进行 变换的最大块尺寸被限制在8 * 8 以下。对于熵编码部分，m a i np r o f i l e 规定使用 c a b a c 。 2 1 2 _ 3 h 2 6 4 系统结构 h 2 6 4 a v c 编码器模块图如图2 - 1 所示 图2 - 1h 2 6 4 a v c 编码器模块图 h 2 6 4 a v c 解码器模块图如图2 2 所示： 图2 - 2h 2 6 4 a v c 解码器模块图 2 1 2 4 h 2 6 4 标准的特点和应用 h 2 6 4 1 a v c 与以往的编解码标准相比较，在设计上有很多独到之处，主要 体现在： ( 1 ) 分层设计 h 2 6 4 a v c 在逻辑上将算法分为两个层次来设计。一层是v c l 层，负责视 频的编解码，包括基于块的运动补偿混合编码和一些新特性。一层是n a l 层， 负责适应不同的网络要求对v c l 层数据进行打包。包括组帧、逻辑信道的信令、 定时信息的利用或序列结束信号等。 ( 2 ) 高精度、多模式的运动估计 h 2 6 4 a v c 支持1 4 或1 8 像素精度的运动矢量。在1 4 像素精度时可使用 6 抽头滤波器来减少高频噪声，对于1 8 像素精度的运动矢量，可使用更为复杂 的8 抽头的滤波器。在进行运动估计时，编码器还可选择”增强”内插滤波器来 提高预测的效果。运动预测中，一个宏块( m b ) 可以分为7 种不同模式块尺寸 的子块分别进行运动预测。这种更为细致的划分，更切合图像中实际运动物体 的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以 包含有1 、2 、4 、8 或1 6 个运动矢量。在h 2 6 4 1 a v c 中，允许编码器使用多帧 参考。 ( 3 ) 4 * 4 的整数变换 以前的标准都是采用8 * 8 的d c t 变换，而h 2 6 4 a v c 采用整数d c t 4 * 4 变 换。h 2 6 l 中建议的整数变换实际上接近于4 x 4 的d c t 变换，整数的引入降低 了算法的复杂度，也避免了反变换的失配问题，4 x 4 的块可以减小块效应。而 h 2 6 4 a v c 的4 x 4 整数变换进一步降低了算法的复杂度，相比h 2 6 l 中建议的 整数变换，对于9 b 输入残差数据，由以前的3 2 b 降为现在的1 6 b 运算，而且整 个变换无乘法，只需加法和一些移位运算。新的变换对编码的性能几乎没有影 响，而且实际编码略好一些。 ( 4 ) 帧内预测 h 2 6 4 a v c 以前的编解码器都只有帧间预测的模式，h 2 6 4 a v c 创造性地 提出了帧内预测，可以在相邻块之间利用空域上的相关性进行预测编码。帧内 预测通过预先定义好的集合中不同方向上的邻近块推测相邻像素来预测当前 块。帧内预测有两种模式：i n t r a l 6 * 1 6 和i n t r a 4 * 4 。i n t r a l 6 * 1 6 有4 种预测方式， i n t r a 4 * 4 有9 种预测方式。 ( 5 ) 可选的v l c 编码 h 2 6 4 a v c 有两种熵编码方式，一种是u v l c ，另一种是c a b a c 。c a b a c 是可选项，其编码性能比u v l c 稍好，但计算复杂度也高。u v l c 使用一个长 度无限的码字集，设计结构非常有规则，用相同的码表可以对不同的对象进行 编码。这种方法很容易产生一个码字，而解码器也很容易地识别码字的前缀， u v l c 在发生比特错误时能快速获得重同步。 ( 6 ) 环路滤波 h 2 6 4 a v c 标准定义了一个对1 6 1 6 宏块和4 * 4 块边界的解块过滤过程。 针对宏块，过滤的目的是为了消除由于相邻宏块有不同的运动估计类型或者不 同的量化参数导致的人工痕迹。针对块，过滤的目的是为了消除可能由于变换 量化和来自于相邻块运动矢量的差别引起的人工痕迹。环路滤波通过一个内容 自适应的非线性算法修改在宏块块边界的同一边的两个像素。 ( 7 ) 针对i p 和无线应用环境设计 为了更适用无线i p 网络环境中的应用，h 2 6 4 a v c 通过采用率失真优化编 码和设置帧内预测标志，来提高帧内图像的重同步性能。 h 2 6 4 a v c 的应用范围非常广泛，由于它的分层设计可以适应不同的网络 以及高效的编码性能，可满足多种应用的需要，目前主要应用于电缆、卫星、 m o d e m 、d s t 等信道的广播，视频数据在光学或磁性设备上存储，基于i s d n 、 以太网、d s l 、无线及移动网络的公话服务、视频流服务、彩信服务等。 2 2 视频传输抗误码技术概述 无线通信系统中的抗误码方法分为两类：一类是信道级的抗误码技术，一 类是信源级的抗误码技术，其结构如图2 3 所示： 图2 3 抗误码技术的简单框架 信道级的抗误码e 6 7 3 6 9 主要是通过与内容无关的信道编码来实现。信道 编码主要包括前向纠错编码和交织编码，前向纠错编码方法有 r s ( r e e d - s o l o m o n ) 编码 4 5 、b c h ( b o s s c h a u d h u r i h o c q u e n g h e r a ) 编码、c r c 编 码和循环递归卷积码等。交织的方法有很多，最简单的就是块交织了，也是性 能最差的，性能最好的是随机交织，但是随机交织实现的复杂度较高 4 6 1 。目 前，w c d m a 的物理层对业务数据先进行一次c r c 编码，一次卷积编码，两 次交织以此来提高业务数据的抗误码能力。的确，只要经过足够多的卷积交织， 纠错编码还是能很好地提高数据流的抗误码性能，但同时信道纠错编码也增加 网 络 传 输 了数据的冗余度，浪费了数据压缩所节约的带宽。近几年来，信源级的抗误码 方法成为了研究热点。与以往尽量减少时域和空域上的冗余信息从而提高压缩 率的想法不同的是，目前研究的方向是通过保留一部分的冗余信息来增加码流 的抗误码能力。 2 2 1 信源的抗误码技术概述 信源的抗误码技术是指结合信源编码的码流结构，对其进行改善从而提高 传输系统的抗误码能力，也可以称为容错能力。信源的容错能力从容错算法实 现的地点可以分为编码器容错性、解码器容错性和反馈信道容错性。编码器容 错性就是在编码器端通过降低编码效率，增加编码复杂度来提高容错性能。编 码器端的容错算法主要包括分层编码、前向纠错编码、独立分段编码、再同步 编码和多描述编码。解码器端的容错是指利用被损坏的宏块与其相邻的宏块之 间的相关性来实现错误检测和错误恢复。错误检测一般采用针对语法的检错和 嵌入数据的检错：错误恢复采用时域和空域的错误隐藏方法。基于反馈信道的 容错是指解码器向编码器反馈接收信息的状况，而编码器根据接收到的反馈信 息调整编码及传输，主要包括：误码跟踪，有条件的a r q ，帧内帧间编码模 式选择和参考图像选择模式等。这些技术只能应用于非实时性的应用的，特别 是在无线网络中，网络延时比较大，实时性的应用是无法使用反馈容错的。 2 2 _ 2 h 2 6 4 的抗误码技术 h 2 6 4 a v c 中包含了丰富的抗误码技术 4 7 ，为压缩码流在资源有限且不 可靠的网络上实时高效的传输提供了保证。h 2 6 4 a v c 的抗误码技术可以分为 三类：一类是以往的编解码标准中已经使用的高效成熟的抗误码技术，比如参 考图像选择；一类是在h 2 6 4 a v c 中经过了改进了的抗误码技术，比如帧内编 码和数据分割；还有一类是h 2 6 4 a v c 中全新提出的抗误码技术，比如参数集 和f m o 。接下来就后面两类进行阐述。 2 2 2 1 参数集 h 2 6 4 a v c 创造性地提出了参数集概念，即把有关视频流解码的重要参数 提取出来单独组成一个传输单元。众所周知，一些关键信息的丢失比如图像的 头部信息表示的参数会严重影响图像的解码质量。h 2 6 4 a v c 把这些重要信息 隔离出来，组成参数集，在易出错的环境下保证这些参数集的正确传输，可以 很好的提高错误隔离、数据恢复和错误隐藏的质量。灵活的参数集的使用大大 增强了传输码流的抗误码能力。h 2 6 4 a v c 的参数集分为序列参数集和图像参 数集。序列参数集包括了两个i d r 图像间的所有相关图像信息。图像参数集包 括了一个图像的所有分片的所有相关信息，包括图像类型、序列号等。解码器 中同时存储着多个序列参数集和图像参数集，解码时根据头部信息选择指定的 参数集。保证参数集正确传输的方法有很多，主要包括： ( 1 ) 带外传输。也就是单独使用更可靠的传输机制在带外发送参数集，确保在 相应的v c l 和n a l 单元到达解码器端时，参数集及时可靠地传输到解码器。 ( 2 ) 与v c l n a l 共用一个信道传输。这种方式需要为参数集设置更高的保护 级别，比如通过重复发送来保证参数集的正确到达。 ( 3 ) 在编码器和解码器端采用硬件处理参数 2 2 1 2 1 2 。片，片组和f m o h 2 6 4 a v c 还提出了片，片组和f m o 的概念。片是指由宏块组成的单元。 h 2 6 4 a v c 的图像由1 6 + 1 6 的宏块表示，在此基础上h 2 6 4 a v c 将图像划分成 由几个片来组成，每个片由不定数的宏块组成。每个片中的宏块可以是按光栅 扫描顺序排列，也可以不是按光栅扫描顺序排列。不按光栅扫描顺序组片的概 念是h 2 6 4 a v c 的一个特色，称为灵活的宏块排序( f m o ) 。f m o 只适用于 b a s e l i n ep r o f i l e 和xp r o f i l e 。每个片都独立解码，当帧内编码时，片中的宏块只 能以相同片中空间相邻的宏块作为预测参考。因此，从这种意义上讲，片的设 计是提供了一个重同步的边界，防止了误码的扩散。f m o 通过宏块分配映射技 术，将宏块分配到不按扫描顺序的片中。f m o 有多种划分模式，从规则的散布 模式到完全随机的散布模式，从矩形模式到棋盘模式。f m o 的设计也提高了码 流的抗误码能力。以棋盘模式为例，所有的宏块分别被分配到了了灰色片组0 和白色片组1 ，如图2 4 所示。 图2 4 棋盘模式f m 0 当灰色片组丢失时，只要白色片组被正确地接收到，那么就能利用相邻宏 块的相关性，使用某种加权来恢复灰色片组的宏块。这种编码机制可以明显地 提高错误隐藏的效果。实验证明，在c i f 图像的视频会议中，在丢包率达1 0 时，使用f m o 后视频失真相当低，只有训练有素的眼睛才能识别。f m o 的代 d 价是降低了编码效率，因为它破坏了相邻宏块之间的预测，而且在高度优化的 环境中，有较高的时延。 2 2 2 3 数据分割 早在m p e g 一4 中就提出了数据分割的概念，这如同参数集的概念一样，也 是将重要数据提取出来进行传输，以便在恶劣环境下可以提高重要数据的保护 级别，确保它的正确到达。数据分割是一种高效的抗误码技术。h 2 6 4 a v c 中 的数据分割是把一个片中彼此语义相关的数据组织在一个独立的数据分块中， 组成一个划分，由划分来组装片。这种方式使得一个片中的宏块数据重新进行 了组合。针对不同的划分，采用不同的保护措施，以此保证恢复视频的质量。 h 2 6 4 a v c 视频编码标准使用了a 、b 、c 三种不同类型的数据分割。 ( 1 ) a 型分割 a 型分割也称为头信息分割，它包括了一个片头信息里的宏块类型、量化 参数和运动矢量，这个信息是最重要的，属于最高保护级别。 ( 2 ) b 型分割 b 型分割是帧内信息分割，它包括了帧内c b p s 和帧内系数。b 型分割需要 a 型分割有效。相对于帧间信息，帧内信息能更好地阻止漂移效应，因此它比 帧间分割更为重要。 ( 3 ) c 型分割 c 型分割是帧间信息分割，它包括帧间c b p s 和帧问系数，一般情况下它 是编码分片的最大分区。帧间分割是最不重要的，它的使用也