（计算机应用技术专业论文）基于avsm标准的差错掩盖技术研究.pdf

西南交通大学硕士研究生学位论文第l 页 摘要 多媒体通信业务是下一代互联网以及3 g 移动通信系统新业务的一个关 键点，其中最重要的视频通信已成为工业界和学术界的一个研究热点。然而 目前大多数的有线、无线通信网络均不能提供可靠的服务质量保证，视频信 息在传输过程中由于传输信道存在干扰、网络拥塞延迟等问题将不可避免地 引起丢失。基于解码器的差错掩盖既不需要修改发送端的源编码器，也不影 响信道传输码率，比其他的差错控制方法更适合于实时视频通信中的应用。 a v s 标准是信息技术先进音视频编码系列标准的简称，是我国具 备自主知识产权的第二代信源编码标准。a v s m 是a v s 的第七部分，主要 目标是满足无线移动网络、i p 网络中视频通信业务对运动图像压缩技术的需 要。因此，对a v s m 标准的差错控制技术进行研究，增强视频传输的鲁棒 性，满足各种应用对视频传输质量的要求，具有重要的现实意义。 本文详细研究了现有的基于其他标准( 尤其是h 2 6 4 ) 的各种视频差错 掩盖算法，分别将这几种算法在a v s m 上进行了实现，并对比各种算法的 掩盖效果，最终提出了适合a v s m 标准的差错掩盖方案： ( 1 ) 空域差错掩盖算法。本文实现了现有的双线性插值算法( b i ) 、方 向插值算法( d i ) 、基于内容自适应空域差错掩盖算法( c a s e c ) 和改进的 内容自适应空域差错掩盖算法( r c a ) 。通过分析各种算法的优缺点，并选 取不同的标准视频序列进行实验对比，提出了适合a v s m 标准的空域掩盖 算法。 ( 2 ) 时域差错掩盖算法。本文分析并实现了时域差错掩盖中的零运动向 量掩盖( t r ) 、边界匹配( s m a ) 、边框匹配( b m a ) 和两步多权值边框匹 配( t m b m a ) 算法。实验结果表明，与其它算法相比，t m b m a 算法取得 了最佳的掩盖效果。 ( 3 ) 空域和时域掩盖算法确定后，本文根据a v s m 标准i 帧和p 帧出 错后的具体情况，设计了时空域综合差错掩盖方案i s e c ，进一步改善了视频 解码质量。 关键词：视频通信；a v s m ；差错控制；差错掩盖；两步多权值边框匹配 西南交通大学硕士研究生学位论文第1 i 页 a b s tr a c t m u l t i m e d i ac o m m u n i c a t i o ns e r v i c ei st h ec o r et e c h n o l o g yo fn e x tg e n e r a t i o n i n t e r n e ta n d3 gm o b i l ec o m m u n i c a t i o ns y s t e m ，a m o n gt h e m ，t h em o s ti m p o r t a n t v i d e oc o m m u n i c a t i o nh a sb e c o m eo n eo ft h er e s e a r c hf o c u si ni n d u s t r ya n d a c a d e m e d u et ot h ei n t e r f e r e n c ci nt r a n s m i s s i o nc h a n n e l ，n e t w o r kc o n g e s t i o n a n dd e l a y , m o s to ft h ew i r e da n dw i r e l e s sn e t w o r k sc o u l d n te n s u r et og e tt h e q u a l i t y o fs e r v i c e ( q o s ) a t p r e s e n t ，a n d t h el o s so f v i d e od a t a d u r i n g t r a n s m i s s i o ni si n e v i t a b l e e r r o rc o n c e a l m e n tb a s e do nd e c o d e rn e i t h e rn e e d st o m o d i f yt h es o u r c ee n c o d e ra tt h ec o d e rt e r m i n a l ，n o ri n f l u e n c e st r a n s m i s s i o nr a t e c o m p a r e dw i t h o t h e re r r o rr e s i l i e n tm e t h o d s ，i ti sm o r es u i t a b l ef o rt h e a p p l i c a t i o no fr e a l t i m ev i d e oc o m m u n i c a t i o n t h e r e f o r e ，t h er e s e a r c ho ne r r o r r e s i l i e n ta n de r r o rc o n c e a l m e n tt e c h n o l o g yh a sb e c o m ep a r t i c u l a r l yi m p o r t a n ti n t h ev i d e oc o m m u n i c a t i o ns y s t e m a v ss t a n d a r di ss h o r tf o ri n f o r m a t i o nt e c h n o l o g ya d v a n c e da u d i oa n d v i d e oc o d i n gs t a n d a r d s ，a n di ti st h es e c o n dg e n e r a t i o ns o u r c ec o d i n gs t a n d a r d t h a tb e l o n g st oo u rc o u n t r y si n d e p e n d e n ti n t e l l e c t u a lp r o p e r t y a v s mi st h e s e v e n t hp a r to ft h ea v ss t a n d a r d ，w h i c hi so r i e n t e dt os a t i s f yt h en e e do f c o m p r e s s i o nt e c h n o l o g y o fm o v i n gi m a g e s ，a n di ti s a p p l i e d i nv i d e o c o m m u n i c a t i o ns e r v i c eo fw i r e l e s sm o b i l en e t w o r ka n di pn e t w o r k c o n s e q u e n t l y , t h er e s e a r c ho ne r r o rc o n c e a l m e n tt e c h n o l o g yh a sp r a c t i c a ls i g n i f i c a n c e ，w h i c h c a ne n h a n c et h er o b u s t n e s so f v i d e ot r a n s m i s s i o n ，a n dm e e tt h en e e do f t r a n s m i s s i o nq u a l i t yi na l lk i n d so fa p p l i c a t i o n s t h ee x i s t i n gv i d e oe r r o rc o n c e a l m e n ta l g o r i t h m s ( e s p e c i a l l yf o rh 2 6 4 a v c ) a r cm a i n l yd i s c u s s e di n t h i st h e s i sa n dh a v eb e e ni m p l e m e n t e do nt h ea v s m p l a t f o r m c o m p a r i n g w i t ht h ee x p e r i m e n tr e s u l t s ，t h eo p t i m a le r r o rc o n c e a l m e n t s c h e m ei sp r o p o s e df o ra v s ma sf o l l o w s ： ( 1 ) s p a t i a le r r o rc o n c e a l m e n ta l g o r i t h m t h e s ee x i s t i n ge r r o rc o n c e a l m e n t t e c h n o l o g i e s h a v eb e e n i m p l e m e n t e d i nt h i s t h e s i s ，i n c l u d i n g b i l i n e a r i n t e r p o l a t i o na l g o r i t h m ( b 1 ) ，d i r e c t i o n a li n t e r p o l a t i o na l g o r i t h m ( d 1 ) ，c o n t e n t a d a p t i v es p a t i a le r r o rc o n c e a l m e n t ( c a s e c ) ，r e f i n e dc o n t e n t a d a p t i v es p a t i a l e r r o rc o n c e a l m e n t ( r c a ) b yc o m p a r i n ga n de v a l u a t i n gt h e s ea l g o r i t h m sw i t h 西南交通大学硕士研究生学位论文第1 ii 页 d i f f e r e n ts t a n d a r dv i d e os e q u e n c e s ，s p a t i a le r r o rc o n c e a l m e n ta l g o r i t h mt h a ti s s u i t a b l ef o ra v s ms t a n d a r di sp u tf o r w a r di nt h ee n do ft h i sp a r t ( 2 ) t e m p o r a l e r r o rc o n c e a l m e n t a l g o r i t h m t h i sp a p e r i n t r o d u c e st h e r e a l i z a t i o nm e t h o d so ft h e s e a l g o r i t h m s ，i n c l u d i n g z e r om o t i o nv e c t o r a l g o r i t h m ( t r ) ，s i d em a t c h i n ga l g o r i t h m ( s m a ) ，b o u n d a r ym a t c h i n ga l g o r i t h m ( b m a ) a n dt w os t e pm u l t i - w e i g h t e db o u n d a r ym a t c h i n ga l g o r i t h m ( t m b m a ) c o m p a r e dw i t ho t h e ra l g o r i t h m s ，i ti sp r o v e db yt m b m a s i m u l a t i o nr e s u l tt h a t s a t i s f a c t o r yc o n c e a l m e n tp e r f o r m a n c ec a nb ea c h i e v e d ( 3 ) b a s e do nt h es t u d yo ft h el a s tt w oc h a p t e r s ，t h i sp a p e rd e s i g n sa no p t i m a l e r r o rc o n c e a l m e n ts c h e m ec a l l e di s e c ( i n t e g r a t e ds p a t i o t e m p o r a le r r o rc o n c e a l m e n ta p p r o a c h ) f o ra v s - ms t a n d a r d i ti sa c c o r d i n gt oac e r t a i nc i r c u m s t a n c e w h e ni n t r aif r a m eo ri n t e rpf r a m ei sl o s t ，a n dh a sf u r t h e ri m p r o v e dt h eq u a l i t yo f t h ev i d e od e c o d e r k e yw o r d s ：v i d e oc o m m u n i c a t i o n ；a v s m ；e r r o rc o n t r o l ；e r r o rc o n c e a l m e n t ； t m b m a 西南交通大学、曲南父逋大字、 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文复印件和电 子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密百，适用本授权书 ( 请在以上方框内打“ ) 学文论文作者签名：慷1 压扭 日期：p 罗年箩月p 日 指导教师签名：弋八八考 日期：毖年f 月6 日 西南交通大学曲南父逋大罕 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集 体，均已在文中做了明确的说明。本人完全意识到本声明的法律结果由本人 承担。 本学位论文的主要创新点如下： ( 1 ) 本文在a v s m 的参考模型w m 3 3 7 上实现了现有的各种空域差错 掩盖算法：双线性插值算法( b i ) 、方向插值算法( d i ) 、基于内容自适应空 域差错掩盖算法( c a s e c ) 和改进的内容自适应空域差错掩盖算法( r c a ) 。 通过分析各种算法的优缺点，并选取不同的标准视频序列进行实验对比，提 出了适合a v s m 标准的空域掩盖算法。 ( 2 ) 本文在a v s m 的参考模型w m 3 3 7 上实现了时域差错掩盖中的零 运动向量掩盖( t r ) 、边界匹配( s m a ) 、边框匹配( b m a ) 以及两步多权 值边框匹配( t m b m a ) 算法。实验结果表明，与其它算法相比，t m b m a 算法取得了最佳的掩盖效果。 ( 3 ) 空域和时域掩盖算法确定后，本文根据a v s m 标准i 帧和p 帧出 错后的具体情况，设计了时空域综合差错掩盖方案i s e c 作为a v s m 的最终 掩盖方案，进一步提高了视频主观质量。 学位论文作者签名：塬油船l 日期：5 年罗月f 矽日 西南交通大学硕士研究生学位论文 1 1 引言 第1 章绪论 多媒体技术，是将文本、图形、图像、动画、视频和声音等形式的信息 结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式 操作的信息技术。随着多媒体技术、集成电路技术以及网络技术的高速发展， 人们对视频编码技术及其在网络中的应用越来越感兴趣。在过去的十几年里， 视频压缩技术发展迅猛，应用到了各个领域，如可视电话、商务视频会议、 v c d d v d 、高清晰电视h d t v 、数字影院、视频监控、交互式视频游戏等 等其他相关领域。新的应用仍在继续出现，i p t v 、手机电视等新生的多媒体 服务开始逐渐兴起。但由于受传输信道带宽和存储容量的限制，多媒体技术 的各项应用都离不开高效的视频压缩算法。视频压缩编码技术已成为国内外 数字通信的研究热点。 1 1 1 视频编码的必要性与可行性 原始数字视频数据量非常庞大( 如表1 - 1 所示) ，在实际应用中对视频的 存储和传输都造成了很大的困难，成为阻碍人类有效的获取和使用信息的瓶 颈问题之一，因此将数字视频信号进行有效的压缩编码是非常必要的。 表1 - 1 信源信号原始数据速率 电话( 2 0 0 - 3 4 0 0 h z )8 0 0 0 样本数秒1 2 比特样本= 9 6 k b p s 音频( 2 0 2 0 0 0 h z ) 4 4 j 0 0 样本数秒1 6 比特样本2 信道= 1 4 1 2 m b p s 图像5 1 2 5 1 2 像素图像x 2 4 比特像素= 6 3 m i ：i ：特图像 视频 6 4 0 4 8 0 像素图像2 4 比特像素3 0 帧秒= 2 2 1 m b p s 高清晰电视1 2 8 0 7 2 0 像素图像2 4 1 ：匕特像素6 0 帧秒= 1 3 g b p s 视频信号可以压缩的主要根据是原始视频数据当中存在大量的冗余。所 以减少视频信息中存在的相关性而保留相互独立的信息分量就成为视频压缩 的核心思想。 西南交通大学硕士研究生学位论文第2 页 视频序列中包含以下几类冗余：心理视觉冗余、空间冗余、时间冗余和 编码符号冗余，其中后三种属于统计冗余。 心理视觉冗余。是指原始数据中包含了一些人们感觉不到的信息。这主 要是由人类视觉系统特性决定的。因为人眼对于视频序列中的亮度信息比较 敏感，而对色度信息的感知不敏感。因此在不影响人眼视觉观察效果的前提 下，视频信号在采样过程中可以通过降低色度信号的采样频率( 下采样) 的 方法来减少色度分量的数据量。 空间冗余。在数字视频序列中，同一帧图像的邻近像素的值( 亮度和色度) 在大多数情况下差别不大。利用像素的这种相关性可以有效地减少数据的长 度。例如游程编碉j ( ( r u nl e n g t hc o d i n g ) ，各种变换编码，以及帧内预测编码等 都利用了像素的空间相关性。 时间冗余。视频序列是由连续的图像组成的，采样的帧速率一般为2 5 或 3 0 帧每秒。在这么短的时间间隔内，图像的内容变化一般是不大的。在一帧 的时间间隔内，人们测得：对于变化较为剧烈的彩色电视图像序列，亮度信 号( 2 5 6 级) 帧问差值超过6 的像素数平均只有7 5 ，而色度信号平均只有 0 7 5 。因此相邻两帧图像的像素之间有较强的相关性。在原始数据中完整 地记录了每一帧图像的每一个像素的值，这就造成了数据的冗余。一般采用 帧间预测加运动补偿的方法去除数据中的时间冗余。 l 图1 - 1 视频序列中存在的时间和i 空间相关性 信息熵冗余。又称为编码冗余。把原始数据看作由符号组成的序列，各 个符号在原始数中出现的频率是不同的。在原始数据中都是用相同的2 - 进制 西南交通大学硕士研究生学位论文第3 页 位数来表示各个符号，无形中增加了总体数据的长度。采用熵编码的方法， 根据各个符号出现的频率，用较少的二进制位数表示出现频率高的符号，用 较多的位数表示出现频率低的符号，可以有效地减少数据的总长度，去除信 息熵冗余。 1 1 2 视频编码标准的发展 数字电视和消费电子等高技术产业群蓬勃发展，在广播数字化、网络宽 带化、通讯无线化、存储高密化的大趋势下，多媒体技术正在进入流媒体的 高速发展阶段。视频编码技术的标准化是实现产业化的前提和基础。目前在 从事视频压缩标准制定方面贡献最突出、影响力最大的国际组织主要有国际 标准化组织i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 和国际电信联盟i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t g r o u p ) 。二十世纪九十年代以来，i s o i e c 和i t u t 根据不同的应用需要， 采用相似的压缩编码技术分别制定了m p e g x 和h 2 6 x 系列视频压缩标准。 这些标准和建议的制定极大地推动了视频通信技术的实用化和产业化。其中， 玎u t 针对视频通信领域的一些应用( 如可视会议，视频电话等) ，分别制定 了h 2 6 1 、h 2 6 2 、h 2 6 3 a i 2 6 3 午h 2 6 3 + + 、h 2 6 l h 2 6 4 ；i s o i e c 主要针对 视频存储领域( 如v c d d v d 等) ，相继制定了m p e g 1 、m p e g 2 、 m p e g 4 ( p a r t2 ) 。上述几个国际视频压缩标准尽管应用领域不同，但基本上 都采用的是基于块的混合视频编码技术。两大国际组织在发展各自的视频压 缩标准的同时也注重合作，曾于1 9 9 2 年联合推出的m p e g 2 h 2 6 2 是现在应 用得最广泛的国际视频压缩标准。在h 2 6 4 的制定过程中，i s o i e cm p e g 也积极加入并与i t u tv c e g 再次联手推出了h 2 6 4 a v c n q l ，并将其作为 m p e g 4 的第1 0 部分。图1 3 描述了这些视频压缩标准的发展历程。 西南交通大学硕士研究生学位论文第4 页 图圆二圈：! 回臣三日 国。e 工卫 图1 3 视频编码标准的发展过程 2 0 0 3 年，由数字音视频编解码技术标准工作组( a u d i ov i d e oc o d i n g s t a n d a r dw o r k g r o u po fc h i n a ，简称a v s 工作组) 提出的我国拥有自主知识产 权的信息技术一先进音视频编码标准( a 、，s ) h 卅正式出台，标志着我国 在视频编码领域也迈出了关键一步。2 0 0 6 年2 月2 2 日，国家标准化管理委 员会颁布通知：信息技术先进音视频编码第二部分视频于2 0 0 6 年3 月1 日起开始实施。a v s m 标准口1 是信息技术先进音视频编码第7 部分：移动视 频，主要目标是满足无线移动网络、i p 网络中视频通信业务对运动图像压 缩技术的需要。2 0 0 6 年4 月2 4 日，a v s 工作组提交了标准送审稿，已经进 入标准审核程序。针对移动设备要求信源标准复杂度低、能耗低，a v s 移动 视频标准所设计的技术方案简洁，主要内容先进、合理，在实现复杂性有明 显降低的情况下，编码性能与国际最新标准基本相当。关于a v s m 编码标 准的一些具体内容将在本论文第二章中分别进行介绍。 1 1 3 视频质量的评价 编码压缩后的视频图像质量是人们在视频压缩方面比较关注的一项重要 性能指标。如何客观地度量视频编码失真，并且使客观度量结果和人的视觉 感受一致，是视频处理的一个重要问题。目前，视频质量评价方法主要有主 观质量评价和客观质量评价两种。 西南交通大学硕士研究生学位论文第5 页 1 1 3 1 主观质量评价 主观评价方法是由评价者直接对一段视频进行观察，从感觉上去度量其 失真度，给出质量评价级别，对所有评价者给出的分数进行加权平均，所得 结果即为主观评价结果。这种评价结果必然符合人的视觉感受。但人的主观 感受不能用数学模型对其进行描述，无法直接用于视频压缩编码过程中的质 量评价与控制；另外，主观评价容易受到个体因素的影响，如年龄、性格、 教育程度、背景以及评价时的心情等。 1 1 3 2 客观质量评价 主观质量评价以人的视觉观察为出发点，整个评判符合人的视觉心理特 性。但在实际的操作中为了得到可信的评价结果需要耗费大量的人力、物力、 财力以及时间，因此用主观质量评价方法来衡量常规的视频编解码系统常常 是很困难的。于是在实际的视频编解码应用中定义一个能测量原始视频与编 解码重建后的视频之间差别的客观准则是非常重要的。理想情况下，这种测 量的结果应该能准确反映两个视频序列之间视觉感觉上的差异。然而，实际 中找到这样。中方法是一项非常困难的工作。在视频质量的客观评价准则发 展过程中，人们提出了一些简单且能用某些算法实现的视频质量客观评价准 则【2 8 矧，如均方误差m s e 和峰值信噪比p s n r ( p e a ks i g n a lt on o i s er a t i o ) 。 在这些评价准则中，视频质量的度量完全取决于输入和输出视频的亮度分量 和色度分量，不涉及任何在质量评定过程中人为的主观因素。m s e 的定义为： 脚。赤善驴( f ，沪c ( f ，析( 1 - 1 ) 其中，和日分别为图像的宽度和高度；s 和c 分别代表原始图像及解码重 建后的图像在点“j ) 处的亮度或色度值。峰值信噪比p s n r 的定义为： p s n r 枷，篆 ( 1 - 2 ) 由上式可以看出：对于固定的峰值，p s n r 完全由m s e 的值决定。但由于在 实际的应用中人们更倾向于将图像质量与某种p s n r 范围相联系，因此相对 西南交通大学硕士研究生学位论文第6 页 于m s e 而言以分贝( d b ) 为单位的p s n r 更经常用于视频质量的客观评价中。 主观视频质量评价更接近于人的真实视觉感受，但不便于在实际中广泛 应用。客观视频质量评价方法虽然不是特别适合人的视觉感受，但能反映出 大体上的质量情况且便于实际应用。实际应用中，一般采用计算p s n r 值的 方法对视频质量进行评价。 本论文中使用式( 1 2 ) 的p s n r 作为客观视频质量的评价标准，在每个实 验结果中都分别给出了p s n r 对比和主观图像对比，通过这些数据来判别各 种掩盖算法性能的优劣。 1 2 国内外研究现状 1 2 1 视频差错控制技术 随着视频压缩技术的发展，国内外学者针对不同的视频压缩标准，先后 提出了一系列差错控制算法。这些差错控制技术可归纳为四类： ( 1 ) 传输层差错控制，包括信道编码、打包复用和传输协议； ( 2 ) 信源编码端差错控制：r v l c 哺1 ( r e v e r s i b l ev a r i a b l e l e n g t hc o d e ) 编 码，宏块模式选择睁1 ，限制区域预测n 羽，多描述编 i 马( m u l t i p l ed e s c r i p t i o n c o d i n g ，m d c ) n 3 1 钔，多假设预测编码n 5 删； ( 3 ) 解码端差错控制，包括差错检测，空域、频域、时域差错掩盖n 钉等； ( 4 ) 编码器和解码器交互式差错控制：自适应编码参数调整n 8 1 、差错跟踪 ( e r r o rt r a c k i n g ，e t ) n 钔和参考帧选择( r e f e r e n c ep i c t u r es e l e c t i o n ，r p s ) 陋2 2 3 等技术。 对于实时视频通信，即便大量使用差错控制技术，视频传输差错也不可 避免。此时必须通过差错检测确定受损宏块，并进行差错掩盖。差错掩盖利 用视频图像在空域、时域和频域的冗余信息尽可能地“恢复”原始图像，改善 主观视觉效果。差错掩盖是一种解码端对受损图像进行恢复的技术，即后处 理技术，它不占用额外的传输带宽也不增加系统时延。 差错掩盖以视频像素和运动场平滑特性为依据，使用空域( s p a t i a l ) 、时 域( t e m p o r a l ) 和频域( f r e q u e n c y ) 的连续性或平滑性准则，通过像素和运动向量 西南交通大学硕士研究生学位论文第7 页 插值等技术恢复受损图像n7 1 。当视频序列有场景切换和物体突然出现等情况 时，空域和频域的掩盖技术通常比时域掩盖技术更有效，其它情况下一般时 域掩盖更有效。根据图像特性和差错情况，选择合适的掩盖算法很重要。 1 2 2a v s m 标准差错控制技术 针对a v s m 标准的差错控制技术的研究到目前还很少。a v s m 标准仅 仅采用了几种最简单的增强抗误码能力的编码技术：i d r 图像；片独立编码； 多参数集乜引。中山大学的陈笔乜钔使用不同的量化参数对每幅图像进行多次编 码，再根据解码器接收到的码流情况采用适当的量化参数解码。杨猛口副等根 据3 g p p 规范和相关协议，设计实现了针对a v s m 码流的负载包、重传包和 六种不同的r t c p 包，包括引入的f b 包，建立了一个包传输和控制系统。 在立即反馈的基础上提出了一种基于分层重传的差错控制机制。随着a v s m 标准应用的不断推广和成熟，国内研究者将会进一步深入研究，还会有一些 更好的差错控制算法提出。 1 3 本文的主要研究内容与结构安排 a v s m 标准对于我国数字音视频产业的发展，特别是移动多媒体产业的 发展有重要的推动意义。a v s m 在不久的将来即将成为国家标准，对于 a v s m 的研究更显得尤为重要。差错恢复技术方面，a v s m 在解码器端尚 未采取有效的差错掩盖技术，仅仅在编码器端采用了片独立编码、多参数集 等简单的差错控制技术，这对于移动视频来说显然是远远不够的。本文详细 研究了现有的基于其他标准( 尤其是h 2 6 4 ) 的各种视频差错掩盖算法，分 别将这几种算法在a v s m 上进行了实现，并对比各种算法的掩盖效果，最 终提出了适合a v s m 标准的空域掩盖算法和时域掩盖算法。全文共分六章。 第一章绪论部分叙述了课题研究的背景和意义，介绍了相关国内外研究 现状。 第二章简单回顾了视频编码标准的发展历程，对我国最新的a v s m 标 准的技术特点作了详细介绍。 西南交通大学硕士研究生学位论文第8 页 第三章主要介绍了i 帧出错时的各种空域掩盖算法，分别在a v s m 上进 行实现，通过实验分析，为a v s m 选用了改进的空域自适应差错掩盖算法。 第四章主要介绍了p 帧出错时的各种时域掩盖算法，分别在a v s m 上 进行实现，通过实验分析，采用了两步多权值边框匹配算法。 第五章设计了时空域综合差错掩盖方案作为a v s m 的最终掩盖方案。 第六章是全文总结，并对下一步工作提出展望。 西南交通大学硕士研究生学位论文第9 页 第2 章a v s - m 视频编码标准 a v s 工作组成立于2 0 0 2 年6 月，旨在制定一个具有中国自主知识产权 的，有更高编码效率和性能的适用于数字电视、视频存储以及视频网络传输 。等不同码率应用的视频标准。a v s 标准订3 是信息技术先进音视频编码系 列标准的简称，是基于我国创新技术和国际上部分公开技术研究制定的，是 我国具备自主知识产权的第二代信源编码标准。a v s m 是其中的第七部分一 信息技术先进音视频编码第七部分：移动视频。 2 1a v s - m 发展和现状 在2 0 0 4 年第一季度a v s 工作组启动了a v s m 的制定。2 0 0 4 年1 2 月公 布了a v s mf c d 文档和f c d 参考软件。2 0 0 6 年4 月2 4 日，全国信息技术 标准化技术委员会在北京组织召开了a v s m 国家标准送审稿审定会。与会 专家听取了报告，认真审阅了标准及编制说明( 送审稿) ，并观看了系统演示， 经充分讨论后形成如下评审意见： 1 、音视频信源编码标准是数字音视频产业的基础标准。本标准面向移动 多媒体应用，对新一代移动多媒体通信、数字多媒体广播、便携式视听消费 电子产品等产业的发展具有重要意义。 2 、针对移动设备要求信源标准复杂度低、能耗低，所设计的技术方案简 洁，主要内容先进、合理，在实现复杂性有明显降低的情况下，编码性能与 国际最新标准基本相当，标准方案整体达到国际先进水平。 3 、该项标准主要由国内九家单位和两家跨国企业提出的5 2 项技术提案 所构成，在制定过程中深入分析调查了本领域国际、国内的相关专利，提出 了一批自主专利技术，使我国掌握了标准的技术主动权和产业发展的主动权。 审定委员会一致认为，a v s 移动视频标准技术先进，已经在试验系统中 得到应用验证，同意报批。 2 2a v s - m 标准概述 西南交通大学硕士研究生学位论文第10 页 a v s m 视频的主要特点是应用目标明确，技术具有针对性。它是一个面向 新一代移动通信的视频编码标准，为了适应数字存储媒体、网络流媒体、多媒 体通信等应用中对运动图像压缩技术的需要而制定的。可应用于交互存储媒 体、宽带视频业务、多媒体邮件、分组网络的多媒体业务( m s p n ，m u l t i m e d i a s e r v i c e so np a c k e tn e t w o r k s ) ，实时通信业务( 视频会议，可视电话等) 、远程视 频监控等。根据需求文档规定，在相同的条件下，a v s m 的编码效率不低于现 有的标准m 2 6 4 a v cb a s e l i n ep r o f i l e ) f l 向编码效率，计算复杂度与现有的标准 m 2 6 4 a v cb a s e l i n ep r o f i l e ) 的计算复杂度相当。 2 2 1a v s m 视频结构 a v s m 支持4 ：2 ：0 格式的图像。一幅图像是一帧，帧由二个样本矩阵构 成，样本矩阵元素的值为整数，包括一个亮度样本矩阵c y ) 和两个色度样本 矩阵( c b 和c 0 。在4 ：2 ：0 这种图像格式中，c b 和c r 矩阵水平和垂直方向的 尺寸都只有y 矩阵的一半。亮度和色度样本位置如图2 - 1 所示。图中“o ”代表 亮度样本，“”表示色度样本。 oo ooo o oooooo ooooo o oooooo 图2 1 亮度和色度样本位置 a v s m 标准中定义了两种图像：帧内编码图像i 帧，和前向帧间编码图 像p 帧。p 帧最多可参考前向的两帧。运动矢量所指的参考像素可超出参考 图像的边界，在这种情况下对超出参考图像边界的整数样本应使用距离该整 数参考样本所指位置最近的图像内的整数样本进行边界扩展。对亮度样本矩 阵，参考块的像素在水平和垂直方向均不应超出参考图像边界外1 6 个像素。 对色度样本矩阵，参考块的像素在水平和垂直方向均不应超出参考图像边界 外8 个像素。 图像可以分成若干条带( s l i c e ) ，如图2 2 ，条带是按光栅扫描顺序连续 西南交通大学硕士研究生学位论文第11 页 的若干宏块，条带内和条带之间的宏块不应重叠，条带内宏块解码处理不应 使用本图像其它条带的数据。 a c e f g i j 图2 - 2 条带结构 a v s m 标准中，每帧图像划分为1 6 1 6 的宏块，宏块左上角的点不应超 出图像边界。一个宏块包括4 个8 x 8 亮度块( y ) 和2 个8 x 8 色度块( 1 个c b ， 1 个c r ) 。如图2 - 3 所示，图中数字为宏块中8 8 块的顺序号，宏块中的各个 8 x 8 块在比特流中出现的顺序由图2 3 中的数字规定。 田田i s yc b c r 图2 - 3 宏块结构划分为8 8 块 以4 4 块为处理单位，一个宏块包括1 6 个4 4 亮度块( y ) 和8 个4 4 色 度块( 4 个c b ，4 个c r ) 。如图2 - 4 所示，图中数字为宏块中4 4 块顺序号， 各个4 4 块在比特流中出现的顺序由此数字规定。 豳圈圈 yc b c r 图2 4 宏块结构划分为4x4 块 西南交通大学硕士研究生学位论文第12 页 2 2 2a v s - m 视频编码框架 和其他视频标准相同，a v s m 采用的也是基于宏块的混合编码框架汹1 ： 通过帧内帧问预测和运动补偿来消除视频序列中的时空域冗余，经过变换编 码消除频域冗余，因此，基本的功能模块，例如预测、变换、量化、熵编码 都没有发生根本的变化。编码器首先将输入的图像分割成宏块，然后利用空 间预测与时间预测去除相关的冗余信息。通过将原始图像块与预测图像块进 行相减，得到预测残差。接着对预测残差进行频域变换得到变换系数并量化。 最后利用熵编码进行二进制编码，最大限度地去除量化后数据间的符号冗余。 图2 5 是a v s m 编码器结构，其中阴影部分为编码器内嵌的解码器。 图2 5a 、，s m 编码器框图 2 3a v s - m 标准关键技术 2 3 1 帧内预测 帧内预测是指利用当前帧中已经编码宏块的信息对当前编码宏块进行预 测的一种方式。一帧图像中，通常相邻像素点很接近，有很强的相关性。为 了提高编码效率，当前像素值可以用前面已知的相邻像素来预测，然后对实 西南交通大学硕士研究生学位论文第13 页 际值和预测值的差值编码。a v s m 的帧内预测用图像内相邻块的像素预测当 前块，并且采用了代表空域纹理方向的多种预测模式。根据亮度和色度信号 的不同，a v s m 的帧内预测又分为亮度分量和色度分量帧内预测两类。对于 亮度分量，帧内预测又有i n t r a 和两种模式。用较_4x4i n t r ad i r e c ti n t r a4 x 4 小的块进行预测，有9 种预测模式，见表2 1 和图2 6 ，可以很好地反应出图 像的细节，适用于纹理比较复杂的图像区域，提高图像质量。i n t r ad i r e c t 采 用了宏块单位进行预测，适用于纹理变化平坦的区域，维持图像质量的同时， 降低了编码的复杂度。 表2 - 14 x 4 亮度块帧内预测模式 i n t r a l n m a p r e d m o d e名称 0 i n t r al u m a _ d o w n l e f t 1 i n t r a _ l u m 氆j e r t i e a l _ l e f t 2i n t r al t m av e r ti c a l 3 i n t r a l u m a _ v e r t i c a lr i g h t 4 i n t r a _ l u m a _ d o w n _ r i g h t 5i n t r al u m a _ h o r i z o n t a l d o w n 6 i n t r a l u m a h o r i z o n t a l 7 i n t r a l u m a h o r i z o n t a l u p 8 n t r a _ l u m a _ d c r - - - - - 012 3 4 5678 l r 2 3 t it 4 5 i 、4 6 7 8 图2 - 64 x 4 亮度块帧内预测模式 由于人眼对色度信号不如对亮度信号敏感，故对色度信号的采样和预测 西南交通大学硕士研究生学位论文第14 页 模式均比较粗糙。色度块预测是以8 x 8 块为单位的，并且只采用了色度d c 系数预测，水平预测和垂直预测这3 种简单的预测模式，如表2 2 和图2 7 所示。 表2 - 24 x 4 色度块帧内预测模式 i n t r a c h r o m a p r e d m o d e 名称 o i n t r a _ c h r o m a _ d c l i n t r a _ c h r o m a _ h o r i z o n t a l 2 i n t r a _ c h r o m a _ v e r t i c a l 2 3 2 帧间预测 r - - - - - 0 12 345678 l 2 3 4 5 6 7 8 图2 - 64 x 4 色度块帧内预测模式 帧间运动估计( m e ) 和运动补偿( m c ) 一直是运动图像压缩编码中的关键 技术，以往的视频标准均采用此方法来减小图像时域相关性，从而达到压缩 的目的。h 2 6 4 j a v c 继承了这些经验，并在此基础上提出了更为精细的运动 预测技术。a v s m 借鉴了h 2 6 4 a v c 的运动预测技术，如基于不同大小宏 块的运动预测，预测精度对亮度达1 4 像素( 对色度1 8 像素) 的运动预测，多 参考帧( 最多可参考前向2 帧) 的图像预测以及运动矢量预测技术等，以下就 对这些技术作一个简单的分析。 西南交通大学硕士研究生学位论文第15 页 2 3 2 1 宏块划分模式 在以往的视频编码标准中，帧间预测过程中块尺寸的大小均是固定的， 如1 6 x 1 6 和8 x 8 。为了能在帧间预测时做到更精确的匹配，a v s m 定义了7 种块划分模式，如图2 7 所示。多种块划分模式使得帧间预测时块与块之间 的匹配更加准确，从而减小预测误差、提高