（信号与信息处理专业论文）avsm视频解码器的实现及移动设备模拟器仿真.pdf

摘要 中国移动视频a v s m ( a v s 第七部分) 标准是为适应数字存储媒体，网络 流媒体，多媒体通信等应用制定的。其目的是为迅速发展的无线网络与手机等 移动设备提供音视频编解码、系统、版权保护和文件格式等方面的规范和标准， 这个文档首先描述在手机等移动设备上提供多媒体业务的典型应用，并根据这 些应用的需要描述其具体的技术需求。针对网络带宽和网络波动的影响，以及 不断增强的终端处理能力，需要制定一种只需低码率传输而能达到流媒体要求 的标准，而且要求选择一种编解码速率足够快的高压缩率编解码器，a v s m 即 是组织专门为移动多媒体设计的具有上述特点的编解码标准。 移动嵌入式w i n d o w sm o b i l e 操作系统是借以实现“移动梦想 的利器。 w i n d o w sm o b i l e 与微软的w i n d o w s 操作系统很相似，拥有与w i n d o w s 操作系 统同样强大的功能，同时拥有相似的操作方式。使用这一平台，用户可以在个 人移动设备上使用p c 平台上的w o r d 、e x c e l 和o u t l o o k 等软件。 本文首先对a v s m 标准中采用的技术进行详细的介绍，设计和实现了具有 最小模块化功能的a v s m 视频解码器。此外本文阐述了基于移动多媒体的嵌入 式操作系统w i n d o w sm o b i l e ，基于此操作系统将视频解码器a v s m 在p c 机上 进行了解码图像的模拟，并进行了一定的测试。第三部分针对标准a v s m 编码 器w m 3 3 a 低码率传输的特点提出了运动补偿和运动估计算法优化。 经实验测试，本文开发完善的解码器比a v s m 参考解码器w m 3 3 a 解码速 度快2 4 倍，实现了c i f ( 3 5 2 2 8 8 像素) 实时解码；将本文开发的视频解码器移 植到移动设备模拟器并经过优化后，实现了图像以q v g a 的大小在模拟器上正 确解码显示，为今后a v s m 在移动视频上的进一步广泛应用打下了基础。 关键词：a v s m 解码器仿真显示 a b s t r a c t a v s mi st h ep a r t7o fa v s i ti sd e v e l o p e dt ob ea d a p t e dt ot h em o v i n g m u l t i m e d i av i d e o ，n e t w o r km e e t i n ga n dm o b i l e t h ep u r p o s ei st op r o v i d e c r i t e r i o no ns y s t e m , c o p y - p r o t e c t i o na n dv i d e oc o d e cw i t ht h ea d v e n to fm u l t i m e d i a t e c h n i q u e i nt h eb e g i n n i n gt h i sp a p e rd e s c r i b e ss o m et y p i c a la p p l i c a t i o n o n m u l t i m e d i ap r o v i d e db ym o b i l e a c c o r d i n gt ot h ed e m a n do ft h ea p p l i c a t i o n ，i ta l s o n e e d ss o m ep r o f e s s i o n a ld e m a n d so nt e c h n o l o g y i n f l u e n c e db yt h eb a n d w i d t ha n d f l u c t u a t eo ft h en e t ，ah i 【曲p e r f o r m a n c eo fv i d e oc o m p r e s s i o ns h o u l db ec h o s e nt o g u a r a n t e et h a tt h em u l t i m e d i af l o wc 锄b ep a s s e dv i at h en e t w o r k ，a n dt h es p e e do f t h ec o d e cs h o u l db ef a s te n o u g h ，s ot h ek e yo ft h em u l t i m e d i ai st oc h o o s ea ne f f i c i e n t c o d e c a v s - mi st h em o s ta p p r o p r i a t ev i d e oc o m p r e s s i o ne n c o d e r d e c o d e r m o v i n gb u i l t - i no p e r a t i n gs y s t e mo fw i n d o w sm o b i l ei st h es h a r pw e a p o nt h a t l e tt h e ”m o v i n gd r e a m ”c o m et r u e w i n d o w sm o b i l eh a st h es a m es 仃o n gf u n c t i o na n d o p e r a t i o ni n t e r f a c ea st h ew i n d o w so p e r a t i n gs y s t e m s op e o p l ew h o u s et h em o v i n g e q u i p m e n tw h i c hi sb a s e do nw i n d o w sm o b i l ew i l lf e e lr a t h e rf a m i l i a r , n o th a r dt o a c c e p t 1 1 1 ea p p l i c a t i o ni n c l u d e sa l lt h a tt h es a n l ei nw i n d o w s ，s u c ha sw o r d , e x c e l ， o u t l o o ke r e n l em a i nt a s ko ft h i sp a p e ri st oi n t r o d u c es o m et e c h n o l o g y , a n a l y z et h e s h o r t c o m i n go ft h er e f e r e n c es o f t w a r e ，d e s i g nt h ed e c o d e rs o f t w a r eo fa v s - m ，a n d o p t i m i z ei t a n o t h e rp a r to ft h i sp a p e ri st oi n t r o d u c ea ne m b e d d e do p e r a t i n gs y s t e m b a s e do nm o v i n gm u l t i m e d i a , a n dt od oa ne m u l a t i o ne x p e r i m e n tu s i n gt h es o f t w a r e o fd e c o d e ra v s - mi nt h eb a c k g r o u n do ft h ea b o v ee m b e d d e do p e r a t i n gs y s t e m i nt h e e n dt h i sp a p e rd o e ss o m et e s ta b o u tt h ee x p e r i m e n t a f t e rt e s t t h es p e e do ft h ed e c o d e rt h a ti sd e v e l o p e di s2 - - 4f a s t e rt h a nt h e s t a n d a r dd e c o d e rw m 3 3 a , t h ep i c t u r e so fc i f ( 3 5 2 2 8 8 ) c a nb er e a lt i m ed e c o d e d t h ee x p e r i m e n tc a na l s oc o m p l e t ed i s p l a y i n go ft h ev i d e ot h r o u g ht h ew i n d o w s m o b i l eo p e r a t i n gs y s t e mc o r r e c t l y i ti sr a t h e ru s e f u lt oa v s - mt om o r ed e 印l y r e s e a r c ho nm o b i l em u l t i m e d i af i e l d k e yw o r d s ：a v s - md e c o d e re m u l a t e d i s p l a y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞洼太堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：莉函有签字日期：唧年二月罗日 学位论文版权使用授权书 本学位论文作者完全了解云洼太堂有关保留、使用学位论文的规定。 特授权丞洼太堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 割晚青 签字日期： 刁年占月罗日 00k 、0 艺 导师签名委罕 签字日期：夕哆年莎月厂口日 第一章绪论 第一章绪论 1 1 当前视频编解码标准发展概述 计算机网络技术、数字电视技术和通信技术的日益成熟，极大地推动了多 媒体产业的兴起。多媒体不再局限于文本、语音和图片，形成了以影像、动画、 图形、声音等技术为核心，以数字化媒介为载体，涉及视频会议、可视电话、 电子商务和广播电视等多个领域的产业集合。 i t u t 与i s o i e c 是制定视频编码标准的两大组织，分别制定了m p e g x 和 h 2 6 x 两大系列标准 1 】。i t u t 的标准包括h 2 6 1 、h 2 6 3 1 2 、h 2 6 4 1 3 ，主要应 用于实时视频通信领域，如会议电视等。m p e g 系列标准是由i s o i e c 制定的， 主要应用于视频存储( d v d ) 、广播电视、因特网或无线网上的流媒体等。两个组 织也共同制定了一些标准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而h 2 6 4 标准则被纳入m p e g - 4 的第l o 部分。本文按照视频编码标准的发展过程，介绍 h 2 6 1 、h 2 6 3 、m p e g 2 及h 2 6 4 等各视频压缩标准。 1 h 2 6 1 视频压缩编码标准 h 2 6 1 标准是r r u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视 电话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、 块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码 的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固 定速率的信道相适配的速率控制等部分。 2 h 2 6 3 视频压缩编码标准 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，是i t u t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准，随后出现的第二版h 2 6 3 + 及h 2 6 3 + + 增 加了许多选项，使其具有更广泛的适用性。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 帧模式改进 了h 2 6 3 的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率， 而且提供了重建图像的主观质量。 第一章绪论 为适应网络传输，f i 2 6 3 + 增加了时间分级、信噪比和空间分级，对在噪声 信道和存在大量包丢失的网络中传送视频信号很有意义。另外，片结构模式、 参考帧选择模式增强了视频传输的抗误码能力。 之后的h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶 劣信道上的抗误码性能，同时也为了提高增强编码效率。 3 m p e g 2 视频压缩编码标准 m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互 操作的可能性。m p e g - 2 标准是针对标准数字电视和高清晰度电视在各种应用下 的压缩方案和系统层的详细规定，编码码率从3 m b p s 到1 0 0m b p s 。在m p e g 2 标准中，运动矢量的精度为半像素，在编码运算中区分“帧”和“场 的概念， 引入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级 性等。m p e g 1 和m p e g 2 的成功为广播和家庭娱乐带来了v c d 、数字电视以 及d v d 的革命。 4 m p e g - 4 1 4 视频压缩编码标准 m p e g _ 4 早期是针对甚低码率( 6 4 k b s 以下) 网络带宽而提出，对视频图像 采用了基于内容的编码，引入了视频对象v o ( v i d e oo b j e c t ) 的概念，需要进 行编码的v o 可以是任意形状区域。但m p e g - 4 有些档次的算法过于复杂，以 目前的硬件水平，很难达到实用。m p e g - - 4 的一个特点是更适于交互a v 服务以 及远程监控，这是第一个使用户由被动变为主动( 不再只是观看，允许用户加入 其中，即有交互性) 的动态图像标准。它的另一个特点是其综合性，从根源上说， m p e g - 4 试图将视觉效果意义上的自然物体与人造物体相溶合，所以它的设计目 标还有更广的适应性和可扩展性。m p e g - 4 不仅是针对一定比特率下的视频、音 频编码，而且更加注重多媒体系统的交互性和灵活性。它具有高效编码、高效 存储与传播及可交互操作的特性。在m p e g 4 中a v o 有着重要的地位，因为 m p e g _ 4 采用a v o 来表示听觉、视觉或者视听组合内容，允许组合已有的a v o 来生成复合的a v o ，由此生成a v 场景，并采用s n h c 的方法来组织这些a v o 。 对于a v o 的数据还能灵活地多路合成与同步，以便选择合适的网络来传输这些 a v o 数据，并允许接收端的用户在a v 场景中对a v o 进行交互操作。 但是，由于图像分割技术的止步不前在很大程度上阻碍了m p e g - 4 的应用。 m p e g _ 4 的核心思想是基于任意形状对象的编码，这种技术是建立在可以实时进 行基于内容的图像分割基础之上的。而在近年的研究中，图像分割技术无法得 到有效地改进，使得基于对象的编码方式成为了空中楼阁，根本无法得到实际 应用。在最新的视频压缩标准h 2 6 4 中，已经放弃了基于对象的编码方式。在学 术界，目前对于基于对象的编码方式的应用前景普遍持比较悲观的态度。有一 第一章绪论 部分人认为m p e g - 4 的思想过于超前，也许会在未来五到十年都得到应用；也 有一些人认为图像分割的技术很难有突破性的进展，基于对象的编码方式根本 就是一种不恰当的思想。 5 h 2 6 4 视频压缩编码标准 h 2 6 4 标准的推出，是视频编码标准的一次重要进步，采用了当前视频编码 的新技术，它与现有的m p e g 2 、m p e g - 4 及h 2 6 3 相比，具有明显的优越性， 特别是在编码效率上的提高，使之能用于许多新的领域。2 0 0 3 年3 月，标准的 最终草案公布，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r t1 0 。与以前的视频编码 标准不同，h 2 6 4 不仅含有一个规定视频编码算法的视频编码层( v c l ) ，还包 括一个规定网络传输规范的网络抽象层( n a l ) 。h 2 6 4 的视频编码层采取的 编码框架仍然是传统的混合编码框架，h 2 6 4 编码效率的提高也不是其中某一种 新的编码技术所产生的决定性的结果，而是多种新技术所产生的细微的效果积 累而致。这些新技术包括：多种新的帧内预测方法、可变尺寸块的运动补偿技 术、多参考帧的运动补偿技术、4 4 整数变换技术、基于上下文的二进制算术 编码技术以及新的环路滤波技术。与先前的标准相比较，h 2 6 4 的应用前景更为 广泛，它允许在因特网中以1 m b i t s 的速率传送电视质量的视频信号，可以使 8 m h z 的模拟带宽中容纳两倍于m p e g 2 编码的数字电视频道，使无线视频通 信成为可能，h 2 6 4 对传统的数字媒体存储技术也将产生巨大的影响。 6 a v s i 副压缩编码标准 a v s ( a d v m a c e dc o d i n go f a u d i oa n dv i d e o ) 标准，是我国制定的具有自主知识 产权的音视频编解码标准，作为第二代信源编码标准，其压缩效率为m p g e 2 的2 3 倍，m p e g - 4 的1 5 倍，和h 2 6 4 压缩效率相当，而算法的复杂度有所降 低，具有良好的产业化前景和应用。其中制定的a v s 标准的第二部分( 视频) 已经被国家标准化管理委员会正式批准为国家标准，第一部分( 系统) 和面向 新一代移动通信的视频编码标准( 简称a v s m ) 已完成草案最终稿( f c d ) 。第 七部分a v s - m 是专门为移动音视频制定的编码标准，目前已处于公示阶段，采 用了一系列新技术：帧内帧间预测方法、可变尺寸块的运动补偿技术、多参考 帧的运动补偿技术、4 x 4 整数变换技术、基于上下文的二进制算术编码技术以 及新的环路滤波技术等。在降低了运算复杂度的同时并没有影响到图像的分辨 率，因此在移动视频领域具有很广阔的发展前景。 第一章绪论 1 2 移动流媒体技术发展综述 流媒体【6 】简单的说就是利用互联网来传递并能被用户一边下载一边观看的 活动媒体信息。流媒体技术一般都有三个方面的表现，分别是编码器( 编码技 术) 、播放器( 播放支持) 和流服务器，三者缺一不可。仅仅具有其中- n 两 个要素是不能被称为流媒体技术的。 互联网的迅猛发展为流媒体业务发展提供了强大的市场动力，流媒体技术 发展至今，已经得到了广泛的应用，如视频点播、网络直播、在线直播、远程 教育、音视频监控、视频回忆等。 从市场需求上看，对移动运营商而言，流媒体的应用将使移动数据通信与 因特网更好地结合，优化网络的数据传输能力和多媒体能力，向用户提供更多 高速、高质量的移动多媒体通信业务，从而能够吸引更多的客户，增加收入。 对内容提供商而言，流媒体的应用使能够应用于移动通信领域的多媒体内 容的范围极大扩展，内容提供商将和运营商一起合作，将以前能想到却不能做 到的移动多媒体业务投入真正的商用。此外，流媒体文件不在客户端驻留，文 件处理和播放完随即被清除的特点，为内容提供商提供了天然的版权保护。 对移动用户而言，流媒体能够实时播放音视频和多媒体内容，也可对其进 行点播，具有交互性。这一特点与移动通信固有的移动性相结合，使移动用户 能够随时、随地获得或点播实时的多媒体信息，大大增强了移动多媒体业务的 灵活性。此外，流媒体启动播放的延时非常短，使用户能够即时收看收听。而 且流媒体应用于移动通信领域，使移动多媒体业务的种类和内容极大的丰富。 所有这些，都将更好地满足用户的需求。 可以预见，在未来几年，伴随着各种移动多媒体业务的出现，流媒体技术 将在移动通信中获得广泛的应用，最终发展成为移动多媒体业务的主流。 移动流媒体的性能需求包括：编码效率、实现复杂度、延迟、可分级性、 容错能力和安全性与内容保护，其中实现复杂度与容错能力是移动流媒体应用 中重要的两个需求。 1 3a v s m 解码器的可用性和进行p c 模拟的可行性 a v s ( a d v a n c e dc o d i n go f a u d i oa n dv i d e o ) 是信息技术先进音视频编码技 术的简称，是我国具有自主知识产权的第二代信源编码标准。a v s 标准包括系 第一章绪论 统、音频、视频、数字版权保护等四个技术标准。这些技术标准将服务于高分 辨率数字广播，高密度数字存储媒体，无线宽带多媒体业务，网络流媒体等重 大信息产业应用。众所周知，包括数字电视在内的数字音视频产业广泛采用的 标准是m p e g 标准。 由于带宽和移动设备功能上的限制，在传统移动通信网络中无法传输优质 的多媒体内容。但随着2 5 g 、3 g 等高速移动通信技术的逐渐成熟，同时手机、 p d a 等移动通信设备的不断完善，移动通信网已不仅能够提供传统的话音业务， 还能提供高速率的宽带视频业务，支持高质量的话音、分组数据业务以及实时 视频传输。3 g 开创了无线通信与互联网、视频融合的新时代，由此产生的无线 视频和无线i p 业务也必将成为未来无线移动通信业务新的增长点，真正使移动 用户享受无线掌上未来。 手持设备计算和存储能力弱、工作时间有限，因此要求终端编码效率应尽 可能高，即在相似条件下，流媒体标准的编码效率应不低于已有的标准( 如h 2 6 4 视频编码标准) 。以下是几个特性要求： 1 计算复杂度编解码器中使用的技术复杂度不能太高，而且应该便于 硬件实现。至少应该保证现有的移动设备的处理能力可实现q c i f 分辨率、4 ：2 ：0 格式视频流的实时解码。 2 存储复杂度编解码器对于存储空间的要求不能大于目前常用移动设 备的存储容量( 如5 1 2 k 字节) ，b 帧图像、多参考帧技术对存储空间的要求较 高，因此不采用。 3 延迟流媒体系统的延迟包括连接建立延迟、算法延迟、缓冲延迟以 及控制响应等延迟，本流媒体标准讨论的延迟只包括与编解码器相关的算法延 迟和缓冲延迟，这两部分的延迟最大不应超过0 5 秒。 移动设备通常都具有体积小、重量轻的特点，因此其计算和存储能力也相 对较弱，另外因为采用电池供电，所以移动设备的工作时间不可能太长，针对 网络带宽和网络波动的影响，组织制定的只需低码率传输而能达到流媒体要求 的标准a v s m ，a v s m 是a v s 第七部分，目的是为迅速发展的2 5 g 3 g 无线 网络与手机等移动设备提供音视频编解码、系统、版权保护和文件格式等方面 的规范和标准。它是一种高压缩率编解码系统，用来保证输出媒体流能够有效 通过承载网络，为用户带来更新更好的视觉和听觉感受。因此选择a v s m 作为 流媒体终端技术的解码器是非常有实用价值和研究意义的【7 1 。 另外实现移动设备终端的视频显示，接收数字节目对用户来说也是相当具 有吸引力的一个发展方向，用户可以通过移动手持设备访问流媒体数据和接收 数字广播内容，如数字电视节目。在流媒体技术中，对进行移动设备的模拟仿 第一章绪论 真实验是非常有必要的，虽然和实际的硬件平台还有一定的差距，但是可以通 过模拟进一步检测其终端图像解码显示的实现情况，以缩短硬件开发时间，为 硬件上的进一步开发奠定基础。 由以上分析可见，a v s m 应用于移动通信领域是可行的，进行p c 模拟仿 真是很有意义的，而且市场发展也很有前景。 1 4 本论文的安排 第一章：介绍了编解码标准的发展历史，并简要介绍了a v s m 与其它标准 相比的优越性，以及进行p c 模拟仿真实验的可行性和实用性。 第二章：简要介绍了a v s m 标准，分析其各个模块所采用的新型的视频编 码技术。 第三章：介绍了a v s m 软件的结构设计和功能实现。 第四章：简要介绍了嵌入式操作系统以及解码器实现模拟仿真的技术和相 关的软件优化。 第五章：介绍对于a v s m 标准编码器运动算法估计的优化。 第六章：总结和展望。 第二章a v s m 视频标准技术 第二章a v s m 视频标准技术 2 1a v s m 标准描述【8 】 a v s - m 标准在技术上，使用统一的v l c ( v a r i a b l el e n g t hc o d i n g ) 符号编 码、高精度、多模式的位移估计、基于4 x 4 块的整数变换、分层的编码语法等。 这些措施使得a v s m 算法具有很高的编码效率，在相同的重建图像质量下，能 够比m p e g 2 节约5 0 左右的码率。a v s m 的码流结构网络适应性强，增加了 差错恢复能力，能够很好地适应i p 和无线网络的应用。 2 1 1a v s m 标准的码流封装 a v s m 从结构来讲划分为序列层、图像层、条带层、宏块层、和块层。为 了适应于不同网络中的视频传输，以及增强其网络亲和性和抗误码能力，将码 流封装成网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 单元。一个网络抽象层 单元流包含一些系列按解码顺序排列的网络抽象层序列，每个网络抽象层单元 前包含起始码前缀，有起始码字0 x 0 0 0 0 0 1 。 编码视频序列是比特流的最高层语法结构。编码视频序列由一个i d r ( i n s t a n t e o u sd e c o d i n gr e f r e s h ) 图像开始，后面跟着零个或多个非i d r 图像，直 到但不包含下一个i d r 图像或直到比特流结尾。a v s m 码流n a l 单元封装格式 如表2 1 所示： 表2 1 码流封装格式 n a l u n i tt y p e n a l 单元语法内容 l非i d r 的图像头解码图像头数据语法元素 2 i d r 的图像头帧内解码图像头数据 3 条带s l i c e 条带头和条带数据语法元素 4 序列参数集零个或多个编码视频序列的语法元素 5图像参数集零个或多个编码图像的语法元素 6 辅助增强信息s e i 净增的语法和语义 7随机访问点指示规定比特流中能进行随机访问的点指示 8 2 3 保留用于将来对标准的扩展 第二章a v s - m 视频标准技术 2 1 2a v s m 图像格式及其划分类型 一幅图像表示为一帧。帧由三个样本矩阵构成，包括一个亮度样本矩阵( 和两个色度样本矩阵( c b 和c r ) 。本标准支持4 ：2 ：0 的连续视频格式的编码和解 码，c b 和c r 矩阵的水平和垂直方向尺寸都只有y 矩阵的一半。 本标准定义了两种解码图像：帧内解码图像( i 帧) 和前向帧间解码图像( p 帧) 。 为了提高预测精度，a v s m 编码器从一组前面己编码图像中选出一个或两 个与当前最匹配的图像作为帧间编码的参考图像。这样一来虽然复杂度大为增 加，但多次比较的结果，可使匹配后的预测精度显著改进。本标准中受处理图 像的大d , ( q c i f 和c i v ) 限制，每帧图像使用的参考图像数最大为2 帧，从而在 不会太大影响主观质量的基础上，大大降低了预测运算量，减少了运算开支。 一帧图像可以划分为若干条带，条带的划分很宽泛，可以包括一行或多行 宏块，也可以包含若干宏块，如图2 1 。某条带内宏块的解码处理不能使用本图 像其它条带的数据。 ab c d e fgh i 图2 - 1 条带结构 一帧图像又可以按宏块进行划分，每个宏块又可以划分为各种类型的子宏 块。每个1 6 x 1 6 宏块可被分为1 6 x 1 6 、1 6 x 8 、8 x 1 6 以及8 x 8 的块，而每个8 x 8 的块还可被细分为8 x 8 、8 x 4 、4 x 8 和4 x 4 的分量块。如图2 2 所示： 第二章a v s - m 视频标准技术 1 个1 6 x 1 6 亮度块2 个1 6 x 8 亮度块2 个8 x 1 6 亮度块4 个8 x 8 亮度块 和相应的色度块和相应的色度块和相应的色度块和相应的色度块 口日田田 1 个8 x 8 亮度块 2 f 8 x 4 亮度块2 个4 x 8 亮度块4 - 卜4 x 4 亮度块 和相应的色度块 和相应的色度块和相应的色度块和相应的色度块 口目田田 2 2a v s m 标准的技术概述 图2 2 宏块划分 a v s m 视频标准支持多种比特率、分辨率和质量的视频压缩，采用了基于 空间和时间的预测、空域的变换及基于统计的熵编码的混合编码标准，a v s m 视频标准采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧间预 测、变换、量化、和熵编码等。 2 2 1 帧内预测技术 视频压缩中采用帧内预测技术用于去除当前图像中的空间冗余度，新的编 码标准a v s m 采用了比以往编码标准更为精确和复杂的帧内预测方式。在当前 图像编码的过程中，当无法提供足够的图像之间的时间相关性信息时，往往对 当前图像采用帧内预测。帧内预测不需要参考其它图像，某些采用帧内预测编 码的图像可作为编码后序列的随机访问点。 在帧内预测中，当前编码块或宏块利用已编码并重建的上方及左方的块作 为参考来进行预测，从而使预测帧更加接近于原始帧，减少了相互间的差异， 去除空间上的数据冗余，提高了编码的压缩效率。当前宏块与其预测值的差值 将进一步编码并传输到解码器。解码器利用该比特流中用于表示预测方式相关 比特与解码出的残差信号的比特，计算出当前宏块的预测值，恢复图像宏块的 原始像素值。 当采用i n t r a4 x 4 模式时，亮度分量的每个4 x 4 块可使用9 种预测模式即8 种方向预测和一种d c 模式中的一种，图2 3 是9 种模式的示意图。像素a 、b 、 c 、h 以及i 、j 、k 、l 、m 是周围已经解码后的像素，它们都可用来计算 当前4 x 4 块中各个像素的预测值。例如，如果使用垂直方向的预测，像素a 用 第二章a v s m 视频标准技术 来预测第l 列像素，像素b 用来预测第2 列像素。同样地，在水平方向预 测时，像素i 、j 、k 、l 分别预测一行像素。在d c 预测的情况下，a 、b 、c 、 d 、i 、j 、k 、l8 个像素的平均值用来预测4 x 4 块的1 6 个像素中的每一个。依 据指定的预测方向，方向性预测使用了a h 、i m 像素的一个线性加权平均。 酽酽酽 眵f 酽 7 - 椭潍埘 f 酽酽 2 2 2 帧间预测技术 图2 - 39 种i n t r a4 x 4 预测模式 a v s m 帧间预测是利用已编码视频帧基于块的运动补偿的预测模式，是一 种树状结构运动补偿，具有如下几个显著特性： 1 块编码类型范围更广 由于帧间预测运动估计是基于块的树状运动模型，其前提假设是块内的所 有像素都作了相同方向的平移，因此一个块用一个m v 来表示这个块中所有像 素的平移，但是在运动比较剧烈或者运动物体的边缘处这一假设会与实际相差 较大，从而导致较大的预测误差，这时减小块的大小，即将块划分为更小使这 个假设依然成立。因此，小的块可以提高预测的精度。 为此，a v s - m 采用了如图2 2 所示7 种方式对一个宏块进行分割，每种方 式下块的大小和形状都不相同，这就使编码器可以根据图像的内容选择最好的 第二章a v s m 视频标准技术 预测模式。与仅使用1 6 x 1 6 块进行预测相比，使用不同大小和形状的块可以使 码率有所节省。每个分割或子宏块都有一个独立的运动矢量。 2 亚像素运动矢量的使用 帧间编码宏块的每个分割或者子宏块都是对参考图像的某一相同尺寸区域 进行预测而得到的。两者之间的差异对亮度成分采用1 4 像素精度，色度1 8 像 素精度。亚像素位置的亮度和色度像素并不存在于参考图像中，需利用邻近已 编码点进行内插得到。 首先对亮度进行二分之一样本和四分之一样本的插值，然后根据运动矢量 得到相应的参考样本。如果在插值过程中所参考的整数样本在参考图像外，应 用该图像内距离参考样本最近的整数样本( 边缘或角样本) 代替，即运动矢量能指 向参考图像外的样本。 水平二分之一样本预测值通过8 抽头滤波器f 1 ( 1 ，4 ，1 2 ，4 1 ，4 1 ，1 2 ，4 ，1 ) 计 算，垂直二分之一样本预测值通过4 抽头滤波器f 2 ( 1 ，5 ，5 ，1 ) 计算得到。 色度样本插值使用与其相对应亮度块的运动矢量m v e 来预测获得，采用的 基本单位是八分之一样本。 当使用小尺寸分割宏块时，对每个分割块的m v 的编码都需要相当数目的 比特。为减少传输比特数，可利用邻近分割较强的相关性，m v 可由邻近已编码 分割块的m v 预测得到。预测矢量m v p 基于已计算的m v 和m v d ( 预测与当前 的差异) ，并被编码和传送。m v p 则取决于运动补偿尺寸和邻近m v 的有无。 2 2 3 编码预测模式 a v s m 目前只支持帧内图像i 帧，前向帧问预测图像p 帧两种编码格式。 a v s m 标准中i 帧帧内亮度编码采用i4 x 4 帧内预测编码模式，与h 2 6 4 相比，少了i1 6 x 1 6 编码模式，简化了编码模式，在图像质量不是下降很大的情 况下，节省了对于采用何种编码模式的判断时间，提高了编码速度，提高了压 缩效率。i4 x 4 亮度预测分为9 种预测模式，色度预测分为3 种预测模式。当前 l 4 4 块的预测模式利用左边块和上边块的预测模式值索引查表求出。宏块的每 一个8 x 8 的色度块中所有4 x 4 色度块的预测模式都相同。 p 帧编码模式，采用的是树状结构的帧问运动补偿和亮度四分之一像素运动 向量估计。有ps k i p ，p1 6 x 1 6 ，p1 6 x 8 ，p8 x 1 6 ，p8 x 8 ，i4 x 4 等多种编码 模式。p s k i p 模式适用于图像静止的部分或者匀速运动部分。用ps k i p 模式 编码的宏块只有预测m v ，其残差值为0 ，在码流中只有游程值，因此减少了码 字，提高了编码效率。p 帧每一个块和次级块要有其运动矢量描述。对其运动矢 第二章a v s m 视频标准技术 量采用指数编码，并且所选块信息要在码流中编码，选择大的块意味着用少量 比特数据描述运动矢量和块的类型。但是图像的残差信息较大。选择较小的次 级块，会在运动补偿后产生少量的编码。选择大的块，适合图像均匀的区域， 选择较小的次级块适合图像的细节区域。 设当前解码亮度块为e ，相邻4 x 4 亮度块a ，b ，c ，d 与亮度块e 之间的 空间位置如下图2 - 4 所示。 图2 4 亮度块e 和相邻亮度块的空间位置关系 e 的大小可以是1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 。a 是与e 的 左下角样本紧邻的块，b 和d 是与e 的左上角样本紧邻的块，c 是与e 的右上 角样本紧邻的块。图中a ，b ，c ，d 的原始运动矢量为m v a ，m v b ，m v c ， m v d ，块e 的m v p 可以按照如下规则来获得： 1 通过相邻块的可用性和预测模式来判断出相邻块的m v 和运动索引值； 2 根据块e 的划分类型结合1 的判断求出m v p 的值。 其中块“不可用 指该块不存在，或者尚未解码，或者与当前块e 没有同 一预测方向的运动矢量，否则该块“可用 。 2 2 4 变换与量化 为了迸一步节省图像传输码率，需要对图像信号进行压缩，一般方法是去 除图像信号中的相关性和减小图像编码的动态范围，通常采用变换编码和量化 技术。 变换编码将图像空域信号变换成频域信号。在频域中，图像信号的能量大 部分集中在低频区域，相对于时域信号，图像更易于进行压缩编码。a v s m 对图 像或预测残差采用了4 x 4 整数离散余弦变换技术，避免了以往标准中使用的通用 8 x 8 离散余弦变换，逆变换经常出现的失配问题。整个变换无乘法，只需加法和 一些移位运算，进一步降低了算法的复杂度。变换尺寸相对于8 x 8 块缩小，运动 第二章a v s m 视频标准技术 物体的划分更精确，其边缘处衔接误差也相应减小，减少了块效应。而且，新 的变换对编码的性能几乎没有影响，而且实际编码略好一些。 这样既降低了设计复杂度，又避免了编解码的不匹配，而由此带来的编码 性能的减少微乎其微。a v s m 的整数变换是对4 x 4 块进行的，基本的变换编码 处理过程与以前标准很相似，编码器的处理包括前向变换、z i g z a g 扫描、缩放、 量化取整和熵编码，解码器的处理与编码过程相反。 采用量化过程，提高了码率的控制能力，对于色度信号高于特定阈值采用 较小的量化步长，保留了色彩的逼真度，量化步长范围的扩大使得编码器能够 更灵活、精确地进行控制，在比特率和图像质量之间达到折中。 量化过程在不降低视觉效果的前提下减少图像编码长度，减少视觉恢复中 不必要的信息。 根据量化参数q p 将二维量化系数矩阵q u a n t c o e f f m a t r i x 转换为二维变换系 数矩阵c o e f f m a t r i x 。其中，量化系数的取值范围是2 1 0 2 1 0 1 。 从符合a v s 讧的比特流中解码得到的变换系数的取值范围应为- 2 1 1 2 1 1 1 。 2 2 5 逆扫描 由解码的l e v e l 数组和r u n 数组生成数组q u a n t c o e f f a r r a y ( 包含1 6 个量化系 树) 的步骤如下： 步骤l ：将q u a n t c o e f f a r r a y 数组的所有元素初始化为0 ； 步骤2 ：将非0 量化系数的值赋给q u a n t c o e f f a r r a y 数组中相应的元素； 定义j 和c o e f f n u m ，令j 等于r u n 数组或l e v e l 数组中第一个赋值元素的地 址索引，即j = 0 ，c o e f f n u m 等于一1 。 w h i l e ( l e v e l j ! = o ) c o e f f n u m + = ( r u n j 】+ 1 ) ； q u a n t c o e f f a r r a y c o e f f n u m 】= l e v e l j ； j + + ； ) 步骤3 ：逆块扫描将q u a n t c o e f f a r r a y 数组映射为q u a n t c o e t t m a t r i x 数组。 设q u a n t c o e f f a r r a y 数组中某元素的地址为k ，从逆扫描对应表中找到值为k 的 单元对应的列号i 和行号j ，然后将q u a n t c o e f f a r r a y k 赋给q u a n t c o e f f m a t r i x i , j 。 第二章a v s m 视频标准技术 2 2 6 熵编码 对于s l i c e 层以上的数据，a v s m 采用e x p g o l o m b 码，这是一种没有自适 应能力的v l c 。而对于s l i c e 层( 含以下的数据) ，如果是残差，a v s m 采用 了基于上下文的自适应变长编码( c a v l c ，c o n t e x tb a s e da d a p t i v ev a r i a b l e l e n g t hc o d i n g ) 。 c a v l c 用于亮度和色度残差数据的编码。残差经过变换量化后的数据表现 出如下特性：4 x 4 块数据经过预测，变换，量化后，非零系数主要集中在低频部 分，而高频系数大部分是零；量化后的数据经过( z i g z a g ) 扫描，d c 系数附近 的非零系数值较大，而高频位置上的非零系数值大部分是+ 1 和1 ；相邻的4 x 4 块的非零系数的数目是相关的。c a v l c 充分利用残差经过整数变换，量化后数 据的这些特性进行压缩，可进一步减少数据中的冗余信息，为a v s m 卓越的编 码效率奠定了基础。 2 2 7 环路滤波 在相对码率较低的视频编码时总会遇到块效应问题，块效应是目前压缩编 码最明显的视觉失真之一。在a v s m 视频编码标准中，块效应主要有两个来源： 1 由于基于块的帧内和帧问预测残差的d c t 变换，其变换系数的粗量化导致图 像块边界上的视觉不连续。2 来自运动补偿的预测从可能的不同参考帧中把内插 像素数据复制出来形成运动补偿块，因为运动补偿的匹配不可能是绝对准确的， 所以就会在复制块的边界上产生数据不连续性。尽管a v s m 采用较小的4 4 变 换可以降低这种不连续现象，为了消除块变换造成的块效应现象，a v s m 采用 了自适应环路滤波器，这个滤波器根据块边缘信息的不同采用不同的滤波权重， 可以有效的消除块效应同时又不会影响图像的锐度。 除图像边界及条带边界之外，宏块