（信号与信息处理专业论文）avsm视频解码器的设计和优化.pdf

中文摘要 随着计算机，网络技术的发展，多媒体信息作为媒介的信息成为人们生活 中了重要的组成部分。例如数字电视，视频网络对话，手机电视等成为流行潮 流，标志着整个社会的进步。a v s 是中国自主知识产权的标准的音视频标准。 其性能要高于咿e g 一2 标准。与h 2 6 4 相当。在音视频领域，由于受昂贵的 肝e g 一2 。h 2 6 4 专利费的限制，因此发展我国自己的音视频标准很有必要。 中国移动视频标a v s - m ( a v s 第七部分) 标准适用范围包括视频会议，可 视电话，移动多媒体等领域。由于移动多媒体网络带宽和网络波动的影响，需 要选择一种高压缩率编解码器，保证输出媒体流能够有效通过承载网络，另一 方面，终端的c p u 的处理能力有限，又要求其编解码速率足够快。因此选择高 效的视频编解码器，将是移动多媒体业务成功的关键，a v s m 具有上述的特点， 在本文中前两章详细介绍了其采用的视频编解码各种新技术。 本文分析了a v s - m 参考软件的缺点，设计和实现了a v s - m 视频解码器，并 对其进行了优化。整个流程如下：首先对a v s - m 标准进行了研究，确定解码流程 和框架的搭建然后进行c 语言的编写，并用多媒体指令集狮x 进行优化，对编 写完的代码进行了测试。此外本文的另一部分工作论述了a v s 的复用原理，分 析了a v s 系统层和m p e g - 2 的联系和区别，并编写复用程序进行了验证。 经测试，本文开发的解码器是a v s - m 官方发布w m 2 5 a 的解码器解码速度的 2 - 4 倍实现了在奔腾4 c p u 计算机下的c i f ( 3 5 2 2 8 8 象素) 实时解码，对于今后 v s - m 的实时解码应用打下了基础。 关键字：a v s 解码器复用 a b s t r a c t w i t ht h ed e v e l o p m e n to f c o m p u t e rt e c h n i q u e ，n e t w o r kt e c h n i q u e ， m u l t i m e d i at e c h n i q u eb e c o m e st h em o s ti m p o r t a n tc o m p o n e n ta st h e i n f o r m a t i o ni nc o m m u n i c a t i o n f o re x a m p l e ，t h ed i g i t a lt v ，n e t w o r kv i d e o c o m m u n i c a t i o n ，m o b i l et vb e c o m ep r e v a l e n tn o w ，a n di n d i c a t et h ep r o g r e s s o fo u rs o c i e t y a v si sa u d i oa n dv i d e os t a n d a r do fc h i n aw i t ho u rt e c h n i q u e p r o p e r t yr i g h t i t sp o f o r m a n c ei sh i g h e rt h a nm p e g 一2s t a n d a r d ，a n d c o r r e s p o n d st oh 2 6 4 i nt h ed o m a i no fv i d e oa n da u d i o r e s t r i c t e db yt h e h i g he x p e n s e p r o p e r t yr i g h to fm p e g 一2a n dh 2 6 4 s oi tisn e c e s s a r yt o d e v e l o po u rv i d e oa n da u d i os t a n d a r d a v s mi st h ep a r t7o fa v s f o rt h em o v i n gm u l t i m e d i av i d e o n e t w o r k m e e t i n ga n dm o b i l et v i n f l u e n c e db yt h eb a n d w i t ha n df l u c t u a t eo ft h e n e t ，ah i g hp e r f o r m a n c eo f v i d e oc o m p r e s s i o ns h o u l d b e c h o s e nt o g u a r a n t e e t h a tt h em u l t i m e d i af l o wc a nb ep a s s e dv i at h en e t w o r k o nt h e o t h e rh a n d ，t h ec a p a b i l i t yo ft h ec p ui sr e s t r i c t e d ，b u tt h es p e e do f d e c o d e rs h o u l db ef a s te n o u g h c h o o s i n gt h eh i g hp e r f o r m a n c ev i d e o d e c o d e ra n de n c o d e ri st h ek e yf o rs u c c e s so ft h em u l t i m e d i ao p e r a t i o n a v s mh a v et h a tc h a r a c t e r i s t i c i nt h ef r o n to ft h ep a p e rn e wv i d e oc o d i n g t e c h n i q u ei si n t r o d u c e d t h em a i nt a s ko ft h i sp a p e ri st oa n a l y z et h es h o r t c o m i n go f r e f e r e n c es o f t w a r e ，d e s i g nt h ed e c o d e rs o f t w a r eo fa v s m ，a n do p t i m i z ei t t h ew h o l ep r o j e c ti sd i v i d e di n t ot h ef o l l o w i n gp a r t s ：f i r s tt ob e f a m i l i a rw i t ha v s 。t h e nm a k et h es t r u c t u r ea n df l o wo ft h es o f t w a r e ，w r i t e t h ecc o d ea n dd of u r t h e ro p t i m i z a t i o nw i t hm u l t i m e d i ai n s t r u c t i o n s 删x a tl a s tt e s tt h es o f t w a r e t h el e f tp a r to ft h i sp a p e ri si n t r o d u c e t h ep r i n c i p a lo fm u l t i p l e xa b o u ta v s a n a l y z et h ec o n t a c ta n d d i f f e r e n c eb e t w e e nt h em p e g 一2a n da v s a n dw r i t et h ep r o g r a mo fm u l t i p l e x f o rt e s t i n g w i t ht e s tb a s e do np e n t i u m4c p u ，t h ep i c t u r e so fc i f ( 3 5 2 x 2 8 8 ) c a n b er e a l t i m ed e c o d e d k e y w o r d s ：a v sd e c o d e rm u l t i p l e x 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得鑫鲞盘茎或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论 文中作了明确的说明并表示了谢意。 学位论文作者签名：段k 山 签字日期： 2 j d6 年2 月2 7 日 学位论文版权使用授权书 本学位论文作者完全了解盘鲞盘堂有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：f 司，力l 且 - u 签字日期：2 ddj 年2 月刁日 日 导师签名： 签字日期：弘叼占年力月 伙卞 另留 第一章绪论 第一章绪论 1 1a v s 的产业化的前景和应用 1 1 1 前言 a v s ( a d v a n c e dc o d i n go fa u d i oa n dv i d e o ) 是信息技术先进音视频编 码技术的简称，是我国具有自主知识产权的第二代信源编码标准。a v s 标准包 括系统、音频、视频、数字版权保护等四个技术标准。这些技术标准将服务于 高分辨率数字广播，高密度数字存储媒体，无线宽带多媒体业务，网络流媒体 等重大信息产业应用。众所周知，包括数字电视在内的数字音视频产业广泛采 用的标准是m p e g 标准。一旦我国数字电视也采用此标准，每台电视设备就要交 2 5 美元专利使用费。而据不完全统计，2 0 0 3 年，我国电视观众总户数已达到 3 0 6 亿户，此外，有线网户数也已达到1 1 5 亿户。照此形势来看，未来十年我 国相关企业将需交1 0 亿美元的专利使用费。 a v s - m 是a v s 第七部分，其目的是为迅速发展的无线网络与手机等移动设备 提供音视频编解码、系统、版权保护和文件格式等方面的规范和标准，这个文 档首先描述在手机等移动设备上提供多媒体业务的典型应用，并根据这些应用 的需要描述其具体的技术需求。 流媒体技术作为多媒体应用的高级形式，发展至今，在互联网上已经得到了 广泛的应用，如视频点播、在线直播、远程教育、音视频监控、交互式电视等。 随着流媒体技术应用范围的不断扩大，我们需要探讨流媒体技术应用于移动通 信网的可行性。 从市场需求上看，对移动运营商而言，流媒体的应用将使移动数据通信与因 特网更好地结合，优化网络的数据传输能力和多媒体能力，向用户提供更多高 速、高质量的移动多媒体通信业务，从而能够吸引更多的客户，增加收入。 对内容提供商而言，流媒体的应用使能够应用于移动通信领域的多媒体内容 的范围极大扩展，内容提供商将和运营商一起合作，将以前能想到却不能做到 的移动多媒体业务投入真正的商用。此外，流媒体文件不在客户端驻留，文件 处理和播放完随即被清除的特点，为内容提供商提供了天然的版权保护。 对移动用户而言，流媒体能够实时播放音视频和多媒体内容，也可对其进行 点播，具有交互性。这一特点与移动通信固有的移动性相结合，使移动用户能 够随时、随地获得或点播实时的多媒体信息，大大增强了移动多媒体业务的灵 第一章绪论 活性。此外，流媒体启动播放的延时非常短，使用户能够即时收看收听。而且 流媒体应用于移动通信领域，使移动多媒体业务的种类和内容极大的丰富。所 有这些，都将更好地满足用户的需求。 由以上分析可见，a v s - m 应用于移动通信领域不仅是可行的，而且市场发展 也很有前景。 1 1 2 发展现状与前景 由于带宽和移动设备功能上的限制，在传统移动通信网络中无法传输优质的 多媒体内容。但随着2 5 g 、3 g 等高速移动通信技术的逐渐成熟，同时手机、p d a 等移动通信设备的不断完善，移动通信网已不仅能够提供传统的话音业务，还 能提供高速率的宽带视频业务，支持高质量的话音、分组数据业务以及实时视 频传输。3 g 开创了无线通信与互联网、视频融合的新时代，由此产生的无线视 频和无线i p 业务也必将成为未来无线移动通信业务新的增长点，真正使移动用 户享受无线掌上未来。 可以预见，在未来几年，伴随着各种移动多媒体业务的出现，流媒体技术将 在移动通信中获得广泛的应用，最终发展成为移动多媒体业务的主流。 a v s - m 的目的是为迅速发展的2 5 g 3 g 无线网络与手机等移动设备提供音视 频解码、系统、版权保护和文件格式等方面的规范和标准，这个文档首先描述 在手机等移动设备上提供实时流媒体服务的典型应用，并以卫星电视信号转播 为例描述其具体的技术需求。 1 1 3 应用模式描述 用户可以通过移动手持设备访问流媒体数据和接收数字广播内容，如数字 电视节目。 针对不同的用户终端和服务质量要求以及网络带宽环境，提供不同应用级 别的卫星电视转播信号，这里涉及两种不同级别的应用需求，即高端应用和低 端应用。 低端应用：手机，q c i f ，1 0 帧秒，带宽4 0 6 4 k b p s 高端应用：具备无线网络连接功能的笔记本电脑，c i f ，1 5 - 3 0 帧秒， 带宽6 4 3 8 4 k b p s 限于目前g p r s 网络带宽和试验网络的方便性考虑，手机收看卫星电视转播 节f l 的实验网络如图( i - i ) 所示：其中，手机利用w l a n 和蓝牙以及其它有线或 者无线方式，通过p r o x y ( 相当于g p r s 网络基站) 接入到视频服务器。 2 第一章绪论 1 1 4 面临的问题 图1 - 1 手机电视接收图 移动流媒体的应用目前面临如下问题： 移动设备计算和存储能力弱、工作时间有限移动设备通常都具有体 积小，重量轻的特点，因此其计算和存储能力也相当较弱，另外因为采 用电池供电，所以移动设备的工作时间不可能太长； 传输信道带宽有限移动设备使用的无线信道传输数据，对于实现大 数据量的视频信号的传输，尤其在面向大众的无线可视应用中，无线信 道的资源尤其紧张。 移动信道误码率尚在移动通信中，用户的移动造成传输信道的q o s 保障十分复杂，视频信号对传输的需要和无线信道的特点存在尖锐的矛 盾。 1 1 5 移动流媒体的特点 移动流媒体编解码技术应具有以下特点： 高质量、低位率：受传输带宽和存储资源的限制，需要保证在具有较高 的主、客观质量的前提下尽可能降低位率。 高效率、低复杂度：因为编解码器需要适应不同的移动设备，因而要 求相关部分的算法复杂度低、运行效率高。 低延迟：移动流媒体的大部分应用均具有很强的实时性，这不仅要求编 第一章绪论 解码算法的复杂性低，还对位率控制、缓冲区设置等提出了很高要求。 可扩展性强：信道带宽和应用的多样性，要求相关技术能支持质量、空 间和时间等方面的可扩展性。 信源容错能力强：无线信道的误码率较高，移动流媒体应用的实时性又 限制了重传的可能，为保证解码端具有高质量的恢复图像，需要对信源 进行简单有效的容错保护。 1 1 6 性能需求 移动流媒体的性能需求包括：编码效率、实现复杂度、延迟、可分级性、容 错能力和安全性与内容保护，其中实现复杂度与容错能力是移动流媒体应用中 重要的两个需求。 编码效率应尽可能高，即在相似条件下，本流媒体标准的编码效率应不低于 于已有的标准( 如h 2 6 4 视频编码标准) 。 计算复杂度编解码器中使用的技术复杂度不能太高，而且应该便于硬 件实现。至少应该保证现有的移动设备的处理能力可实现c i f 分辨率、4 ：2 ：o 格 式视频流的实时解码。 存储复杂度编解码器对于存储空间的要求不能大于目前常用移动设备 的存储容量( 如5 1 2 k 字节) ，b 帧图像、多参考帧技术对存储空间的要求较高， 因此不采用。 流媒体系统的延迟包括连接建立延迟、算法延迟、缓冲延迟以及控制响应等 延迟，本流媒体标准讨论的延迟只包括与编解码器相关的算法延迟和缓冲延 迟，这两部分的延迟最大不应超过0 5 秒。 a v s m 应能够根据发送与接收端的系统资源能力( 包括计算能力、存储能力、 显示能力等) 及网络状况的不同，支持时域、空域以及s n r 的可分级性( 即支 持对图像分辨率、帧率、色度格式、图像质量等编码参数进行调节) 。 在编码端提供错误保护工具集，编码器通过使用工具集中的若干工具，能够 使压缩码流对不同类型的传输错误( 包括随机位错误、包丢失等) 具有鲁棒性， 在信道误码率小于1 0 1 时，能够正常解码。如果没有必要，应该能够关闭所有的 错误保护工具。 1 1 7 应用类型 考虑信道 4 第一章绪论 一多媒体信息业务( m u l t i m e d i am e s s a g es e r v i c e ) ：用户可以将音频、视 频以及其它多媒体数据与传统的文本信息合并，并通过移动手持设备进 行发送和接收。 一流媒体和广播( s t r e a m i n ga n db r o a d c a s t i n g ) ：用户可以通过移动手 持设备访问流媒体数据和接收数字广播内容，如数字电视节目。 单向业务 一实时通讯( r e a l - t i m ec o m m u n i c a t i o n ) ：用户可以通过移动手持设备 实现实时的音视频通讯，如可视电话，视频会议等。 双向业务 不考虑信道 本地播放( l o c a lp l a y b a c k ) ：用户可以在无法实现无线网络接入的条 件下( 如在飞机上) ，播放本地存储的音视频文件。 采集编码( r e c o r d ) ：用户可以通过移动手持设备实现视频采集和编码 1 2当前视频编码的标准发展概述 r r u t 与i s o i e c 是制定视频编码标准的两大组织，i t u t 的标准包括 h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视频通信领域，如会议电视；m p e g 系 列标准是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网或 无线网上的流媒体等。两个组织也共同制定了一些标准，h 2 6 2 标准等同于 m p e g - 2 的视频编码标准，而h 2 6 4 标准则被纳入m p e g - 4 的第1 0 部分。在目 前移动视频多媒体领域，应用比较广泛的有h 2 6 1 ，h 2 6 3 ，m p o e4 ，以及最近发展 的h 2 6 4 标准。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包 括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相 适配的速率控制等部分。 t - i 2 6 3 是最早用于低码率视频编码的r r u - t 标准，是i t u - t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加 了许多选项，使其具有更广泛的适用性。相对于h 2 6 1 标准采用包括半个像素精 度的运动估计，不受限的运动矢量，先进预测模式，p b 帧模式等先进技术。成 为当前移动多媒体，网络视频领域的主流格式。r r u - t 在h 2 6 3 发布后又修订发 布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标准。它在保证原h 2 6 3 标准 核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某方面 的功能。原h 2 6 3 标准限制了其应用的图像输入格式，仅允许5 种视频源格式。 第一章结论 h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标 准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及 宽屏图像。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 帧模式改进 了h 2 6 3 的不足，增强了帧问预测的效果；去块效应滤波器不仅提高了压缩效率， 而且提供重建图像的主观质量。 为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和空间分级，对在噪声信 道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、参 考帧选择模式增强了视频传输的抗误码能力。 之后的h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶 劣信道上的抗误码性能，同时为了提高增强编码效率。这3 个选项为： 选项i 卜- 称为增强型参考帧选择，它能够提供增强的编码效率和信道错误 再生能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图 像。 选项v 一称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输 过程中本地数据被破坏的情况下1 ，通过分离视频码流中d c t 的系数头和运动矢 量数据，采用可逆编码方式保护运动矢量。 选项w 一在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附 加信息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、 文本、重复的图像头、交替的场指示、稀疏的参考帧识别。 m p e g - 4 早期是对甚低码率( 6 4 k b p s 以下) 网络带宽而提出，对视频图像采 用了基于内容的编码，引入了视频对象( v o ) 的概念，需要进行编码的v o 可 以是任意形状区域。但m p e g - 4 有些档次的算法过于复杂，以目前的硬件水平， 很难达到实用。m p e g 4 的一个特点是更适于交互a v 服务以及远程监控，这是 第一个使你由被动变为主动( 不再只是观看，允许你加入其中，即有交互性) 的动 态图象标准。它的另一个特点是其综合性，从根源上说，m p e g - 4 试图将视觉效 果意义上的自然物体与人造物体相溶舍，所以它的设计目标还有更广的适应性 和可扩展性。与前两者不同，m p e g - 4 不仅是针对一定比特率下的视频、音频编 码，更加注重多媒体系统的交互性和灵活性。它具有高效编码、高效存储与传 播及可交互操作的特性。在m p e g - 4 中a v o 有着重要的地位，因为m p e g - 4 采用a v o 来表示听觉、视觉或者视听组合内容，允许组合已有的a v o 来生成 复合的a v o ，由此生成a v 场景，并采用s n h c 的方法来组织这些a v o 。对于 a v 0 的数据还能灵活地多路合成与同步，以便选择合适的网络来传输这些a v o 数据，并允许接收端的用户在a v 场景中对a v o 进行交互操作。 6 第一章绪论 但是，由于图像分割技术的止步不前在很大程度上阻碍了m p e g - 4 的应用。 m p e g - 4 的核心思想是基于任意形状对象的编码，这种技术是建立在可以实时进 行基于内容的图像分割基础之上的。而在近年的研究中，图像分割技术无法得 到有效地改进，使得基于对象的编码方式成为了空中楼阁，根本无法得到实际 应用。在最新的视频压缩标准h 2 6 4 中。已经放弃了基于对象的编码方式。在学 术界，目前对于基于对象的编码方式的应用前景普遍持比较悲观的态度。有一 部分人认为m p e g - 4 的思想过于超前，也许会在未来五到十年都得到应用；也 有一些人认为图像分割的技术很难有突破性的进展，基于对象的编码方式根本 就是一种不恰当的思想。 h 2 6 4 标准的推出，是视频编码标准的一次重要进步，采用了当前视频编码 的新技术，它与现有的m p e g - 2 、m p e g - 4 及h 2 6 3 相比，具有明显的优越性， 特别是在编码效率上的提高，使之能用于许多新的领域。2 0 0 3 年3 月，标准的 最终草案公布，称作h 2 6 4 ，a v c 或m p e g - 4v i s u a lp a r t1 0 。与以前的视频编码 标准不同，h 2 6 4 不仅含有一个规定视频编码算法的视频编码层( v c l ) ，还包 括一个规定网络传输规范的网络抽象层( n a l ) 。h 2 6 4 的视频编码层采取的 编码框架仍然是传统的混合编码框架，h 2 6 4 编码效率的提高也不是其中某一种 新的编码技术所产生的决定性的结果，而是多种新技术所产生的细微的效果积 累而致。这些新技术包括：，多种新的帧内预测方法、可交尺寸块的运动补偿技 术、多参考帧的运动补偿技术、4 x 4 整数变换技术、基于上下文的二进制算术 编码技术以及新的环路滤波技术。与先前的标准相比较，h 2 6 4 的应用前景更为 广泛，它允许在因特网中以1 m b i t s 的速率传送电视质量的视频信号，它可以便 8 m h z 的模拟带宽中容纳两倍于m p e g - 2 编码的数字电视频道，它使无线视频 通信成为可能，它对传统的数字媒体存储技术也将产生巨大的影响。h 2 6 4 的算 法复杂度很高，而且高昂的专利费制约了其发展。 我国制定的a v s 标准，作为第二代信源编码标准，其压缩效率为m p g e 2 的2 3 倍，m p e g - 4 的1 5 倍，和h 2 6 4 压缩效率相当，而算法的复杂度有所降低， 具有我国自主知识产权，具有光明的前景。并且a v $ m 承诺对于编解码终端只 收一元的专利费。各个标准的收费准则见表( 2 1 ) 1 3 论文的安排 本文主要介绍a v s 系统层，以及a v s 标准第7 部分( 移动多媒体视频标准) ， 并编写了视频解码软件，以及对 v s 系统层复用原理进行了研究，并对理论进 行了验证。 第一章绪论 第一章绪论部分介绍了a v s m 的前景应用，以及与其它标准的比较。第二 章简要介绍a v s m 标准，分析其各个模块应用的视频编码技术。第三章介绍a v s _ m 解码器的设计框架和流程，以及各个解码模块的编写算法，第四章介绍 v s 系 统层的复用原理，以及编程步骤等。第五章为展望和总结，对a v s 的将来的发 展做了一下展望。 、， 睚甜瞥5 嘲2 喇 婀“m 瞰f n 糊 孥产5 稚莳媛 黔姗断蛾： 油c 眦- 妇 l 自2 5 瓤轳5 聪臻自嚆魏 社1 0 l 搬 眙蚴缝 糯髑翻燃硼# 1 月1 瞌萃蓑枷：锄联i $ 瓢艚埔n 1 0 瓶 l 拽瓢l 羹盂，蚺，场a 甄汀钢。姗i 女硒，锕 硝# 1 l i i 瑚5 $ 1 月18 罐 嘶融h 睡i ：解1 2 * 鳋； 墼予1 2 濂：轴埘黔1 2 髋l 协* 仙 莹乎n 辨；娜 箭口触h l 器口赫 好1 2 赚瞻d 蝴h 她胂 狲目娃 轫愿醒确 褥p 1 4 1 4 i ：始 渤1 1 蜡象螂簸 i 善户l 啪礁女 胁妇妇融2辖产量莉承5 j 簸端产耋1 峰5 酉2 颤簸 知k 汹黼 鞲糟驯幕7 j m 酝 嬉户囊矗翻5 l 囊葺 i 髂p t - 旺铭产1 1 瓣锄乐l 缎 瓣l 刚氖拈骧 挈霉烂靴跏蟊瓤陂铝户l 好1 玉1 0 联i 罅# 黼鳓蕾錾搬i 跏妇妇融l 稚崩龋蹦目钠潮黼噍敞撕簸l 胤 f r t v 缝纠一瞧h 拥曩j im 鹱：瓣p l 鼍予1 0 獭好h 象揶航好1 象1 藏i m 妇翩融l f i i l 抽目畦钿嘲i吼 ， 礤；# 蛙黼糍l 鳞 瓣l 鼎嗤 轴自h 嘶 硪# 1 1 1 日删$ 1 月1 日孵$ 1 月1 i ， 瓣糟悯 h 舳脯 脯枷蹴锄l 簸( 眩口韵秘i 巯嚆。瓤鞭i 甄 蹦o $ ) 躺眭埭 表卜1 视音频标准收费表 3 第二章 v s j l 标准简介 第二章a v s m 标准简介 2 1a v s - m 标准的码流分装格式 m p e g - 2 ，h 2 6 3 等第一代编码标准码流采用的是从上之下四个层次：图像层、 块组层、宏块层、和块层。而a v s m 、h 2 6 4 均采用的是网络适配层的封装格式， 将码流打包成n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 单元。这种方式能适应于不 同网络中的视频传输，网络亲和性好，抗误码能力强。一个n a l 访问单元包含 一个编码图像，除图像头n a l 单元和条带n a l 单元外，还可以包含其它n a l 单 元。比特流中第一个访问单元应开始于比特流中第一个n a l 单元。一个访问单 元最后一个条带n a l 单元后的第一个n a l 单元为另一个访问单元的开始。每个 n a l 有起始码字o x 0 0 0 0 0 1 组成。n a l 的大小没有限定。在起始码字之后一个字 节的后5 位，是包含有 n a l 单元类型信息的信息头。 其具体格式如图2 1 所示 图2 - 1n a l 单元结构 a v s _ m 规定标准编码图像序列中解码图像需要的最大参考帧数为2 。编码视 频序列是比特流的最高层语法结构。a v s m 引入了i d r ( i n s t a n t a n e o u sd e c o d i n g r e f r e s h ) 图像的概念，i d r 图像可以使参考图像缓存无效，之后的图像在解码 9 第二章a m s j 标准简介 时不再参考i d r 图像之前的图像，因而i d r 图像具有很好的重同步作用。在一 些丢包和误码严重的信道中，可以采取不定期传送i d r 图像的方式进一步提高 a v s - m 的抗误码和抗丢包性能。编码视频序列由一个i d r 图像开始，后面跟着零 个或多个非i d r 图像，直到但不包括下一个i d r 图像或直到比特流结尾。编码 图像在比特流中按比特流顺序排列，比特流顺序应与解码顺序相同。 2 2a v s - m 编码技术 2 2 1 宏块的划分 a v s - m 标准基于h 2 6 4 a v c ，采用了多项h 2 6 4 标准中的技术以提高编码效 率。其宏块划分方式与h _ 2 6 4 相同。亮度块划分1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 的块， 其中8 x 8 的块向下继续划分为8 x 4 ，4 x 8 ，4 4 次级块。如图2 2 所示 1 个1 6 x 1 6 亮度块2 个1 6 x 8 亮度块 2 十8 x 1 6 亮度块4 十8 x 8 亮度块 和相应的色度块和相应的色度块和相应的色度块和相应的色度块 老块捌分 口日田圈 1 个8 x 8 亮度块2 个8 x 4 亮度块2 个4 x 8 亮度块 个4 x 4 亮度块 和相应的色度块和相应的色度块 和相应的色度块和相应的色度块 8 x 8 一口日田田 图2 - 2 宏块划分方式 2 2 2 编码模式 v s - m 由于受到手机存储器的限制，目前只支持i ，p 帧两种编码格式。 i p e g 一2 ，1 1 2 6 1 ，h 2 6 3 等当前帧( i 帧) 直接编码而不参照预测帧，进行帧 内编码。其优点是为解码器建立了参考帧，为编辑码流提供了切入点。但由于 没有进行帧内预测，导致图像的压缩效率不高，有相当的空间冗余没有去掉。 a v s - m 标准中i 帧帧内亮度编码采用i - 4 4 帧内预测编码模式，与h 2 6 4 相 比，少了i _ 1 6 x 1 6 编码模式，简化了编码模式，在图像质量不是下降很大的情 况下，节省了对于采用何种编码模式的判断时间，提高了编码速度，提高了压 缩效率。i4 x 4 亮度预测分为9 中预测模式，色度预测分为3 种预测模式。宏块 的每一个8 x 8 的色度块中所有4 x 4 色度块的预测模式均相同。 p 帧编码模式，其采用的的是树状结构的帧间运动补偿和亮度四分之一象素 运动向量估计。有p _ _ s k i p 模式，1 6 x 1 6 ，p _ _ 1 6 x 8 ，p _ 8 x 1 6 ，p - 8 8 ，i _ 4 4 编 第二章 v s _ m 标准简介 码模式。p _ s k i p 模式适用于图像静止的部分或者匀速运动部分。用p _ s k i p 模式 编码的宏块个数由跳过游程s k i p _ r u n _ l e n g t h 标定，其运动矢量v 通过预测产 生。由于其参差值为0 ，在码流中只有游程值，因此减少了码字，提高了编码效 率。每一个块和次级块要有其运动矢量描述。对其运动矢量采用指数编码，并 且所选块信息要在码流中编码，选择大的块意味着用少量比特数据描述运动矢 量和块的类型。但是图像的参差信息较大。选择较小的次级块，会在运动补差 后产生少量的编码。因此选择块的大小，具有显著的意义。选择大的块，适合 图像均匀的区域，较小的次级块适合图像的细节区域。具体编码流程如下图： 图2 - 3a v s m 视频编码流程 在a v s - m 中，各种信息头，以及宏块中的变换后的系数，均是采用哥伦布码 的形式写成。因此在解码上述信息时，必须对其进行哥伦布码的解码 解析k 阶指数哥伦布码时，首先从比特流的当前位置开始寻找第一个非零比 特，并将找到的零比特个数记为1 e a d i n g z e r o b i t s ，然后根据1 e a d i n g z e r o b i t s 计算c o d e n u m 。用伪代码描述如下： l e a d i n g z e r o b i t s = 一l ； f o r ( b = 0 ：! b ：l e a d i n g z e r o b i t s + + ) b = r e a d _ b i t s ( 1 ) c o d e n u m = 2 1 。一“衅神“+ 。一2 + r e a db i t s ( 1 e a d i n g z e r o b i t s + k ) 指数哥伦布码的比特串分为“前缀”和。后缀”两部分。前缀由 l e a d i n g z e r o b i t s 个连续的一0 和一个1 构成。后缀由l e a d i n g z e r o b i t s + k 个比 第二章 v 叫标准简介 特构成，即表中的x 。串，x 。的值为一0 或1 。c o d e n u m 表示得到的该指数码表示的 信息。 2 2 3 四分之一精度运动矢量预测 a v s - m 中运动补偿的精度达到四分之一，相对于h 2 6 3 二分之一像素提高了 一倍，获得了更好的运动预测。有助于平滑像块的“马赛克”效应。 图2 4 给出了参考图像整数样本、二分之一样本和四分之一样本的位置，其 中用大写字母标记的为整数样本位置，用小写字母标记的为二分之一和四分之 一样本位置。 o 囝ooo oeo 囝囝 o固 0e 囝囝 o9囝 oo 固ooo 图2 - 4 整数样本、二分之一样本和匹分之一样本的位置 h2 6 4 二分之一样本点水平和垂直位置均采用的是6 抽头滤波器。而a v s - 城 标准二分之一样本水平位置的预测值通过8 抽头滤波器，竖直方向采用4 抽头 滤波器计算得到。其计算复杂度，以及图像质量二者相当。其四分之一样本点 均通过二分之一样本点线性内插得到。 a v s m 标准的色度预测的方式和h 2 6 4 相同，采用的是八分之一精度预测， 如图2 5 所示 第二章 v sm 标准简介 图2 5 色度八分之一精度预测 预测样本矩阵的元素p r e d m a t r i x k y 】根据下式计算： p r e d m 曲叔【x ，y 】= c l i p i ( ( ( 8 - d x ) x ( 8 - - d y ) x a + d x x ( 8 - - d y ) x b + ( 8 _ c l x ) x d y x c4 - d x x d y x d + 3 2 ) 6 1 2 2 4 逆扫描 由解码的l e v e l 数组和r u n 数组生成数组q u a n t c o e f f a r r a y ( 包含1 6 个量化系树) 的步骤如下： 首先将q u a n t c o e f f a r r a y 数组的所有元素初始化为0 ； 第二步将非0 量化系数的值赋给q u a n t c o e f f a r r a y 数组中相应的元 素。定义j 和c o e f f n u m ，令j 等于r u n 数组或l e v e l 数组中第一个赋值 元素的地址索引，即j = o ，c o e f f n u m 等于一1 ， ，w h i l e ( l e v e l j ! = 0 ) c o e f f n u m + - ( r u n j + 1 ) q u a n t c o e f f a r r a y c o e f f n u m = l e v e l j j + + 第三步通过逆块扫描将q u a n t c o e f f a r r a y 数组映射为 q u a n t c o e f f m a t r i x 数组。设q u a n t c o e f f h r r a y 数组中某元素的地址为k ， 在图2 - 6 中找到值为k 的单元对应的列号i 和行号j ，然后将 q u a n t c o e f f a r r a y k 赋给q u a n t c o e f f m a t r i x i ，j 。 第二章 v s j 标准简介 2 2 5 变换与量化 图2 6 逆块扫描 m p e g - 2 ，h 2 6 3 或肝e g _ 4 ，都是采用8 x 8 的d c t 变换。h 2 6 4 中采用的整数变 换实际上接近于4 x 4 的d c t 变换，整数的引入降低了算法的复杂度，也避免了反 变换的失配问题， 将4 x 4 变换系数矩阵c o e f f m a t r i x 转换为4 x 4 残差样值矩阵r e s i d u e m a t r i x 的 过程，步骤如下： 首先，对变换系数矩阵进行如下水平反变换： h = c o e f f m a t r i xxt 4 t 公式( 2 1 ) 其中，t 是4 x 4 反变换矩阵，”是t 。的转置矩阵，h 表示水平反变换后的中 间结果。 l = 232l 2l_2-3 21 23 2 - 32 一l 第二步，对矩阵h 进行如下垂直反变换： t i = t 4xh 其中，h 表示反变换后的4 x 4 矩阵。 一一第三步，残差样值矩阵r e s i d u e m a t r i x 的元素r ，j 计算如下： r i j = h i j + 2 5i ，j = o 4 其中h i j 是h 矩阵的元素。 a v s m 对参差信息同样采用基于4 4 块的近似d c t 的整数变换编码，整个 变换无乘法，只需加法和一些移位运算，进一步降低了算法的复杂度。变换尺 寸相对于8 x 8 块缩小，运动物体的划分更精确，其边缘处衔接误差也相应减小， 1 4 第二章 v s j 标准简介 减少了块效应。而且，新的变换对编码的性能几乎没有影响，而且实际编码 略好一些。采用的量化级为“级，提高了码率的控制能力，对于色度信号高于 特定阙值采用较小的量化步长，保留了色彩的逼真度。 根据量化参数q p 将二维量化系数矩阵q u a n t c o e f f m a t r i x 转换为二维变换系 数矩阵c o e f f m a t r i x 的过程。其中，量化系数的取值范围是- 2 1 1 2 1 0 - l 。 二维变换系数矩阵c o e f f m a t r i x 的元素w 。j 由下式得到： w l j ：( q u a n t c o e f f m a t r i x i ，j d e q u a n t t a b l e ( q p ) + 2 “”“蚋- 1 ) s h i f t t a b l e ( q p ) i ，j = o 4公式( 2 3 ) 其中q p 与d e q u a n t t a b l e 和s h i f t t a b l e 的关系由a v s 相关表格规定。 从符合a v s 枷的比特流中解码得到的变换系数的取值范围应为- 2 “2 1 l 1 2 2 6 环路滤波技术 为了消除块变换造成的块效应现象，a v s _ m 采用了自适应环路滤波器，这个 滤波器根据块边缘信息的不同采用不同的滤波权重，可以有效的消除块效应同 时又不会影响图像的锐度。 环路滤波以宏块为单位，图像中每个宏块的滤波过程如下： 对亮度和色度分别做环路滤波，见图2 - 7 ，首先从左到右对垂直边界滤波， 然后从上到下对水平边界滤波。当前宏块的环路滤波的输入为图像未进行滤波 的样本值，当前宏块环路滤波会修改这些样本值。当前宏块垂直边界滤波过程 中修改的样本值作为水平边界滤波过程的输入。 宏块亮度边再宏块色度边界 图2 - 7 宏块中需要滤波的边界示意图 注：粗实线为垂直边界，租虚线为水平边界。 帧内预测使用环路滤波前的重建图像样本值。 第二章 a v s _ m 标准简介 2 3a v s - m 与h 2 6 4 a v cb a s e li m 性能比较 根据a v s - m 提供的编码软件w m 2 5 a , 以及 i 2 6 4 提供的官方参考软件j m ， 比较a v s - m 与h 2 6 4 a v cb a s e l i n e 性能，测试参数如表2 - 1 所示