（信号与信息处理专业论文）avsm视频基本流分析软件的设计与实现.pdf

摘要 a v s 是具有中国自主知识产权的音视频标准。其性能要高于m p e g 2 标准， 与h 2 6 4 相当。在音视频领域，由于受昂贵的m p e g 2 ，h 2 6 4 专利费的限制，因 此发展我国自己的音视频标准很有必要。 中国移动视频标准a v s m ( a v s 第七部分) 适用范围包括视频会议，可视 电话，移动多媒体等领域。对于研究人员或者工程技术人员而言，他们需要一种 专家分析工具，可以比较和评估各种不同的压缩算法和压缩工具，帮助他们迅速 开发出新的器件、新的产品或新的业务。所以开发一个功能完善的基本流( e s ) 分析软件成为迫在眉睫的事情。国际上，由泰克( t e k t r o n i x ) 公司于2 0 0 4 年9 月8 日推出了m t s 4 e a 视频基本流分析仪，同期e l e c a r d 公司也推出了e s e y e 视频基本流分析软件，但目前国内外均未有适用于a v s 的基本流分析仪面市。 因此研制出适合我国国情、价格相对较低、使用方便的适用于a v s 的e s 流分析 仪器，是十分必要的。 。 本文分析了国外码流分析软件的优缺点，并研究了a v s m 标准，确定了 a v s m 视频基本流分析软件的功能，设计了软件的总体架构，分解出功能模块。 并在v c + + 6 0 编译环境下对各个模块编写代码实现，用多媒体指令集m m x 对 解码器进行优化，对于附带的参考编码器进行了快速帧间预测模式选择算法优 化。最后对软件进行了测试。 关键词： a v s m 基本流帧间预测模式 a b s t r a c t a v si sa u d i oa n dv i d e os t a n d a r do fc h i n aw i t ht e c h n i q u ep r o p e r t yr i g h t i t sp o f o r m a n c ei s h i g h e rt h a nm p e g - 2s t a a d a r d , a n dc o r r e s p o n d st oh 2 6 4 i nt h ed o m a i no fv i d e oa n da u d i o r e s t r i c t e db yt h eh i g he x p e n s ep r o p e r t yr i g h to fm p e g - 2a n dh 2 6 4 ，i ti sn e c e s s a r yt od e v e l o po u r v i d e oa n da u d i os t a n d a r d a v s - mi st h ep a r t7o fa v ss t a n d a r df o rt h em o v i n gm u l t i m e d i av i d e o ，n e t w o r km e e t i n g a n dm o b i l et v t h er e s e a r c ha n dt e c h n i c a le n g i n e e rn e e dap r o f e s s i o n a la n a l y s et o o lw h i c hc a l l c o m p a r ea n de v a l u a t ed i f f e r e n tc o m p r e s s i o na l g o r i t h m so rc o m p r e s s i o nt o o l s t e k t r o n i xc o m p a n y h a da n n o u n c e dt h e i rm t s 4 e ao ns e p t e m b e r8 t h 2 0 0 4 b u tt h e r ea r en oo n ef o ra v sa l lo ft h e w o r l d s oi ti sr e a ln e c e s s a r yt od e v e l o pe s s e n t i a ls t r e a ma n a l y s es o f t w a r e iu s e dt h em t s 4 e ad e m oa n ds u m n l a r ya l lo fi t se x e u e n tf u n c t i o n s ，s t u d i e dt h ea v s - m s t a n d a r d ，d e s i g nt h ea r c h i t e c t u r eo ft h es o f t w a r e ，a n dw r o t ecc o d eo fa l lt h ef u n c t i o nm o d u e lo n v c + + 6 0 o p t i m i z e da v s md e c o d e rb yu s i n gm m x ia l s or e s e a r c h e daf a s t i n t e rm o d e s e l e c t i o na l g o r i t h mt oo p t i m i z er e f e r e n c ee n c o d e ra n dd ot h et e s t k e yw o r d s ：a v s me s s e n t i a ls t e a m p r e d i c t i o nm o d e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤注盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：卵弩签字日期：伽。7 年 1 月衫日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权苤盗盘望一可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 孕7 窀导师虢墨节 签字日期：协_ 年f 月嘭日 签字日期：加7 年月万日 第一章绪论 第一章绪论 1 1 视频编解码标准发展综述 i t u - t 与i s o i e c 是制定视频编码标准的两大组织，分别制定了m p e g x 和 h 2 6 x 两大系列标准【1 1 。r r u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于 实时视频通信领域，如会议电视；i s o i e c 制定了m p e g 系列标准，主要应用于 视频存储( d v d ) 、广播电视、因特网或无线网上的流媒体等。两个组织也共同制 定了一些标准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而h 2 6 4 标准则被 纳入m p e g - 4 的第1 0 部分。下面按照i t u t 视频编码标准的发展过程，介绍 h 2 6 1 、h 2 6 3 、h 2 6 4 及m p e g - 4 。 1 1 1t t 2 6 1 视频编码标准 h 2 6 1 是1 1 1 j t 为在综合业务数字n ( i s n ) 上开展可视电话、视频会议而制定 的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理， 每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( m o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿 的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速率 控制等部分。 1 1 2t t 2 6 3 视频编码标准 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版 ( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。h 2 6 3 是n u t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展 起来的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的 彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动补偿，并增 加了4 种有效的压缩编码模式。 无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量 所指的参考宏块位于编码图像之外时，就用其边缘的图像象素值来代替。当存在 跨边界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外， 这种模式包括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运 第一章绪论 动特别有利。 基于句法的算术编码模式使用算术编码代替霍夫曼编码，可在信噪比和重建 图像质量相同的情况下降低码率。先进的预测模式允许一个宏块中4 个8 x 8 亮度 块各对应一个运动矢量，从而提高了预测精度；两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。补偿时，使用重叠的块运动补偿，8 x 8 亮度块的每 个象素的补偿值由3 个预测值加权平均得到。使用该模式可以产生显著的编码增 益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。 p b 帧模式规定一个p b 帧包含作为一个单元进行编码的两帧图像。p b 一帧模 式可在码率增加不多的情况下，使帧率加倍。 1 1 3h 2 6 3 视频压缩标准版本2 i t u t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为 h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干 选项以提高压缩效率或改善某方面的功能。原h 2 6 3 标准限制了其应用的图像输 入格式，仅允许5 种视频源格式。h 2 6 3 + 标准允许更大范围的图像输入格式， 自定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处理计算机图像、更 高帧频的图像序列及宽屏图像。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 一帧模式改进 了h 2 6 3 的不足，增强了帧间预测的效果：去块效应滤波器不仅提高了压缩效率， 而且提供重建图像的主观质量。 为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和空间分级，对在噪声信 道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、参考 帧选择模式增强了视频传输的抗误码能力。 1 1 4h 2 6 3 + + 视频压缩标准 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道 上的抗误码性能，同时为了提高增强编码效率。这3 个选项为： 选项u 一强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力 ( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像。 选项v 一数据分片，它能够提供增强型的抗误码能力( 特别是在传输过程中 本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据， 采用可逆编码方式保护运动矢量。 选项w h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加信 第一章绪论 息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文 本、重复的图像头、交替的场指示、稀疏的参考帧识别。 1 1 5h 2 6 4 视频压缩标准 h 2 6 4 标准的推出，是视频编码标准的一次重要进步，采用了当前视频编码 的新技术，它与现有的m p e g - 2 、m p e g - 4 及h 2 6 3 相比，具有明显的优越性， 特别是在编码效率上的提高，使之能用于许多新的领域【l 】【3 】。2 0 0 3 年3 月，标 准的最终草案公布，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r t1 0 。与以前的视频 编码标准不同，h 2 6 4 不仅含有一个规定视频编码算法的视频编码层( v c l ) ， 还包括一个规定网络传输规范的网络抽象层( n a l ) 。h 2 6 4 的视频编码层采取 的编码框架仍然是传统的混合编码框架，h 2 6 4 编码效率的提高也不是其中某一 种新的编码技术所产生的决定性的结果，而是多种新技术所产生的细微的效果积 累而致。这些新技术包括：多种新的帧内预测方法、可变尺寸块的运动补偿技术、 多参考帧的运动补偿技术、4 4 整数变换技术、基于上下文的二进制算术编码 技术以及新的环路滤波技术。与先前的标准相比较，h 2 6 4 的应用前景更为广泛， 它允许在因特网中以1 m b i t s 的速率传送电视质量的视频信号，它可以使8 m h z 的模拟带宽中容纳两倍于m p e g 2 编码的数字电视频道，它使无线视频通信成 为可能，它对传统的数字媒体存储技术也将产生巨大的影响。 1 1 6m p e g - 4 视频压缩标准 m p e g _ 4 早期是针对甚低码率( 6 4 k b s 以下) 网络带宽而提出，对视频图像 采用了基于内容的编码，引入了视频对象( v o ) 的概念，需要进行编码的v o 可以是任意形状区域。但m p e g - 4 有些档次的算法过于复杂，以目前的硬件水平， 很难达到实用。m p e g _ 4 的一个特点是更适于交互a v 服务以及远程监控，这是 第一个使由被动变为主动( 不再只是观看，允许加入其中，即有交互性) 的动态图 象标准。它的另一个特点是其综合性，从根源上说，m p e g - 4 试图将视觉效果意 义上的自然物体与人造物体相溶合，所以它的设计目标还有更广的适应性和可扩 展性。与前两者不同，m p e g - 4 不仅是针对一定比特率下的视频、音频编码，更 加注重多媒体系统的交互性和灵活性。它具有高效编码、高效存储与传播及可交 互操作的特性。在m p e g - 4 中a v o 有着重要的地位，因为m p e g 4 采用a v o 来表示听觉、视觉或者视听组合内容，允许组合已有的a v o 来生成复合的a v o ， 由此生成a v 场景，并采用s n h c 的方法来组织这些a v o 。对于a v o 的数据还 能灵活地多路合成与同步，以便选择合适的网络来传输这些a v o 数据，并允许 第一章绪论 接收端的用户在a v 场景中对a v o 进行交互操作。 1 1 7 其他视频编码标准 除上述u t 的视频压缩标准外，还有一些标准也比较流行，如m p e g - 4 s p 、w m 9 。 目前业内所说的m p e g - 4 一般是指s p ( 简级) 或a s p ( 先进的简级) ，主要针对 低码率应用，如因特网上的流媒体、无线网的视频传输及视频存储等。 m p e g - 4s p 和h 2 6 3 有很多相似的地方，如附表所示。然而，这两个标准 之间也有显著的不同，主要表现在：码流结构和头信息、熵编码的部分码表、编 码技术的一些细节。m p e g - 4a s p 较s p 增加了一些技术，主要有：l 4 象素精度 的运动估计、b 帧、全局运动矢量( g m v ) ，因而压缩效率得以提高。 w i n d o wm e i d a9 ( w m 9 ) 是微软公司开发的新一代数字媒体技术。一些测试表 明，w m 9 的视频压缩效率比m p e g 2 、m p e g - 4s p 及h 2 6 3 高很多，而与h 2 6 4 的压缩效率相当。 1 2 开发一个适用于a v s 的基本流分析仪的重要性 对于未来的高容量消费产品如d v b h 移动电话、宽带d s l 机顶盒和高清晰 度d v d 来说，下一代的视频压缩标准显得愈来愈重要。在这些电子产品中所使 用的“基本流”就是压缩视频的原始码流。对于半导体制造商、消费电子和专业视 频设备制造商、视频网络运营商以及移动电话设备制造商和运营商中的工程技术 人员而言，他们需要一种专家分析工具，这样他们可以比较和评估各种不同的压 缩算法和压缩工具，并且这个工具现在就应能帮助他们迅速开发出新的器件、新 的产品或新的业务，使他们在经济上受益，并且能随着标准的发展而更新“j 。 与传统的广播电视压缩标准相比较，下一代的压缩标准具有明显的带宽优 势，它具有减少成本和增加业务项目的良好前景，并且不会损害视频质量。为使 这种新的压缩标准得到充分的利用，工程师们需要一种方法以检验标准的适应 性，分析某种视频编解码器( 压缩解压缩算法) ，以及详细比较各种视频编解 码器或某种编解码器各个版本的互操作性。为了使采用上述技术的开发商、制造 商有能力有信心地设计和测试使用下一代的压缩标准的设备和器件，开发一个功 能完善的基本流( e s ) 分析仪成为迫在眉睫的事情。 国际上，由泰克( t e k t r o n i x ) 公司于2 0 0 4 年9 月8 日推出了m t s 4 e a 视频 基本流分析仪，同期e l e c 削姬公司也推出了e s e y e 视频基本流分析软件。国 内外未有适用于a v s 的基本流分析仪面市。由于国外的分析设备价格昂贵，难 4 第一章绪论 以满足国内需求量日益增长的需要。因此研制出适合我国国情、价格相对较低、 使用方便的适用于a v s 的e s 流分析仪器，是十分必要的。 1 3 本论文的安排 第一章：介绍编解码标准的发展历史，以及研制适用于a v s 的视频基本流 分析软件的必要性。 第二章：简要介绍a v s m 标准，分析其各个模块应用的视频编码技术。 第三章：介绍a v s m 视频基本流分析软件的总体架构设计，流程图等。 第四章：详细介绍a v s m 视频基本流分析软件各个功能模块的设计，包括 信息提取，错误检测，视频显示，用户界面等模块，最后介绍软件优化的工作。 第五章：介绍对a v s m 参考编码器做的算法优化工作。 第六章：总结和展望。 第二章a v s m 视频标准技术 2 1 引言 第二章a v s m 视频标准技术 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ，a v s ) 标准是我国数字音视频编解码技 术标准工作组a v s 工作纠4 】制定的数字音视频编码标准。a v s 工作组成立于 2 0 0 2 年6 月，成员包括国内外从事数字音视频编码技术和产品研究开发的机构 和企业，a v s 工作组的任务是面向我国的信息产业需求组织制定行业和国家信源 编码技术标准。a v s 标准包括系统、视频、音频、数字版权管理、移动视频等9 个部分。 目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分 ( a v s p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用；a v s 第七部 分( a v s - p 7 ) 5 1 ，简称a v s - m ，主要针对低码率、低复杂度、较低图像分辨率的移 动媒体应用。a v s - p 2 信息技术先进音视频编码第2 部分：视频( 以下称为a v s 视频标准) 已经获得国家标准化管理委员会批准，国家标准号g b t 2 0 0 9 0 2 - 2 0 0 6 ，于2 0 0 6 年3 月1 日开始实施。a v s 视频标准支持多种视频业务， 考虑到不同业务之间的互操作性，a v s 标准定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。 目前，a v s - p 2 已定义了一个基准档次( p r o f il e ) ，这个档次又分为4 个级别：用 于标准清晰度图像的4 0 ( 4 ：2 ：0 ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清晰 度图像的g 0 ( 4 ：2 ：0 ) 级别和6 2 ( 4 ：2 ：2 ) 级别。 2 1 1a v s - m 视频标准的系统结构和工作原理 a v s m 视频标准系统结构原理如图2 1 所示，a v s m 视频标准是基于空间 和时间的预测、空域的变换及基于统计的熵编码的混合编码，a v s m 视频标准 采用了一系列技术来达到高效率的视频编码，包括变换与量化技术、帧内预测技 术、亚像素插值与帧间预测技术、环路滤波器技术和熵编码技术等。在a v s - m 视频标准中，所有宏块都要进行帧内预测或帧间预测，帧间预测使用基于块的运 动矢量来消除图像间的冗余，帧内预测使用空间预测模式来消除图像内的冗余， 再通过对预测残差进行8 8 整数变换( d c t ) 和量化消除图像内的视觉冗余， a v s m 的变换和量化只需要加减法和移位操作，用1 6 位精度即可完成。使用环 路滤波器对重建图像进行滤波既可以消除块效应，改善重建图像的主观质量，也 6 第二章a v sm 视频标m 技* 能够提高编码效率滤波强度可以白适应调整晟后，运动矢量、预测模式、量 化参数和变换系数用熵编码进行压缩。 21 2 宏块的划分 圉21a v s m 标准编码框图 a v s m 标准基于h 2 6 4 a v c 采用了多项h 2 6 4 标准中的技术以提高编码 效率。其宏块划分方式与h2 6 4 相同。亮度块划分1 6 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 的 块，其中8 x 8 的块向下继续划分为8 x 4 4 x 8 ，4 x 4 次级块。如图2 - 2 所示 瓣；篮；赭掣器褊摇盛。4 。s p 。s x g 潞： 口目田田 ；箍g 器盏。2 。d 、8 。a 衡器：；：尚丞：舞熟 m 口目田田 囝2 - 2 老蜓划分方式 第二章a v s m 视频标准技术 2 1 3 编码模式 a v s m 目前只支持i , p 帧两种编码格式。 m p e g 2 ，h 2 6 1 ，h 2 6 3 等当前帧( i 帧) 直接编码而不参照预测帧，进行帧内 编码。其优点是为解码器建立了参考帧，为编辑码流提供了切入点。但由于没有 进行帧内预测，导致图像的压缩效率不高，有相当的空间冗余没有去掉。 a v s m 标准中i 帧帧内亮度编码采用i4 x 4 帧内预测编码模式，与h 2 6 4 相比，少了i1 6 x 1 6 编码模式，简化了编码模式，在图像质量不是下降很大的情 况下，节省了对于采用何种编码模式的判断时间，提高了编码速度，提高了压缩 效率。i4 x 4 亮度预测分为9 种预测模式，色度预测分为3 种预测模式。宏块的 每一个8 x 8 的色度块中所有4 x 4 色度块的预测模式均相同。 p 帧编码模式，其采用的的是树状结构的帧间运动补偿和亮度四分之一象素 运动向量估计。有ps k i p 模式，p1 6 x 1 6 ，p1 6 8 ，p8 x 1 6 ，p8 8 ，i4 x 4 编 码模式。ps k i p 模式适用于图像静止的部分或者匀速运动部分。用ps k i p 模式 编码的宏块个数由跳过游程s k i pr u nl e n g t h 标定，其运动矢量m v 通过预测产生。 由于其参差值为0 ，在码流中只有游程值，因此减少了码字，提高了编码效率。 每一个块和次级块要有其运动矢量描述。对其运动矢量采用指数编码，并且所选 块信息要在码流中编码，选择大的块意味着用少量比特数据描述运动矢量和块的 类型。但是图像的参差信息较大。选择较小的次级块，会在运动补差后产生少量 的编码。因此选择块的大小，具有显著的意义。选择大的块，适合图像均匀的区 域，较小的次级块适合图像的细节区域。具体编码框图如图2 3 ： 图2 - 3a v s - m 视频编码框图 8 第二章a v s - m a 叛标准拄术 在a v s m 中，各种信息头，以及宏块中的变换后的系数，均是采用哥伦布码 的形式写成。因此在解码上述信息时，必须对其进行哥伦布码的解码 解析k 阶指数哥伦布码时，首先从比特流的当前位置开始寻找第一个非零比 特，井将找到的零比特个数记为l e a d i n g z e r o b i t s ，然后根据l e a d i n g z e r o b i t s 计算c o d e n u m 。用伪代码描述如下： l e a d i n g z e r o b i t s = 一l ： f o r ( b = 0 ：! b ：l e a d i n g z e r o b i t s + + ) b = r e a d _ b i t s ( 1 ) c 。d e n 衄= 2 1 e a d i n g z e r o b i t s + k 一2 k + r e a db i t s ( 1 e a d i n g z e r o b i t s + k ) 指数哥伦布码的比特串分为“前缀”和“后缀”两部分。前缀由 l e a d i n g z e r o b i t s 个连续的一0 和一个i 构成。后级 自l e a d i n g z e r o b i t s + k 个比 特构成即表中f f 3 x i 串x i 的值为一0 或nc o d e n u m 表示得到的该指数码表示 的信息。 22 四分之一精度运动矢量预测 a v s - m 中运动补偿的精度达到四分之一，相对于h2 6 3 二分之一像素提高 了一倍，获得了更好的运动预测。有助于平滑像块的“马赛克”效应。 图2 - 4 给出了参考图像整数样本、二分之一样本和四分之一样本的位置其 中用大写字母标记的为整数样本位置，用小写字母标记的为二分之一和四分之一 样本位置。 o0 囝囝 固 0 囝 圈2 - 4 整数样本、= 分之一样本和四分之一样本的位置 h2 6 4 二分之一样本点水平和垂直位置均采用的是6 抽头滤波器。而a v s m 标准二分之一样本水平位置的预测值通过8 抽头撼波器，竖直方向采用4 抽头 第二章a v s m 视频标准技术 滤波器计算得到。其计算复杂度，以及图像质量二者相当。其四分之一样本点均 通过二分之一样本点线性内插得到。 a v s m 标准的色度预测的方式和h 2 6 4 相同，采用的是八分之精度预测， 如图2 5 所示 图2 - 5 色度八分之一精度预测 预测样本矩阵的元素p r e d m a t r i x x ，y 】根据下式计算： p r e d m a t r i x x ，y = c l i p l ( ( ( 8 - - d x ) 木( 8 - d y ) 宰a + d x 木( 8 d y ) 幸b + ( 8 d x ) 木d y 宰c + d ) 【牛d y 宰d + 3 2 ) 6 ) 2 3 逆扫描 由解码的l e v e l 数组和r u n 数组生成数组o u a n t c o e f f a r r a y ( 包含1 6 个量化系数) 的步骤如下： 步骤1 ：首先将o u a n t c o e f f a r r a y 数组的所有元素初始化为0 ； 步骤2 ：将非o 量化系数的值赋给q u a n t c o e f f a r r a y 数组中相应的元素。定义j 和c o e f f n u m ，令j 等于r u n 数组或l e v e l 数组中第一个赋值元素的地址 索引，即j = o ，c o e f f n u m 等于一1 ， w h il e ( l e v e l j ! = 0 ) f c o e f f n u m + = ( r u n j + 1 ) q u a n t c o e f f a r r a y c o e f f n u m = l e v e l j j + + ) 步骤3 ：通过逆块扫描将q u a n t c o e f f a r r a y 数组映射为q u a n t c o e f f m a t r i x 数组。 设q u a n t c o e f f a r r a y 数组中某元素的地址为k ，在图2 - 6 中找到值为k 的单元对应的列号i 和行号j ，然后将q u a j l t c o e 烈m y 【k 赋给 q u a n t c o e f f m a t r i x i j 1 0 第二章a v s m 视频标准技术 2 4 变换与量化 0123 00156 12471 2 2381 1 1 3 391 01 41 5 图2 6 逆块扫描 m p e g 一2 ，h 2 6 3 或m p e g 一4 ，都是采用8 x 8 的d c t 变换。h 2 6 4 中采用的整数变换 实际上接近于4 4 的d c t 变换，整数的引入降低了算法的复杂度，也避免了反变换 的失配问题， 将4 x 4 变换系数矩阵c o e f f m a t r i x 转换为4 x 4 残差样值矩阵r e s i d u e m a t r i x 的 过程，步骤如下： 一- 首先，对变换系数矩阵进行如下水平反变换： h = c o e f f m a t r i xxt 4 1 公式( 2 1 ) 其中，t 4 是4 x 4 反变换矩阵，t 4 t 是t 4 的转置矩阵，h 表示水平反变换后 的中间结果。 z = 23 21 21 23 21 - 2 3 23 21 一一第二步，对矩阵h 进行如下垂直反变换： h = t xh 其中，h 表示反变换后的4 x 4 矩阵。 一一第三步，残差样值矩阵r e s i d u e m a t r i x 的元素r i j 计算如下： r i j = h i j + 2 4 5i ，j = 0 - - - 4其中h ij 是h 矩阵的元素。 a v s m 对参差信息同样采用基于4 4 块的近似d c t 的整数变换编码，整个变 换无乘法，只需加法和一些移位运算，进一步降低了算法的复杂度。变换尺寸相 对于8 x 8 块缩小，运动物体的划分更精确，其边缘处衔接误差也相应减小，减少 了块效应。而且新的变换对编码的性能几乎没有影响，而且实际编码略好一些。 第二章a v s m 视频标准技术 采用的量化级为6 4 级，提高了码率的控制能力，对于色度信号高于特定阈值采用 较小的量化步长，保留了色彩的逼真度。 根据量化参数q p 将二维量化系数矩阵q u a n t c o e f f m a t r i x 转换为二维变换系 数矩阵c o e f f m a t r i x 的过程。其中，量化系数的取值范围是一2 1 0 2 1 0 1 。 二维变换系数矩阵c o e f f m a t r i x 的元素w i j 由下式得到： w i j = ( q u a n t c o e f f m a t r i x i ，j d e q u a n t t a b l e ( q p ) + 2 s h i f t t a b l e ( q p ) - i ) s h i f t t a b l e ( q p ) i ，j = o 4公式( 2 - 2 ) 其中q p 与d e q u a n t t a b l e 和s h i f t t a b l e 的关系由a v s 相关表格规定。 从符合a v s m 的比特流中解码得到的变换系数的取值范围应为 一2 1 】2 1 一】 2 5 环路滤波技术 为了消除块变换造成的块效应现象，a v s - m 采用了自适应环路滤波器，这个 滤波器根据块边缘信息的不同采用不同的滤波权重，可以有效的消除块效应同时 又不会影响图像的锐度。 环路滤波以宏块为单位，图像中每个宏块的滤波过程如下： 对亮度和色度分别做环路滤波，见图2 7 ，首先从左到右对垂直边界滤波， 然后从上到下对水平边界滤波。当前宏块的环路滤波的输入为图像未进行滤波的 样本值，当前宏块环路滤波会修改这些样本值。当前宏块垂直边界滤波过程中修 改的样本值作为水平边界滤波过程的输入。 图2 7 宏块中需要滤波的边界示意图 注：粗实线为垂直边界，粗虚线为水平边界。 帧内预测使用环路滤波前的重建图像样本值。 第二章a v s m 视频标准技术 2 6a v s - m 与h 2 6 4 a v 0b a s e iir l e 性能比较障1 表2 一l 性能比较 工具 m 口e g - 4v i s u a l h 2 6 3 +h 2 6 4 膳v ca v s m b a s e l i n e i ，p b 帧 i ，p ，b i ，p bi ，p b i p 变换 8 8 d c t8 8 d c t4 4 i n t e g e r 4 4 i n t e g e r d c td c t 帧内预测自适应d c ，a c ( 第自适应频域自适应4 4 ，自适应4 4 一行第一列) 系数1 6 1 6 块块，直接模式 运动补偿宏块划分1 6 1 6 。8 8 ：1 6 1 6 ，8 81 6 1 6 ，1 6 8 ，1 6 1 6 ，1 6 8 ， 隔行仅1 6 x 88 1 6 ，8 88 1 6 ，8 8 运动补偿子块划分 8 88 88 8 ，8 4 ， 8 8 ，8 4 ， 4 x8 ，4 44 8 4 4 运动补偿插值 1 2 ， 1 4 精度1 4 精度1 4 精度1 4 精度 全局运动补偿有无无无 无限制运动矢量 羌 有有有 块效应消除可选滤波器环路滤波环路滤波环路滤波 自适应变长编码2 d v l c3 d v l cc a ，c2 d v l c 自适应算术编码 无 无 c a b a c 无 1 3 第三章a v s m 基本流分析软件的总体设计 第三章a v s m 基本流分析软件的总体设计 3 1 功能规划 a v s m 视频基本流分析仪是我们自行开发的基于w i n d o w s 平台的高性能软 件。对于半导体制造商、消费电子和专业视频设备制造商、视频网络运营商以及 移动电话设备制造商和运营商中的工程技术人员而言，该软件能够使他们比较和 评估各种不同的压缩算法，能快速找出算法中存在的问题，迅速开发出新的器件、 新的产品或新的业务。例如对于开发一块a v s m 编解码芯片，就要对相应算法 评估，如果开发新的算法，还需借助软件找出算法中存在的问题，传统办法是用 编解码生成的报告文件进行分析，枯燥而且不容易发现问题，利用我们的软件， 可以在解码的同时，将关键数据信息显示在窗口中，可以实时显示出解码的图象， 也可以在图象上叠加相应的宏块，运动矢量等信息，直观方便，并且可以生成全 面详细的报告，这样可以缩短开发周期，并且很容易发现算法中的错误。再例如 对于开发机顶盒或者开发视频后处理芯片的工程人员，需要对所应用的编码芯片 或编码口核进行评估，利用我们的软件可以进行独立详尽的评估，横向比较不 同方案，减少开发的风险。 根据对目标用户的调查，我们确定了如下的软件功能： 1 解码，编码功能 a ) 解码器：使用a v s m 官方提供的最新参考版本w m 2 9 b ) 编码器：作为参考编码器。用户可以对比自己设计的编码器效果 2 信息数据提取和显示功能 a ) 将序列、图象、条带的参数及数据按照标准中语法语意的结构，以 树型的结构显示在浮动窗口上，并能随着码流自动更新 b ) 将宏块信息显示在浮动窗1 2 1 上，并能随鼠标在图象上移动而自动更 新数据 3 图象播放器功能 a ) 将解码后的图象显示在浮动窗口上 b ) 能实现图象播放、暂停、前进后退一帧、放大缩小 c ) 可以选择显示y u v 图象，还是y 、u 、v 单独显示 4 信息叠加在图象上的功能 a ) 能根据宏块划分类型，在图象上画线，使其划分成1 6 1 6 、8 8 、 1 4 第三章a v s m 基 m 分析软件的总体设* s 1 6 等不同大小的块 b ) 能使用不同颜色表示宏块类型，并将颜色叠加到相应图象块上 c ) 能根据运动矢量的类型，大小方向，在图象上画出示意图 32 软件架构 我们将软件设计成两部分，主程序和动态链接库( d l l ) 其功能划分见图3 - 1 。 这样做是因为便于软件以后扩充，例如使用同一个主程序，而分别使用a v s m 和a v s p 2 的动态链接库，甚至还可以挂接上h2 6 4 ，m p e g 2 等不同的动态链接 库。 3 21 主程序 图3 - 1 软件结 句图 1 功能： a ) 文件处理：包括输入r v s 文件，输出的信息报告错误分析报告， 解码后的图象文件等等 b ) 用户交互：处理用户鼠标，菜单的动作，生成消息传到d l l 中 c ) 信息显示：管理不同的信息显示窗口的数据显示 d ) 内存管理：分配管理内存 2 设计： 在v c 抖60 开发环境下，新建m f c 单文档应用程序。需要说明的是关 于主程序和d l l 的接口处理，方法是设定个t i m e r ，每隔s t e p t i m e 秒就 第三章a v s m 基本流分析软件的总体设计 调用d l l 的数据输出函数，提取数据。如果用户有菜单或者鼠标操作， 就把相应的消息作为d l l 数据输入函数的参数，传进d l l 中。 3 2 2 动态链接库 1 功能 a ) 解码器：使用多线程 b 1 数据提取、错误分析：生成信息数据，传给接口 c 1 叠加：画线、颜色块、运动矢量 d ) 播放器：使用多线程 a ) 接口：负责处理从主程序传进来的控制信息 2 d l l 内部流程图： 初始化模块 解码模块 p r o f i l e i d c 、l e v e l i d c ： 表示比特流的档次和级别 n u m _ r e f f r a m e s ：参考帧数，指定一个编码图像序列中解码图像时需要用 到的最大参考帧数。 h o r i z o n t a l s i z e _ m i n u s l ：水平尺寸。单位是宏块数。m b w i d t h 按以下方法 计算： 第四章a v s m 基本流分析软件的功能模块设计 m b w i d t h ：h o r i z o n t a l s i z em i n u s l + 1 v e r t i c a l s i z e m i n u s l ：垂直尺寸。单位是宏块数。m b h e i g h t 按以下方法计 算： m b h e i g h t = v e r t i c a l s i z e _ m i n u s l + 1 4 1 3 图像参数集参数的提取 本码流分析仪提取的图象参数集参数包括： ( p icp a r a m e t e r _ s e t id s e q _ _ p a r a m e t e rs e t ，id f ix e d _ p i c t u r e q p f l a g p i c t u r e _ r e f e r e n c e f l a g s li d i n g _ w i n d o k _ s i z e f l a g s k i p m o d e f l a g l o o p f ii t e r d is a b l e f l a g l o o p _ f il t e r _ p a r a m e t e r _ f l a g h a lf _ p ix el m v f la g ) 以下是对上述序列参数集中部分句法元素的语义举例说明： f i x e d _ _ p i c t u r e _ q p _ f l a g ：固定图像量化参数。值为1 说明在该帧图像内 量化参数不变；0 说明在该帧图像内量化参数可变。 p i c t u r e r e f e r e n c e f l a g ：图像参考标志。值为l 表示所有帧间编码宏 块都使用缺省参考图像，此时n u mr e ff r a m e s 的值应小于2 ；值为0 表 示由每个宏块在宏块层自行确定参考图像，此时n u m _ r e f _ f r a m e s 的值应等 于2 s l i d i n g _ w i n d o ws i z e 一f l a g ：滑动窗口标志。值为1 表示图像头中包含 s i i d i n g _ w i n d o w _ s i z e _ m i n u s i ：值为0 表示图像头中不包含 s l i d i n g _ w i n d o w _ s i z e _ m i n u s l 。如果s li d i n g _ w i n d o w _ s i z e f l a g 不存在， 其值为0 。 s k i p 一m o d e f l a g ：宏块跳过模式标志。值为l 表示宏块跳过模式使用游 程编码；值为0 表示宏块跳过模式的编码由m b _ t y p e 决定 h a l f _ p i x e 一m v f l a g ：半像素运动矢量标志。值为0 表示当前帧运动矢量 精度为1 2 像素：值为1 表示当前帧运动矢量精度为1 4 像素。如果比 特流中没有h a l f _ _ p i x e l m