（信号与信息处理专业论文）avs帧间解码算法的实现与优化.pdf

太原理工大学硕士研究生学位论文 a v s 帧间解码算法的实现与优化 摘要 a v s 作为我国具有自主知识产权的新一代数字音视频编解码标准，在网 络多媒体、高清数字视频等应用方面表现出较低的复杂度和良好的性能。 在画面质量同等的前提下，a v s 标准的数据压缩效率比传统的m p e g 2 提升 了2 到3 倍，与m p e g 一4 和a v c h 2 6 4 标准的数据压缩效率相当，但比h 2 6 4 计算资源降低了3 0 n 5 0 ，大大节省了软硬件成本，应用发展前景巨大。 而a v s 官方目前所提供的解码参考软件不能达到对大部分视频图像的实时 解码，不利于a v s 产业化推广，有待于不断地进行合理改进及有效优化以达 到对于基本的c i f 、d 1 等格式图像实时解码的要求。因此，在多媒体应用曰 益广泛，网络承受的通信压力曰益增大的背景下，高效的a v s 视频解码器的 研究有重要意义。 本论文正是基于上面的应用需求，通过对a v s 视频解码标准的深入研 究，设计开发了基于p c 平台的a v s 视频解码器，并在v i s u a ls t u d i o2 0 0 8 环境下利用s i m d 技术进行了后期优化。在保证解码图像质量的前提下， 显著提高了解码器的运行速率，具有实际的意义。本论文的主要工作及取 得成果如下： 首先，本文分析了a v s 标准的解码系统结构、核心技术及比特流结构。 在深入研究a v s 标准参考软件的基础上，完成了a v s 视频解码器的框架 结构设计，给出了一种c 语言实现方案。 太原理工大学硕士研究生学位论文 其次，本文详细分析了a v s 整数反变换与帧间预测算法的实现，同时 基本完成了a v s 解码算法c 代码的实现，并进行了包括帧内、帧间分开解 码、宏块信息结构体重新定义、优化空间分配、全零块预先处理的c 级初 步优化。 最后，本文重点研究与设计了基于s s e 2 的a v s 整数反变换算法，详 细分析与改进了样本插值算法，并利用s i m d 技术对计算量大、耗时长的 部分代码进行了优化。最终实现了基于p c 平台的实时解码。 经多种不同分辨率的不同视频序y , j n 试后知，本文设计开发的a v s 视 频解码器性能良好。在保证解码质量的前提下，解码器优化后的运算速度 得到显著提高。表明本文设计及优化方案可行、有效，对a v s 解码器实时 应用有重要意义。 关键词：a v s ，s i m d ，解码器，帧间解码，实时实现 i m p l e m e n t a t i o na n do p t i m i z a t i o no f a v si n t e r f r a m ed e c o d i n g a l g o r i t h m a bs t r a c t a san e w g e n e r a t i o n o fd i g i t a la u d i o v i d e o e n c o d i n ga n dd e c o d i n g t e c h n o l o g ys t a n d a r dw i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t si nc h i n a ，a v s s h o w sl o w e r c o m p l e x i t ya n d w e l l f u n c t i o ni ni n t e r n e tm u l t i m e d i aa n d h i g h - d e f i n i t i o nd i g i t a lv i d e oa n do t h e ra p p l i c a t i o n s u n d e rt h ec o n d i t i o no f e q u a l p i c t u r eq u a l i t y , c o m p a r e dw i t ht r a d i t i o n a lm p e g - 2 ，d a t ac o m p r e s s i o ne f f i c i e n c y o fa v ss t a n d a r d i m p r o v e d 2 - 3 t i m e s ，i t i s e q u i v a l e n tt om p e g 一4a n d a v c h 2 6 4b u tr e d u c e s3 0 t o5 0 t h a nc o m p u t i n gr e s o u r c e s t h i sm e a n si t g r e a t l ys a v e sc o s t so fh a r d w a r ea n ds o f t w a r ea n dh a sa ni m m e n s ed e v e l o p m e n t p r o s p e c t a tp r e s e n t ，t h ed e c o d e rr e f e r e n c es o f t w a r et h a ta v so f f i c i a ls u p p l i e s c a nn o tr e a c ht h e r e a l - t i m ed e c o d i n go fm o s tv i d e o i m a g e s t h i si s n o t c o n d u c i v et oa v s si n d u s t r i a l i z a t i o np r o m o t i o n i tn e e d sc o n t i n u o u sr e a s o n a b l e i m p r o v e m e n ta n de f f e c t i v eo p t i m i z a t i o nt oa c h i e v et h er e q u i r e m e n t so fr e a l t i m e d e c o d i n gf o rb a s i cc i f , d 1a n do t h e rf o r m a ti m a g e s t h e r e f o r e ，u n d e rt h e b a c k g r o u n do fi n c r e a s i n g l yw i d e s p r e a da p p l i c a t i o no fm u l t i m e d i aa n di n c r e a s i n g o fc o m m u n i c a t i o np r e s s u r et h a ti n t e r n e te n d u r e s ，t h er e s e a r c hf o re f f i c i e n ta v s v i d e od e c o d e rh a sg r e a ts i g n i f i c a n c e i i i 太原理工大学硕士研究生学位论文 i ti sb a s e do nt h ea b o v ea p p l i c a t i o nr e q u i r e m e n t s ，t h r o u g hi n t e n s i v es t u d y o fa v sv i d e od e c o d i n gs t a n d a r d ，t h et h e s i s d e s i g n e da n dd e v e l o p e dap c p l a t f o r m - b a s e da v sv i d e od e c o d e r ，a n dc o n d u c t e dp o s t - o p t i m i z a t i o nb yu s i n g s i m dt e c h n o l o g yi nv i s u a l s t u d i o2 0 0 8 u n d e rt h ep r e m i s eo fe n s u r i n gt h e q u a l i t yo ft h ed e c o d e di m a g e ，d e c o d e r so p e r a t i n gs p e e dg e t ss i g n i f i c a n t i m p r o v e m e n ta n di th a sp r a c t i c a lm e a n i n g t h et h e s i s sm a i nw o r kc o n t e n t sa n d a c h i e v e m e n t sa r ea sf o l l o w s ： a b o v ea l l ，t h et h e s i sa n a l y z e sa v ss t a n d a r d sd e c o d i n gs y s t e ms t r u c t u r e ， c o r et e c h n o l o g ya n db i t t o r r e n ts t r u c t u r e b a s e do nt h ef u r t h e rs t u d yo fa v s s t a n d a r dr e f e r e n c es o f t w a r e ，i tc o m p l e t e df r a m es t r u c t u r ed e s i g no fa v sv i d e o d e c o d e ra n dp r o v i d e sa ni m p l e m e n t a t i o np l a no f l a n g u a g ec n e x t ，i tg i v e sad e t m l e da n a l y s i sa b o u ta v si n t e g e ri n v e r s et r a n s f o r ma n d r e a l i z a t i o no fi n t e r f r a m e p r e d i c t i o na l g o r i t h m m e a n w h i l e ，i tc o m p l e t e d r e a i z a t i o no f c o d eci na v sd e c o d i n ga l g o r i t h m a n dt h ef o l l o w i n ga s p e c t s a c h i e v e dc l e v e lp r e l i m i n a r yo p t i m i z a t i o n i n c l u d i n gi n t r a f r a m e ，i n t e r f r a m e s e p a r a t ed e c o d i n g ，m a c r o b l o c ki n f o r m a t i o ns t r u c t u r e sr e d e f i n i t i o n ，o p t i m i z a t i o n s p a c ed i s t r i b u t i o n ，a l l z e r ob l o c kp r i o rt r e a t m e n t f i n a l l y , t h et h e s i sf o c u s e dm o s t l yo ns t u d ya n dd e s i g no fa v si n t e g e r i n v e r s et r a n s f o r ma l g o r i t h mi nb a s i so fs s e 2 i ta n a l y z e da n di m p r o v e ds a m p l e i n t e r p o l a t i o na l g o r i t h mi nd e t a i l a n dp a r tc o d e s t h a tn e e d l a r g ea m o u n t c a l c u l a t i o na n dt i m e c o n s u m i n ga r e o p t i m i z e db yu s i n gs i m dt e c h n o l o g y r e a l t i m ed e c o d i n gt h a tb a s e do np cp l a t f o r mi sa v a i l a b l ei nt h ee n d 太原理工大学硕士研究生学位论文 o fm a n yk i n d s o fd i f f e r e n tr e s o l u t i o n s d i f f e r e n tv i d e os e q u e n c et e s t s r e s u l t ss h o w sa v sv i d e od e c o d e rt h et h e s i sd e s i g n e dh a sw e l lp e r f o r m a n c e e n s u r i n gd e c o d i n gq u a l i t y , c o m p u t i n gs p e e d o f o p t i m i z e d d e c o d e rh a s s i g n i f i c a n t l yi m p r o v e m e n t i ti n d i c a t e st h ed e s i g na n do p t i m i z e dp r o g r a ma r e f e a s i b l ea n de f f e c t i v e ，a n dh a si m p o r t a n tm e a n i n gt or e a l - a p p l i c a t i o n so fa v s d e c o d e r k e yw o r d s ：a v s ，s i m d ，d e c o d e r , i n t e r f r a m e d e c o d i n g ，r e a l t i m e i m p l e m e n t a t i o n v 太原理工大学硕士研究生学位论文 v i 太原理工大学硕士研究生学位论文 第一章绪论 1 1 视频编解码技术的研究背景 随着信息技术和互联网的飞速发展，消费类电子、通信、广播、电影、电视和计算 机技术目益紧密结合起来。单一媒体提供的单一传统服务已远不能满足现代社会人们的 需求。因此，一种融合文本、图像、视频、音频等多种内容的新形式多媒体信息， 已成为人类获取信息的重要载体。众所周知，人类通过视觉获取的信息约占总信息量的 7 0 ，而且视频信息具有可靠性、直观性、确定性、高效性等优点，所以多媒体技术中 一个重要的技术就是视频技术。 传统的模拟视频信号存在数据量大、传输不方便、不能压缩、效率低等缺点，因此 逐渐被数字视频信号所取代。然而，未经处理的数字视频信号的数据量也是很庞大的。 例如，一个高清数字电视信号，分辨率为1 9 2 0 1 0 8 0 ，采用4 ：2 ：0 格式，用8 位像素 表示，如果以每秒3 0 帧进行采样，则其每秒数据量可达到9 3 3 m b 。显然，巨大的数据 量给数据传输、存储等带来了很大困难，阻碍了实际应用的推广。但由于视频数据中包 含了大量的冗余信息，因此可以对视频数据进行高度压缩。这些可以去除的冗余信息主 要包括：空间冗余、时间冗余、信息熵冗余和人眼视觉冗余等。空间冗余是指一幅图像 中的许多灰度或颜色相同的邻近像素之间存在的强相关性；时域冗余是指一个物体在相 邻视频图像间移动产生的冗余，即在时间轴方向上相邻视频图像之间的强相关性；信息 熵冗余又称编码冗余，是指数字化一帧图像过程中的每个像素都用相同的比特数表示而 存在的冗余。人眼视觉冗余是对于人眼的视觉特性而言的，人眼对于亮度信号比对色度 信号更敏感；对于低频信号比对高频信号更敏感；对于静止图像比对运动图像更敏感； 对于图像的水平、垂直线条比对斜线更敏感等。那么未能增加图像相对于人眼清晰度的 包含在色度信号、高频信号以及图像中的一些数据就被认为是多余的，这就是人眼视觉 冗余。 可见，数据量大的数字视频信号对通信网络和信息存储设备都要求很高。为了利于 数字视频信号的传输和存储，必须对数字视频进行压缩处理。因此，视频编解码技术逐 渐成为目前信息领域的研究热点。 太原理工大学硕士研究生学位论文 1 2 视频编解码标准发展和现状 2 0 世纪9 0 年代以来，随着多媒体技术、因特网和移动通信的飞速发展，数字视频 技术广泛应用于通信、广播和数字电视等领域。数字视频信号的数据量非常巨大，为了 使视频得到有效应用，首先必须解决视频压缩问题。视频编解码技术的发展历史1 翔要追 溯到1 9 8 4 年c c i t t 第1 5 研究组发布的数字基群电视会议编码标准h 1 2 0 建议1 3 1 ，1 9 9 0 年c c i t t 又通过了p x 6 4 k b p s ( p = 1 ，2 ，3 ，4 5 ，3 0 ) 视频编码标准h 2 6 1 建议【4 】o 它采用整 像素预测精度、一维预测、每个宏块使用一个运动矢量。h 2 6 1 构造的混合视频编码系 统框架体现了第一代视频编码技术，被称为数字视频压缩编码的一个里程碑。之后出现 的一系列视频编码标准都是根据各自不同的应用，基于h 2 6 1 中的混合编码方法1 5 】改进 和优化的。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ，m o v i n g p i c t u r ee x p e r tg r o u p ) 。专家组于1 9 9 1 年公布了m p e g 1 音视频压缩标准【6 】，它能提供 每秒3 0 帧3 5 2 x 2 4 0 分辨率的图像，主要应用于c d r o m 上的交互系统以及电信网络上 的视频传送。i s o i e c 和i t u t 合作于1 9 9 4 年1 1 月公布了m p e g 2 ( 即h 2 6 2 ) 标准1 7 1 ， 它能提供每秒3 0 帧的7 0 4 x 4 8 0 分辨率的图像，主要应用于数字有线电视、会议电视和 通过a t m 进行视频传输的业务等。 1 9 9 6 年3 月，i t u _ t 推出了针对极低比特率的视频压缩标准h 2 6 3 t 引，它提供了四 种可选的高级编码模式：非约束运动矢量模式、语法基算术编码模式、高级预测模式、 p b 帧编码模式。h 2 6 3 的运动补偿可达到半像素精度，相同传输速率前提下h 2 6 3 与 h 2 6 1 相比，视频质量提高2 0 - - 1 0 0 ( 取决于用户对其编码模式的选择) 。h 2 6 3 主 要应用于码率低于6 4k b s 的视频传输，如p s t n 信道中的多媒体通信、可视会议等。 1 9 9 8 年1 月，i t u t 公布了h , 2 6 3 的第二个版本【9 】，又称h 2 6 3 + ；2 0 0 0 年1 1 月，i t u t 又讨论通过了h 2 6 3 的第三个版本【l o 】，又称h 2 6 3 + + ，在这两个版本中新增了多种高级 模式，各种新技术的加入使得h 2 6 3 不断完善并得到更广泛的应用。 1 9 9 9 年1 2 月，i s o i e c 公布了“视听对象的编码标准，_ - m p e g 4 【1 1 】，它引入了a v 对象( a u d i o v i s u a lo b j e c t ) 的技术。m p e g 4 除了定义视频压缩编码标准外，还强调了 多媒体通信的灵活性和交互性。它的应用范围非常广泛，包括媒体广播、会议电视、实 时多媒体监控、电子出版、网络上的视频流与可视游戏以及软件业等。 2 0 0 3 年3 月，由i t u t 和i s o i e c 组成的联合视频组( j v t ) 正式公布了h 2 6 4 a v c 标 ， 太原理工大学硕士研究生学位论文 准1 12 1 。它将编码与传输特性进行分离，分别称为视频编码层( v c l ) 和网络抽象层( n a l ) ， 这种分层结构使其能适应于应用环境的多变性，方便其在不同网络上传输。h 2 6 4 弓1 入 的新技术主要有：基于上下文的二进制算术编码、4 x 4 整数d c t 变换、基于方向的帧内 预测、多参考帧的运动预测、可变尺寸的运动补偿和去块效应的环路滤波等。在图像质 量相同的前提下，h 2 6 4 编码视频流l 匕m p e g 2 节省6 4 的比特率【1 3 】，比h 2 6 3 + 和 m p e g 4 ( s p ) 节省3 9 0 0 - 5 0 的比特率【1 4 】，基本满足了当前运动图像压缩率要求。 h 2 6 4 a v c 是新一代视频压缩编码标准的代表，标志着限失真数字视频编码技术开 始走向成熟。与以前标准相比，它不仅显著提高了压缩比，并且具有很好的网络亲和性， 增强了对i p 网、移动网的误码和丢包的处理。其应用前景相当广泛，为在不同处理平台 上的实现提供了支持，对传统的数字视频编码技术产生了巨大的影响。 我国对数字音视频编解码技术标准的制定起步较晚，但可喜的是近年推出了a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 标准15 1 。2 0 0 3 年1 2 月，中国国家信息产业部数字音视频 编解码标准工作组( 简称a v s z e 作组) 正式公布了由我国自主制定的数字音视频编解码 技术标准a v s 。它是我国第一个具有e 1 主知识产权的数字音视频编解码技术标准，达到 了国际先进水平。 a v s 标准经过国家严格的测试，在清晰度相同的前提下，其视频编码效率达到 m p e g 2 的2 3 倍，与m p e g 4 和h 2 6 4 a v c 标准效率相当。在编码效率相当的前提下， a v s 在实现复杂度上明显优于h 2 6 4 a v c ，其解码器复杂度能够降低到h 2 6 4 a v c 的 7 0 ，其编码器复杂度能够降低到h 2 6 4 a v c 的3 0 ，大大节省了成本开销。 2 0 0 7 年a v s 被国际电联i t u 列为i p t v 国际标准。a v s 标准解决了国际标准中的许多 专利许可问题，扭转了我国音视频行业使用国际标准而不堪专利重负的局面，同时也为 我国多媒体通信行业的发展开创了一个崭新的局面。a v s 目前已被中国联通所采用作为 其i p t v 标准，同时也被手机电视的行业标准c m m b 所采用作为其信源编码标准，并且 还介入第三代移动通信系统t d s c d m a 移动终端电视标准工作组。可见a v s 标准的发展 前景非常广阔。 a v s 标准与目前国际上其它类似标准相比，具有如下优势【1 6 】： 1 a v s 标准是基于我国自主创新技术和部分公开技术所制定的开放标准，解决了 知识产权许可问题，易于推广。 2 a v s 标准技术方案简洁，实现复杂度低，编码效率高，达到国际领先水平，是 3 太原理工大学硕士研究生学位论文 高效率的新一代压缩标准。 3 a v s 标准是一套包含系统、音频、视频、数字版权管理等在内的完整标准体系， 为数字音视频领域提供了全面的信源编码技术方案。 1 3a v s 视频编解码标准技术 1 3 1a v s 视频标准的编解码框架 a v s 视频标准中未明确规定一个编解码器具体怎样实现，只是规定了一个已经编码 的视频比特流的句法以及该视频比特流的解码方法。这样在此框架下，各厂商的编解码 器能够互通，实现上有很大的灵活性，利于相互竞争。a v s 视频编解码标准是采用基于 时间和空间的预测和补偿、空域的变换、统计的熵编码的混合编码框架【 】。帧内预测采 用空间预测模式消除图像内的冗余；帧间预测采用基于块的运动矢量消除图像间的冗 余；再对预测残差进行变换及量化消除图像内的视觉冗余；最后对预测模式、运动矢量、 变换系数及量化系数进行熵编码压缩。其编码框架图如图1 1 所示。 图1 - la v s 编码器框架图 f i g u r e1 - 1t h ef n f f l l ec h a r to fa v se n c o d e r 输入的帧或场( 图中用f n 表示) 以宏块为单位经编码器处理，采用帧内或帧间预 测编码。若采用帧内预测编码，则利用当前片中前面已经编码的参考图像经帧内预测后 得到其预测值( 图中用p 表示) 。若采用帧间预测编码，则利用参考帧( 图中用f n 1 表示) 中已经编码的参考图像经运动补偿后得到其预测值( 图中用p 表示) 。预测值与 当前块相减后得到的残差块( 图中用d n 表示) ，再经d c t 变换、量化后得到一组变换 系数( 图中用x 表示) ，最后将经熵编码进行压缩后得到的码流进行传输或存储。另外， 4 太原理工大学硕士研究生学位论文 将量化系数x 经反量化和d c t 反变换后得到的残差块( 图中用d n 表示) ，与预测值 p 相加后得到未经滤波的重建块，一系列这样的重建块构成的参考图像( 图中用u f n 表 示) ，再经环路滤波器后得到的重建图像( 图中用f n 表示) ，即作为后续帧帧间预测 的参考图像。 解码器是编码器的逆过程，其解码顺序如图1 2 所示。 受h 墅h 罄h 壅俐到引科科刻黼 图1 - 2a v s 解码顺序 1 3 2a v s 视频标准关键技术 帧 图 像 a v s 视频标准采用基于块的混合编码框架，其关键技术主要有：帧内预测、帧间预 测、整数变换与量化、二维熵编码、环路滤波等。下面分别介绍a v s 视频标准的关键 技术。 1 帧内预测 帧内预测技术1 8 1 是提高i 帧压缩效率的一个关键技术。它利用了图像内部尤其是图 像平滑部分相邻像素的相关性。通过相邻已编码块对当前块进行预测，且仅对预测差值 进行变换编码，以减少图像内部的空间冗余，从而降低了编码码率，提高了i 帧宏块的 压缩效率。 a v s 的帧内预测基于8 x 8 块，利用当前块的上面块和左侧块中的相邻像素作为参考 像素。帧内预测定义了5 种亮度块预测模式和4 种色度块预测模式。亮度块预测模式有： i n t r a 一8 x8 一v e r t i c a l 、i n t r a 一8x 8 h o r i z o n t a l 、i n t r a 一8 x8 一d c 、i n t r a 一8x 8 一d o w n l e f t 、 i n t r a _ 8 x 8 一d o w n r i g h t 。色度块预测模式有：i n t r a c h r o m a d c 、i n t r a c h r o m a h o r i z o n t a l 、 i n t r a c h r o m a v e r t i c a l 、i n t r a c h r o m a p l a n e 。 2 帧间预测 帧间预测技术是a v s 视频编解码中最关键的一个环节。a v s 采用了多项帧间预测 技术，利用相邻帧精确的预测当前帧的像素值，有效降低了图像的时域相关性，减少了 传输的数据量，提高了压缩效率。帧间运动补偿( m c ) 与运动估计( m e ) 是图像压缩编码 中的核心技术 15 1 。 a v s 基准档次中限定最多使用两个参考帧，这样在保证搜索匹配性能的同时降低了 编码复杂度。a v s 视频标准中的p 、b 帧使用帧间预测，p 帧可使用在其之前的连续两 气 太原理工大学硕士研究生学位论文 个i 帧p 帧作为参考帧，而b 帧进行双向运动补偿预测时使用前后各一个参考帧。 a v s 视频标准中采用变块大小运动补偿，变块大小运动补偿对提高运动预测精度和 编码效率有重要作用。块划分的小，则残差块的编码量小，块内残差能量小，但确定运 动矢量及参考块模式的信息量大，计算复杂度高；相反块划分的大，则残差块的编码量 大，块内残差能量大，但确定运动矢量及参考块模式的信息量小。a v s 中运动预测有 1 6 1 6 、1 6 x 8 、8 x 1 6 、8 8 划分模式，这样在能够精确表达图像运动的同时降低了计算 复杂度。 运动矢量精度是提高预测准确度的重要手段之一。运动矢量的精度取1 2 像素时， 比取整像素编码效率提高约1 5 d b ；运动矢量的精度取1 4 像素时，又比取1 2 像素编码 效率提高约0 6 d b 【l 研。a v s 视频标准中运动矢量精度为1 4 像素，为得到非整像素样本， 则需要进行相应的插值运算，而插值滤波器的选择是影响高精度运动补偿性能的一个重 要因素。a v s 定义了2 个4 抽头f i r 滤波器( - 1 ，5 ，5 ，1 ) 与( 1 ，7 ，7 ，1 ) ，分别 用于1 2 与1 4 亮度样本插值。a v s 中的插值过程，首先对亮度块进行1 2 样本与1 4 样本的插值，然后由运动矢量得出相应的参考样本。对色度块则采用双线性插值得出1 8 样本。如果参考的整像素样本在参考图像外，则用距离该参考样本最近的整像素样本( 角 样本或边缘) 代替，即运动矢量可指向参考图像外的样本。 a v s 视频标准对b 帧规定了三种预测模式，直接模式( d i r e c tm o d e ) 、对称模式 ( s y m m e t r i cm o d e ) 、跳过模式( s k i pm o d e ) 。其中对称模式是一种双向预测模式，此时 比特流中仅包含前向运动矢量与前向参考索引，后向运动矢量与后向参考索引由前向导 出，从而实现双向预测。直接模式采用时域空域相结合的方式。在直接模式、跳过模式 下编码的块，其运动补偿的残差均为零，因此宏块仅需传输模式信号，而不必传输补偿 残差、运动矢量等附加信息，从而节省了编码开销。 3 整数变换与量化 变换与量化是视频编解码标准的一个关键技术，编码端采用变换将时域信号变换到 频域，频域内系数的高频分量比较小并且人眼对视频的高频细节不敏感，因此对其进行 量化，量化之后频域的高频部分就出现大量零值，从而起到压缩的作用。a v s 采用基于 8 8 整数d c t 变换【2 0 】与量化。整数变换具有完全匹配、复杂度低等优点，采用整数变 换可使编码与解码端计算精度相同并且不存在舍入误差，消除了编码器与解码器之间的 适配现象1 2 。在采用整数变换时，由于各变换基矢量的模大小不一，所以需要对变换系 6 太原理工大学硕士研究生学位论文 数进行不同程度的缩放以达到归一化。为了减小变换与量化过程中取整造成的误差， a v s 将变换与量化结合在一起考虑，将正向缩放、量化、反向缩放都在编码端完成，那 么在解码端就不需要反缩放，只需进行反量化，从而降低了解码器的复杂度。 4 熵编码 熵编码是a v s 视频编码中的一个重要模块，它可以去除编码码字的冗余，从而进 一步提高压缩效率。a v s 视频标准中熵编码采用了基于k 阶( k = o ，1 ，2 ，3 ) 指数哥伦布码 ( e x p g o l o m bc o d i n g ) 的自适应变长编码( c o n t e x t - b a s e da d a p t i v e v a r i a b l el e n g t h c o d i n g ) 技术【2 2 】。各类残差数据及变长编码语法元素均采用k 阶指数哥伦布码编码为二 进制比特流。其中量化系数采用了2 维变长编码方法，使用了全部4 种指数哥伦布码， 对( r u n ，l e v e l ) 进行编码。a v s 视频标准中一共定义了1 9 张映射表，并给出了怎样在 这1 9 张表中进行选择的具体算法：首先通过每个8 x 8 像素块的首个非零系数选择初始 映射表，然后通过当前系数的绝对值判断下一个非零系数选择的映射表。因指数哥伦布 码的码字结构很规则，所以解码器端不需要存储码表。量化系数所用的这1 9 张映射表 占用的存储空间少于2 k b 。熵编码是对信源冗余信息的压缩，其在编码过程中不会丢失 信息量，因此生成的码流在经过解码后可无失真的恢复出原数据。 5 环路滤波【2 3 ，2 4 】 由于a v s 视频中像素都是以块为单位进行编码的，所以重建图像存在块效应。主 要表现为宏块边界、宏块内块边界会产生像素的不连续、整块块斑状现象，可以采用环 路滤波【2 5 去块效应来进行边界平滑处理，以提高图像质量和编码效率。 a v s 视频标准中环路滤波基于8 8 块，对宏块所有边界进行滤波( 除图像边界、条 带边界外) 。a v s 采用自适应环路滤波，提出了3 种滤波模式：强滤波、标准滤波、不 滤波，由边界强度b s 选择滤波模式。每个8 8 亮度块之间的边界都存在一个边界强度 b s ，色度块的边界强度b s 用对应位置亮度块的边界强度代替。如果b s 等于零，则不对 边界滤波，否则由局部样本值的特性及b s 值对边界滤波。量化参数、宏块编码模式、 运动矢量等决定滤波强度b s 。 环路滤波以8 x 8 块为单位，按照光栅扫描的顺序依次处理。对亮度块与色度块分别 进行环路滤波，具体滤波过程：首先从左到右对块的垂直边界滤波，然后从上到下对块 的水平边界滤波。对每条边界滤波时，只用到每条边界两侧最邻近的3 个像素，被修改 的像素至多4 个，即每条边界的两侧最邻近的2 个像素。 7 太原理工大学硕士研究生学位论文 1 4 课题研究的意义 a v s 作为我国具有自主知识产权的编解码标准，突破了以往视频编解码技术中的核 心技术，基本达到国际先进水平。a v s 在部分算法及其实现上具有独创性，基本能够实 现完整的系统功能并且工作稳定。它为我国数字音视频产业规模化生产提供了重要的技 术支撑并为其跨越发展提供了契机，增强了我国数字音视频产业的国际竞争力。但由于 a v s 是我国自主制定的音视频编解码标准，其在时间上相对于m p e g 4 和h 2 6 4 a v c 等以 往标准提出要晚，还不完善、不成熟，不利于全面推广。 目前视频编解码标准都只提供一个码流结构与解码方法，a v s 官方提供的编解码参 考软件易读性好、编解码图像质量高，但编解码速度低。比如对c i f 格式图像而言，编 码速率约为1 帧秒，解码速率约为1 5 帧秒；对q c i f 格式图像而言，编码速率约为4 5 帧 秒，解码速率约为3 5 帧秒。这样的编解码速度对大部分的视频图像不能进行实时编解码。 因此，在实际应用时必须对算法进行改进与优化，提高解码速度以满足对基本的c i f 、 d 1 等格式图像的实时编解码要求。 本课题正是基于上面的实时应用需求，根据a v s 目前情况及特点对a v s 标准及参考 软件的解码程序进行了分析与研究，提出了一种有效解码方案。在对该方案进行c 代码 级优化的基础上，进一步利用多媒体指令集技术进行优化，最终实现了对c i f 、d 1 格式 图像的实时解码。 1 5 论文完成的工作及组织结构 本课题以我国自主制定的a v s 视频编解码标准为研究对象，在p c 平台上对c i f 、d 1 格式下的a v s 解码算法进行实时实现，并在不影响图像质量的前提下，通过采取一系列 有效措施进行改进与优化，最终降低了解码运行时间，提高了解码运行效率，实现了基 于p c 平台的实时解码。 主要完成工作如下： 1 全面掌握y a v s 视频编解码标准，并结合p c 机硬件的性能结构，提出了一种有效 解码方案。 2 详细分析t a v s 视频解码算法及关键技术，深入研究了a 、，s 参考软件源代码。在 此基础之上，编写了实现a v s 解码算法并兼顾效果与效率的c 代码，然后对整数反变换、 8 太原理工大学硕士研究生学位论文 帧间预测等重要并耗时部分进行改进及优化，有效降低了解码算法复杂度。 3 在编写完成的c 代码的基础上，进行了c 级的初步优化及s 蹦d 技术的进一步优化。 接着，对优化前后的解码代码，通过不同分辨率的不同视频序列进行性能测试，并给出 实验结果。 论文组织结构如下： 第一章绪论首先简要叙述了视频编解码技术的研究背景、视频编解码标准的发展 历程及现状；然后详细介绍了a v s 视频编解码标准技术，包括a v s 视频标准的编解码 框架及关键技术；接着简要说明了本课题研究的意义；最后给出了本文完成的主要工作 及组织结构。 第二章首先分析了a v s 标准解码基本流程，包括a v s 比特流结构、层次关系及其 解析过程；接着研究了a v s 标准参考软件；在此基础上，给出了基于p c 机的a v s 视 频解码器的框架结构设计。 第三章首先简要说明了a v s 解码c 代码开发注意事项；然后以此为根据，基本完 成了a v s 解码算法c 代码的实现，并详细分析了整数反变换、帧间预测等核心模块的 实现；接着对a v s 解码代码进行c 级的初步优化；最后进行了测试实验并给出实验结 果。 第四章首先简要介绍了s i m d 技术及书写原则；然后利用s i m d 指令对a v s 视频 解码器的整数反变换、样本插值等重要并耗时的模块进行深度优化；最后进行了测试实 验并给出实验结果。 第五章总结和展望对本文工作的总结及进一步深入研究的几点展望。 9 蔓塑整坠曼茎堂堡主塑竺堂垡堡塞 一一 1 0 太原理工大学硕士研究生学位论文 第二章a v s 视频解码器的框架结构设计 a v s 是我国具有自主知识产权的第二代信源编解码标准。它是数字音视频领域的共 性基础标准，是数字信息存储、传输、播放等环节的前提。a v s 视频标准规定了视频的 处理、表示、压缩及解压缩等共性技术标准，而未规定编解码算法的具体实现方法，所 以在实现上具有很大的灵活性。本章将简要介绍a v s 标准的比特流结构及体系结构， 并合理设计a v s 视频解码器的框架结构。 2 1a v s 标准比特流结构及其层次关系 a v s 标准的比特流结构语法层次关系，从高到低依次为：序列、图像、条带、宏块 和块五个层次，如图2 1 所示。 序列层 图2 1a v s 视频标准的比特流结构 f i g u r e2 - 1t h eb i t s t r e a ms t r u c t u r eo f a v sv i d e os t a n d a r d 1 序列 视频序列是a v s 标准比特流的最高层的语法结构。视频序列是由序列头开始，然 后跟一个或多个编码图像，每帧图像前都有图像头。在比特流中，编码图像按比特流的 顺序排列。解码图像的顺序与比特流顺序相同，而与显示顺序不一定相同。序列结束码 1 1 太原理工大学硕士研究生学位论文 标志着一个视频序列的结束。 a v s 视频标准支持两种序列：逐行和隔行视频序列。解码器的输出是一系列帧或场， 两帧之间存在一个帧时间间隔。对于隔行序列，每帧图像的两场之间存在一个场时间间 隔。对于逐行序列，每帧图像的两场之间时间间隔为零。 视频序列头是由视频序列起始码开始，然后跟一串编码图像数据。序列头在比特流 中的重复出现即重复序列头，其主要作用是：支持对视频序列的随机访问。序列头后的 首个编码图像必需是i 帧。在对比特流随机访问或编辑时，重复序列头之前的数据允许 被丢弃。 2 图像 一幅图像即一帧，图像起始码标志着编码数据的开始，下一个图像起始码或序列起 始码、序列结束码标志着编码数据的结束。一帧由一个亮度样本矩阵( y ) 、两个色度样 本矩阵( c b 、c r ) 构成。a v s 标准中图像格式( y ：c b ：c r ) 有4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 三 种格式。本论文研究4 ：2 ：0 图像格式，即色度样本矩阵水平与垂直方向的尺寸为亮度样 本矩阵的一半，如图2 2 所示。 oooo ， oo oooooo oooooo oooooo u 代表亮度样本x 代表色度样本 图2 24 ：2 ：0 档- 式下亮度和色度样本位置 f i g u r e2 - 2p o s i t i o n so fl u m as a m p l ea n dc h r o m as a m p l ei nt h e4 ：2 ：0f o r m a t a v s 标准中解码图像有帧内解码图像( i 帧) 、前向帧间解码图像( p 帧) 以及双向 帧间解码图像( b 帧) 三种类型。在视频序列中，如果没有b 帧，则解码顺序和显示顺 序一致；如果有b 帧，则解码顺序和显示顺序不一致，需先进行图像重排序，再将解码 图像输出显示。 3 条带 一幅图像中包含若干个条带，条带是按照光栅扫描顺序的连续若干宏块行，条带内 的宏块行及条带之间都不能重叠。对条带内的宏块进行解码处理时，不能使用本图像的 其它条带的数据。在传输过程中，如果某个宏块发生错误产生误码时，解码程序就会跳 1 2 太原理工大学硕士研究生学位论文 过这个宏块所在的条带，而到下一个条带起始位置，这样下一个条带就不会受到影响， 从而使误码限制在单个条带内。 4 宏块 条带划分为宏块，宏块的划分如图2 3 所示，这种划分用于运动补偿。图中矩形里 的数字3 表示宏块划分后的运动矢量与参考索引在比特流中的顺序。 1 和4 - 相1 6 应x 耀麟淼黼考痿娄瓣薹翁嫠粪 和4 4 相- 8 应x 殿焱 和相应的色度块 和相应的色度块和相应的色度块 和相压的色发职 口目田田 图2 - 3 宏块的划分 f i g u r e2 - 3p a r t i t i o