（通信与信息系统专业论文）h264avc实时视频编码器与解码器的实现.pdf

摘要 多媒体信息技术的高速发展，给人们带来了多姿多彩的生活。不断增长的社会需 求也对信息技术提出了更大的挑战。而视频编码技术是解决视频传输的核心技术，经 过近二十年的不泄努力，从m p e g 一1 到m p e g 一4a v c ( h 2 6 4 ) ，视频编码技术得到了广 泛的应用。本文基于最新国际视频编码标准h 2 6 4 a v c ，以提高编码器与解码器软件 执行速度为目标，参考h 2 6 4 a v c 测试模型j m 基本算法，在保证其原有的率失真特 性条件下，重新设计程序框架与数据结构，提出新的编码与解码算法，解决编码器与 解码器实时实现的问题。本文主要从三个方面进行了阐述： 第一、h 2 6 4 a v c 解码器核心c 代码的设计与优化。主要从数据结构与程序结构， 以及核心算法上提出优化建议。采用了更为简洁的数据结构和更为高效的程序结构， 减少程序中不必要的重复判断，并在取码、运动补偿与c a v l c 熵解码上提出了更为 高效的算法。 第二、基于a d ib l a c k f i n 5 3 3d s p 的h 2 6 4 a v c 解码器优化。从d s p 硬件架构特 点出发，主要从内存占用量与分配上的优化，及其相关汇编指令并行编码优化两方面 解决解码的速度问题，并对相关算法进一步优化，充分利用d s p 的d m a 传输，有效 地提高了代码执行速度。 第三、h 2 6 4 a v c 编码器的设计与优化。采用了新的更为高效的程序架构，在此 基础上，提出了新的运动估计算法，帧内预测模式决策算法与帧间预测模式决策算法， 与此同时，对率失真优化模型作了一定的简化，并作了一些有益的探讨，一定程度上 保证了原有率失真特性，有效地提高了编码器的编码速度。 关键词：h 2 6 4 a v c ，视频，编码器，运动估计，解码器，a d s p ，优化 第j 贞 a b s t r a c t a c c e l e r a t i n gm u l t i m e d i ai n f o r m a t i o nt e c h n o l o g yb r i n g sr i c ha n d c o l o r f u ll i f et op e o p l e t h ei n c r e a s i n gs o c i a lr e q u i r e m e n tr a i s e sag r e a tc h a l l e n g ef o ri n f o r m a t i o nt e c h n o l o g y t h e v i d e oc o d i n gt e c h n o l o g yi st h ec o r et e c h n o l o g yt or e s o l v et h eb a n d w i d t hp r o b l e mi nv i d e o s t r e a mt r a n s p o r t a f t e ra b o u tt w e n t yy e a r sh a r dw o r k ，f r o mm p e g 1t om p e g 一4a v c ( h 2 6 4 ) ，t h ev i d e oc o d i n gt e c h n o l o g yh a v eb e e nw i d e l yu s e d b a s i n go nt h em o s tn e w i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dh 2 6 4 a v c ，r e f e r e n c i n gt oh 2 6 4 a v ct e s tm o d e lj m s e s s e n t i a la l g o r i t h m s ，a i m i n gt os p e e du pt h ec o d e ra n dd e c o d e r sc o d er a t ea n d g u a r a n t e e i n g t h eo r i g i nr a t ed i s t o r t i o np r o p e r t y , t h ea u t h o rh a sr e d e s i g n e dt h ep r o g r a ms t r u c t u r ea n dd a t a s t r u c t u r ea n d p r o p o s e d n e wv i d e o c o d i n ga n dd e c o d i n ga l g o r i t h m si nt h ec o d e r a n dd e c o d e r a f t e ru s i n gt h e s eo p t i m i z a t i o nm e t h o d ，t h ec o d e ra n dd e c o d e rh a v er e a c h e dt h er e a l t i m e p u r p o s e t h i sp a p e ri n t e r p r e t st h ec o d e ra n dd e c o d e ro p t i m i z a t i o na l g o r i t h m sf r o mt h r e e s i d e s ： f i r s t l y , h 2 6 4 a v cd e c o d e r scc o d ed e s i g na n do p t i m i z a t i o nb a s e do np c 。i nt h i s c h a p t e r , ip r o p o s e s an e wp r o g r a ms t r u c t u r ea n dd a t as t r u c t u r e ，a n ds o m eo p t i m i z a t i o n m e t h o d o nm o t i o nc o m p e n s a t i o n ，c a v l cd e c o d ea n dg e tb i t sm o d e l ，n e wa l g o r i t h m p r o p o s e d t h e m o r ec o n c i s ed a t as t r u c t u r ea n d p r o g r a ms t m c t u r e ，w h i c h t or e d u c e r e d u n d a n t j u d g m e n t si nt h ep r o g r a ma n dr e a c ht h ed e c o d e rr e a l t i m ep u r p o s e s e c o n d l y , h 2 6 4 a v cd e c o d e ro p t i m i z a t i o nb a s e do na d s pb f 5 3 3 i nt e r mo ft h e h a r d w a r ea r c h i t e c t u r ep r o p e r t y , i to p t i m i z et h ev i d e od e c o d e r ss o f t w a r ea r c h i t e c t u r ef r o m t w os i d e s ：1 ) r e d u c et h en e c e s s a r yd a t am e m o r ya n d o p t i m i z et h em e m o r ya l l o c a t i o n ；2 ) u s e p a r a l l e la s s e m b l yi n s t r u c tt os p e e du pt h ec o d er a t e e x c e p tt h a t ，i to p t i m i z es o m er e l e v a n t a l g o r i t h ma n dm a k e u s eo f t h ed s p sd m a s y s t e mt os p e e du p t h ec o d em t eb a s e do nd s p p l a t f o r m t h i r d l y , h 2 6 4 a v ce n c o d e r sc o r ecc o d ed e s i g na n do p t i m i z a t i o n 。i nt h i sc h a p t e r , i t p r o p o s e san e wp r o g r a ms t r u c t u r ea n dan e wm o t i o ne s t i m a t i o na l g o r i t h m ，w h i c hb ep r o p e r t oh 2 6 4 a v c sc o d e r o nt h ei n t r ap r e d i c t i o nm o d ea n di n t e rp r e d i c t i o n m o d e d e c i s i o n ，as i m p l i f i e dr a t e d i s t o r t i o no p t i m i z a t i o n ( r d o ) m o d e ld i s c u s s e di nt h i s p a p e n f r o mt h et e s tr e s u l t ，w ec a nf i n dt h a ti t s p e e d su pt h ec o d i n gr a t ea n dg u a r a n t e e st h er a t e d i s t o r t i o np r o p e r t yt os o m ee x t e n t k e y w o r d s ：h2 6 4 a v c ，v i d e o ，e n c o d e r , m o t i o ne s t i m a t i o n ，d e c o d e r ，a d s p o p t i m i z a t i o n 第j 页 上海大学 本论文经答辩委员会全体委员审查，确认符合上海 大学硕士学位论文质量要求。 答辩委员会签名：( 工作单位职称) 主任： 委员： 夏l 鳃中 ? 乙- 狄皿转 j 铆畹硌 导厩亨良张 答辩日期：沙。v 卜r 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的 研究工作。除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已发表或撰写过的研究成果。参与同一工 作的其他同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢 签名日期翌丝：! ：r 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规 定，即：学校有权保留论文及送交论文复印件，允许论文 被查阅和借阅；学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名 导师签名：主亟塾日期：。型：i ：f 第一章绪论 多媒体与计算机网络通信的高速发展，以及人们对现代化生活需求的不断增长， 使传统的多媒体编码与传输技术面临越来越大的挑战。卫星电视、交互式电视、视频 点播( v o d ) 以及个人无线视频通信系统等的出现，为人民提供了功能更为强大的多媒 体通信平台，同时也对视频编码各方面的性能提出更高的要求。 对数字视频压缩编码技术的研究可追溯到2 0 世纪5 0 年代初期，逐步进行了包括 熵编码、d c t 变换、运动补偿等许多关键技术的研究，为标准的制定提供了技术条件。 随着h 2 6 1 、h 2 6 3 、m p e g - 1 、m p e g 2 、m p e g 一4 等标准制定完成并得到广泛的应用， 极大地推动了多媒体产业的发展。目前，h 2 6 4 视频编码标准即将制定完成，其更好 的率失真效果及其更强的差错鲁棒性，己得到业界专家们的肯定。 1 1数字视频编码发展历程 1 1 1 视频编码关键技术的研究 1 熵编码 现在广泛应用的熵编码发明于2 0 世纪4 0 年代末，6 0 年代开始应用于视频编码， 到8 0 年代中期发展成为二维可变长码( 2 dv l c ) 编码和算术编码。熵编码用于消除 编码统计上的冗余【1 】。 熵编码最早由香农( s h a n n o n f a n o ) 于1 9 4 9 年提出，称为香农编码。而后1 9 5 2 年哈 夫曼( h u f f m a n ) 提出种更优的算法，称为哈夫曼编码。这种方法在已知采样和概率分 布条件下，可产生最小数目的二进制编码比特流。这也就是目前为止最为通用的视频 编码中熵编码的算法原型。而后在8 0 年代早期，哈夫曼编码被用来定义z 字形扫描 的变换系数的可交长码表，其优化后的可变长码表被用于h 2 6 1 ，m p e g l 和 m p e g 2 1 1 。 目前为至，有三种流行的可变长码编码方法：哈夫曼编码、l z w 编码、算术编码。 哈夫曼编码把固定数目的符号转成可变长的码字；l z w 方法把可变数目的符号转成固 定长度的码字；而算术编码把可变数目的符号转成可变长度的码字。哈夫曼和算术编 码方法是基于概率模型的，且可逐渐达到熵界限。算术编码方法更容易达到渐进的性 能；且容易适应信号统计特性的变化，但它比哈夫曼编码更复杂。l z w 不要求了解信 号的统计特性，效率更低。哈夫曼与算术编码已经用于各种视频编码标准中 2 1 。 2 预测编码( d p c m ) 存预测编码中，不是对个像素直接编码，而是由同i 魄或前帧中的相邻像素 值来预测它的值。这是受相邻像素通常有类似的彩色值这一事实启发，渡少编码比特 的浪费。在编码器中，首先由存储在内存中的几个先前重建的样点来预测输入样点， 第j 页 然后量化预测误差，再用可变长编码器对预测误差进行编码。解码器的重建是预测值 加上量化后的预测误差。为了保证编码器与解码器的一致，编码器必须重复与解码器 同样的重建样点过程，这称为环内预测编码方法，也称为差分脉冲编码调蒂f j ( d p c m ) 1 。 d p c m 发明于1 9 5 2 年，同年被应用于视频编码。最开始只是用于减少空间域冗 余的编码技术，直到7 0 年代，d p c m 应用于时域编码。发展到8 0 年代早期，d p c m 仍然只停留于一种单一的视频编码解决方案。d p c m 编码方法与变换编码的结合，形 成了一种基于变换和预测的混合( h y b r i d ) 编码框架，并开始应用于m p e g 标准，取得 了很大的成功。 预测编码用于空间域编码称帧内预测。帧内预测不仅应用于原始像素值，也可以 应用于变换域系数。在块变换编码器中，相邻块的d c 系数时常是相似的，我们可以 由当前块的上方和左侧的块的d c 值来预测当前块的d c 值。d p c m 方法应用于视频 时域编码，也就是通常所说的运动补偿方法。亚像素插值方法应用于运动补偿，进一 步提高了预测的精度。到8 0 年代末，双向预测模式的提出，也就形成了迄今为止的一 种时域预测编码模式。采用运动补偿预测的时间预测编码是现代视频编码标准成功的 关键，它包括单向的时间预测和双向的时间预测。单向时间预测要求以前一帧或几帧 图像作为参考帧，并通过运动向f l ( m v ) 与预测误差来重建图像块；双向时间预测则不 仅依赖于前面的图像帧，而且由前向帧与未来帧相邻像素共同预测，可有效提高预测 编码增益，但是由于预测方法采用不同于原时间顺序，会引入较大的编码延迟，在实 时应用系统中通常是不用的【2 j 。 3 变换编码 变换编码最早用于视频是1 9 世纪6 0 年代末期。到7 0 年代初期，变换编码取得了 实质性的进展，并应用于视频编码，以消除空间域冗余。 最早对变换的研究大约开始于1 9 6 5 年e n o m o t o 和s h i b a t a 对一维哈达l q ( h a d a m a r d l 变换的研究。接下来开展了对各种变换方法的研究，其中包括二维变换，傅立叶( f o u r i e r l 变换、卡胡南( k a r h u n e n l o e v e ) 变换、二维哈达玛阻a d a m a r d ) 变换等。研究中发现， 傅立叶变换由于其计算的复杂度，特别是需要高精度的浮点运算，而且对有限的小图 像块其能量集中程度并不理想，并不适用于图像块的编码。理论上能量摄为集中的最 优变换是卡胡南( k a r h u n e n l o e v e ) 变换，由于其运算极为复杂，无法应用于实际的图 像编码，而且其统计模型仅是一种近似的模型，不一定在实际应用取得理想的效果。 几年后，发现对于小图像块，哈达玛变换比傅立叶变换有更好的能量集中效果，但是 其变换带来的误差太大，并没有在实际中得到应用。h a a r 变换和s l a n t 变换是在哈达 玛变换的基础修改的两种变换方法，也没取得理想的效果。1 9 7 4 年，余弦( c o s i n e ) 变换由a h m e d ，n a t a r a j a n 和r a o 等人提出，其理论结果非常接近于卡胡南变换，其良 好的能量集中肚能和其运算复杂度的大大降低( 完全是实数的运算) ，以及其快速优化 算法的提出，使其成为迄今为止仍在图像编码领域广泛应h 的变换方法。 辣2 砸 视频压缩技术在早期电视时期就有应用了，比如2 ：1 隔行扫描实际上是一种2 ：1 的 视频压缩算法。采用隔行扫描( 1 1 1 t e r l a c e ) 的动机是在给定时间内给定所能记录的总行数 的条件下，用牺牲垂直分辨率来提高时问分辨率 ”。在电视系统中，为了减少所需带 f三1=0；：15478=；0i2。941。0；4。3998五g+f112681 c 王e 1-1cr4 3 903 6 800 7 1b1 2 8 ， ic 西l = l 一 一 f + l1in 式。) ill 0 一 iiii p s n r _ l o l o g 。鲁( 式1 - 2 ) 盯 第3 页 成电路的高速发展，硬件处理速度的提高，视频编码的算法越来越复杂，从而换取更 其它参数 图1 - 1 m p e g 视频编码框图1 j f i g u r e1 - 1m p e gv i d e oe n c o d er 【 1 9 8 4 1 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 0 图卜2i t u t 与m p e g 视频标准发展框图 f i g u r e1 - 2p r o g r e s s i o no f t h ei t u - t r e c o m m e n d a t i o n sa n dm p e gs t a n d a r d s j 研究图际视频编码标准，不能不涉及两个国际标准组织：国际电信联盟一电信部 ( i t u t ) 、运动图像专家组( i s o m p e g ) 。i t u t 第1 6 研究组( s g 6 ) 负责多媒体的研究， 其第3 工作组( w p 3 ) 负责音视频编码，迄今为止已推出了包括2 6 i 、h 2 6 3 、h2 6 4 在内的视频编码标准i t 旷j 建议。i s o i e c 则是另个国际标准化组织，其所有的 与计算机相关的活动目前都由关于信息技术的i s o i e c 联合技术委员会l ( j t c i ) 负责。 第4 贞 其分委员会s c 2 4 ( 计算机图形和图像处理) 和s c 2 9 ( 音频、图片、多媒体和超媒体信息 编码) 与多媒体有关，s c 2 9 其第1 1 工作组( w g l l ) 成功开发了众所周知的音视频编码标 准m p e g 一1 、m p e g 一2 、m p e g 一4 。如图卜2 所示i t u - t 与m p e g 两个标准组织制定的视频 编码标准的发展概况。这些标准在制定时都提供了参考模型，以彻底评价该标准。如 h 2 6 1 的参考模型( r m ) 、h 2 6 3 的近期测试模型( t m n ，t e s tm o d e ln e a r ) 、m p e g 一1 的 仿真模型( s m ) 、m p e g 一2 的测试模型( t m ) 、m p e g 一4 的校验模型( v m ) 以及h 2 6 l 的远期测 试模型( t m l ，t e s tm o d e ll o n gt e r m ，后来称作h 2 6 4 的联合测试模型j m ) 。 1 1 2 1h 2 6 1 与h 2 6 3 概述”。 h 1 2 0 t 4 1 是由i t u t ( 过去叫c c i t t ) t i i i 定的第一个国际视频编码标准，也是第一个 用于t h 然视频编码的国际标准。1 9 8 4 年完成了第一个版本，采用了包括d p c m 、标量 量化、变长码编码等编码方法。1 9 8 8 年完成了第二版本，加入了运动补偿和背景预测 的编码方法。h 1 2 0 系统随着h 2 6 1 、h 2 6 3 等更好的视频编码系的出现，己逐渐淘汰 了。h 2 6 1 采用了4 ：2 ：0 采样格式，是基于块的运动补偿与d c t 变换相结合的混合视 频编码标准。具有以下特点： 1 将图像分成若干个1 6 1 6 像素尺寸的宏块，一个宏块由4 个8 8 的亮度块和 6 7 8 两个8 8 的色度块( 一个用于c r 分量，一个用于c b 分量) 组成。 对每个8 8 的块使用d c t 变换以减少空间冗余。 使用d p c m 环路( 在h ，2 6 1 中使用单向整像素前向运动补偿) ，以减少时间冗余。 对运动补偿预测信号采用了一种二维环路滤波器进行低通滤波，以减少预测误 差并降低预测图像的块效应。 对d c t 系数采用两个量化器。用步长为8 的均匀量化器量化帧内模式的d c 系数，用步长2 至6 2 的近似均匀的中间踏板量化器量化帧内模式和帧间模式 的a c 系数，这种量化器在卜t ，t 之间被称为死区，被量化为0 ，死区之外， 步长是均匀的。这个死区避免了对主要会引起编码噪声的许多小的d c t 系数 进行编码。 h 2 6 l 编码器主要传输每个编码宏块的两类信息：由预测误差信号变换产生的 d c t 系数和由运动估计器估计出的运动向量( m v ) 。运动向量的范围限制在 1 6 像素内。编码控制信息还包括宏块类型( m t y p e ) 、编码块模式( c b p ) 以及量 化器步长变化( m q u a n t ，可选项) 等。宏块类型包括以下1 0 种宏块类型：i n t r a 、 i n t r a + q ，i n t e r ，i n t e r + q ?i n t e r + m c 、i n t e r + m c + c b p ? i n t e r + m c + q ? i n t e r + m c + f i l 、i n t e r + m c + f i l + c b p 、 i n t e r + m c + f i l + o 。 l2 6 1 的系数编码方法：每个非零d c t 系数转换成( 游程，量化后系数值) 这样 的符号，每一个符号用可变长码( v l c ) 进行编码，并在块的最后一一个非零系数 之后输出一个块结束( e o b ) 。 f j 2 6 1 最低要求支持7 5 f s 的q c i f 图像，最高支持3 0f s 的c i f 图像。 第5 页 h ，2 6 3 标准是基于h 2 6 1 编码框架的，由于视频压缩技术的进步以及高性能台式计 算机的逐步普及，i t u t 决定在h 2 6 3 中放入复杂度更高且编码效率更高的算法a h 2 6 3 的发展分为三个阶段：h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 。如图卜2 所示。 1 9 9 5 年1 1 月制定的h 2 6 3 与h 2 6 1 相比，其b a s e l i n e 采用了如下新技术： 1 半像素运动补偿。在非整数运动向量的情况下，用双线性内插计算预测像素。 运动向量的编码是用三个邻近的中值运动向量作为对该向量的每个分量的预 测。 2 改善的可变长编码，包括三维v l c 以提高d c t 系数编码的效率。要编码的事件 是( l a s t ，r u n ，l e v e l ) ，l a s t 标志是否为最后一个非零系数。 3 在块组级以及m t y p e 和c b p 编码中降低开销。 4 比h 2 6 1 支持更多的图像格式。 除以上改善，h 2 6 3 还提供了以下特性： 1 无限定运动向量。 2 基于语法( s y n t a x b a s e d ) 的算术编码可用于替代可变长编码。 3 先进的时域预测模式，包括无限定运动向量模式。其中提供了两种改善的技术： 重迭块运动补偿( o b m c ) 方法和可选的8 8 亮度块的运动向量。 4 双向预测模式图像( b 帧) 与单向预测模式图像( p 帧) 混合使用的编码模式，即 p b 帧模式。 2 0 0 0 年后，i t u 推出了更新的t t 2 6 3 版本( h 2 6 3 + + ) ，进一步添加了一些可选模式， 其中最重要的包括： 1 _ 先进的帧内编码模式，即用左侧或上方的块作为预测进行编码的方法。 2 去块滤波器，用以对8 8 块的边界滤波，以减小块效应。去块滤波器在编码 器和解码器预测环的内部实现。 3 附加增强信息，用来提供由使用h 2 6 3 的应用系统定义的用于外部应用的标志 信息。 4 改进的p b 帧模式。 如果h 2 6 3 使用先进帧内预测、算术编码、p b 帧这些选项，可比t t 2 6 1 获得其3 d b 的增益；如没有这些选项，也可获得2 d b 的增益。 1 1 2 2m p e g 一1 与m p e g 一2 概述 m p e g 标准是由i s o i e cj t c ls c 2 9 w 6 1 1 开发的。m p e g 一1 标准是为多媒体应用中 所使用的逐行扫描的视频设计的，目标是1 2 m b p s ( 包括音频和视频在内1 5 m b p s ) 的比 特率下生成接近v h s 质量的视频，视频格式是s i f 。 m p e g 一1 仍采用了与h 2 6 1 类似的混合编码框架，与h 2 6 l 相比有如下区别： 】由于使用了半像素精度的运动向量，不需要滤波器，运动向量范围扩大到+ 6 4 像素。 2 采用了i 帧，p 帧，b 帧三种帧类型。 第6 页 3 对于i 帧，d c t 系数的量化是适应人类视觉系统的，用一个加权矩阵来除这些 系数。在相同比特率条件下加权矩阵降低了解码图像的p s n r ，但提高了主观质 量。 4 帧内编码块的d c 系数可以由它的左邻块的d c t 系数预测。 5 使用一个图像组( g o p ) 结构。每一个6 0 p 都以一个i 帧开始，后跟一定数量的p 帧和b 帧，以实现视频的随机访问。 在m p e g 一1 标准化结束时，发现m p e g 一1 不能以广播质量有效地压缩隔行数字视频。 因此，m p e g 组发出了征集电视广播应用系统编码技术的通知，以将m p e g l 扩展到处 理隔行视频格式。由此开始了m p e g 一2 的制定。m p e g 一2 主要目的是使用i t u rb t 6 0 1 4 ：2 ：0 格式，产生4 、8 m b p s 码率的电视质量图像和1 0 、1 5 m b p s 码率的高质量图像，解 决s d t v 或h d t v 隔行扫描视频的编码问题。 m p e g - 2 视频编码与m p e g - 1 相比主要有如下区别： 1 用于m p e g 一2 视频编码的4 ：2 ：0 格式与m p e g 一1 相比，其色度采样点的位置水平 移动o 5 个像素。 2 m p e g 一2 可编码4 ：2 ：0 格式的隔行序列。 3 m p e g 一2 允许d c t 系数有其它的扫描格式( 如交替扫描) ，并具有1 6 8 像素尺寸 的块运动补偿。 4 d c t 的d c 系数的1 0 比特量化、非线性量化和较好的v l c 表提高了逐行扫描视 频序列的编码效率。 5 m p e g 一2 支持各式各样的可分级性。比如空间可分级性、时间可分级性、s n r 可 分级性。 视频电视会议的视频编码导致了用于i s d n 视频会议的i t u 标准h 2 6 1 的制定和用 于在模拟电话线路传输视频会议和连接到因特网的桌面和移动终端的h 2 6 3 标准的制 定。用于在c d r o m 上存储电影以及其它消费视频应用系统中的视频编码，导致了最初 的i s om p e g 一1 标准的制定。用于广播和d v d 数字视频存储的视频编码，导致了i s o m p e g 一2 标准的制定。如今m p e g 一2 视频被应用于每一个数字机顶盒，并被选择为美国 h d t v 广播系统的视频解码器。对编码质量的更高要求，个人无线视频通信系统、交互 电视、视频点播( v o d ) 等的出现，要综合性能更好的视频编码技术，这导致了m p e g 一4 和h 2 6 4 等现代视频编码标准的制定。 1 1 3 现代视频编码技术( m p e g - 4 h 2 6 4 ) 1 1 3 1m p e 6 4 概述 编写m p e g 一4 标准是为了在支持传统视频应用的同时，满足新一代高度交互性多媒 体应用系统的需求。这些多媒体应用系统除高效编码外，还要求各种先进的功能，例 如基j 对象的交互性、内容的i u 分级性和高度的差错恢复性能。m p e ( ；一4 提供自然的和 合成的音视频以及基于对象的编码工具。 第7 员 m p e g 一4 的功能不仅需要访问整个图像序列，而且需要访问整个对象。与图像相同 的是，一个对象也被规定为一个访问单元；与图像不同的是希望它具有语义上的意义。 m p e g 一4 通过用运动、纹理和形状对物体独立地编码，使与视频对象进行基于内容的交 互成为可能。在解码器中，不同的对象综合成一个场景并加以显示。为了实现这个功 能，需要开发较高级的句法结构。一个场景是由几个视频对象( v o ) 组成。一个v o 可由 几个视频对象层( v o l ) 组成。v o l 可以表示可分级比特流的不同层或v o 的不同部分。 v o l 的一个时间瞬间称为一个视频对象平面( v o p ) 。一个v o p 是一个矩形视频或它的一 个部分，可由其纹理变化和其形状完全描述。视频编码器把运动、纹理和形状编码工 具用于v o p ，使用的i ，p 和b 模式类似于m p e g - 2 的编码模式。为编辑和随机访问， 相继的v o p 可组成一个视频对象平面组( g v o p ) 。除了以上m p e g 一4 的基于对象的性质引 起视频编码的明显改变之外，还引入以下工具提高其编码效率： 1 与m p e g 一1 2 相比改进了的d c 系数预测方法：选择当前块的左边块或者上边块 做为预测器来预测当前d c 系数值。 新的a c 系数预测方法：用左边块和上边块预测当前块的第一列a c 系数或第一 行a c 系数。 交替水平扫描方法。 与h 2 6 3 类似的三维o c t 系数的v l c 编码方法。 与h 2 6 3 类似的可选8 8 块运动向量。 无限制运动向量，与h 2 6 3 相比，可以使用更宽的运动向量范围( 2 0 4 8 像素) 。 全局运动补偿。 精确到1 4 像素的运动补偿。 1 1 3 2h 2 6 4 a v c 概述 h 2 6 4 a v c 是首先f i h l t u t 开始制定，并在2 0 0 1 年底与i s o m p e g 联合制定的新一代 国际视频编码标准，目前已被1 t u t 接纳为h 2 6 4 建议，并同时被i s o i e c 接纳为国际标 准1 4 4 9 6 1 0 ( m p e g 一4 第1 0 部分，高级视频编码( a v c ) ) 。大约十年前制定的m p e g 2 已在 标清( s d ) 和高清( h d ) 的数字视频领域获得广泛应用，如卫星电视信号、有线电视信号、 地面发射电视信号，以及d v d 光盘存储。随着对高清晰视频服务要求的不断增长，要求 更高的视频压缩效率。另外，由于其它传输媒介的兴起，女h c a b l em o d e m x d s l 或u m t s 等比广播信道带宽更窄的传输媒介，要求以有限的传输码率获得相对更高清晰度的视频 图像。近年来，硬件处理能力的高速发展和视频编码技术的提高，导致了h 2 6 4 标准的 制定a 目前h 2 6 4 的高效编码技术已被世界专家们所肯定，预计在不久的将来，可能在 相关领域获得广泛应用。 相对于以前的视频编码标准，比如m p e g 2 等，有如下比较突出的特点 5 】= 1 7 种不同大小块的运动补偿方法：不同大小的帧间预测块模式，可较以前编码方 法获得更好的预测编码增益，也同时增加了块模式决策的复杂度。 2 1 4 精度亚像素运动补偿方法：较过去亚像素运动补偿方法有更大改进。 第8 负 2 3 4 5 6 7 3 ，超出图像边界的运动向量( m v ) ：类似h 2 6 3 可选项，无边界限制运动向量。 4 ，多参考帧运动补偿：多参考帧技术最先用于h 2 6 3 + + ，突破了过去编码标准运动 补偿对p 帧编码只参考前一帧的限制。 5 新的基于方向的空间域帧内预测方法，有效提高了预测质量，从而提高了帧内编 码效率。 6 自适应的循环去块滤波器用于编码器，不仅有效提高了去块滤波效果，而且一定 程度上提高了帧间预测效果。 7 一改过去的8 8 d c t 变换，采用4 4 的整数类d c t 变换，降低了变换的计算，减 小了d c t 浮点运算带来的变换与反变换上的漂移。 8 基于上下文的自适应熵编码，包括c a v l c ( c o n t e x t ，a d a p t i v ev a r i a b l e 1 e n g t hc o d i n 9 1 和c a b a c ( c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i cc o d i n 曲。 9 提出网络抽象层( n a l ) 的概念，使之能更为友好地适应于网络的应用。 1 0 除以上技术，还提出了包括f l e x i b l em a c r o b l o c ko r d e r i n g ( f m o ) 、a r b i t r a r ys l i c e o r d e r i n g ( a s o ) 、s p s is y n c h r o n i z a t i o n s w i t c h i n gp i c t u r e s 等新技术。 1 2h 2 6 4 编码系统的优势及其实时视频编解码研究的必要性 1 2 1 h 2 6 4 编码系统相对以前标准编码系统的优势 h 2 6 4 的主要目标是基于现有的技术，采用基本的，简单直接的设计方法，开发出 高效可靠的视频编码标准。相对于以前的视频编码标准，有很多的优势，主要总结如下 ( 主要参考文献 3 】) ： 1 相对于 l 2 6 3 + ( h 2 6 3 v 2 ) 或m p e g 一4s p ( s i m p l ep r o f i l e ) ，h 2 6 4 同等程度的编码器 可节省5 0 的码流量。 2 支持高清隔行编码，以及其它各种高码率与低码率编码方式，同等的码率条件 下，可获得更好的图像质量。 3 更强的差错鲁棒性。针对口网络丢包和无线网络误码，h 2 6 4 提供了更多更好的 工具，如f m o ，a s o 等。 4 通过网络抽象层( n a l ) ，h 2 6 4 视频码流可更好地在各种网络上传输。 h 2 6 4 与m p e g 一4 的具体比较参见参考文献 6 ，与j p e g 一2 0 0 0 的比较参见文献 5 2 】。 1 2 2h 2 6 4 实时编码与解码软件研究的必要性 从前面的论述可看出，h 2 6 4 仍采用了传统的混合编码框架，但从预测到变换，以 及熵编码，h 2 6 4 采用了一系列的新技术，一方面提高了编码效率，但另一方面也同时 提高了算法的复杂度。文献 2 8 通过分析得出结论，t t 2 6 4b a s e l i n e 解码器将l l h 2 6 3 b a s e l i n e 解码器提高2 5 倍以上的复杂度。 我们先看看h 2 6 4 a v c 测试模型j m 7 3 解码器l d e c o d e r 和编码器l e n c o d e r 的测试数据： 第9 页 表1 1j m 7 3 解码器测试数据 t a b l e l 。1t e s td a t ao f j m 7 3 d e c o d e r a k i y o c i f f o r e m a n c i f t e m p e t e d f 码率( k b p s 】 6 24 0 0 9 0 0 平均解码时间i n t r a 4 3 6 23 4 0 0 4 0 0 8 f m s 0 i 盯r e r 1 2 8 52 3 4 63 4 5 5 表1 1 是在c p u 为p 42 2 g h z 内存为5 1 2 mp c 机上对三种不同的码率的测试结果，其 中a k i y o 为低运动量序列，f o r e m 粕为中等运动量序列，t e r n p e t e 为高运动量序列，其编 码的量化参数q p 3 0 。从测试结果来看，测试模型j m 7 3 即使低运动量的a k i y 0 序列也远 未达到实时。在做编码器的优化之前，本人曾做过实验，对j m 5 0 c 基于b a s e l i n e 简化， 在程序中删去了很多的判断，并没有作其它算法上的优化，发现解码器执行效率提高了 近2 倍。由此可见，对程序结构作进一步的调整可进一步提高程序执行的效率。 表1 2j m 7 3 编码器测试数据 t a b l e l 2t e s td a t ao fj m 7 3e n c o d e r a k j y o c i f f o r e m a n c i f t e m p e t e c i f 码率( k b p s 】 6 24 0 09 0 0 平均编码时间i n t r a5 6 2 86 6 5 91 2 3 5 8 f m s 0 i 盯r e r2 2 9 7 12 3 4 2 92 8 9 7 5 表1 2j m 7 3 编码器的测试数据，测试条件同解码器，采用的编码技术包括： 1 最大搜索范围为3 2 ； 2 七种帧间预测块模式； 3 单个参考帧： 4 c a v l c 熵编码方法； 5 率失真优化模型( r d o ) 等； 从以上测试数据来看，在只有一个参考帧的条件下，c i f 格式图像编码速度远未达 到实时，要使编码器达到实时的效果，不仅要从程序结构与数据结构上做相应的优化， 运动估计算法是制约编码器的首要因素，必须要有率失真效果好，速度快的运动估计算 法支持。由于h 2 6 4 多参考帧、多种帧问块模式的提出，有效地提高了编码器的率失真 效果，同时，也给运动估计算法提出了更大的挑战。 本课题要实现实时的h 2 6 4 编码器与解码器，首要解决的就是编码与解码的时间问 题。要解决这个问题，要从两个方面考虑，一个是从程序的总体架构出发，优化设计程 序框架，减少程序中的重复判断，提高代码执行效率；另外就是从算法的角度考虑，从 根本上减小计算量，从而提高编码与解码的速度。本论文主要从这两方面进行阐述，探 讨如何完成h2 6 4 实时编码与解码器的实现。 1 2 3 视频编码器与解码器软件加速策略 由前面分析可见，对于实时视频编码器与解码器的实现，其软件执行速度是一个 第1 0 贞 关键的问题。近年来，国内外对视频编码器与解码器软件优化方法的研究方兴未艾， 也出现了不少相关的解决方案，使h 2 6 3 、m p e g 一4 等视频编码标准成功地应用于各 个相关领域。其软件加速策略主要可归结为以下两个方面： 第一，平台无关的基于c 或其它编程语言的优化。其中包括编码器与解码器关键 算法的优化、程序结构与数据结构上的优化等。 对于编码器，运动估计算法、模式决策算法等往往对编码速度与编码质量起关键 性的作用。如参考文献 7 1 一【1 3 分别从程序结构的优化、运动估计算法以及d c t 算法 的优化探讨了h 2 6 3 、m p e g 4 、h 2 6 4 等视频编码器核心代码的优化加速策略。如文 献 1 3 ，结合现有的快速块匹配算法的模板结构，从仿生学的角度构造了一种类似人 眼中央凹的搜索模板，从而提出了一种新的搜索算法一正方形一菱形搜索算法 r s q u a r e d i a m o n ds e a r c h ) ，简称s d s 算法，通过实验证明，s d s 算法其搜索速度与搜 索结果都明显优于钻石搜索法( d s ) ，有其独到之处。其它文献对d c t 变换算法和运动 估计算法作了详细的探讨