（计算机应用技术专业论文）h264和avs标准中帧间预测技术研究.pdf

摘要 摘要 当今时代，人们对多媒体数据的需求正在不断增长，同时多媒体数据本身的 内容也不断增大，如何压缩视频数据量成为多媒体技术发展的关键问题。因此， 视频压缩技术成为一个重要的课题，而由此产生的各种视频压缩标准则为视频数 据的传输和存储提供了解决方案。 h 2 6 4 作为m p e g - 4 标准中的第1 0 部分，具有非常高效的视频编解码效率， 已成为国际上最流行的视频编码标准；中国自主知识产权的数字音视频编解码标 准( a v s 标准) 也于2 0 0 3 年1 2 月份和2 0 0 5 年3 月份分别完成了音视频编码标 准第二部分视频( a v s1 o ) 和第七部分移动视频( a v s m ) ，代表了 当前视频编解码领域的最新水平。 本文在h 2 6 4 标准和a v s 标准的软件测试平台上，对帧间模式选取、运动 插值技术和帧内预测技术进行了深入的研究。 首先，针对a v s m 标准中帧间模式选取过程计算量大的缺点，提出了一种 快速帧间模式选取算法。利用最优帧间模式块的大小与视频运动剧烈程度之间的 相关性，设定了多种模式搜索的提前结束条件，从而减少了帧间模式的搜索种类； 并通过设定最优帧间模式与帧内预测模式比较的阈值，减少帧内预测模式的计算 次数。进一步降低了帧间模式选取的计算复杂度。实验结果表明，本算法在保证 了编码效率的前提下，帧间模式搜索过程的复杂度降低了4 0 左右；通过设定帧 内预测阈值，帧内预测的计算量也得到了有效的降低。 其次，提出了两种新的四分之一像素插值技术。h 2 6 4 标准中的四分之一像 素插值使用简单的双线性插值系数，对不同运动特性的视频序列，其编码性能有 很大差别，本文提出的3 抽头非对称四分之一像素插值技术有效地解决了这个问 题。同时，针对a v s 视频标准中的插值技术，文中提出了一种自适应四分之一 像素插值算法，本算法的最大特点在是利用已经编码帧的运动信息和量化参数预 先判断插值四分之一像素的滤波系数。通过实验结果可以看到，本文提出的两种 四分之一像素插值技术有效地提高了编码效率；通过复杂度分析可知，本文提出 的插值算法的复杂度与标准中的算法持平。 北京工业大学工学硕士学位论文 最后，本文提出了一种基于空间距离的帧内预测方案，本方案利用当前块中 的像素与相邻块中的像素之间距离的关系设定水平、垂直预测模式距离因子和不 同预测模式的滤波系数，充分利用了相邻像素与待预测像素之间的相关性关系， 提高了编码效率。 关键字：h 2 6 4 ：a v s ；帧间模式；插值；帧内预测 l i a b s t r a c t a b s t r a c t r e c e n t l y , t h er e q u i r e m e n to fm u l t i m e d i ad a t ah a sb e e ng r e a t l yi n c r e a s e d ，a n dt h e c o n t e n to ft h em u l t i m e d i ad a t ah a sb e e ni n c r e a s e da tt h es a m et i m e s o ，h o wt o c o m p r e s st h ev a s tm u l t i m e d i ad a t ah a sb e c o m et h em o s tc o n c e m e dp r o b l e m ，a n dt h e t e c h n o l o g yo fv i d e oc o d i n gh a sb e c o m eo n eo ft h em o s ti m p o r t a n ti s s u e s b yt h i s t o k e n ，t h ev i d e oc o d i n g s t a n d a r d sg i v eag o o ds o l u t i o nt ot r a n s f e ra n ds t o r et h e m u l t i m e d i ad a t a h 2 6 4i st h ep a r t1 0 o fm p e g - 4s t a n d a r d ，w h i c hi st h em o s te f f i c i e n ta n d p o p u l a rv i d e oc o d i n gs t a n d a r di nt h ew o r l d p a r t2 ：v i d e oa n dp a r t7 ：m o b i l ev i d e o c h i n e s ea d v a n c e da u d i ov i d e oc o d i n gs t a n d a r d ( a v s 、v v i mi n d e p e n d e n ti n t e l l e c t u a l p r o p e r t yh a sb e e nf i n i s h e di nn o v 2 0 0 3a n dm a r 2 0 0 5 ，t h o s ed e n o t e t h em o s t a d v a n c e di n t e r n a t i o n a lt e c h n o l o g yi nv i d e oc o d i n g ， i nt h i sp a p e r , f a s ti n t e rm o d ed e c i s i o n ，m o t i o ni n t e r p o l a t i o na n di n t r ap r e d i c t i o n h a sb e e ni n v e s t i g a t e db a s e do nt h eh 2 6 4a n da v sc o d e c f i r s t l y , af a s tm o d ed e c i s i o nm e t h o dh a sb e e ne m p l o y e da c c o r d i n gt o t h e c h a r a c t e ro fh i g hc o m p l e x i t yi ni n t e rm o d ed e c i s i o no fa v s mc o d e c u s i n gt h e d e p e n d e n c yb e t w e e nb l o c k st y p ea n dm o t i o n , s e v e r a le a r l yd e t e r m i n a t i o nc o n d i t i o n h a sb e e nd e s i g n e di no r d e rt od e c r e a s et h es e a r c ht i m e si ni n t e rm o d ed e c i s i o n a f t e r t h a t ，at h r e s h o l do fc o m p a r i s o nb e t w e e nt h eb e s ti n t e rm o d ea n di n t r am o d eh a sb e e n s e t t i n gt or e d u c et h en u m b e r so f i n t r am o d ec a l c u l a t i o n ，t h e nt h ec o m p l e x i t yi sf u r t h e r d e c r e a s e d t h es i m u l a t i o nr e s u l t ss h o wt h a tt h i sn e wi n t e rm o d ed e c i s i o nm e t h o dh a s s a v e dt h ec o m p l e x i t i e so f4 0 i ns e a r c h i n gt h ei n t e rm o d e sa n d2 0 i nc a l c u l a t i n g t h ei n t r am o d e s e c o n d l y , t w o1 4p r e c i s i o ni n t e r p o l a t i o nm e t h o d sh a v eb e e ng i v e n t h e 1 4 i n t e r p o l a t i o nf i l t e ri nh 2 6 4i s t o os i m p l et og e tm u c hg a i nw h e nt h es e q u e n c eh a s s m a r tm o t i o n s t h e3 - t a pu n s y m m e t r i c a lf i l t e rw ee m p l o y e ds o l v e st h i sp r o b l e m e f f i c i e n t l y a c c o r d i n gt ot h ei n t e r p o l a t i o nm e t h o di na v s1 0 ，w ep r o p o s ea na d a p t i v e 1 4f i l t e rs e l e c t i o nm e t h o d ，w h i c hu t i l i z e st h em o t i o ni n f o r m a t i o ni nc o d e df r a m ea n d q pv a l u et od e c i d et h ei n t e r p o l a t i o nf i l t e ri na d v a n c e s i m u l a t i o nr e s u l t ss h o wt h a t t h e s et w o1 4i n t e r p o l a t i o nm e t h o d si m p r o v et h ec o d i n ge f f i c i e n c ya n dt h ec o m p l e x i t y i st h es a m el e v e lo f t h eo r i g i n a lm e t h o di nt h es t a n d a r d 。 h l 北京工业大学工学硕士学位论文 f i n a l l y , ad i s t a n c eb a s e di n t r ap r e d i c t i o nm e t h o di sp r o p o s e db a s e do nh 2 6 4 c o d e c t h er e l a t i o n s h i po f t h ep i x e l si n 恤ec u r r e n tm a c r o b l c o ka n dt h ep i x e l si nt h e n e i g h b o f i n gm a c r o b l o c k si su s e dt od e s i g nt h ev e r t i c a l ( o rh o r i z o n t a l ) d i s t a n tf a c t o r s a n df i l t e rc o e f f i c i e n t so fo t h e ri n t r am o d e s t h ed e p e n d e n c yo ft h en e i g h b o f i n gp i x e l s a n dt h ep i x e l sa r eb e i n gc o d e dh a sb e e nf u l l yc o n e e m e di nt h i sn e w i n t r as c h e m e ， w h i c hg i v e sm u c hb e r e rc o d i n ge f f i c i e n c yt h a nt h eo n ei nh 2 6 4 k e y w o r d s ：h 2 6 4 ；a v s ；i n t e rm o d e ；i n t e r p o l a t i o n ；i n t r ap r e d i c t i o n i v 目录 图表目录 图1 - 1 国际标准与a v s 标准的时间对应关系4 表1 1 视频编码标准及应用5 图2 - ih 2 6 4 标准中的档次8 图2 - 24 ：2 ：0 格式下亮度和色度样本的位置8 图2 3h 2 6 4 标准中的图像类型9 图2 - 44 ：2 ：0 宏块的划分9 图2 54 ：2 ：0 宏块划分为8 x8 块l o 图3 1a v s 标准在音视频标准史上的位置1 6 表3 1a v s 视频、a v s 移动视频与h 2 6 4b a s e l i n e 之间的比较。1 9 图3 - 2h a b o u r y u v 序列的a v s 一视频与h 2 6 4b a s e l i n e p r o f i l e 性能比较2 0 图3 3n i g h t y u v 序列的a v s - 视频与h 2 6 4b a s e l i n ep r o f i l e 性能比较2 0 图4 1 宏块类型2 3 图4 2 运动补偿中块类型分布2 4 表4 - 1 实验条件2 7 表4 2q c i f 序列实验数据2 7 表4 - 3c l f 序列实验数据2 7 图4 3q c i f 测试结果图2 8 图4 - 4c i f 测试结果图2 8 表4 47 2 0 p 序列实验数据2 9 图4 57 2 0 p 测试结果图2 9 表4 5 性能分析表3 0 图5 - ih 2 6 4 标准中的插值技术示意图3 4 图5 2h 2 6 4 中的1 4 像素插值示意图3 5 图5 3 非对称1 4 像素插值算法示意图。3 6 表5 1 实验条件3 7 表5 - 2q c i f 序列实验数据3 7 图5 - 4q c i f 测试结果图3 8 v i i 北京工业大学工学磺士学位论文 表5 3c i f 序列实验数据3 8 表5 - 47 2 0 p 序列实验数据3 8 图5 5c i f 测试结果图3 9 图5 - 67 2 0 p 测试结果图3 9 表6 1h 2 6 4 与a v s 一视频中的插值技术比较4 2 图6 - 2a v s 整数样本、二分之样本和四分之一样本的位置4 3 图6 3m o b i l e 序列1 5 赫兹四分之一像素插值比较结果4 4 图6 - 4 条件算法流程图4 6 表6 2 实验条件4 6 表6 3q c i f 序列1 5 赫兹实验数据4 6 图6 5q c i f1 5 赫兹测试结果图4 7 表6 - 4c i f 序列1 5 赫兹实验数据一4 7 表6 - 5c f 序列3 0 赫兹实验数据4 7 图6 - 6c i f1 5 赫兹测试结果图4 8 图6 7c i f3 0 赫兹测试结果图4 8 表6 - 6 总体增益表4 8 图7 1 帧内预测总体流程图5 1 图7 29 种模式的方向及参考像素位置5 2 表7 - 19 种模式名称及对应编号5 2 图7 3 垂直模式5 3 图7 - 4 水平模式5 4 表7 2 实验条件5 5 表7 - 3q c i f 序列实验数据5 6 图7 5q c i f 测试结果图5 6 表7 - 4c i f 序列实验数据5 6 图7 - 6c i f 测试结果图5 7 图7 77 2 0 p 测试结果图5 7 表7 57 2 0 p 序列实验数据5 7 表7 - 6 总体增益表5 8 v i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特另j j 3 h 以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 m 。6 1 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 靼嘲 第一章绪论 第一章绪论 长期以来，在通信方面人们习惯于利用电报、电话进行信息交换，这是传送 文字信息和语音信息的基本通信方式。随着科学技术的发展，社会生产力的提高， 人们对通信的要求也越来越高了。通信的内容则从语言扩展到图像( 包括文字和 符号) 、数据，概括的说，多媒体信息( 包括图像、声音和文本) 成为通信的主 要内容，与此同时，通信的对象也不仅仅局限于人与人之间，而扩展到人与机器、 机器与机器之间。图像通信、数据通信等通信方式得到了飞速的发展。 1 1 本文研究背景 2 l 世纪是一个飞速发展的数字信息时代，数字信息化几乎涉及到世界的每 一个角落，改变了人类的生活和工作方式。信息技术的发展，使人们的学习和交 流打破了时空界限，为人类的发展带来了新的空间。以多媒体和网络为依托的信 息技术已经成为扩展人类能力的创造性工具。信息化的一个重要特征就是多媒体 技术的广泛应用，随着多媒体业务的不断拓展，多媒体技术已经成为工业界和学 术界的一个研究热点。 多媒体内容丰富，包括文字、声音、图像、图形和视频等数据，信息容量大， 表达能力强，它代替单一的语音通信模拟已经是不可阻挡的趋势。作为数字信号， 它具有易于传输和远距离存储的特点，且没有积累失真，数字化信息可被高品质 地还原。多媒体信息的优势在于，它把视觉信息也纳入了通信领域，为人们提供 了多渠道、多方位的信息来源。与听觉信息相比，视觉信息本身的确切性、直观 性、高效性、多种业务的适应性等优点【l 】【”】，使得视觉信息的处理和通信得到了 较快的发展。但与此同时，多媒体信息的庞大数据量对通信系统中有限的带宽和 存储空间提出了严峻的挑战，对于数字电视，若不采用任何压缩措施，总的数据 码流为2 1 6 m b p s ( 每采样点8 比特量化) 【2 j ；对于d v d ，输入视频格式为d 1 ， 帧率为3 0 f p s ，色差格式为4 ：2 ：2 ，则视频数据码率为7 2 0 4 8 0 1 6 3 0 = 1 6 5 9 m b p s ， d v d 容量为4 7 g b ，仅能存储4 7 8 1 6 5 9 = 2 2 6 4 秒长度的节目。 从上面的数据可见，视频信息在数据量上和处理的难度上都受到很大的限 北京工业大学工学硕士学位论文 制，现有通信和存储设备一般不足以承受几十甚至上百兆的码率。因此，如何压 缩视频数据量成为多媒体技术发展的关键问题，它是降低传输和存储成本，缓解 网络带宽和存储空间限制的一个重要手段，视频压缩技术成为一个重要的课题， 而由此产生的各种视频压缩标准则为视频数据的传输和存储提供了解决方案。 1 2 视频编码的基本原理 视频编码的目的是实现对视频的压缩，其核心思想是去相关。通过减少视频 序列的相关性，降低视频内容中的冗余，用较少的比特来表示视频内容，从而实 现对视频的压缩。视频序列中的冗余信息主要有空间冗余、时间冗余、编码冗余、 视觉冗余结构和知识冗余等几个方面，这些冗余信息的存在决定了视频序列是可 压缩的吼 以压缩数据能否被准确恢复为标准，视频编码可以分为两大类：无损编码和 有损编码。无损编码可以无失真地恢复原始数据。s h a n n o n 第一定理指出了无损 编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极限 4 1 。无损 压缩的常用方法有h u f f m a n 编码、游程编码r l c ( r u n 1 e n g t hc o d i n g ) 等。但无损 编码的压缩比通常比较低，约在2 ：1 左右，不能达到视频应用对压缩比的要求。 例如在d v d 上存储两个小时c c i r 6 0 1 电影，需要将码率降低到5 m p b s 左右， 这就是说，编码的压缩比至少需达到3 3 ：1 ，仅采用无损编码技术很难达到这样的 压缩比。随着有损压缩编码技术的发展，分形、小波和混合d p c m ，t ( d i f f e r e n t i a l p u l s ec o d i n gm o d u l a t i o n t r a n s f o r m ) 等编码方案已经成功解决了这个问题。不同于 无损编码，有损编码采用折衷的方法，以一定的失真换取压缩比的增加。目前， d p c n u t 是一种流行的有损编码方案，现在所有的视频编码标准都是采用这种方 式d i u 【6 i u i 8 1 1 9 1 0 】1 ，它在使用r l c 、h u f f m a n 编码或算术编码消除编码冗余外， 还使用d p c m 消除视频信号的时域冗余，使用变换消除空域冗余【加】。 经过三十多年的研究历史，变换编码已被证明是一种高效的图像压缩方法， 是迄今为止所有有损编码标准的基础，它可以有效消除图像数据之间的空间相关 性，基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化，最后对 量化后的系数进行编码。常见的变换有，d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、d c t 、 h a d a m a r d 和h a r t 变换。其中d c t 在相邻像素间的相关性系数逼近1 时有类似 2 第一章绪论 于k l t ( k a r h u n e n l o v e vt r a n s f o r m ) 的特性【1 6 j 。除了h 2 6 4 和a v s 视频采用了近 似d c t 变换的整数变换外，其它所有视频编码标准都采用了d c t 。d c t 能够提 供2 5 ：1 的压缩比而视觉效果没有明显降低i l “。 其它编码方式如分形编码自够提供较高的压缩比，但处理复杂度高，而视频 处理有严格的速度要求，实际应用并不广泛。近来，随着小波技术的发展，它已 经在许多应用中崭露头角，由于篇幅关系，本文将不对它们作进一步阐述。 1 3 国内外编码标准现状 视频编码技术的标准化给不同的厂商和视频提供者奠定了一个共同工作的 基础，也为编码视频的交互和更为广泛的应用创造了必要的条件。开发一种国际 标准需要来自不同国家的合作，并需要一个能支持标准化过程和实施标准的组 织。视频编码国际标准的制定主要由i t u t ( i n t e m a f i o n a lt e l e c o m m u n i c a t i o n u n i o n - t e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o n s e c t o r ) 和i s o i e c ( i m e m a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ) 负责。 国际电信联盟组织( i t u t ) 提出了h 2 6 x 系列( 如：h 2 6 1 、h 2 6 2 、h 2 6 3 等) 视频编码标准 1 0 】【”1 ，主要用于网络实时传输的视频会议和可视电话等方面。 该组织面向全球所有对此感兴趣的单位，在每三个月一次的会议上，讨论各个科 研单位的技术提案，以此完善编码技术标准。 国际标准化组织( i s 伽e c ) 起草了m p e g - x 系列( 如：m p e g - 1 、m p e g 2 、 m p e g 4 ) 视频编码标准 6 】 8 i t l 4 】【1 5 】，主要用于视频存储( d v d ) 、视频广播、视频 流( 如互联网视频以及无线视频) 。其中m p e g - 1 和m p e g - 2 标准在视频存储方面 取得了极大成功，而所提出的m p e g 4 标准则是突破了原有的编码概念，提出了 基于对象的编码方法。此外，该组织还针对多媒体内容标识和普通的多媒体架构 分别提出了m p e g 7 t 1 4 , f i i m p e g 2 1 t 1 5 1 两类标准。 由于两大标准化组织所提出的视频编码标准分别针对不同的应用领域，因此 必然存在着应用局限性，因此从1 9 9 7 年起，i s o i e cm p e g 联合i t u - tv c e g 组成j o i n tv i d e ot e a m ( j v t ) ，负责h 2 6 l 标准的制赳5 1 ，主要目的是建立一套 简单高效的视频编码标准。2 0 0 3 年，该系列标准已经发展到 l 2 6 4 版本，正式 命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，并分别作为i t u - t 的h 2 6 4 标准和 北京工业大学工学硕士学位论文 i s o i e c 的m p e g - 4 的第1 0 部分”4 1 。关于h 2 6 4 标准的技术细节将在第二章中 详细介绍。 在国际标准制定的同时，我国也于2 0 0 2 年开始制定中国音视频编码标准即 a v s 标准。a v s 标准是信息技术先进音视频编码系列标准的简称，其核心 是把数字视频和音频数据压缩为原来的几十分之一甚至百分之一以下。a v s 标准 包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑 标准。在2 0 0 3 年1 2 月1 8 1 9 举行第七次会议上，工作组完成了a v s 标准的第 一部分( 系统) 和第二部分( 视频) 的草案最终稿( f c d ) ，和报批稿配套的验 证软件也已完成。2 0 0 4 年第三季度完成了第三部分( 音频) 的制订。2 0 0 4 年第 一季度( 第8 次全体会议) 正式开始的第四部分“数字版权管理与保护”标准的制 定，已于2 0 0 4 年底完成。2 0 0 4 年第一季度启动制定的面向新一代移动通信的视 频编码标准( a v s m ) ，已于2 0 0 5 年初完成主层( m a i np r o f i l e ) 和草案最终稿 ( f c d ) ，预计2 0 0 6 年第一季度完成高级层( a d v a n c e dp r o f i l e ) 。关于a v s 标准的 技术细节将在第三章中详细介绍。图1 1 给出了国际标准与a v s 标准的时间对 应关系以及a v s 标准的进展情况。 图1 - 1 国际标准与a v s 标准昀时间对应关系 f i g u r e l - 1t i m ec o m p a r i s o nb e t w e e ni n t e r n a t i o n a ls t a n d a r da n da v ss t a n d a r d 4 第一章绪论 表1 1 给出了一些主要的视频编码标准及其应用。 表1 - i 视频编码标准及应用 码率应用 m p e g 1 v c d ，c d r o m ， 视频 o 8 k b p s 一1 5 m b p s i n t e m e t 3 m b p s 一1 0 m b p sm p m l 数字广播，d v d ， m p e g 一2 1 6 m b p s - 5 0 m b p sm p h l d v h s m p e g 视频 5 0 m b p s - 1 0 0 m b p s 专业视频处理 标准 4 2 2 f m l i - i l 1 0 k b p s 一3 8 4 k b p ss p l 1 1 2 3 c e l l a r , i n t e m e t m p e g 一4 1 0 k b p s 一2 m b p sc p l 1 2 交互式电视 视频 2 m b p s 一3 8 m b p sm p l 2 l 3 l 4 5 0 m b p s 一1 2 0 0 m b p s 视频剪辑 s t u d i o l 1 2 3 4 h 2 6 1 6 4 k b p s 一1 5 m b p s 视频电话( i s d n ) i t u th 2 6 2 与m p e g 2 视频相同 标准 视频电话( h 2 6 310 k b p s - 3 8 4 k b p s p s t n ，i n t e r n e t ) 第二部分： 1 0 m b p s 一2 0 m b p s 视频 j i z h u n f l 4 0 4 2 数字电视广播、 有线电视、 ( a v s1 0 ) 2 0 m b p s 一3 0 m b p s 交互式多媒体等 a v s j i z h u n p l 6 0 6 2 标准 6 4 k b p s - 7 6 8 k b p s 第七部分： j i b e n p l 1 0 1 1 1 2 1 3 数字存储媒体、 移动视频 2 m b p s - 4 m b p s 网络流媒体、 j i b e n p l 2 0 2 1 2 2 ( a v s m 、 多媒体通信等 6 m b p s 一8 m b p s j i b e l l p l 3 0 3 1 1 4 课题的研究目标和研究意义 数字视频编解码研究领域当前面临的主要技术挑战包括：编码理论的上限、 不同压缩算法组合的理论依据、压缩效果的有效性评价标准、码率转换的误差边 界、带宽约束和带宽可变问题、面向传输安全与存储安全的压缩问题、数据表达 问题等。为了解决这些问题，应当研究基于知识的模型化方法和模拟人类视听感 知系统( 或通俗地称为仿生方法) ，最终建立超过传统信息论的广义信息论。 本文所涉及的研究课题属于国家8 6 3 项目“数字视音频编码、传输、测试与 应用示范”。课题研究的主要目标是给出一套高效智能化的能够解决海量多媒体 数据存储、表现、编码和传输的理论方法与算法模型，解决数字视音频编解码标 北京工业大学工学硕士学位论文 i i i 准化的关键问题，以及在带宽有限或抖动的网络上有效地传输流媒体的问题等。 随着视频编码技术研究的逐渐深入，对人们的生活逐渐产生了深远影响。视 频编码技术的市场应用前景也越来越乐观，不仅在视听工业、多媒体计算机等方 面有广泛应用，而且在广播电视以及未来的信息高速公路等各个方面都有着诱人 的应用前景。因此本课题的研究不仅关系到视频编码技术本身的发展，而且关系 到国计民生的前途与未来，将对未来生活质量有着深远的影响与意义。 1 5 本文的内容安排与组织结构 本文的研究内容包括快速帧间模式选取技术、运动估计插值技术和帧内预测 等三个方面。快速帧间模式选取技术有效降低了编码时帧问模式选取的复杂度， 在编码质量基本不变的前提下，快速帧间模式选取技术的提出将对编码端的算法 优化提供有效的方法；而运动估计插值技术的引入则在很大程度上提高了运动估 计的精度和准确性，本文中提出的非对称插值技术和自适应插值系数选取技术都 是在不提高原算法复杂度的前提下，显著地提高了编码效率；帧内预测技术则是 保证帧间编码质量不可缺少的技术，当帧间预测不能满足编码性能的要求时，有 必要采用帧内预测来提高编码质量，文中提出的基于距离的帧内预测技术明显提 高了帧内预测的编码性能。 本文分以下几个部分：第一章是绪论部分，阐述了视频编码技术的本质和国 内外视频标准的发展情况；第二章则重点介绍视频编码国际标准h 2 6 4 标准：我 国自主知识产权的音视频编码标准一a v s 标准将在第三章中给出详细的描述；第 四章提出了基于a v s 视频标准的快速帧间模式选取技术；在第五章中，针对 h ，2 6 4 标准提出了非对称四分之一像素插值技术；第六章则提出了一种基于a v s 视频标准的自适应四分之一像素插值技术；第七章对h 2 6 4 标准中的帧内预测技 术进行了改进。最后，总结本文所阐述的内容，并展望未来的工作。 6 第二章视频编码标准h 2 6 4 第二章视频编码标准h 2 6 4 2 1h _ 2 6 4 标准概述 h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v n 制定的新一代视频压 缩编码标准。事实上，h 2 6 4 标准的开展工作可以追溯到8 年前。1 9 9 6 年制定 h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研究：一个是 短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) ；另一 个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产 生了h 2 6 l 标准草案，在压缩效率方面与先期的i t u t 视频压缩标准相比，具 有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后 i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频组 o v t ) ，t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准【1 8 1 。于是，在 i s o i e c 中该标准命名为a v c ( a d v a n c e d v i d e oc o d i n 酌，作为m p e g 一4 标准的第 1 0 个选项；在i t u t 中正式命名为h 2 6 4 标准。h 2 6 4 的主要优点如下 1 9 f 2 0 2 1 】： 1 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 一4 ( s p ) 减小5 0 码率。 2 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议 电视等：又可工作于无时延限制的场合，如视频存储等。 3 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理， 提高解码器的差错恢复能力。 4 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级， 以适应不同复杂度的应用。 、 相对于早期视频压缩标准，h t 2 6 4 引入了很多先进的技术，包括4 x 4 整数变 换、空域内的帧内预测、l 4 像素精度的运动估计、多参考帧与多种大小块的帧 问预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度口j 。 与m p e g 4 标准类似，h 2 6 4 标准为了适应不同的应用需求定义了3 个档次 ( p r o f i l e ) ：b a s e l i n e 、m a i n 、e x t e n d e d 。每一个档次中定义了不同的最多1 5 个级 别( l e v e l ) 以及相应的编码器解码器适应不同状况的应用场景。b a s e l i n e 档次 包括帧内编码、帧间编码、c a v l c 熵编码；m a i n 档次包括隔行扫描视频、使用 北京工业大学工学硕士学位论文 b 帧以及权重预测的帧间编码、c a b a c 熵编码；e x t e n d e d 档次不支持隔行扫描 视频和c a b a c 编码，但增加了s p 和s i 帧，并提高了容错性能。图2 1 展示了 三类p r o f i l e 的相互关系结构【23 1 。 图2 - 1h 2 6 4 标准中的档次 f i g u r e 2 1p r o f i l e si nh 2 6 4 2 2h 2 6 4 标准编码技术 在视频编码标准中，亮度和色度信息是分别处理的，在第一章中我们已经提 到，利用人眼的视觉冗余，可以对色差分量在水平和竖直两个方向进行2 ：l 的降 采样，本文中的实验使用的视频源是y u v 4 ：2 ：0 色差格式，如图2 - 2 所示，由于 人们对亮度信息的敏感度远远大于色度信息，所以编码标准中处理亮度信息过程 要比处理色度信息的过程复杂得多。本文提出所有视频编码技术都是针对亮度样 本信息的，所以如不特殊说明，本文提到的具体技术都是以亮度样本为处理对象。 基吕 o o o o 舀o oo o 0 塞昌星，暑吞。 图2 34 ：2 ：0 格式下亮度和色度样本的位置 f i b r e 2 2l u m i n a i l c ea n dc t l r o m ap o s n i o ni n4 ：2 ：0v i d e of o 兀n a t 在描述h 2 6 4 编码框架之前，首先介绍一些编码中的基本概念1 2 4 1 ： 图像类型：如图2 3 所示，h 2 6 4 标准中的图像有三种类型， 一一帧内编码图像( i 帧) ：利用本帧中已经编码的宏块为参考进行编码 一一前向帧间编码图像( p 帧) ：利用前面( 显示顺序) 已经编码的帧为参考进 第二章视频编码标准h 2 6 4 行编码 双向帧间编码图像( b 帧) ：利用前面和后面( 显示顺序) 已经编码的帧为 参考进行编码 图2 3h 2 6 4 标准中的图像类型 f i g u r e 2 3f r a m et y p e si nh 2 6 4 图像间的顺序： 如果视频序列中没有b 帧，则解码顺序与显示顺序相同。如果视频序列中包 含b 帧，则解码顺序与显示顺序不同，解码图像输出显示前应进行图像重排序。 图像重排序规则如下： 当前解码图像是b 帧，输出由此b 帧解码的图像 一一当前解码图像是i 帧或p 帧，如果存在前一个i 帧或p 帧的解码图像，输出 前一个解码图像；否则，不输出任何解码图像 例如：编码顺序：ibbp bb p b b p b bib bp 篇码j i 瞑序：ipbbp bbpbbib bp b b 显示j i 哽序：ibbpbbp bbpbbib bp 宏块： 图像划分为宏块，宏块的大小是1 6 x 1 6 ，宏块的左上角的点不应超出图像边 界，宏块的划分如图2 - 4 所示，这种划分用于运动补偿。 仆1 s 1 啡块 2 - 1 - t 6 射酗e 救 2 十0 x 1 愀块1 个9 x 8 亮肫峡 和相虚曲色崖址和捆息魄也意块和相艨的色_ 窿境釉相廉的色厦块 口日田田 图2 - 44 ：2 ：0 宏块的划分 f i g u r e 2 - 4p a r t i t i o no f m a c r o b l o c k 8 8 块： 4 ：2 ：0 格式下，一个宏块包括4 个8 x 8 亮度块和2 个8 8 色度块，如图2 5 所示，图中数字为8 8 块的顺序号。 9 北京工业大学工学硕士学位论文 2 2 1 编码框架 田v 1 i - ：1 y c bc r 图2 - 54 ：2 ：0 宏块划分为8 8 块 f i g u r e 2 58 x 8b l o