（电力系统及其自动化专业论文）基于h264视频编码的快速算法研究及实现.pdf

一种基于h 2 6 4 的快速编码器。 同时，论文给出了较详细的实验数据和分析。实验测试表明，本文 实现的h 2 6 4 快速编码器比h 2 6 4 参考编码器的处理速度提高了3 5 倍。 关键词：m p e g 一4 ，1 1 2 6 4 ，运动估计，p m v f a s t ，m v f a s t h t h er e s e a r c ha n d i m p l e m e n t o ft h ef a s t a l g o r i t h m b a s e do nh 2 6 4v i d e o c o d i n g m a j o r ：p o w e rs y s t e ma n d a u t o m a t i o n g r a d u a t e ：y u ，x i na d v i s o r ：s h u ，q i n v i d e oc o d i n gs t a n d a r di st h em a i nf a c t o rf o rt h ea p p l i c a t i o no fv i d e o t e c h n o l o g y ，a n di t s t h eb a s eo ft e c h n i c a lc o m m u n i c a t i o ni nh o m ea n di n i n t e m a t i o n a l t h ec o n s t i t u t i o no fm p e g - 1s t a n d a r dr e s u l tt h ed e v e l o p m e n t o f v c d ；m p e g 一2s t a n d a r di st h ep r e c o n d i t i o no f t h ed e v e l o p m e n to f d v d ， d i g i t a l t va n dh d t v ；m p e g - 4s t a n d a r dr e s u l tal a r g en u m b e ro fv i d e o a p p l i c a t i o n sw h i c h a r eb a s e do ni n t e m e t ；h 2 6 3s t a n d a r dp l a ya ni m p o r t a n t e f f e c to nv i d e oc o n f e r e n c e h 2 6 4i san e wd e v e l o p i n gv i d e oc o d i n gs t a n d a r d ，i e 1 4 4 9 6 - 1 0 ，a n d a i m sa t p r o p o s i n g ah i g h q u a l i t y a n dl o wb i tr a t ev i d e o c o m p r e s s i o n s t a n d a r db yr e s e a r c h i n gi n t ot h ee x i s t i n gc o d i n gt e c h n o l o g i e s h 2 6 4h a s b e e nt h ef o c u si nt h ev i d e oc o m p r e s s i o na i 七a ，a n dh a sab r i g h tf u t u r ei n d i g i t a l m e d i am a r k e t s oi ti s i m p o r t a n tt h a t r e s e a r c hi n t oh 2 6 4a n d i m p l e m e n t t h ef a s th 2 6 4e n c o d e r f i r s t l y ，s o m ev i d e oc o d i n gs t a n d a r d sa r eb r i e f l yd e s c r i b e d ，a n dt h e n h 2 6 4i si n t r o d u c e di nt h ep a p e r t h ec o r e t e c h n o l o g i e s o fh 2 6 4a r e a n a l y z e db ys o m ee x p e r i m e n t sa n ds o m ec o n c l u s i o n sa r eg i v e nf o rf a s t a l g o r i t h md e s i g nl a t e r d e s i g na n di m p l e m e n t a t i o no fan e w f a s tm o t i o n e s t i m a t i o na l g o r i t h mi st h ef o c u so ft h i sp a p e r s p e c i mc o n s i d e r a t i o n sh a v e b e e np a i do nk e yi s s u e si nd e s i g no ff a s tm o t i o ne s t i m a t i o n ，s u c ha ss e a r c h m o d e ，m o t i o nm o d u l e s ，s p e e du ps t r a t e g i e s ，a n df o r t ho n a tt h es a m et i m e ， s o m eg o o df a s ts e a r c ha l g o r i t h m s ，l i k em v f a s t ( m o t i o nv e c t o rf i e l d a d a p t i v es e a r c ht e c h n o l o g y ) a n dp m v f a s t ( p r e d i c t i o nm v f a s t ) ，h a v e b e e n s t u d i e d b yi m p r o v i n g s e a r c hm o d ea n d s p e e du pp o l i c y , c m s ( c o m p o u n d m o d es e a r c h ) i s p r o p o s e d t h e n e w a l g o r i t h mi sb e t t e rt h a nt h e f o r m e ra l g o r i t h m si ns p e e da n dq u a l i t y b a s e do nt h ea b o v ew o r k ，af a s t h 2 6 4v i d e oe n c o d e ri si m p l e m e n t e d a l lo ft e s tr e s u l t sa r eg i v e ni n t h i sp a p e r i ti sp r o v e dt h a tt h ef a s t h 2 6 4e n c o d e ri sf a s t e rt h a nh 2 6 4r e f e r e n c ee n c o d e rb y3t o5t i m e s k e yw o r d s ：m p e g - 4 ，h 2 6 4 ，m o t i o ne s t i m a t i o n ，p m v f a s t ， m v f a s t 四川i 大学硕士学位论文 刖吾 进入信息时代之后，信息的传递成为社会生活中至关重要的一部 分，信息传递的技术也得到了巨大的发展。通常，所传递的信息有多 种形式，包括语音、音乐、文字、图像、符号、数据甚至气味等，但 最终可以归结为图像、语音和数据三种。由于图像信息具有直观性强， 信息丰富等特点，图像信息的传递即图像通信技术在电子信息领域 占据着重要的地位。 按照图像内容的变化性质来划分，图像可分为静止图像和时交图 像两大类”1 ，时变图像也就是活动图像，按照文献”以及通信研究领域 内长期形成的习惯，本文中将其称作视频。视频通信最早是以模拟的 形式出现的，传统的电视系统通过振幅调制实现模拟视频信号的远距 离传输“”，然而，随着数字化技术的飞速发展，数字视频信号的传输 技术更受到人们的关注。 数字视频技术的发展已越来越快，其应用的范围也曰益扩大，从 可视电话到视频会议，到目前流行的d v d ( d i g i t a lv i d e oo i s c ) 技 术和数字电视广播。同时，这些应用反过来也影响着视频标准的制定。 国际标准的制定保证了不同厂商的系统之间的互操作性，这样有利于 视频产业的发展。目前，国际上制定视频标准的权威组织有两个：t t u t 和i s o i e cj t c l 。其中，i t u - t 组织颁布的标准称为“建议” ( r e c o m m e n d a t i o n ) ，目前包括h 2 6 1 、h 2 6 2 、h 2 6 3 ，h 2 6 3 + 、h 2 6 3 + + 、 h 2 6 4 等。而i s o i e c 已提出的标准是以运动图像专家组m p e g ( m o t i o n p i c t u r ee x p e r tg r o u p ) 命名的，包括m p e g 一1 、m p e g 一2 、m p e g 一4 、m p e g 一7 以及m p e g 一2 l 。 i t u - t 推出的各种视频编码建议几乎都是针对低比特率、实时视频 通信的，比如视频会议、可视电话等。而m p e g 标准系列则是满足视频 存储( 比如o v d ) ，数字视频广播( 比如高清晰数字电视h d t v ，h i g h 四j i i 大学硕士学位论文 d e f i n i t i o nt v ) 以及基于i p 网络的流媒体应用。虽然目前的视频压 缩标准和技术已经非常丰富了，但是绝大多数的视频编码都是在质量 和压缩比上进行折中的，比如可视电话等，这些编码的比特率相对较 低，但编码质量较差；而像d v d ，h d t v 等高质量的视频节目则比特率 极高。随着多媒体技术的深入应用，势必需要提出一种更高质量的、 更高压缩比的、更易实现的编码标准。 随着m p e g 一4 标准的提出，人们逐渐感受到新编码标准带来的高质 量压缩效果。i p e g 一4 与前面提到的各种编码标准有很大的不同，它为 多媒体数据压缩提供了更广阔的平台，它定义的是一种格式、一种框 架，而不是具体的算法，它希望建立一种更自由的通信和开发环境。 其编码系统也是开放的，可随时加入新的有效的算法模块。 去年3 月，i t u t 推出了h 2 6 4 标准，也即i s 0 i e cm p e g 专家组 制定的m p e g 一4a d v a n c e dv i d e oc o d i t a g ( 1 4 4 9 6 1 0 ) 。开发h 2 6 4 标 准的主要目标是通过深入研究基本的、常规编码技术，也就是目前众 所周知的、实用的技术，比如d c t ( 离散余弦变换) ，块匹配的运动估 计，基于帧的编码等等，最终开发一种高性能的视频编码标准。 目前，德国的汉诺威大学，微软公司亚洲研究院等许多世界著名 学府和研究机构都在专注于此项研究。并且，u bv i d e o 公司已经尝 试开发出一套基于h 2 6 4 编码技术的实时应用产品。但是，目前国内 在这方面的研究和应用设计开展得还不是很多。为此，本论文在此方 面做了有益的尝试，通过对h 2 6 4 算法的研究，设计并实现一种快速 编码方案，为实际应用提供一定的基础。 本论文结构安排如下： 第一章全面介绍视频编码标准的发展，着重介绍了h 2 6 4 的产生、 意义、制定过程以及技术特点。 第二章介绍h 2 6 4 中的核心编码算法，并对其相关算法做了实验 分析，为后面的快速算法设计得出了一些有意义的结论。 第三章主要讨论了与运动估计算法相关的一些基本问题，并对其中 的一些重要的特性做了试验分析。在此基础上详细介绍了最新的 2 四川大学硕士学位论文 p m v f a s t 和m v f a s t 等快速运动估计算法及其优化策略，为后续的速度 搜索算法提供一些参考。 第四章则是在前面几章的基础上来讨论运动估计算法优化问题，结 合h 2 6 4 编码标准，设计出一种快速搜索算法c m s 算法。实验表明 此算法比现有搜索算法在基于p c 的h 2 6 4 平台上搜索效率更高。 第五章介绍编码器的软件实现过程，给出试验结果，并分别与标 准的参考编码器和x v i d 编码器进行了对比分析。实验表明，本文设计 的编码器在速度和质量上均优于微软公司的m p e g 一4 简单档次的编码 器：与标准的1 4 4 9 6 1 0 参考编码器相比，编码速度提高了4 - 5 倍，同 时保持了较高的图像质量。 本文所做的工作主要包括： l 、h 2 6 4 研究。全面分析h 2 6 4 编码算法，并且对其中的帧内预 测模式、h a d a m a r d 编码、多帧预测和变形块搜索技术做了大量的实验， 为算法的改进指明了方向。 2 、改进运动搜索算法。在全面分析了运动搜索中若干关键问题后， 借鉴p m v f a s t 和m v f a s t 算法，同时结合t t 2 6 4 的编码特点，增加了小 对角线和十字形两种搜索模式并且增加了一些特殊位置韵优化预测向 量，提出一种新的快速运动估计算法一c m s 。 3 、基本实现了h 2 6 4 快速编码器的设计工作，并且与符合1 4 4 9 6 2 和1 4 4 9 6 1 0 标准的参考编码器进行了性能对比测试。 四门l 大学硕士学位论文 第一章绪论 目前，虽然多媒体通信中的传输带宽已经有很大的提高，但是基 于多媒体的各种应用的核心技术仍然是压缩技术，而且这种趋势有增 无减。因此，势必诞生一些新的编码标准。 两大国际视频标准的制定组织i t u t 和i s o i e cj t c l 在不同的时 期，针对不同的应用，已经颁布了h 2 6 l 2 3 1 3 + 3 + + 4 和 m p e g 一1 2 4 等多媒体压缩标准，以及m p e g 7 、m p e g 2 1 等标准。 本章首先对这些标准作些简要的介绍，进而分析阐述h 2 6 4 的意义， 最后介绍h 2 6 4 技术的特点和优势。 1 1 视频编码标准概述 1 i t u t 颁布的标准： h 2 6 t 是第一个诞生的实用视频编码标准，这是针对低比特率应 用场合的编码标准，这个标准也成为其后许多标准的基础。h 2 6 1 于 1 9 9 0 年制定，主要用于双向视频通信，包括低端的可视电话业务和较 高速率要求的视频会议业务。作为h 3 2 0 标准簇的一部分，h 2 6 1 是 基于i s d n 的视频会议系统中常用的一种视频编码方法。 h 2 6 2 也相当于m p e g 2 ，这是由i t u 与i s o i e c 联合开发的。 目前，这个标准已经成功应用在d v d ，数字广播，数字电视等诸多领 域。 h ，2 6 3 、h 2 6 3 + 和h 2 6 3 + + n 是针对低码率应用的标准，目前已是 视频会议的主要标准，而且能够广泛应用于其他视频应用场合。1 9 9 6 年i t u t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议。1 9 9 8 年公布的h 2 6 3 + ”和其后的h 2 6 3 + + 分别是改进后的版本。 h 2 6 4 标准采用统一的v l c 符号编码，高精度、多模式的位移估计， 基于4 x 4 块的整数变换、分层的编码语法等。使得h 2 6 4 算法具有很高 的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的 码率。2 0 0 3 年3 月，标准的最终草案公布，称作h 2 6 4 a v c 或m p e g 4 4 四川大学硕士学位论文 v i s u a lp a r t1 0 。与以前的视频编码标准不同，h 2 6 4 不仅含有一个规 定视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输规 范的网络抽象层( n a l ) 。 2 i s o i e c 颁布的标准： m p e g 一1 ( i s o i e c1 1 1 7 2 2 ) 是针对1 5 m b i t s 码率的数字存储媒 体运动图像及其伴音编码的国际标准，就是v c d 的核心编解码技术。 此标准是在h 2 6 1 的基础上，增加了双向预测和半像素精度的运动补 偿技术。 m p e g 2 ( i s o i e c1 3 8 1 8 - 2 或h 2 6 2 ) 主要是针对数字视频广播 ( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等制定的4 9 m b i t s 运动图像及其伴音的编码标准。 m p e g 4 ( 1 4 4 9 6 2 ) 是新一代的编码标准，其中提出了许多新的 编码思想，注重多媒体通信中的交互性和灵活性，其核心思想是面向 对象编码。这种编码标准也是部分借鉴h 2 6 3 标准，在低档次( b a s e l i n e p r o f i l e ) 上完全与h 2 6 3 兼容。 m p e g ，4 与前面提到的各种编码标准有很大的不同，它为多媒体数 据压缩提供了更广阔的平台，它定义的是一种格式、一种框架，而不 是具体的算法，它希望建立一种更自由的通信和开发环境。其编码系 统也是开放的，可随时加入新的有效的算法模块。 m p e g 7 和m p e g 2 1 不是针对视频压缩的标准。m p e g 一7 旨在解 决对多媒体信息描述的标准问题，并将该描述与所描述的内容相联系， 以实现快速有效的检索。m p e g 2 1 的目标是定义一个交互式多媒体框 架，跨越大范围内不同的网络和设备，使用户能够透明而广泛地使用 多媒体资源。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视 频编码标准。2 0 0 3 年1 1 月底，中国国家信息产业部数字音视频编解 码标准组正式发布a v s 标准草案。a v s 是“信息技术先进音视频编 码”系列标准的简称，a v s 工作组对外宣称其视频部分的编码效率达 到m p e g 一2 的2 到3 倍，超过了国际标准h 2 6 4 ，而且算法复杂度有所降 四川大学硕士学位论文 低”。目前a v s 标准正在通过正式程序提请成为新的国际音视频编码 标准。 1 2h 2 6 4 的制定背景 正如上节所述，m p e g 一4 标准实际上是一个不断发展和更新的多媒 体系统标准，几乎每年都会有新的编码工具提出，扩充新的编码技术。 而且就目前使用的m p e g - 4 编码技术而言，它仍然没有真正实现基于对 象的编码和传输技术。 从编码方面看，m p e g 一4 成熟应用的编码档次是简单档次( s i m p l e d r o f i l e ) ，比如m i c r o s o f t 公司的w i n d o w sm e d i ap l a y e r 就是基于这 种档次的媒体系统，这种编码没有脱离传统的编码技术，因为基于对 象编码的难点就是对象的提取，这项关键技术在短时间内很难做到实 用化。 从传输方面分析，目前流行的基于m p e g 一4 的流媒体技术，其本质 上并没有采用1 4 4 9 6 6 ”。所提出的传输多媒体集成框架( d i h i f ，d e l i v e r y m u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ) ，而是根据i e t f 提出的传输建 议”来实现的。基于d m i f 的传输技术仍然处于实验阶段，还不能成熟 应用。 通过上面的分析可以看出，目前可实际应用的编码技术仍然是基 于帧编码的技术。因此，在研究高级编码技术的同时，对基于帧编码 的技术仍然值得人们进一步的深入研究。 另一方面，i t u tv c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 早在1 9 9 7 年就开始其h 2 6 4 的开发工作。2 0 0 1 年底，在见证了h 2 6 l 的优秀编 码性能之后，i s o i e cm p e g 专家组加入i t u tv c e g ，这样i t u w 和 i s o i e c 共同成立了j v t ( j o i n tv i d e ot e a m ) 工作组，然后开始标准 的制定工作。j v t 的目标是建立一个全新的视频编码标准，同时提出 m p e g 一4 第l o 部分( 1 4 4 9 6 1 0 ) 和h 2 6 4 建议这样的新标准。j v t 在 2 0 0 3 年3 月正式颁布了这些标准。 6 四j i 大学硕士学位论文 1 3h 2 6 4 简介 圈卜1 视频标准发展历史 图1 - 2h 2 6 4 编码框架 7 四川大学硕士学位论文 如图1 2 所示，与以往的技术标准相比，h 2 6 4 编码标准有许多先 进的编码技术，帧内预测，整数变换编码和先进的量化处理，滤波处 理，变形块搜索等等。 正是利用了上述编码技术，h 2 6 4 技术在编码性能方面比现有的实 用视频编码标准有许多的优势： 第一，最多可减少5 0 的码率( u pt o5 0 i nb i tr a t es a v i n g ) 。 在类似的编码器优化条件下，与m p e g 4s i m p l ep r o f i l e 相比， h 2 6 4 在大多数码率情况下最多可以节省5 0 的码率。 第二，高质量的编码效果( h i g hq u a l i t yv i d e o ) 。 h 2 6 4 能在几乎所有码率情况下具有更高的编码质量，包括低码 率。 第三，自适应延时约束( a d a p t i v et od e l a yc o n s t r a i n t s ) 。 h 2 6 4 可以工作在低时延模式进行实时通信应用，同时也支持无 时延要求的应用，比如视频存储，基于视频服务器的流媒体应 用等。 第四，容错性( e r r o rr e s i l i e n c e ) 。 h 2 6 4 提供在分组网络情况下的丢包处理和易误码的无线通信 中的比特错误处理机制。 第五，网络友好性( n e t w o r kf r i e n d l i n e s s ) 。 这个特性是从设计理念上把视频编码和传输分开，形成两个层 次：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络适用层 ( n e t w o r ka d a p t i v el a y e r ，n a l ) 。v c l 主要提供核心的高质量 的视频压缩；n a l 则是针对具体的网络传输环境把压缩数据进 行传输封装。这样更利于封装打包和信息优先级控制。 3 四川天学硕士学位论文 第二章编码算法分析 h 2 6 4 编码规范的基本编码技术是基于帧的，而不是基于对象的编 码。此标准采用的编码手段本质上没有脱离常规的编码框架( 图2 + 1 ) ， 但是它充分发挥了现有编码技术的优点，在很多方面做了改进，从而 使其编码质量非常高。 图2 一l 编码流程 本章将对h 2 6 4 中所采用的部分核心算法进行详细的技术分析，并 且对相关算法进行了实验分析，为后面的快速算法设计提供重要的依 据。 h 2 6 4 的核心算法包括1 3 种帧内预测模式、4 x 4 的整数变换编码、 先进的量化、两种熵编码( v l c 和基于上下文的自适应二进制算术编 码) 和高级运动估计与补偿，图像滤波等方面。 2 1 帧内预测编码 在1 4 4 9 6 2 标准”1 的m p e g 4 视频编码规范中，采用的帧内预测是 对d c t 编码并量化后的数据作a c d c 预测的，其方法是利用当前块 的d c 系数与相邻( 水平和垂直方向) 块的d c 之间的差值，根据其 大小选择预测方向，然后分别对d c 和a c 系数作预测，详细内容可 参考文献”1 。 在h 2 6 4 ”中采用的方法与上述不同，帧内预测是在变换编码之前 9 四川大学硕士学位论文 进行的，并且运用了多种不同的帧内预测方法，最大程度地减少图像 的空间冗余信息。就亮度信号而言，帧内预测可分为4 x 4 和1 6 x 1 6 两 种方式，其中4 x 4 方式有9 种可选的预测模式，1 6 x 1 6 方式有4 种可 选方式：对色差信号采用8 x 8 预测方式则只有1 种预测模式。 2 1 11 6 x l6 帧内预测 首先，为了便于描述，这里给出一些定义：令p ( i t i ) 表示宏块 内的样点，p ( i ，一1 ) 表示在宏块上边的相邻样点，p ( 一1 ，i ) 表 示在宏块左边的相邻样点，p r e d ( i ，j ) 表示宏块中样点的预测值，其 中i ，j = 0 15 。这种情况下有4 种预测模式( 见图2 2 ) ，其中如果参 考样点不在编码图像内则以1 2 8 代替。 ( 1 ) 模式0 ：垂直预测 p r e d ( i ，j ) = p ( i ，一1 ) i ，j = 0 1 5 ( 2 ) 模式l ：水平预测 p r e d ( i ，j ) = p ( 一1 ，j ) i ，j = 0 1 5 ( 3 ) 模式2 ：直流预测 1 5 p r e d ( i ，j ) = ( ( ( p ( 一1 ，_ ，) + p ( f ，一1 ) ) ) + 1 6 ) 5 i ，j - - - - 0 1 5 0 ( 4 ) 模式3 ：平面预测 p r e d ( i ，j ) = c l i p l ( ( a + b ( i 一7 ) + c ( j 一7 ) + 1 6 ) 5 ) ， 其中a = 1 6 ( p ( - 1 ，1 5 ) + p ( 15 , - 1 ) ) ，b = ( 5 4 h + 3 2 ) 6 ，c = ( 5 4 v + 3 2 ) 6 88 h = i ( p ( 7 + i ，- 1 ) - p ( 7 - i , 一1 ) ) ，v = j ( p ( - 1 ，7 + i ) - e ( - 1 ，7 - i ) ) i = 1 p i 函数c l i p l ( x ) 的作用是把x 限制在 o ，2 5 5 范围之内。 l o 四川大学硕士学位论文 2 1 24 x 4 帧内预测 图2 - 21 6 x 1 6 帧内预测模式 4 x 4 帧内预测方法的基本思路是从不同的方向计算、比较块中各 个像素之间的亮度差值，即梯度值。通过选择具有最小预测误差的方 向作为最佳的预测方向。下面对其中的部分预测模式举例说明。 qabc def h “ 冀 p 黑 z 划么 砀r 43 8 5 7 2 b 图2 - 34 x 4 子块中及其参考样点分布及预测模式 ( 1 ) 模式0 ：d c 预测 如果所有的参考样点均在图像内，那么： d c = ( a + b + c + d + i + j + k + l + 4 ) 8 如果a ，b ，c ，d 在图像外，而i ，j ，k 和l 在图像中，那么： d c = ( i + j + k + l + 2 ) 1 4 如果i ，j ，k 和l 在图像外，而a ，b ，c ，d 在图像中，那么： d c = ( a + b + c + d + 2 ) 4 四川大学硕士学位论文 如果所有的参考样点均在图像外，那么： d c = 1 2 8 ( 2 ) 模式l ：垂直预测 如果a ，b ，c ，d 存在，那么： a ，e ，i ，m 由a 预测得到； b ，f ，j ，n 由b 预测得到； c ，g ，k ，o 由c 预测得到； d ，h ，l ，p 由d 预测得到。 ( 3 ) 模式2 ：水平预测 如果i ，j ，k 和l 存在，那么： a ，b ，c ，d 由i 预测得到； e ，f ，g ，h 由j 预测得到； i ，j ，k ，l 由k 预测得到； m ，1 ，o ，p 由l 预钡4 得至0 。 ( 4 ) 模式3 ：对角方向一下右方向预测 如果a ，b ，c ，d ，i ，j ，k ，l 和o 存在，那么： m = ( j + 2 k + l + 2 ) 4 i ，n = ( i + 2 j + k + 2 ) 4 e ，j ，o = ( q + 2 i + j + 2 ) 4 a ，f ，k ，p = ( a + 2 q + i + 2 ) 4 b ，g ，l = ( q + 2 a + b + 2 ) 4 c ，h = ( a + 2 b + c + 2 ) 4 d = ( b + 2 c + d + 2 ) 4 上面对4 x 4 预测的前4 种预测模式做了简要的描述，由于篇幅所 限，这里不再对其余5 种预测模式做介绍，如图2 - 4 所示。详细内容 可以参考编码标准”1 。 四川i 大学硕士学位论文 - 9 j ne 纂艇俄渊)力，t 1 隶甲槐糍山j i = ：! ( 找遍j 溺) rr 罗 4 ( 耐m 科l 恻)肖怖( m 烈蠢f 迪谢) | ：苷式6 水平f 坝测)汀7 堆t t 靠做测) rrrr 图2 4 亮度信号4 x4 块的9 种预测方式 2 1 3 色差信号的帧内预测 对于色差信号的预测，只有一种帧内预测模式。如图2 5 所示，4 个4 x 4 色差块分别用a ，b ，c 和d 表示，而s o ，s 1 ，s 2 和s 3 分别 表示当前块的相邻色差像素的能量和。 图2 5 色差块的帧内预测 ( 1 ) 如果s o ，s 1 ，s 2 和s 3 均在图像内，那么： 四川大学硕士学位论文 a = ( s 0 + $ 2 + 4 ) 8 b = ( s 1 + 2 ) 4 c = ( s 3 + 2 ) 4 d = ( s 1 + s 3 + 4 ) 8 ( 2 ) 如果只有s 0 和s 1 在图像中，那么： a = ( s 0 + 2 ) ，4 b = ( s l + 2 ) 4 c = ( s 0 + 2 ) 4 d = ( s l + 2 ) 4 ( 3 ) 如果只有s 2 和s 3 在图像中，那么： a = ( s 2 + 2 ) 4 b = ( s 2 + 2 ) 4 c = ( s 3 + 2 ) 4 d = ( s 3 + 2 ) 4 ( 4 ) 如果s o ，s l ，s 2 和s 3 均在图像外，那么： a = b = c = d = 1 2 8 。 2 1 ，4 实验分析 为了验证并能分析这种帧内预测技术的有效性和性能，本文对此 做了相关实验。如表2 - 1 所列，其中编码帧数均为2 0 0 帧。 表2 - 1 帧内预测实验 i n t r a l 6 x 1 6i n t r a l 6 x 1 6i n t r a 4 x 4 i n t r a 4 x 4 f o r e m a n4 2 9 l d b 1 4 4 2 84 3 0 3 d b 1 6 5 0 34 2 5 7 d b 1 4 5 3 0 k b p sk b p sk b p s t e m d e t e2 85 8 d b 4 5 5 52 8 5 8 d b 4 8 5 0 62 8 5 1d b 4 5 7 7 6 k b p sk b p s k b p s s a l es m a n3 5 1 8 d b 1 3 6 0 23 6 7 8 d b 1 4 8 2 6 3 5 6 4d b 1 3 7 8 6 k b p sk b p sk b p s 1 4 四j i l 大学硕士学位论文 通过上表可以分析出，i n t r a l 6 x 1 6 帧内预测方法得到的p s n r 值 比i n t r a 4 x 4 平均高0 5 d b ，但是前者编码的码率却比后者高8 1 3 ，当同时使用两种预测模式时，可以得到高p s n r 值同时降低了码率， 而计算复杂度增加不到5 。 同时，不难分析出，i n t r a l 6 x 1 6 帧内预测更适合纹理比较少，比 较平滑的图像内容，这可从纹理较少的s t u d e n t s 视频得到验证。对该 视频采用i n t r a l 6 x 1 6 帧内预测比i n t r a 4 x 4 方法提高的p s n r 值最高， 而码率增加最小。 2 2 变换编码与量化 变换编码技术一直是视频压缩中一个比较活跃的部分，从经典的 d c t 变换到目前研究的热点一一小波编码方法、分形编码、神经网络 编码以及由这些方法派生出的方法等等。虽然小波编码技术具有很好 的发展前景，但是复杂度比较高，同时也有研究”。表明小波编码在静止 图像编码领域比d c t 好1 d b 左右，但在运动图像的压缩方面其编码效 率与d c t 编码相当，不具有明显的优势。同时文章”认为视频编码的 研究应该着力于整个编码系统，而优化的关键点在于量化、熵编码、 运动估计以及这些因素之间的复杂的关系。事实上，在目前实用的视 频编码器中往往还是采用基于d c t 的变换编码技术。 在h 2 6 4 规范中就是采用基于d c t 的变换编码技术，但这是对 d c t 和量化处理相结合产生的改良编码方法，称为整数d c t 变换。同 时帧内和帧间预测过程中，引入哈达马变换( h a d a m a r d ) 来对预测得 到的残差值和直流系数编码，这样进一步来减少冗余信息。 22 1 哈达马变换 h 2 6 4 编码标准在对帧内和帧间预测产生的残差值以及各个子块 的直流系数进行哈达马变换编码，这样处理能更准确的计算误差和， 从而便于选出最佳的预测方式同时去除冗余信息。 塑业奎兰堡主兰堡堡兰 哈达马变换是一种正交变换编码，其4 x 4 基本的变换矩阵如下： ( 2 1 ) 实验表明额外引入h a d a m a r d 变换可以在一定程度上提高编码的 信噪比，表2 2 是在不同运动估计精度下，进行有无h a d a m a r d 编码的 对比实验中所得到p s n r 对比值。 表2 - 2h a d a m a r d 编码实验 f o r e m a n ( 3 0 0 帧)s a l e s m a n ( 3 0 0 帧)t e m p e t e ( 2 6 0 帧) 1 2 p e l ( 无 4 2 5 3d b4 3 0 9d b3 0 5 6d b h a d a m a r d ) 1 2 p e l ( 有 4 2 8 3d b4 3 2 4d b3 0 8 0d b h a d a m a r d ) 1 4 p e l ( 无 4 2 7 2d b4 3 6 1d b3 0 9 6d b h a d a m a r d ) 1 4 p e l ( 有 4 3 0 8d b4 3 ，8 1d b3 1 2 6d b t t a d a m a r d ) i f a d a m a r d 编码0 3 3d b0 1 8d bo 2 7d b 平均提高的p s n r 从上表可以看出，h a d a m a r d 编码确实可以提高编码的p s n r 值， 而且这种提高量随着估计精度的增加而加大；同时由于h a d a m a r d 变换 编码是一种简单的正交编码，复杂度较低，因此其不会带来较大的额 外开销。 四川大学硕士学位论文 2 2 2 交流系数的4 x 4d g t 和量化处理 一、d c t 变换 经典的d c t 变换是以高精度的余弦值作为变换系数的，由于这些 系数的有效位数较多，因此容易在正变换和反变换之间产生“失配问 题”( m i s m a t c h ) 。 h 2 6 4 则是对d c t 变换进行改进，提出了对4 x 4 块做整数d c t 变 换编码的方法，此方法主要有以下特点： ( 1 )其变换矩阵中的系数均为整数，因此不会出现精度问题和 编解码器不匹配； ( 2 ) 变换的计算过程仅仅需要加法和移位运算，因此计算复杂 度低； ( 3 ) 把尺度乘法集成到量化器中，减少了总的乘法次数。整个 变换编码和量化采用1 6 位的整数运算，每个系数只需乘一 次，不会损失精度。 具体的推导过程如下： 一般的4 x 4d c t 过程如公式( 2 - 2 ) ： y = a x a 7= f i口 b c d一口 c一6 d口 一c b 一口口 bc ab dc 口一c 口一b 其中x 为要变换的系数矩阵，变换矩阵中的a ，b ，c ： 1 2 b = 压c o s ( 詈) 口c d b 一口一b 4一c ( 2 2 ) 堡o 再一 萨 舳 变可程过 换变的 弘式公 四1 1 i 大学硕士学位论文 y = ( c x c 。1 e = 1l dd 一1一l 一1l a 2 口b a bb 2 a 2a b a bb 2 a 2 a b a bb 2 a 2 口b 口bb 2 ( 2 - 3 ) 其中，c x c7 是这个二维变换的变换核( t r a n s f o r mc o r e ) ，e 是尺度矩 阵，0 是标量乘法，即两个矩阵中的对应位置上的系数一一相乘。这 里的a 和b 与公式( 2 - 2 ) 相同，其中d = c b ，约为0 4 1 4 ，为了简化 计算，把d 近似为o 5 。为了保证变换的正交性，相应的a 和b 也进行 修正为：n = 1 2 和6 = 5 ，2 。 另外，对矩阵c 的第二、四行和c 的第二、四列分别都乘以2 ，放大 两倍，在e 中的对应行和列除以2 。这种处理方法可以避免在变换核 中出现1 2 因子，经过上述处理之后的变换过程见公式( 2 - 4 ) ，这样生 成的4 x 4d c t 变换不同于标准的d c t 方法。 y = cr x ct r e ， 11 21 ll 12 11 0 1 28x 9 210 r l 211 61 1 1 2 iil 一1一l 2 j 1 1 211 a 2a b 2a 2a b 2 a b 2 b 2 4a b 2 b 2 4 a 2a b 2口2a b 2 d b 2b 2 4a b 2 b 2 4 ( 2 4 ) 下面将举例说明这种d c t 方法与标准d c t 方法之间的区别： 例：有一4 x 4 系数矩阵x ： x = 51 1 98 l1 0 1 96 采用标准d c t 方法的变换结果为： l 曩 8l o 41 2 l l 4 1 57 d o o ，o o 。d 叫o n一 x h 寸 四川大学硕士学位论文 y = a x a 。= 3 5 o 3 2 9 9 5 5 4 0 4 5 0 0 7 9 4 7 6 8 3 0 2 9 3 0 1 0 采用近似d c t 方法得到的结果为 y ；( c x c7 、固e = 上述两釉方法产生的差值为： y - y = 3 5 0 3 0 0 4 5 5 4 2 6 9 0 0 2 9 5 0 0 。2 2 4 一1 5 0 4 4 3 2 o 一9 3 8 4 0 1 5 8 3 9 0 0 2 6 8 8 3 2 0 0 0 0 7 9 0 ，8 6 8 0 3 4 l 0 1 9 0 1 1 1 5 9 0 1 0 4 6 9 9 1 2 3 2 1 5 】i 0 7 2 0 9 3 2 9 0 0 6 6 4 o 0 ，0 5 5 1 1 0 7 9 2 0 0 4 9 0 1 2 1 0 0 0 ，0 0 8 0 1 9 0 0 2 0 3 0 8 6 8 从上面的差值可以看出，变换结果取决于参数b 和d ，整数d c t 方法的压缩性能几乎与标准方法一样，同时具有很多的优点： 首先，整数d c t 中的变换核，c x c ，只需采用简单的整数运算 手段( 加减法和移位) 就可以实现。 其次，只要系数矩阵中的值介于正负2 5 5 之间，变换运算的动态 范围可以很小，而没有运算溢出的危险。 最后，变换核与矩阵e 之间的标量乘法运算完全可以放在后面的 量化过程中完成，具体处理方法将放在后面的量化部分叙述。 另外，考虑到后面的量化过程是一个有损编码过程，量化能够进 一步消除这里的变换性能差别。因此，整数d c t 变换具有很大的编码 优势。 通过前面的正向d c t 变换，不难推导出对应的反变换过程： x = c j ( y 9 e b 1 9 11 2 一l一1 11 11 2 y 日2 础 a b b 2 a 2 口b a bb 2 口2 曲 a bb 2 a 2a b a bb 2 1l 1 1 2一l 21 1 一l1 2一l1 1 2 ( 2 5 ) 其中，y 矩阵与尺度矩阵进行标量乘法运算，矩阵c 和c 7 中的除法可以用右 移运算实现。这样正变换和反变换是正交的，即t 。( t ( x ) ) = x 。 二、量化过程 h 2 6 4 编码规范采用标量量化方法对变换编码后的系数进行量化 处理。为了避免除法和浮点运算以及前面提到的尺度矩阵e