（检测技术与自动化装置专业论文）h264中运动估计和码率控制算法的研究.pdf

哈尔滨理工大学工学硕士学位论文 h 2 6 4 中运动估计和码率控制算法的研究 摘要 随着网络和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 和 移动网络中的处理和传输技术成为了当前我国信息化中的熟点。新一代视频 编解码标准h 2 6 4 采用了大量先进的编解码技术。其压缩性能和解码质量都 获得了很大的提高。h 2 6 4 在信噪比、压缩效率和视觉效果方面，都远远好 于现有的其它视频编码标准。 本文研究的主要内容是h 2 6 4 标准中较为重要的两个部分：运动估计和 码率控制。 h 2 6 4 编解码器提高了压缩性能，但运算的复杂度也成倍的增长。 h 2 6 4 运算复杂度是m p e g - 4 的3 倍，运动估计搜索约占整个编码复杂度的 8 0 。为了降低h 2 6 4 编码器的复杂度，国内外学者做了大量的工作，探索 各种帧间、帧内快速搜索算法。本文提出一种根据图像变化的剧烈程度，采 用不同的搜索算法，实现了快速搜索的目的，保证了图像的质量，避免了已 有快速算法在搜索最佳点时搜索过于复杂的问题。 码率控制影响到视频编码器的效率和视频质量码率控制的主要目标就 是在比特率受限条件下，尽量使编码失真最小。为了取得最优化的压缩效 率，确保编码数据在信道成功传输，获得最佳的视频质量，须有较好的码率 控制算法。以前一些学者提出的码率控制算法中，常用平均绝对误差来反映 图像的复杂度，本文采用平均绝对变换，用其值来衡量图像的复杂度，真正 揭示了图像失真的原因，在码率控制模型中使用平均绝对变换代替平均绝对 误差，可以得到更加准确的量化参数，从而能更好的平稳码流输出。 实验结果表明：本文采用的码率控制算法，获得了更加平稳的码流；本 文提出的运动估计搜索算法，大大缩减了编码时间，图像的峰值信噪比满足 要求。 关键词视频编码；搜索算法；运动估计；码率控制 哈尔滨理工大学工学硕士学位论文 h 2 6 4m o t i o ne s t i m a t i o na n dr a t ec o n t r o l a l g o r i t h mr e s e a r c h a b s t r a c t a c c o m p a n y w i t ht h ef a s t d e v e l o p m e n t o fn e t w o r k a n dm o b i l e c o m m u n i c a t i o n ，d i s p o s i t i o na n dt r a n s m i s s i o nt e c h n o l o g yi nt h ef i e l do fi n t e m e t a n dm o b i l en e t w o r ko fv i d e oi n f o r m a t i o na n dm u l t i m e d i ai n f o r m a t i o nh a v e b e c o m eah o t s p o ti nc h i n e s ei n f o r m a t i z a t i o n ，n o w a d a y s t h en e wg e n e r a t i o n v i d e oe n c o d i n gs t a n d a r dh 2 6 4a d o p t sl a r g ea m o u n to fa d v a n c e de n c o d i n g d e c o d i n gt e c h n o l o g y , a n di t sc o m p r e s s i v ep e r f o r m a n c ea n dd e c o d i n gq u a l i t yh a v e al a r g ei m p r o v e m e n t h 2 6 4i sm u c hb e t t e rt h a no t h e rv i d e oe n c o d i n gs t a n d a r di n s i g n a lt on o i s er a t i o ，c o m p r e s s i o ne f f i c i e n c ya n dv i s i o ne f f e c ta s p e c t s t h em a i nc o n t e n to f t h i sp a p e ra r e ：m o t i o ne s t i m a t i o na n dr a t ec o n t r o l ，w h i c h a r et w oi m p o r t a n tp a r t so fh 2 6 4s t a n d a r d h 2 6 4c o d e ce n h a n c e st h ec o m p r e s s i v ep e r f o r m a n c e ，b u tt h eo p e r a t i v e c o m p l i c a t i o no f h 2 6 4i st h r e et i m e so fm p e g 一4 m o t i o ne s t i m a t i o ns e a r c ht a k e s a c c o u n to fa b o u t8 0 o ft h ew h o l ee n c o d i n gc o m p l e x i t y s c h o l a r sa th o m ea n d a b o a r dd oal a r g ea m o u n to fi o bt oe x p l o r ev a r i o u si n t e rf r a m e 、i n t r af r a m ef a s t r e s e a r c ha i g o d t h mt os o l v et h ed i f f i c u l t y t h i sp a p e rp r o p o s e sak i n do ff a s t s e a r c ha l g o r i t h mu s i n gd i f f e r e n ts e a r c hs t r a t e g yb a s e do nd i f f e r e n tv i d e oi m a g e ， w h i c hr e a l i z e st h ea i mo ff a s ts e a r c h ，e l 坞u f e st h eq u a l i t yo fi m a g ea n da v o i d s p r o b l e m st h a tt h ee x i s t i n gf a s t s e a r c ha l g o r i t h mi st o oc o m p l e xw h e ns e a r c h o p t i m a lp o i n t r a t ec o n t r o la i g o r i t h ma f f e c t sv i d e oc o d e ce f f i c i e n c ya n dv i d e oq u a l i t y d i r e c t l y 1 1 1 em a i nt a r g e to f r a t ec o n t r o li sm i n i m i z i n ge n c o d i n gd i s t o r t i o n a sb e s t a sp o s s i b l eu n d e rt h ec o n d i t i o nt h a tb i tr a t ei sl i m i t e d b e t t e rr a t ec o n t r o l a l g o r i t h m i s n e c e s s a r y f o r a c q u i r i n g o p t i m i z a t i o nc o m p r e s s i o ne f f i c i e n c y , i n s u r i n gt h a te n c o d i n gd a t at r a n s m i t s i nc h a n n e ls u c c e s s f u l l y , a n do b t a i n i n g o p t i m a l v i d e oq u a l i t y s o m ep r e v i o u ss c h o l a r sh a v ep r o p o s e dr a t ec o n t r 0 1 一 哈尔滨理工大学工学硕士学位论文 a l g o r i t h mo fu s i n gm e a na b s o l u t i o nd i s t o r t i o nt or e f l e c tc o m p l e x i t yo fi m a g e t h i sp a p e ra d o p t sm e a na b s o l u t ec h a n g e ，a n de x p r e s sc o m p l e x i t yo fi m a g e ， w h i c ho p e no u tt h er e a lr e a s o no fi m a g ed i s t o r t i o na n dr e f l e c tc o m p l e x i t yo f i m a g e ru s e sm e a na b s o l u t et r a n s f o r mi n s t e a do fm e a na b s o l u t ee r r o r , w h i c h c o u l dq u a n t i z ee r r o rc o r r e c t l yt oo u t p u tr a t eb e t t e r 1 1 把e x p e r i m e n tr e s u l ts h o w st h a t ：t h er a t ec o n t r o la l g o r i t h ma d o p t e db yt h i s p a p e rc o u l do b t a i ns m o o t h e rr a t e ，t h em o t i o ne s t i m a t i o ns e a r c ha l g o r i t h m p r o p o s e db yt h i sp a p e r , c u ts h o tt h ee n c o d i n gt i m el a r g e l y a n dt h ep e a kv a l u eo f s i g n a lt on o i s er a t eo ft h ei m a g es a t i s f i e st h er e q u i r e m e n t k e yw o r d s v i d e oe n c o d i n g ；s e a r c ha l g o r i t h m ；m o t i o ne s t i m a t i o n ；r a t ec o n t r 0 1 i l l - 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文h 2 6 4 中运动估计和码率控 制算法的研究，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除己注明部分外不包含 他人己发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均 已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：手故石矽! 日期：刃年；月l 晌 哈尔滨理工大学硕士学位论文使用授权书 h 2 6 4 中运动估计和码率控制算法的研究系本人在哈尔滨理工大学攻 读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔 滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了 解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部 门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可 以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内 容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密函。 ( 请在以上相应方框内打) 作者签名 导师签名： 强袖兰 嗣乡、 日期：6 7 年岁月l r 同 日期：6 年；月l 同 日期：叼年弓月日 哈尔滨理工大学工学硕士学位论文 1 1 课题背景 第1 章绪论 数字视频技术在通信和广播等领域获得了日益广泛的应用，为了使视频信 息得到有效的应用，必须首先解决视频压缩编码问题，其次解决压缩后视频质 量保证的问题。这二者是相互矛盾的，要做到尽量有较大的压缩比，又要保证 一定的视频质量，这一直是视频压缩编码领域所研究的热点之- - i ”。 2 0 0 3 年3 月，i t u - t i s o 正式公布了h 2 6 4 视频压缩标准，由于其具有比以 往标准更出色的性能，被人们称为新一代视频编码标准 2 1 。具体讲，在相同重 建图像质量下，h 2 “比m p e g 2 、h 2 6 3 和m p e g - 4 分别节约6 4 4 6 、4 8 8 0 和3 8 6 2 的码率，或者说在同样码率下，其信噪比明显提高。但h 2 6 4 的强大 优势来源于更加复杂而精确的算法和更高的技术支撑平台。据报道，h 2 6 4 编 码器的复杂性为m p e g - 4 的5 1 0 倍，而解码器的复杂性为m p e g - 4 的2 4 倍；而 国内研究人员的测试结果为h 2 6 4 所需的编码时间实际约为h 2 6 3 的1 4 倍，解码 时间实际约为h 2 6 3 的l l 倍 3 1 ，可见编解码速度限制了h 2 6 4 技术在实时通讯领 域的应用，h 2 6 4 编码过程中，预测搜索运算量占很大比例，按照h 2 6 4 标准给 定的全搜索算法，当参考帧为五帧时，帧问的预测搜索占整个编码运算量 8 0 ，当参考帧为一帧的时候，运算量占6 0 。所以对原算法做一些改进，可 以使预测运算量能减少。而在h 2 6 4 标准给出的算法中，由于过多考虑视频的 质量，所以算法的运算量就特别大。 由于运动估计和码率控制占大部分编码时间，所以本课题提出研究 “h 2 “中的运动估计和码率控制算法的研究”，这是为了使h 2 6 4 更好地应用 于一些对实时要求比较严格的编码系统中。该研究方法是在视频质量变化不是 很大的情况下，通过改进搜索策略，来减少编码的时间，提高编码效率，有效 地减少帧问的运算量1 4 】【。在带宽受限的网络环境中进行视频传输必须对视频 编码进行码率控制，码率控制算法就是根据视频传输序列的复杂度和画面变化 的快慢动态地调整编码器的参数，使编码完的码流达到目标比特数。 哈尔滨理工大学工学硕士学位论文 1 2 视频编码的国际标准研究现状 随着编码技术的广泛应用和各国高度的重视，为适应全球工业与经济的飞 速发展，国际标准化组织加快了将图像和视频编码的研究成果制定为相应的标 准。当前视频编码标准主要包括两个系列，一个是m p e g 系列，一个是h 2 6 x 系 列。其中m p e g 系列标准由i s o i e c 组织制定，h 2 6 x 系列标准由m7 厂r 组织制 定。而a v s 标准是信息技术先进音视频编码系列标准的简称，它是中国正 在自主研究的视频编码标准。 m p e g - 1 标准完成的基本任务就是质量适当的图像( 包括伴音) 数据必须成 为计算机数据的一种，和已有的数据( 如文字、绘图等数据) 在计算机内兼容， 并且这些数据必须在现有的计算机网络和广播电视等通信网络中兼容传输 m p e g - 1 标准有3 个组成部分：m p e g 视频、m p e g 音频和m p e g 系统。所以 m p e g 涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问 题。m p e g - i 标准是适用于传输1 5 m b p s 输率的数字存储媒体动力图像及其伴音 的编码标准，可以处理各种类型的活动图像，其基本算法对于压缩水平方向 3 6 0 个像素、竖直方向2 8 8 个像象素的空间分辨力，每秒2 4 至3 0 幅画面的运动图 像有很好的效果【6 f f l 。与j p e g 不同，它没有定义产生合法数据流所需的详细算 法，而是在编码器设计中提供了大量的灵活性，另外定义己编码位流和解码器 的一系列参数都包含在位流本身当中，这些特点允许算法可以用于不同大小和 宽度比的图像，也可以用在工作速率范围很大的信道和设备上。 m p e g - 2 标准于1 9 9 4 年制定完成，其目标码率在2 1 5 m b p s 。这种较宽的码 率范围使得m p e g 具有广泛的应用领域。可以应用于数字视( d v d ) 、高清晰度 电视( h d t v ) 和数字视频广播( d v b ) 等视频领域。m p e g 2 为了同n t s c p a l 制 视频信号更好的兼容，提出了帧( f r a m e ) 和场( f i e l d ) 两种不同的编码模式。采用 场编码模式时，将一帧信号分为上下两场，其中所有奇数行作为一场，所有偶 数行作为一场。场编码模式扩展了运动补偿算法方式离散余弦变换( d i s c r e t e c o s i n et r a n s f o i 1 1 1 ，d c d ，这种方法适合视频信号的运动方式，从而提高了压 缩编码效率i s l 。另外m p e g 2 也提出了时间上和空间上二种不同形式的分级编 码方式。 m p e g - 4 的全称是“c o d i n go fm o v i n gp i c t u r e sa n da u d i o ”，其目标应用包 括因特网多媒体、交互式视频游戏、个人通信、多媒体邮件、网络数据库服 务、远程视频监控、无线多媒体等。目前，m p e g - 4 共包含1 0 个部分，依次 哈尔滨理工大学工学硕士学位论文 为：系统、视频、音频、一致性测试、参考软件模型、传输多媒体集成框架、 m p e g - 4 工具软件、基于i p 架构的m p e g 4 、参考硬件插述、以及高级视频编码 ( a d v a n c e dv i d e oc o d i n g ，a 、7 c ) 。其中a v c 即为l t u t 和m p e g 联合制定的h 2 6 4 视频编码标准。m p e g - 4 的一个革命性贡献是在视频编码中引入了基于对象的 思想。m p e g - 4 以视频对象( v i d e oo b i e c t ，v o ) 的概念来实现基于内容的表示 1 9 1 。v o 的构成依赖于具体应用和系统实际所处的环境。在要求超低比特率的情 况下，v o 可以个矩形帧，与传统的标准兼容。v o 也可以是场景中某一物体或 某一层面，为画面中被分割出来的不同物体。每个v o 由三类信息来描述：运 动信息、形状信息和纹理信息。除此之外，m p e g - 4 还第一次引入了许多其它 的引人注目的技术，例如视频中的小波变换、s p r i t e 编码、零树扫描等等。但 另一方面，m p e g - 4 种的许多工具例如基于对象的视频处理等由于运算复杂度 的限制，在实际中应用的不是很广泛，最常见的是它的简单档次和先进的简单 档次。前者基本和h 2 6 3 类似，后者在h 2 6 3 的基础上引入了1 4 像素精度的运动 补偿和全局运动估计技术。 h 2 6 1 的全称是“v i d e oc o d e cf o ra u d i ov i s u a ls e r v i c e sa tp * 6 4 k b i t s ”，主要 应用于i s d n 网上的视频会议系统，公布于t 9 9 0 年，是第一个采用现代编码算 法的通用视频编码标准，其后许多标准的形成都受到了h 2 6 1 的很大影响。 h 2 6 1 又称为p * 6 4 k b i t s s 标准，是指它的应用主要针对6 4 k 的整数倍信道，p 取值 在1 - 3 0 之间。在技术上，h 2 6 1 采用了基于块匹配的运动补偿方法，只支持整 像素精度的运动补偿和单向的单帧参考，即参考帧只能使用前一帧图像。 h 2 6 1 使用8x8 d c t 变换对原始图像或者预测残差进行变换。h 2 6 1 只规定了解 码的语法和程序，而对于编码中的许多关键问题没有做详细的规定，例如码率 控制以及如何进行运动估计等等。这样做既保证了不同生产厂家的设备编码出 来的码流完全兼容。同时也给各厂家发挥自己在关键技术上的优势留下了很大 的空间。此种做法在之后的视频编码标准中一直被沿用。 相对而言，h 2 6 3 是为了支持低码率的通信而制定的标准，他仍然是以运 动估计和变换编码作为编码的技术核心，但是。同h 2 6 l 相比，做了很多改 进，降低了视频的码率，同时又保证了视频质量。这些变化包括： 1 h 2 6 3 采用半像素精度进行运动估计和补偿，提高了运动精度； 2 除了基本编码算法外，h 2 6 3 还包括无约束运动矢量模0 j n r e s t r i c t e d m o t i o nm o d e ) 、基于句法的算术编码模式( s y n t a x - b a s e da r i t h m e t i cc o d i n g m o d e ) 、高级预测模式( a d v a n c e dp r e d i c t i o nm o d e ) 和p b 帧( p b f r a m em o d e ) 这四 种可选的编码方法，这些编码方式可以单独使用，也可以组合使用，以提高编 哈尔滨理工大学工学硕士学位论文 码效率。 3 除了支持c i f 和q c i f 图像格式外，h 2 6 3 还支持了一些新的图像格式， 如s q c i f ( 1 2 8 9 6 ) 、4 c i f ( 7 0 4 5 7 6 ) 、和1 6 c i f ( 1 4 0 8 1 1 5 2 ) 。为了同h 2 6 1 视 频编码标准相兼容，这些新的模式都是以可选项的形式提供的，方便灵活。随 后( 1 9 9 8 ) ，i t u t 又推出了h 2 6 3 的第二版，叫做h 2 6 3 + 。h 2 6 3 + ，基于h 2 6 3 标准，提出了一些新的可选特性以扩展h 2 6 3 的应用领域并增强其编码效率。 这些特性包括灵活视频格式、分级编码、补充增强信息( s u p p l e m e n t a l i n f o r m a t i o n ) 、增强p b 帧编码及高级帧内编码方法等。其中分级编码包括空域 分级和时域分级，这几种模式的选择，增强了压缩信号的抗干扰能力，使得 h 2 6 3 码流适合于网络的传输。 h 2 6 3 + + 是h 2 6 3 的第三版，它在h 2 6 3 + 的基础上，又增加了很多优化的选 项。这些优化选项被整合后，作为必需选项，构成了h 2 6 4 的前身- - h 2 6 l 。其 中，“l ”是长期( l o n gt e r m ) 的意思。 h 2 6 4 是低码率、实时和低延时的压缩标准。虽然它的框架同h 2 6 1 和 h 2 6 3 一脉相承，但是，其采用的技术、算法都有了很大的变化，如整形d c t 变换，多帧运动估计等i 。这些新的特性。在第二章做详细叙述。 i t u t 1 1 1 j 1 讣仰e g m 甲e g s u m d a r d c h i r a a v s 图l i 视频编码的发展历程 f i f r l id e v e l o p m e n t u i s eo f v i d e oe n c o d i n g 图1 1 表示视频编码的发展历程，从图中可以看出，中国的视频编码标准 a v s 发展起步比较晚。a v s 是基于我国创新技术和部分公开技术的自主标准， a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性 测试等支撑标准。2 0 0 2 年，在信息产业部的支持下，成立了“数字音视频编解 码技术标准”工作组( 简称a v s i 作组) ，2 0 0 3 年，国家发展和改革委员会批 4 - 哈尔滨理工大学工学硕士学位论文 准了数字音视频编解码技术标准a v s 研究开发与测试验证重大专项。在国 内外上百家企业和科研单位共同参与下，a v s 标准制定工作进展顺利，其中最 重要的视频编码标准于2 0 0 5 年通过国家广电总局测试，2 0 0 6 年1 月得到信息产 业部批准，2 月国家标准化管理委员会正式颁布，3 月1 日起实施。从图1 - 1 中可 以看到，在视频编码标准的开发方面，中国明显要落后。 1 3 运动估计与码率控制的国内外发展现状 在视频编解码标准中，运动估计和码率控制是视频编解码标准中最关键的 二个部分。在网络直播和视频监控等一些实时应用领域中，我们最关心的问题 是编解码时间和图像恢复的质量问题，由于运动估计在编解码中占据大部分时 间，如果选择5 个参考帧的话，运动估计时间占整个编解码时间的8 0 左右。 这样如果减少运动估计的时间的话，整个编解码的时间就会相应的减少很多。 现在标准中提供的参考运动估计算法采用全搜索算法，全搜索算法对搜索范围 内的每个点都要进行搜索，这样得到的图像质量虽然高，但是占据了编解码的 很多时间。以有必要对运动估计搜索算法做一些改进。码率控制算法是解决图 像过程中码流的问题，由于现在网络带宽的限制，高清晰图像的获取需要较多 的码流，而码率控制就是把图像的质量和码流很好的结合起来，用较少的码流 传输较高的图像质量。 1 3 1 运动估计的国内外发展现状 因为运动估计在视频编解码标准中占据重要位置。运动估计已经成为视频 编解码标准中研究的热点，国内外越来越多的学者对运动估计做了很多重要的 研究。 国外学者k u o - l i a n gc h u n g 和l u n g c h u nc h a n g 的论文an e w p r e d i c t i v e s e a r c ha r e aa p p r o a c hf o rf a s tb l o c km o t i o ne s t i m a t i o n 中提出非常有用的二个 结论l 。 1 当搜索范围d 的值从1 l 、3 3 、5 x 5 增加到7 x 7 、9 x 9 ，( 2 x d + 1 ) ( 2 x d + i ) 时，最终搜出的最佳点落在这个范围内的概率增大的幅度逐 渐减少，当d 大于4 后，增大的概率几乎可以忽略不计。因此我们可以得出这 样的一个结论，对于运动搜索来说，搜索范围扩大到9 x 9 之后，再增大搜索 范围，搜索准确性的提高就非常有限了。 2 对于不同的运动图像序列，结论l 略有差别，但变化趋势不变。例 哈尔滨理工大学工学硕士学位论文 如，对于运动不大的图像序列c a l e n d a r ，最终的最佳点落在( 2 x d + i ) x ( 2 x d + i ) 的范围内的概率增量的交化为8 9 1 9 、6 4 8 、1 6 2 、o 6 5 、o 4 2 ， 对于运动较大的图像序列f o o t b a l l ，最终的最佳点落在( 2 d + 1 ) ( 2 d + 1 ) 的 范围内的概率增量的变化为5 8 8 4 、1 8 3 9 、6 6 ，3 5 8 、2 5 7 、 1 7 ，从平均值来看，概率增量的变化为7 8 3 8 、1 3 4 8 、2 3 8 、 1 3 、0 8 4 、0 5 2 ，搜索命中概率为7 8 3 8 、9 1 8 l 、9 4 2 4 、 9 5 5 4 、9 6 3 8 对运动搜索的范围和最终的最佳点的位置得出了一个统计结果。我们可以 看到，当搜索范围为9 x 9 时，已经有9 6 3 8 的概率可以搜到最终的最佳点。 这个概率对于我们的实际应用来说己经是足够了。由此我们可以知道，在 h 2 6 4 标准的快速整像素搜索算法中，采用了四步的搜索算法，它的搜索范围 远远超过9 9 ，所以，该算法其实是有很大改进余地的。 国内学者向友君，郭宝龙对运动估计中的算法优化要点做了概括，指出初 始搜索点的选择、匹配准则和搜索策略是实现运动估计算法改进的三大重点 i t 2 j 。唐泽鹏等人对常用的运动估计算法做了一个比较，比较了全搜索法、三步 法、共扼方向搜索法、两维对数下降法等等多种方法，得出结论，两步搜索法 是最快最准确的算法。另外，张继东等人给出了一种针对全搜索和快速搜索 的快速块匹配方法，可以减少搜索点，简化搜索运算。但是以上算法都太过复 杂运算量太大，不适合实时编解码1 1 4 j 。 国内东南大学的骆立俊、邹采荣和何振亚提出了一种连续判别的非线性预 测搜索n p s s d 算法，充分利用了序列图像的实际运动矢量与预测矢量之间位 移的空间分布特性一一中心偏置分布特性和时问上的相关特性，并在搜索过程 中采用了中止判别和搜索判别，可以明显地减少运动搜索复杂度，j 。这个算法 思想非常符合我们的工程背景，其中利用实际运动矢量和预测矢量之间的关系 的思想，以及中止判别的方法都对我们启发很大。 南京邮电大学的唐泽鹏等人，在h 2 6 3 + 标准中，提出了改进后的 n t s s ( i m p r o v e dn t s s ) 算法，这种算法对原有的新三步法又做了一些改进。它 采用了“半步停”的策略，引入了闭值作为判断条件，同时综合了t s s 和菱形 搜索两种搜索方法f 1 6 l 。实验证明，这种改进后的n t s s 明显优于t s s 、 n t s s 、g d s 等算法。它的算法思想对我们的新算法的产生有重要意义。 国内作者魏星对于运动图像的块搜索提出了一种新的方法，提出了划分块 的类型的想法m 。将当前图像的被操作块与参考图像中相同位置和相同大小的 块进行比较，计算差值和运动花费，将运动花费与两个阈值t h l - c s h o d l 和 哈尔滨理工大学工学硕士学位论文 t h r e s h o l d 2 比较，得到不同的图像分类，对不同类别的图像分别采用不同的搜 索方法。 c e 动ux i a ol i n , a n dl a p - p u ic h a u 提出了新的六边形搜索算法，这种六 边形搜索方法不是固定不动的，而是采用滑动的方式，它每滑动一次，新增搜 索点数固定为3 个，而不是传统所用的每次新增的点数为3 个或5 个的菱形搜 索。这样节约了时间，并且搜索到同一个目标点的过程要比菱形搜索算法要少 2 3 个点，并且随着搜索范围的增大，这个节约的比例还逐渐增大。但同时， 当搜索范围很小时，即搜索范围仅仅在中心点的4 x 4 范围内时，六边形搜索 又退化成为菱形搜索l l q 。 1 3 2 码率控制的国内外发展现状 z h i h a ih e 等人认为d c t 系数量化后零值比率p 是由量化参数q p 决定 的，因此二者之间具有严格的一一对应关系。可将r 与q 尸的密切关系转换为 r 与p 之间的关系【1 9 1 。在严格的理论分析和大量的模拟实验基础上，提出了一 个基于p 域的线性码率模型，它们之间的关系式见式( 1 1 ) 。 r ( p ) = 口( 1 一p ) ( i 1 ) 式中r 编码产生的比特数； 口常数与图像的复杂程度相关； p 粤眨换系数量化后零值在系数中所占的百分比。 基于该模型的码率控制算法，帧级计算目标比特与t m n 8 类似，为计算宏 块量化参数，运动估计变换得到所有d c t 系数，然后得到q p 与p 的匹配 表。基于p 域的线性模型统计当前帧量化后的d c t 零值时，不需依靠参考 帧，在场景切换频繁的情形下，控制效果尤其好于前面几种算法。 f e n gp a n 等针对原有的m p e g - 4 码率控制方法作了一些改进，其主要 特点如下： 1 分配给p 帧和b 帧的比特数和它们到该g o p 结束位置的距离成比例， 即越靠近它们的参考帧i 帧的图像分配的比特数越多。 2 目标缓冲器的级别是当前帧在一个g o p 中的位置的函数因此在一个 g o p 结束的时候目标缓冲器的级别将会达到最好的值，i 帧的量化参数是基于 i 帧自身的空间复杂度决定。实验表明该码率控制方法能显著的减少跳帧的出 现，平均p s n r 增加了0 6 r i b ，并且提高了重建视频的主观视觉质量。建立在 上述二项式率失真模型之上的码率控制算法可以分解为如3 个步骤：初始化阶 哈尔滨理工大学工学硕士学位论文 段、预编码阶段和后编码阶段。 m a 等人提出了一个新的h 2 6 4 码率控制方案，该方案没有考虑q _ p 与 m a d 之间的相关性，但它不是s i n g l e p a s s 码率控制算法川。虽然该算法可以 实现目标比特数且没有明显的比特变动，但执行r d 0 要花费2 倍的时间对宏 块而言这样的时间复杂度是不可接受的。 1 4 本文主要研究工作 本文的主要工作是以h 2 “视频编解码标准为基础，提出了一种改进的运 动估计搜索算法和一种码率控制算法。结合参考软件j m l o 2 ，编程实现了所 提出的算法。该算法在编码性能上有很大的改进，在保证编码后图像质量的基 础上，大大缩短了编码的时间，从而更有利于网络传输和一些实时场合的应 用。 我所做的工作主要有以下四个方面： 1 h 2 6 4 的理论研究：包括编解码框架、预测模型、熵编码、量化变换； 2 运动估计改进算法的提出，应用c 语言实现算法； 3 码率控制改进算法的研究。利用参考程序实现改进算法； 4 实验验证：包括运动估计改进算法和码率控制改进算法的实验。 ：兰篓：三奎：三兰竺圭：竺兰兰 2 1 引言 第2 章h 2 6 4 视频编解码关键技术 与以前的任何标准相比，h 2 6 4 标准的效率都有极大的提高，在相同视频 图像质量下，h ，2 6 4 比h 2 6 3 要节省5 0 0 , 6 左右的比特率，也就是说它可以仅用 一半的编码量就能得到同样清晰的图像。由于视频的各种应用必须通过各种网 络传送，这就要求一个好的视频方案能处理各种应用和网络接口。h 2 6 4 标准 为了解决这一问题，将设计方案分为两个层次，即视频编码层( v i d e oc o d i n g l a y e rv c l ) 和网络适配层( n e t w o r ka b s t r a c t i o nl a y e rn a l ) ，视频编码层主要对 视频对象进行处理，网络适配层主要负责规范视频数据的格式，主要是提供头 部信息以适合各种媒体的传输和存储。 h 2 6 4 编码效率的提高，不是某一特点单独作用的结果，而是编码算法各 个细节改进联合作用得到的。h 2 6 4 在原理上与h 。2 6 3 是一致的，同样采用基 于块变换的编码结构：首先对输入视频信号首先进行帧内或帧间预测，将预测 值与原始值相减得到残差信号，然后对残差信号进行整数d c t 变换和量化， 最后经过熵编码得到压缩后的视频流。该标准较为突出的特点是：在编码的本 地图像重构和解码过程中加入了环路滤波模块，可以有效去除整数变换产生的 块效应，提高图像质量【2 2 j 。熵编码采用基于内容的自适应可变长编码或者基于 内容的算术编码，压缩效率更高。作为新一代的视频编码标准，h 。2 6 4 吸取了 现有视频编码标准的优点，同时又提出了许多新的思想和算法，大幅度提高了 编码效率和图像质量。 2 2h 2 6 4 编解码器 2 2 1 h 2 6 4 编解码器的特点 h 2 6 4 并没有明确地规定一个编解码器的如何实现，而是规定了一个编了 码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器 在此框架下应该能够互通，在实现上具有较大的灵活性，而有利于相互竞争。 和以前标准相比较，编解码器的功能块的组成没有什么区别，主要区别的不同 哈尔暝理工大学工学硕士学位论文 在于各功能块的细节。视频内容在时间和空间上细节变化很多，这种时间空间 的多变性就必须采用相应的自适应控制技术。由于信道在环境恶劣下也是多变 的，当今网络堵塞和衰减很严重，这就需要采用相应的措施来对抗信道畸变带 来的不良影响j 。h 2 6 4 是利用实现的复杂性获得压缩性能的明显提高。由于 大规模集成电路的发展，这种实现的复杂性是不难解决的。 2 2 2h 2 6 4 编码器 h 2 6 4 编码器的功能组成如图2 1 所示。 图2 - l h 2 6 4 编码器 f i g 2 1h 2 6 4e n c o d e r 编码器采用的仍是变换和预测的混合编码法。在图2 1 中，输入的帧或场 r 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处 理。如果采用帧内预测编码，其预测值( 图中用p 表示) 是由当前片中已编码的 参考图像经运动补偿后得出的，其中参考图像用f ，卜l 表示。为了提高预测精 度，从而提高压缩比。实际的参考图像可在过去或未来已经编码重建和滤波的 帧中进行选择。预测值和当前块相减后，产生一个残差块，经块变换和量化后 产生一组量化后的变换系数，再经熵编码，与解码所需的一些边信息一起组成 一个压缩后的码流，经n a l 供传输和存储用i “。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的 功能。因此必须使残差圈像经反量化、反变换后得到的残差块与预测值相加， 得到订“未经滤波的帧) 。为了去除编码解码环路中产生的噪声，提高参考帧 哈尔滨理工大学工学硕士学位论文 的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出 即为重建图像，可用作参考图像。 2 2 3h 2 6 4 解码器 h 2 6 4 编码器的功能组成如图2 2 所示 帧 图2 2 h 2 6 4 解码器 f i g 2 - 2h 2 6 4d e c , o d o r h 2 6 4 解码器的功能组成如图2 2 所示由图2 - 2 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。在图2 - 2 中，经熵解码得到的量化后的 一组变换系数x ，再经反量化与反变换，得到残差【2 4 】。利用该比特流中解码出 的头信息，解码器就产生一个预测块眦d ，它和编码器中的原始p r e d 是相 同的。当该解码器产生的p r e d 与残差相加后，就产生衍。，再经滤波后，最 后就得到重建的f 。，这个f 就是最后解码输出的图像。 2 3 h 2 6 4 编解码器的技术特点 2 3 1 正交变换 正交变换是视频编码技术中最重要的部分，决定编码所包含的其它算法的 具体内容。现有视频编码标准都采用同一种8 x 8 方块浮点离散余弦变换 ( d c t ) 。h 2 6 4 的正交变换是离散余弦变换的整数近似。其实，在视频编码的 d c t 算法提出后不久，就出现了性能与d c t 接近而实现复杂度低于d c t 的整 数变换。因为所有的视频编码标准都规定了浮点d c t ，使整数变换仅局限于实 验室内。h 2 6 4 采用4 x 4 方块的正交变换。寻找近似于d c t 的整数变换的最 简单方法由公式( 2 1 ) 。 哈尔滨理工大学工学硕士学位论文 q ( k ，丹) = r o u n d ( c z h ( k ， ) ) 式中h ( k ，坊- 嚣d c t 变换矩阵； q ( 屯行卜- 近似d c t 的整数变换矩阵： a 比例因子。 对于4 x 4 方块变换，d c t 交换矩阵是： h ：三 2 11 c占 11 jc ll jc li cj ( 2 1 ) 上式中：c = 互c o s 研8 ) ，j = 互s i n 铆8 ) 注意保持变换矩阵的行向量和列向量 都是彼此正交的。取口- - 2 ，就得到哈达码( h a d a m a t d ) 变换矩阵： n 1 钐“一一2 哈达码变换在编码性能上不如d c t ，但是在实现复杂度方面低于d c t 整 数变换：只有加、减运算，无乘、除运算，对8 位图像数据仅需要1 6 位的运 算位长。h 2 6 4 在非正式编码或次要程度编码的场合，采用这种最简单的正交 变换。取口= 2 6 就得到h 2 6 41 m l 9 的变换矩阵： g m - 9 = 1 31 31 31 3 1 7771 7 1 3一1 31 31 3 7一1 71 77 在上面的哈达码变换矩阵和h 2 6 4t m l 9 变换矩阵中，行向量和列向量的 模都取唯一的值口。取口- 2 5 ，就得到h 2 6 4 的变换矩阵： n1 蜘朋2 j ll 2l l一1 12 11 一l 一2 一ll 一21 在上面的变换矩阵中，行向量和列向量的模有3 个取值：2 ，彳，4 i - 6 。 需要修改量化表，做出适当调整。以便消除向量模不一致的影响，保证完全重 构。h 2 6 4 使用整数变换，避免了一向困扰视频编码的浮点反向离散余弦变换 ( i n v e r s ed i s c r e t ec o s i n el x a n s f o m ，i d c t ) 的失谐问题a 浮点i d c t 的结果会因为 哈尔滨理工大学工学硕士学位论文 不同处理器在浮点格式和舍入策略上的差异而不同，出现发送端与接收端的重 构图像数据不一致即失谐。对于利用过去帧重构图像进行帧间预测的编码算 法，这样的失谐误差会逐