（控制理论与控制工程专业论文）视频压缩中的运动估计和码率控制算法研究.pdf

摘要 摘要 运动估计和码率控制是视频编码系统中的两大关键技术。运动估计算法被用 来从己编码的参考帧得到当前编码帧的预测图像，去除视频序列中存在的时问冗 余，其搜索速度和精度对于缩短编码时间、提高压缩比和提升图像质量有着重要 影响。另一方面，为了在信道上传输压缩视频，需要码率控制算法通过改变编码 参数来控制输出码率。同时，码率控制算法对于编码器稳定性的提高和图像质量 的提升都起到重要作用。目前的运动估计和码率控制算法大多存在复杂性过高或 图像质量不佳等缺点。为了解决这些问题并满足不同应用的要求，本文进行了相 关研究。 本论文主要完成的工作如下： 为了满足实时视频通信和嵌入式系统的要求，针对目前大多数运动估计快速 算法没有较好地解决算法复杂度和图像质量之间矛盾的缺点，提出了一种基于运 动场预测的六边形块运动估计搜索算法。该算法结合“足够好就停止搜索”的思 想和六边形搜索模式的高速特性，能快速找到匹配点。并且在块失真度量中使用 改进的部分失真准则，进一步降低了算法复杂度。实验结果表明，和菱形算法( d s ) 、 预测运动场自适应搜索算法( p m v f a s t ) 相比，该算法的计算复杂度和搜索点数都 有了明显下降；同时，它的图像质量要优于d s 算法，和p m v f a s t 算法相比只 有较小的下降。 为了满足对图像质量有高要求的场所的需要，针对大多数快速运动估计算法 图像质量有较大下降且现有部分失真算法计算复杂度依然较高的缺点，提出了一 种基于运动场预测的部分失真块运动估计搜索算法。该算法提出了一种可调的部 分失真准则，并结合了运动场估计技术和中途停止技术，能快速找到匹配点。实 验结果表明，它和正规化部分失真搜索算法( n p d s ) 、分级部分失真搜索算法( p p d s ) 相比，搜索速度分别加快了2 7 倍和0 6 3 倍，图像质量也有一定的提高。另 外，该算法的图像质量和搜索速度是可调节的。 为了满足低码率视频编码系统的需求，针对支持感兴趣区( r o d 优先编码的码 率控制算法存在的r o i 提取算法复杂、码流分配不够科学的不足，提出了种支 持r o i 优先编码策略的自适应码率控制算法。该算法提出了一种简单有效的r o i 提取方法，并根据图像复杂度和运动信息给r o i 和非感兴趣区( n r o i ) 分别分配码 流：对于r o i 的编码范畴，推导出了高低码率的判断准则，使算法可以自适应地 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 选择码率模型，减少了码率控制误差。实验结果表明，与t m n 7 和t m n 8 的算法 相比，该算法能将输出码率更稳定地控制在目标码率附近，减少了跳帧：而且图 像的客观和主观质量都有了明显的提高。 针对经典的t m n 8 码率控制算法由于需要计算方差而带来的计算复杂度较高 的缺点，提出了一种基于率失真理论的低复杂度码率控制算法。该算法推导出了 基于平均绝对差( m a d ) 的r q 模型。编码过程首先根据图像的复杂度分配帧层的 目标比特数；然后在宏块层利用复杂度和运动信息计算各宏块的权重并使用拉格 朗日方法优化失真度，确定最优量化器。实验结果表明，由于算法不用计算方差， 与t m n 8 算法相比明显减小了计算复杂度：与n f n 7 相比，该算法能将码率更稳 定地控制在目标码率附近，减少了跳帧，达到了n 矗n 8 算法的码率控制效果；另 外，图像质量比t m n 8 算法更加稳定且有所提高。 关键词视频压缩；运动估计；块匹配；码率控制；感兴趣区 a b m r a n a 由咖c t m o t i o ne 螗m 啦i o na n dr a ：【cc o n t la l 蓼幽sa r eb o 也v e r yi i i l p 叫眦p 哦so fv i d 明c o d i l l g 巧s t e m s h lo r d e rt o 舢a v e 证t e 舳er e d m l d a n c y 跚l dt l l l l s t oa c m e v e1 1 i g h c o 螂鹏s s i 培矗o ，m o t i o n e 幽妇a l 鲥t i s l l s e d t o 芦幽c ea 畔d i 娟o n o f a f i 掰n c t o b ec o d e d 邱mp 1 1 e v i o l l s l yc o 捌r e f 酗l c e 丘a m e s q l l i c ks e 献血s p e e da n dl l i 曲p r e c i s i o na r e e s s e 砸a l t d c o d i i l g 幽弛，h e i 醇l 恤c o m i 船s s i o n 均虹。赫d i i n p r o v e j i n a g eq u a l 晦0 吼 t h eo l l l e rh a n d ，i i l0 r d e rt o 乜m 锄i tc 0 皿唧删v i d e oo v 盯c q m m 砌训0 nc i 锄e l ，r a t c c o n n da i g o r i t i l i ni su s c dt om a i l l t a i l lo i 却眦b i tr a t e 吐1 】m l 曲m o d i 与，i i l gt i l e 曲c o d i n g 磷哦叮l e t e r s ba d d i 6 0 坞r 鼬ec 叫a l g 嘶血mp l a y s 椰1 抽1 p o n a mr o l en o to i 】晦抽徜1 i 西n g 也e c o d e r b u ta l s o i n 协单眺g t h ep l a y 姒q 1 嘶u p t o n 拶鸭瑚o s t m 蕊o nc s ：【i m a t i o n 孤d r a t ec o m r o la l g o r i m m sh a 、岵d i 鞠d 、锄l 协g e s ，踟c ha s1 1 i g hc o m p u 啪o n a lc o m p l e ) 【i 啦趾dp o o r i h m g eq u a l i 吼i i lo r d e rt or e s o l v et l l e s cs 1 1 0 i t c o i l l i n g sa n dm e e tt l l ed e m 越1 d so fd i 柏n a p p l i 髓d o i l s ，t l l i sm e s i si se i l g a g e di l lt h es t i 】d yc o r r e l 撕v et om 嘶o ne s 岫撕o na n d 舭 c o t 血d 1a l 班拙s i i l g 即耐，m e r e s e 鲫c h w o i l ( i i l 廿l i s m e s i s c 0 山d b cs u m m a r i z e da sb c l o w ： s i i l c em o s te x i s t i i 】gm l 撕o ne s d l l l 甜0 na 1 9 0 r i t l l l n sh a v en o tf o m da g o o ds o l u 畦o nt o 衄 c 册t r a d i c t o i yo f c o m l ) u t 撕o n a lc o m p l e x 时a l l di i n a g eq u a l 时a n dt i l e yc 黜l o tb e 印m i e dt o t c a lt i m ea p p i i c a t i o n s 甜l d 咖b c d d e ds y g 哑城ah e x a g o n b a s e db 1 施km o d o ne s 血戚伽 s e a r c ha l g o 枷恤b a s e do n 御蛐c t i v em o d o nv e c t o rp m 亚) s ) i sp f o p o s e d 1 1 1 c p r o p o s e da l 酬t 1 1 mt a k e sa d v 锄t a g e so f “s l o pw h 龃g o o de n o l l g h ”s p i r i ta i l dl l i g hs p e e d u p g a i l lo fh e x a g o “) a s e ds e a r c hp 砌蛐( e ) ( b s ) t o 矗n d 鲥t e dp o i n t s 删c k l y i i ia d d i d o n ， m 碱f i e dp a 而a ld i s i o 而0 n 嘶t c r i o n ( m p d c ) i su s e dt os p e e du p 蛐m 吐l ec a l c u l 觚0 no f b l o c kd i s c o n i o nm 船毋玳e x p 卸h e n tr e s u j t sd 锄0 1 1 s 的l c e 山a tt h e p r o p o s e da 1 9 0 r i 岫 阳州d e sas i 朗j 蠡c a mr e d u 甜o n 洒t e l l so f 的lc o m p u a t i o l l a lc o s t 锄ds e a r c hp o i n t s c o m p a 刚t 0 吐l ed i 锄o n d 僦a l g o d m m ( d s ) 锄dp r e d i c t i v em o 廿0 nv e 吐o rf i d da d a p d v e s e a | 曲乜耐】i l i q u e ( p m v f a 踊m o 蜘v 鸽1 1 1 e 印) p o s e da l g 面m ma c h j e v e sk t t e rq u a l 时 p e 蠊i m 埘1 c et 1 1 趾d sa l g 砸t b ma n do 砌ya1 i 砌ed e 鲫d a 吐o n 器c 删t 0p m v f a s t d t o t i l e 曲v i o u s i l n a g ed e 霉a d a 廿o n o f m o s t 融黜ha l 鲥t i m l s 卸d t h e q u i 眙h i 曲 c o m m 吻t i o r l a lc o m p l e x i t yo f 懿i 血gp 枷a ld i s t o 而0 ns e a r c ha l 鲥t 1 1 i i l s ，af h s te 塌d c n t s 跚曲a l g o r i m m l p a 而a ld i s 洲o ns e a r c ha l 鲥t l l mf o rb 1 0 c km 砸0 n 碰m 枷o nb a s e do n p r e d i c t i v em o d o nv e c t o rf i e l d 州v p d s ) i s 柳s e dt 0 鲥晦1 1 i 出i m a g eq 叫埘 印纠i c 葩o n s p m v p d st a k e sa d v t a g eo f t l l e 删l l s i 曲1 ep a m a ld i s 删o n 面t e d o n ( a p d c ) 3 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 p r o p o s e di n “st h e s i s ，p 砌c t i v ei r 枷0 nv e c t o rf i e l d 慨衄q u e 觚d s t o pt e c q u et o f i i l ds l 舭dp o i 鹏q u i d d ye x 删m tr e 洲t sd e m o n s t r a t et 1 1 a tp m v p d sp r 州d e sd b o u t2 7 锄i d0 6 3t i m e ss p e e d u pr e s p 硎w d y ，a i l da c i l i e 、，e sb e t t 口i n l a g eq u a i i t yc m n p 咀r 甜t o 也e n o 衄a l 讧蜘p 矾a ld i s 脚t i o ns ha 1 9 0 咖 i l ( n p d s ) 觚d l ep m g r e s s i v ep a m a ld i 咖而0 n s e a i 曲a l g 嘶t l m 口p d s ) m o f e o v 瓯t h eh a g eq u a l j t y 锄ds e a 劬s p e e d0 fp r o p o d p m v p d s 咄r o i i 也ma r e 喇u 鼢l e i no r d 盯t or e d u c et h ec 伽叩u d o n a lc o m p 王e x 时o fr e 垂o no fi n t e r e s tl l 渤) e ) 由a c 蛙o n 伯 h i q u e 锄do v e r c o m et h e 咄i 6 f i cb i td i s m b l i d o no f 。( i 蛐gi k ) i 捌e c - s u 弭脚t e d r a ：t ec o n n d la l g 硎t 1 1 m s ，ai t 0 i 捌e c - s u p p c 咖c da d a p t i v ei a t ec o m r d la 1 9 0 r i m mi sp r o p o s e d t os a c i s 匆l o wb “m t ev i d s y s t e m s h l t h i sa 1 鲫1 l l 】【i l ，as i i i l p l e 趾de 茄c i e n t 印p 怖a c ho f 哟出砒gr o ii sp l q ) o s e d a c c 叫d i 】鸣t dt h e 妯1 a g ec 0 婶l e x i t ) f 锄dm 娟o ni n 王哳n 嘶。玛i t d i 鲥b i l c c sb 诋t or o i 锄dn o n m io 限o i ) r e s p e 甜v d y a st 0r ( ) ic o d e cc 疵刚，t l l e j u d 鲫e n t 删e r i o no fd i 如n g u i s h 王n gb e t 、鲫1l o w 孤dl l i g l lb i tm t ec o d i n gc a t e 9 0 r yi sd e i i v e d ， w 撕c hm a l ( e st b ea l g o r i t l l mt 0s e l e c tt h er a t c q u 锄删o n 限一q ) m o d e la d a 硼v e l ya r l d d e c r e a s e1 1 1 er a t ec o i 血d le r r o l 王扭p e r i m e mr e s u l t sd e m 饼l s t m t en l a tt l i ea l g 面也ma c l l i e v e sa b h 蹴ec l o s e rt o 也et a 瑶e t ，删d e sf 如p e rs l 【j p p e d 佃1 1 e s ，锄d 时sk i t 嘧o b j e 酣v ea 1 1 d s l 埘e c t j v ei i i l a g eq u a l 时s i 嘶f i c a n n yc o m p a r e d 谢t 1 1 办厦n 7a n dt m n 8a l g o r n h m s i n c e 也e 删8m t ec o n 仃0 la l g 喇t l nm u s t 黜l p u t et 1 1 ev a r i 卸c eo f e a c hm a c m b l o c k a n di l 弧1 1 i g h 锄删伽i a lc o m p l e ) ( i 吼al o w 伽p u t 撕o n a lc o m p l e x i t yr a t ec o m m l a l 鲫t l l mi s 卿s e d b a s e do nt 1 1 er a t ed i s 洲o nt l l e o 彤a 1 1r _ qm o d e lb a s e do nm e 柚 如s o l 疵d i 脑蜘c e ( m a d ) i sd e r i v e d d u i i i l gm ee 1 1 c o d i t l g 雕e d e ，t a r j 酣b i 招眦 a 1 1 0 c 砷e df o re a c h 晒ea c c 0 柑i i l gt ot h ei i l l a g ec o m p l e x 时f i l s t l yt h 锄，协ec o m p l e 】( i t ya i l d m 甜o ni 瓶删o no fe a c hl t l a c m b l o c ka r eu s e dt oc a l c i l l a t ei t sd i s t 0 而o nw e i g h t l a g r a n g e t l l e o r yi su s e dt om i i l i 删z et i l ed i s t o m 衄a n dt of i l l dt 1 1 eo 曲m i z e d 啡吼m z e le 砰日证l e 毗 r e s u bd e m 0 1 1 s 昀t em a tt l l ep r o p o s e da l g o 而岫d o e sn o tn e e dt oc o m p u t c 山ev a r i a i l c ea r l d d e c r e a s e st 1 1 ec o i n p u 锄o n a lc o s to b v i o u s 】yc o m 】) a r e d 谢血1 w 酣8a l g 嘶t 1 1 l n c o 玎1 p a r e d 、i t l ln d n 7a l g 谢岫，i ta c l i i e v e sab i tr a t ec l o s e rt 0m et q ，e t ，p r o v i d e sf e w 盯拍p p e d 鼬n e s ，a n dg 如t 1 1 es a m e n 昀le 丘b c t 鼹1 m 时8a l g o 删 nd o e s h la d d i t i o 玛l e 脚s e d a i g o r i t l l mg 如m o r es 劬k 觚db e n e ri r r l a g eq u a l 畸c o n l p a r e d 诹mt m n 8a i g o 血h r n 1 蛔一o r d s v i d e 0c o i t 雌s s s i o n ；m 甜o ne s 血m o n ；b 1 0 c km a t c h i i l ga j g o 劬m ；h t e c o n n d l ；黜垂o no f i n t e r e s t 假o d 4 目录 a p d c b b g d s b m a c i f d c t d s f s f s s g o b h e x b s h v s 1 e c 】s o i t u l d s p m a d l b m b d f p d c m p e g m v 主要符号对照表 可调的部分失真准则( a d j u s t a b l ep a n 瑚d i s t o n i o nc r i t e r i o n ) 梯度下降法( b 1 0 c k b a s e dg r 甜i e n td e s c e n ds e a r c ha l g 嘶t 】1 m ) 块匹配算法( b 1 0 c k - m a f c h i n g a l g 硎t h m ) 普通中间媒体格式( c o m m o ni n t e 彻e d i af o m l a t ) 离散余弦( d i s c r e t ec o s i n et r s f 0 九t i ) 菱形搜索( d j a m o n ds e a r c h ) 全搜索算法( f u j ls e a r c ha l g o m h m ) 四步搜索算法( f o u rs t e ps e a f c h a l g o r i t h m ) 块组( g t 。u po f b l o c k ) 六边形块运动估计算法 ( h e x a g o n b a s e db 1 0 c km o t i o ne s t i m a n o ns e a r c ha l g o r i 也m ) 人眼视觉系统( h u m a l lv i s u a ls y s t e m ) 国际电子技术委员会( i n t e m a t i o n a le 】e c t r o t e c h n i c a lc o m m i s s i o n ) 国际标准组织( i n t e m a t i o n a ls t a i l d a r d i z 撕o no r g a l l i z a t i o n ) 国际电信联盟( i n t e m a t i o n a it e l e c o m m u n i c a t i o nu n i o n ) 大菱形搜索模式( l a 唱ed i 咖o n ds e a r c hp a 批m ) 平均绝对差( m e a na b s o l u t ed i 仃e r e n c e ) 宏块( m a c m b l o c k ) 最小块失真( m i l l i m u mb l o c kd j s t o r t i o n ) 改进的部分失真准则( m o d i f i e dp a r t i a ld i s t o r t i o nc r i t 耐o m 联合运动图像专家组( m o v i n g p i c n 盯ee x p e r t sg r o u p ) 运动矢量( m o t i o nv 断) 9 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 n a l n p d s n r o i n t s s p d c 网络提取层( n e 柳o r ka b s t r a c t i o nl a y e r ) 正规化部分失真搜索算法刚。玎i l a l i z e dp a n i a ld j s t o n i o ns e a r c ha 1 9 0 r 汕m ) 非感兴趣区( n o n r e 舀o no fi n t e r e s t ) 新三步搜索算法( n e w t j l r e es t e ps e m 曲a 1 9 0 r i m ) 部分失真准则( p a n i a ld i s t o r t i o nc m e r i o n ) p m v f a s t预测运动场自适应搜索技术 ( p r e d i c t i v em o t i o nv e c t o rf i e 】da d 印石v es e a r c ht e c h n i q u e ) p m v h e x b s基于运动场预测的六边形块运动估计搜索算法 p s n r q p r c r o l s a d s d s p s l f t s s v c l v o d ( h e x a g o n - b a s e db l o c km o t i o ne s 曲1 a 廿o ns e a r c ha 1 9 0 r 油mb a s e d 0 n p r e d i c t i wm o t i o nv b c t o n 峰值信噪比( p e a l cs i g i l a ln o i s ei i o ) 量化参数( q u a n t i z a t i o np 籼e t e r ) 码率控制偎a t ec o f i t r d l ) 感兴趣区( r e g i o no f i n t e r e s t ) 绝对偏差和( s u ma b s o l u t cd i 俄r e i l c e ) 小菱形搜索模式( s m a l ld i a r n o n ds e a r c hp a n e m ) 标准图像格式( s t d a r di m a g ef o r r i l a t ) 三步搜索算法( t h r e es t 印s e a r c ha 1 9 0 r i t h m ) 视频编码层( v i d e oc o d i n gl a y e r ) 视频点播( v i d e oo f d e m a n d ) 1 0 第j 章绪论 第l 章绪论 【本章摘要】本章对视频图像压缩的原理、主要方法和国际标准作了概述，介绍 了运动估计和码率控制两大关键技术，并指出了现有算法存在的不足，最后简单 介绍了本文的主要研究内容与创新点。 1 1 视频图像压缩技术概述 视觉是人类获取信息的最重要途径，约占入 1 】获取信息总量的7 0 。另外， 随着通信与信息技术的迅速发展，人们存储和传输内容的重点已从语音、数据转 到了图像、视频。与文本和语音相比，图像具有直观和高效的优点，但其数据量 非常大，难以存储和传输。因此，解决图像的压缩问题就成了实际应用中的关键。 经过三十多年来的不懈努力，图像压缩技术取得了令人瞩目的发展，已经从过去 的纯学术研究领域逐步走上标准化、产业化的道路。随着技术的发展，其应用也 越来越广泛，如可视电话、视频会议、数字存储媒体( 如v c d 和d v d ) 、视频点播 ( v o d ) 、数字图像监控和高清晰度数字电视等。 另一方面，图像压缩技术的应用以及互联网与多媒体技术的不断发展扩大了 人们的应用需求，反过来对图像压缩技术提出了更高的要求。 自2 0 世纪8 0 年代以来，无论是从技术的发展还是从社会的需求来看，图像压 缩技术已经逐步进入了较大范围的应用阶段。但当时由于没有统一的压缩算法和 码流格式，在信息交流中遇到了很多困难。因此，国际标准组织( i s o ) 和国际电信 联盟( i t u ) 相继推出了一系列的图像压缩标准。 1 1 1 视频图像压缩的原理 视频图像压缩的目的就是要以尽可能少的比特数表征原始图像数据，同时保 持复原图像的质量，使其符合应用场合的要求。视频图像的压缩之所以可以实现， 主要是由于视频图像数据中存在多种冗余： 1 空间冗余：一幅图像中，相邻像素之间存在的空间相关性称为空间冗余。 2 时间冗余：在视频序列中，相邻帧的图像之间存在的较强的相关性称为时 间冗余。 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 3 统计冗余：对于一串由许多字符构成的数据来说，如果其中某些字符经常 出现，而另外一些很少出现，则这种统计不均匀性就构成了统计冗余。 4 视觉冗余：人眼视觉系统( h 眦a i lv i s u a ls y s t e m ：h v s ) 的频率响应随着空 间频率的增长而降低，而且这种关系在色差通道上表现尤为明显。 5 其它冗余：如知识冗余等。 视频图像压缩就是充分利用图像本身固有的各种冗余和人的视觉系统特性来 减少图像信息的冗余度并获得满意的图像复原质量。针对以上冗余，人们提出了 对应的去除冗余的方法，表1 1 按冗余的类型列出了一些常用的压缩方法。 表1 1 1 冗余类型及对应压缩方法 冗余类型举例压缩方法 每个像素值不论数值大小 统计冗余熵编码，如h u m n a n 编码和算法编码 都用8 b i t 表示 人鼹 凳觉系统( h v s ) 对亮度色 视觉冗余量化 度信号视觉敏感性的不同 宅间冗余帧内相邻像素间线性相关预测编码和变换编码 时问冗余帧间像素间的相关性运动估计与运动补偿 人的肩头结构，人脸结 知识冗余 模型基编码 构的确定性 视频编码算法的组成在很大程度上是由视频序列建模所采用的信源模型确定 的。视频编码器寻求用信源模型来描述视频序列的内容。图1 1 给出了视频编解码 系统的基本结构。在编码器中，首先用信源模型的参数来描述数字化的视频序列。 然后，信源模型参数被量化成有限的符号集。量化参数取决于比特率与失真间所 期望的折衷。最后，用无损编码技术把量化参数映射为二进制码字。产生的比特 流在通信信道上传输给解码器端。解码器反向进行二进制解码和反量化过程，重 新得到信源模型的参数。然后，解码器的图像合成算法利用信源模型的参数得到 复原图像。 第l 章绪论 图1 1 视频编解码系统的基本结构 1 1 2 视频图像压缩的主要方法 目前视频图像压缩的主要方法可以分为两大类：经典的图像压缩方法和第二 代图像压缩方法。 1 1 1 2 1 经典的图像压缩方法 经典的图像编码方法以s l l a n n o n 的信息理论为基础，利用图像中存在的各种 相关性消除冗余。常用的有预测编码、变换编码、熵编码和量化编码等。根据是 否引入失真可分为无损编码方法和有损编码方法；根据压缩图像的不同属性可分 为单色、彩色和多光谱图像的压缩，二值图、多值图与灰度图像编码：根据编码 方法的原理，可分为基于图像统计特性、基于人眼视觉特性和基于图像特征提取 等的方法。 一预测编码 预测编码i l 引利用图像信号的空间或时间相关性，用已编码的像素对当前的像 素进行预测。然后对预测值与实际值的差( 预测误差) 进行编码。 1 9 5 2 年，贝尔( b e l l ) 实验室的b m 0 1 i v e r 等人开始了预测编码理论的研究， 同年，该实验室的c c c u n e r 取得了差分脉冲编码调制( d p c m ) 系统的专利，奠定 了预测编码的基础。d p c m 的原理如图1 - 2 所示，其中熵编码和熵解码分别完成对 预测误差量化值的无损编码和解码。为了能正确恢复被压缩的信号，在接收端和 浙江大学博十学位论文视频压缩中的运动估计和码率控制算法研究 发送端使用相同的预测器，且两个预测器的输入信号和动作完全相同。 图l 之d p c m 系统原理图 d p c m 是图像编码技术中研究最早、应用最广的一种方法，具有算法简单、硬 件实现容易的优点；缺点是抗干扰能力差，若在传输中出现误码，其影响将扩散， 造成横条干扰。在单幅图像中，根据前面若干像素的值对一样本值的值进行预测， 称为帧内预测。对视频序列而言，预测时可利用前后帧之间在时间轴上的相关性 进行，称为帧间预测。如果d p c m 和运动估计及运动补偿技术相结合，则可进一步 压缩数据。 二 变换编码 变换编码f 3 - 7 l 不是直接对空域图像信号编码，而是首先将空域图像信号映射变 换到另一个正交矢量空间，对产生的变换系数进行编码。般来说，变换域中的 能量比空间域更为集中，而且往往集中于少量几项系数，因而，只要在变换域中 保留少数几项系数，经反变换后仍能得到很好的重建图像。 第1 章绪论 为了保证平稳性和相关性，同时也为了减少运算量，在变换编码中，一般在 编码器中先将图像分成若干个子块，然后对每个子块进行正交变换，形成变换域 中的系数矩阵样本，系数选择器再选择其中的若干系数进行量化、编码和传输。 解码器中经解码和反量化后得到具有一定量化失真的变换系数，再经反变换就可 得到恢复的图像信号。变换编码的编码器和解码器模型如图1 3 所示。交换方法应 用于图像编码最早是从傅立叶( f o 谢e r ) 变换开始的，后来又先后出现了哈达玛 ( h a r d 锄a r d ) 变换、k - l ( k a r h 佃e n l o e v e ) 变换、余弦变换( d c t ) 、斜( s l a l l t ) 变换和小 波变换等。 变换编码可以有效地消除图像数据之间的空间相关性，已被证明是一种高效 的图像压缩方法，是迄今为止所有有损编码国际标准的基础之一。 ： 解码器 ： l 一一j 图l - 3 变换编解码器的原理图 三 熵编码 根据信息论的观点，信源的冗余度是由信源本身所具有的相关性和信源内各 事件概率分布的不均匀性产生的。熵编码【8 l 也称统计编码，就是利用信源的统计冗 余，去除其内在的相关性和改变概率分布的不均匀性，从而实现图像压缩。目前 典型的熵编码方法有霍夫曼编码、算术编码和游程编码。前两个利用了信源概率 分布的不均匀性，后一个利用信源自身的相关性。 霍夫曼( d a h u f h n a l l ) 于1 9 5 2 年提出了一种不等长编码方法m ，这种编码的码 字长度的排列与符号的概率大小的排列是严格逆序的，理论上已证明其平均码长 最短，因此称为最佳码。 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 算术编码1 1 0 1 将被编码的信息表示成o 和1 之间的一个问隔，信息越长，编码表 示它的间隔就越小，表示这一间隔所需的二进制位就越多。信息源中连续的符号 根据某一模式生成概率的大小来减少间隔，出现概率大的符号要减少的范围少， 因此增加的比特数少。算术编码的效率受编码模式( 概率统计与范围分配) 的影响。 算术编码的优点是，其自适应模式可以不必预先定义概率模型，从而适用于无法 进行概率统计的场合：缺点是实现方法较霍夫曼编码复杂，不利于硬件实现。 游程编码是一种相对简单的编码方法，它通过统计相同符号段长度( 称为一个 游程) ，结合该符号值来表征该符号段。这一方法充分利用了符号自身的相关性来 达到压缩数据的目的。 四量化 量化f 1 1 ”1 是数据压缩的有效方法，也是图像压缩编码产生失真的主要根源。 量化要完成的功能是按一定的规则对取样值作近似表示，使量化器输出的幅值的 大小为有限个数值。从前面预测编码和变换编码的原理图可以看出，如果没有量 化，就不熊较好地实现数据的压缩，或者说数据压缩比较小。量化器的设计原则 为既要获得尽可能高的压缩比，又要减少量化失真，尽可能保持高的图像质量。 量化分为标量量化和矢量量化。 五子带编码 子带编码由c m c h i e r e 等【1 5 】人提出，原来主要用于语音编码，后来w b o d s 和 o n e i l i l q 将其弓 入图像编码领域。予带编码采用滤波和抽样技术将原始图像分解为 若干频带信号，然后对分解后的各个频带信号采用合适的编码方法进行压缩。在 解码端，解码后的各频带信号经内插( 恢复到原始信号的尺度) 后用综合滤波器重构 得到输出信号。 六塔型编码 塔型编码由b l l n 等人i ”提出。其基本原理是将原图像分解为空间分辨率不同 的系列子图像，对各子图像进行编码传输，在解码端得到的是一个逐渐清晰的 图像。 1 1 2 2 第二代的图像压缩方法 第二代的图像压缩方法最早是在1 9 8 5 由m k u n l 等人【1 8 j 提出的。这些压缩方法 不局限于信息论的框架，充分利用了人的视觉、生理和心理的特性和图像信源的 各种特征，能获得高压缩比。常见的第二代图像压缩方法有分形编码和模型基编 码等。 一分形编码 第1 章绪论 分形图像编码基于分形几何原理，利用图像的自相似性进行压缩编码。分形 是m a n d e l b r o t 【1 明于1 9 7 5 年提出的，用来描述那些没有特征长度、具有无限精细结构 的图形和构造，并由此创建了分形几何理论。b 跏s l e y l 2 0 2 1 ) 首次将分形用于图像压 缩，提出了基于迭代函数系统( i f s ，i t c r a l 甜f l l l l c t i o ns y s t 锄) 理论的分形凰像压缩编 码方法。他的学生j a c ( i u i l l i 捌于1 9 9 2 年提出自动分形编码方法一分割迭代函数系统。 分形最重要的特征是自相似性，即无论几何尺度怎样变化，图形的任何一小 部分的形状都与较大部分的形状非常相似。这种尺度不变性在自然界中广泛存在。 实际的分形编码采用分块的编码方法。首先将图像划分为互不重叠的范围块( g e b l o c k l ，同时把同一幅图像划分为若干个较大的可以相互重叠的域块( f i d db l o c k ) ； 然后对每个范围块寻找可以匹配的域块，使该域块可以通过收缩仿射变换近似于 当前范围块；最后对仿射变换的参数进行编码和传输。因为只需对仿射变换的参 数进行编码，因此分形编码可以得到高压缩比。 二模型基编码 模型基编码是一种综合图像分析和计算机图形学的高效编码方法。由于复杂 度很高，模型基编码的研究直到9 0 年代以后才受到重视：9 0 年代中期，模型基编 码作为甚低比特率编码的重要算法成为研究热点f 2 3 ，2 4 】；9 0 年代末期，模型基编码 作为m p e g 4 和j p e g 2 0 0 0 重要的组成部分，成为高级交互功能的主要贡献者。 经典的编码方法是描述图像的二维像素模型，而模型基编码方法用景物的3 d 特性来描述图像。通信双方有一个相同的三维模型，编码器通过对图像进行分析， 提取景物的参数并将它们编码后传送到解码端；解码器根据收到的参数用图像合 成技术重建图像。由于充分利用了景物模型，模型基编码能得到很高的压缩比。 模型基编码分为语义基( s e m a n t i c b a s e d ) 编码和物体基( o b i e c t b 嬲e d ) 编码两种。 语义基编码最早是由瑞典的f o r c l l l l e i m c r 等人【2 5 】于1 9 8 3 年提出的，用于对视频 内容有先验知识的应用。语义基编码中，通信开始后，先将图像的基本特征( 如脸 部的纹理和三维模型) 传输到对方，然后随着头部的运动和表情的变化，发送端抽 取头部的运动参数和脸部的表情参数，编码后传输给对方；接收端根据已知的3 d 模型和接收到的参数，用图像综合技术重建图像。语义基编码基于限定景物，且 景物中物体的3 d 模型严格已知，这样可以有效利用景物中已知物体的知识，只需 编码有限的描述变化信息的参数，因而压缩比很大。但是语义基编码只适合编码 已知物体，实际情况稍有变化，就可能出现模型失效。 物体基编码最早由德国的m u s m a n 于1 9 8 9 年提出。物体基编码是针对未知物体 的模型基编码，是方块编码的推广。物体基编码按照景物中的物体形状进行分割； 1 7 浙江大学博士学位论文视频压缩中的运动估计和码率控制算法研究 然后对于每个分割出的物体，用一般物体的3 d 或2 d 模型描述成运动参数集、形状 参数集和色彩参数集；最后对三个参数集进行编码和传输。 1 1 3 视频图像压缩的标准化 1 1 3 1 视频压缩国际标准的发展简史 国际上主要有三个制定视频压缩国际标准的组织：国际电信联盟( i t u t ： i n t e m a t i o n a lt e l e c o m 删1 1 1 i c a t i o nu 1 1 i o n t e l e c o ms 恤d a 碰z a t i o ns e c t i o n ， 即原 c c i t t ) 、国际标准化组织( i s o ：1 1 1 t e m a t i o n a ls t 眦d a r d i z a t i o no r g 蚵z a t i o n ) 和国际电 子技术委员会( m c ：i n t c m 撕o n a le l e c t r o t e c h i c a lc o r n m i s s i o n ) 。1 9 8 8 年，i s o 和1 e c 成立了“联合运动图像专家组” 伊e g ：m o v i n gp i c t l 】r ee x p e n sg r o u p ) ，致力于音 视频编码标准的制定。在视频编码标准领域，i t u 和m p e g 之间一直存在着激烈竞 争。 1 9 8 8 年，c c i t t 通过了“p 6 4 k b i 以= l ，2 ，3 ，3 0 ) ”视频编码标准一h 2 6 l 建议，被称为视频压缩编码的一个里程碑。h 2 6 1 标准主要用于会议电视和可视电 话的视频编码。之后，i t u t 和i s o 等公布的基于波形的视频编码标准都是基于 h 2 6 1 中的混和编码方法。 1 9 9 1 年，m p e g 公布了m p e g 一1 标准，码率为1 5 m b p s ( b i t s ) ，主要用于v c d 的 视频压缩。 1 9 9 4 年，m p e g 公布了m p e g 一2 标准，码率从4 m b p s 到1 0 0 m b p s 不等，分别用 于不同档次和级别的视频压缩。其应用范围包括高清晰度电视( h d t v ) 、数字视频 广播( d v b ) 和d v d 等的视频压缩。 1 9 9 5 年，i t u - t 公布了h 2 6 3 标准，主要用于低于6 4 k b p s 的低码率视频压缩， 如p s t n 信道中的会议电视、多媒体通信等。1 9 9 8 年和2 0 0 0 年i t u t 又分别公布了 h 2 6 3 + 、h - 2 6 3 + + 等标准。 1 9 9 9 年，m p e g 推出了m p e g - 4 标准，该标准强调了多媒体通信的交互性和灵 活性。 2 0 0 3 年，l t u t 和i s o i e c 共同推出了| l 2 6 4 标准，不仅可以显著提高压缩率， 而且可得到良好的网络亲和性。 1 1 3 2 视频压缩标准的核心算法 目前所有视频编码国际标准的核心是基于块的混和编码算法。算法中每帧被 分成固定大小的块，且每个块或多或