（信号与信息处理专业论文）mpeg4编码算法研究及mpeg4视频流分析软件的开发.pdf

中文摘要 中文摘要 在m p e g 标准中，“类( p r o f i l e s ) ”是一系列与标准兼容的编码工具。因为 m p e g 标准包含很多不同的工具，所以每一个具体的应用只能用到一部分。与以往的 m p e g 标准相同，m p e g - 4 也是一个混合编码机制。物体的形状作为一个新的成分被 引入m p e g - 4 标准中，它既可以被表示成二迸制形状，也可以被表示为灰度级形 状。 运动估计是m p e g 一4 编码器的重要的一部分。它对码率和编码序列的输出质量 都有着很大的影响。但是运动估计要占用很大一部分的编码时间，特别是使用全搜 索法时，所占用的时间有时候可以占8 0 以上。而本文用到m p e g - 4 编码器校验模型 v m l 8 就是使用全搜索法，它相当的耗时。本文将阐述力图予以改进的两种快速搜索 方法，并且将所提两种算法( 基于十字架的三步搜索法和基于十字架梯度下降搜索 法) 与已有快速搜索算法( 三步法( t s s ) ，改进的三步法( i t s s ) ，新三步法 ( n t s s ) ，四步法( 4 s s ) ，细胞搜索法( c s ) ，钻石搜索法( d s ) ，基于块的梯 度下降的搜索法( b b g d s ) ) 做比较，模拟试验表明，所提快速算法有其优于性， 基于十字架梯度下降搜索法所搜索的点数仅占n t s s 算法需要搜索的点数的5 8 。基 于十字架梯度下降搜索法与b b g d s 算法相比，提出的算法仅在搜索点数上要次于 b b g d s 算法，但是平均增加的搜索点数仅占2 ，而平均减少的s a d 值，预测误差和 编码比特数分别为4 0 3 6 和4 3 。对于基于对象的编码，基于十字架梯度 下降搜索法与b b g d s 相比信噪比提高了0 6 7 9 1 d b ( 大约为2 ) 。基于十字架的三 步搜索法无论信噪比还是搜索点数都要优于n t s s 算法。 在数字视频编码中，码率控制机制对于调节输出数据的速率和保持输出质量有 着重要的作用。肝b g - 4 编码器校验模型采用可分级码率控制( s r c ) ，它基于空间 域，并且与恒定码率控制和变比特率码率控制方案相兼容。本文提出了一种码率控 制方案，它基于d c t 域而非像素域。该码率控制方案是宏块级的变比特率码率控制 方案。模拟试验表明，所提方案在输出质量和节省编码的比特数方面都要强于原来 的码率控制方案，六个序列的平均p s n r 增益1 5 8 d b 。而节省的比特数为9 7 7 4 9 比 特。同时，与t m 5 恒定码率控制方案相比，也显现出所提方案更具灵活性。 随着m p e g 一4 标准的出现和推广，对于m p e g 一4 码流的分析也变得越来越重 要。在本文编写了m p b g _ 4 视频基本流分析软件，它能较详细地分析基于对象编码 的肝e g - 4 视频基本流所含的信息。比如，视觉对象序列，视觉对象，视频对象 ( v o ) ，视频对象层( v o l ) ，视频对象面( v o p ) ，网格对象( m o ) ，人脸对象 ( v o ) ，视频对象面组( g o v ) 及别的一些信息。 关键词：v m t s s 4 s s d s b b g d s v ov o p a b s t r a c t a b s t r a c t i nm p e gs t a n d a r d s ，“p r o f i l e s a r ed e f i n e da sac o l l e c t i o no f e n c o d i n gt o o l sa n d t h e yd e f i n ec o n f o r m a n c eo f t h es t a n d a r d b e c a u s et h em p e gs t a n d a r d sc o n t a i nah u g e c o l l e c t i o no fd i f f e r e n tt o o l s ，e a c ha p p l i c a t i o nw i l lm a k eu s eo f o n l yp a r to f t h e m l i k e p r e c e d i n gm p e gs t a n d a r d s ，t h eb a s i cp r i n c i p l eo fm p e g - 4i sah y b r i dc o d i n gs c h e m e a san e w c o m p o n e n t ，t h es h a p eo f t h eo b j e c ti sr e p r e s e n t e de i t h e ra sa b i n a r ys h a p e ( t h e p i x e lv a l u ei s0r e p r e s e n t i n gt r a n s p a r e n to r2 5 5r e p r e s e n t i n go p a q u e ) ，o ra sag r a y - l e v e l s h a p e ( e a c hp i x e l i n d i c a t e st h ea m o u n to ft r a n s p a r e n c yf r o m 0 ( t r a n s p a r e n t ) t o2 5 5 ( o p a q u e ) ) m o t i o ne s t i m a t i o ni sa l li m p o r t a n tp a r to f t h em p e g - - 4e n c o d e r , d u et oi t ss i g n i f i c a n t i m p a c to nt h eb i tr a t ea n d t h eo u t p u tq u a l i t yo ft h ee n c o d e r s e q u e n c e u n f o r t u n a t e l yt h i s f e a t u r e o c c u p i e s as i g n i f i c a n t p a r t o ft h ee n c o d h a gt i m e e s p e c i a l l y w h e nu s i n gt h e s t r a i g h t f o r w a r df u l ls e a r c ha l g o r i t h m t h ec u r r e n tm p e g - 4e n c o d e rv e r i f i c a t i o nm o d e l ( v m ) u s e sf u l ls e a r c h ( f s ) f o r t h eb l o c km a t c h i n go fm o t i o ne s t i m a t i o n i ti sv e r yt i m e c o n s u m i n g i nt h i sp a p e r1 w i l ls e tf o r t ht w op r o p o s e da l g o r i t h m sn a m e dc r o s sb a s e d n e wt h r e es t e ps e a r c h ( c b n t s s ) a l g o r i t h ma n dc r o s sb a s e dg r a d i e n td e s c e n ts e a r c h ( c b g d s ) a l g o r i t h m ，w h i c h a r es i g n i f i c a n t l yf a s t e rt h a nf sa n d g i v e ss i m i l a rq u a l i t yo f t h eo u t p u ts e q u e n c e a tt h es a m et i m e ，w ec o m p a r eo u ra l g o r i t h mw i t hs o m eo t h e r a l g o r i t h m s ，s u c ha st h r e es t e ps e a r c h ( t s s ) 【1 】，i m p r o v e dt h r e es t e ps e a r c h ( i t s s ) 1 2 1 ， n e wt h r e e s t e ps e a r c h ( n t s s ) 【3 】f o u rs t e ps e a r c h ( 4 s s ) 【4 】a n dd i a m o n ds e a r c h ( d s ) 1 5 1 a st h ee x p e r i m e n t a lr e s u l t ss h o w ，t h ep r o p o s e da l g o r i t h m sh a v et h e i ro w na d v a n t a g e s o v e rt h eo t h e r s w h e nc o m p a d n gp s n r ，p r e d i c t i o ne r r o r ，s u mo f a b s o l u t ed i f f e r e n c e a n d c o d i n gb i t s ，t h ep r o p o s e dc b g d sa l g o r i t h mh a sab e u e rp e r f o r m a n c et h a nt h eo t h e r f a s ts e a r c ha l g o r i t h m se x c e p tt h en t s sa l g o r i t h m b u tt h ed i f f e r e n c e sb e t w e e nn t s s a l g o r i t h ma n dt h ep r o p o s e dc b g d sa l g o r i t h ma r ei n s i g n i f i c a n t ( t h el a r g e s td i f f e r e n c e i sb e l o w3 3 ) f u r t h e r m o r e t h ep r o p o s e dc b g d s a l g o r i t h mi sm u c h f a s t e rt h a nt h e n t s sa l g o r i t h m ( t h es e a r c h i n gp o i n t so ft h ep r o p o s e da l g o r i t h ma r eo n l y5 8 o ft h e p o i n t st h a tn e e d t ob es e a r c h e db yt h en t s s a l g o r i t h m ) c o m p a r e dt ot h ed sa l g o r i t h m ， t h ep r o p o s e dc b g d sa l g o r i t h mi sb e t t e ri na l lt h eu s e dm e a s u r e s c o m p a r e dt ot h e a b s t r a c t e x a m p l e ，t h ea v e r a g ei n c r e a s eo f s e a r c h i n gp o i n t si s2 ，b u tt h ea v e r a g ed e c r e a s ei ns a d 、 p r e d i c t i o ne r r o ra n dc o d i n gb i t sa r e4 o ，3 - 6 a n d4 + 3 r e s p e c t i v e l y t h ep r o p o s e d c b n t s s a l g o r i t h m c a r la c h i e v eab e t t e rr e s u l tt h a nn t s si na l lt h ef i v eu s e dm e a s u r e s h d i 醇a lv i d e oc o d i n g ，t h e r a t ec o n t r o ls c h e m ei se s s e n t i a lt or e g u l a t et h e o u t p u td a t a r a t ea n dm a i n t a i nt h eo u t p u tq u a l i t y t h em p e g - 4 v m ( v e r i f i c a t i o nm o d e l ) e n c o d e r h a s a d o p t e ds r c ( s c a l a b l e r a t ec o n t r 0 1 ) a si t sr a t ec o n t r o ls c h e m e i ti sb a s e do nt h es p a t i a l d o m a i na n da r ec o m p a t i b l ew i t hc b rf c o n s t a n tb i tr a t e ) a n dv b r ( v a r i a b l eb i tr a t e ) i nt h i sp a p e f ，1w i l lp r e s e n tan e wr a t ec o n t r o la l g o r i t h mw h i c hi sb a s e do nt h ed c t d o m a i ni n s t e a do f t h e p i x e id o m a i n m o r e o v e r ip r o p o s e da s i m p l em a c r o b l o c k _ l e v e lr a t e c o n t r o ls c h e m et o c o m p u t e t h e q u a n t i z a t i o ns t e p f o re a c hm a c r o b l o c k f r o mt h e e x p e r i m e n t a lr e s u l t s , i ti ss e e nt h a tt h ed e wa l g o r i t h mc a l la c h i e v eam u c h b e 髓e rr e s u l t t h a nt h eo r i g i n a lo n ei nb o t hp s n ra n dc o d i n gb i t s t h ea v e r a g ei n c r e a s eo fp s n ra n d t h e a v e r a g ec o d i n g b i t ss a v e do ft h es i xt e s t s e q u e n c e s a l e1 5 8 d ba n d9 7 7 4 9 b i t m s p e c t i v e l y a tt h es a m et i m e ，e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ep r o p o s e da l g o r i t h mi s m o r ef l e x i b l et h a nt m 5 r a t ec o n t r o la l g o r i t h m 。 w i t l lt h ea d v e n ta n dp o p u l a r i z a t i o no fm p e g - 4s t a n d a r d i ti sb e c o m i n gm o r ea n d m o r en e c e s s a r yf o ra st oa n a l y z et h es y n t a xo ft h em p e g - 4s t r e a m bt h i sp a p e r1w i l l e v a l u a t et h ea n a l y s i so fo b j e c t - b a s e dm p e g 4v i d e os t r e a m w h i c hi n c l u d e sv i s u a l o b j e c ts e q u e n c e , v i s u a lo b j e c t , v i d e oo b j e c t ( v o ) ，v i d e oo b j e c tl a y e r ( v o l ) ，v i d e o o b j e c tp l a n e ( v o p ) ，m e s ho b j e c t ( m o ) ，f a c eo b j e c t ( f o ) ，g r o u po fv o p ( g o v ) a n d s o m e e n c o d i n g i n f o r m a t i o n 。 k e y w o r d s ：v mt s s4 s sd sb b g d sv ov o p 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨洼盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作声签名：j 廊复霸钟字日期： 学位论文版权使用授权书 年月 本学位论文作者完全了解鑫注盘堂有关保留、使用学位论文的规定。 特授权鑫注盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 靴敝储样：蚴沁氓 签字日期：加乡年。月吖日 名：多另圭答 签字日期：叫年l 月上乒日 绪论 绪论 m p e g 4 的初衷是针对视频会议，视频电话的超低比特率编码，但在调查过程 中，m p e g 感受到了两大变化，并据此立即修改计划，制订了现在意义上的m p e g 一4 。 这两大变化是：( 1 ) 物质基础变化：高功能通用芯片性价比的提高使得基于软件 平台的压缩编码方法具有实用可能：基于物体的压缩编码方法研究掀起了热潮。 ( 2 ) 应用需求的变化：对多媒体信息，特别是视频信息的应用要求由播放型转向 基于内容的访问，操作型。 这意味着需要将基于内容的检索与编码结和起来考虑，在压缩数据中就应有 描述视频内容的信息，从而使对多媒体信息内容的访问可以直接针对压缩数据进 行，这种压缩编码方法就叫做基于内容的压缩编码方法，这主要是针对应用来定义 的一种概念。新的编码方法可以基于通用芯片，打破了原来压缩编码方法基于专用 硬件的限制，可以引入涉及到图像分析的较复杂的算法。于是m p e g 一4 新的目标 是：支持多种多媒体应用( 主要侧重于对多媒体信息内容的访问) ，可根据应用要 求不同来现场配置解码器。编码系统是开放的，可以随时加入新的有效的算法模 块。这对于以前的基于专用硬件的压缩编码方法都是不可想象的。 m p e g - 4 标准的编码是基于对象的，这样就便于操作和控制对象，而传统的编 码方法是基于帧的，这显然无法对对象进行操作。由于传输带宽的限制，必须对压 缩比特率进行控制，这就直接影响图像的质量。过去在比特率低的情况下，整帧的 图像的质量都受影响，没有灵活性可言：而m p e g - 4 中对比特率控制可以基于对 象，即使在低带宽时，也可以利用码率分配方法，对于用户感兴趣的对象可以多分 配一些比特率。而对于用户不感兴趣的对象可以少分配一些比特率。这样图像主观 质量就可以得到保证。m p e g - 4 中的对象操作使用户可以在用户端直接将不同对 象进行拼接，得到用户自己合成的图像这在传统方法上是无法实现的。 本研究工作面向m p e g - 4 v m 编解码器。主要可以分为三大部分：一，运动估 计( m e ) 。二，码率控制( r c ) 。三，语法分析。此外作者还将论述m p e g 一2 到 m p e g 4 码流转换方案。 运动估计在编码时特别耗时，而m p e g 4v m l 8 编码器采用全搜索算法 s ) 更 大大降低了编码效率。于是在研究了多种快速搜索算法后，本文提出了两种快速算 法，无论是输出质量还是编码效率都不逊于或优于别的快速算法。 绪论 m p e g 一4 编码器采用可变码率控制方案。它主要是针对于低比特率编码的，但 是质量一般得不到保证。因此本文把基于帧的码率控制扩展到宏块，这样质量就有 了很大的提高。同时引入t m 5 码率控制方案进行比较。 随着m p e g 4 码流的应用和推广，码流分析也越来越成为必要，因此本文用 v c + + 编写了m p e g 一4 基本流分析软件。 本论文的结构安排如下： 第一章介绍m p e g 4 v m 编码器。讲述它采用的一些关键技术和编码算法。 第二章介绍多种运动估计的快速搜索算法，并论述所提两种快速搜索算法。 第三章讲述了m p e g - - 4v m 采用的码率控制方案，进而论述了本文所提的码率 控制方案。 第四章分析了m p e g - 4 视频流语法和语义，介绍了所编写的码流分析程序及其 用途。 第五章论述m p e g 2 到m p e g - 4 码流转换的必要性和可行性，并初步设计了一 个方案。 第六章是工作总结。 第一章编码器结构 第一章编码器结构f l l l 2 l | 3 l 1 1m p e g 4 校验模型编码 l 。l 。1m p e g - 4 校验模型的编码结构 为了支持菇散压缩，基于内容交互e 攥俸，编瓣，访藤等) 戳及基于内容分缓扩震( 空 域分级，时域分级) ，必然要求m p e g - 4 要以熬于内容的方式表示视频数据。因此， m p e g - 4 中引入了视频对象v o ( v i d e oo b j e c t ) 的概念来实现基于内容的表示。 v o 戆秘藏蔹羧予其体应震秘篆统_ | 争 处环缕：在要求超氮魄特率 ；孽瀛- f ，v o 可羧 是矩形帧( 即通厢m p e g 2 编码标准中的矩形帧) ，从而与原来的标准兼容；对 于鼹求基于内容编码的应用来说，v o 可以燎场景中某物体或某一滕面( 如新闻 节鞠中解说员的头像) ，也可能是计算辘产生的二维、三维图澎。在v m ( v e r i f i c a t i o nm o d e l 孛，v o 主要定义梵获蓬覆孛分辫窭来豹不嗣物体，每个 v o 出三类信息描述：运动信息、形状信惠和纹理信息。 一l l c o d i n g l 。一v 钟1 0 一 l c o d i n g i m u x 一l lc o d i n g | _ _ - - - 。i _ _ - 。 li i j 鞠1 - 1v m 编粥器框图 d e c o d l n g 卜_ d 咖e x lo d i n l g 一卜 d e m u x d e c o d i n g 一卜_ _ - - _ _ _i _ _ _ _ _ _ 匿i - 2v m 解码器框图 第一章编码器结构 图l 一1 为v m 编码器框图。编码过程首先是形成v o ( v of o r m a t i o n ) ，为此 要从原始视频序列中分割出v o ，然后由编码控制机制( c o d i n g c o n t r o ls c h e m e ) 为 不同的v o 以及各个v o 的三类信息分配码率，再后，各v o 分别编码，最后将各 v o 的码流复合( m u x ) 成一个比特流。其中，在编码控制和复合阶段可加入供用 户交互控制或智能化算法的信息。图1 - 2 为v m 解码器框图，基本上为编码器的反 过程。 1 1 2v i v i 中的数据结构 v m 中的数据结构可以分为四个层次，它们都以类的形式定义。 v s ( v i d e os e s s i o n ) ：是包括其它三个类的一个类，一个完整的视频序列可以 由几个v s 组成。 v o ( v i d e oo b j e c t ) ：是场景中的某个物体，有生命周期，由时间上连续的若 干帧组成。 v o l ( v i d e oo b j e c tl a y e r ) ：v o 的三种属性信息编码于这个类中，这个类的 引入主要用来扩展v o 的时域或空域分辨率。 v o p ( v i d e oo b j e c tp l a n e ) ：可看作是v o 在某一时刻的表象，即某一帧 v o 。 每个v s ( 一段视频场景) 由一个或多个v o 组成，每个v o 可有一个或多个 v o l ( 如基本层、增强层) ，每个v o l 都是v o 的某一分辨率的表示。在每一v o l 都有时间连续的一系列的v o p 。 1 1 3 视频对象平面( v o p ) 的编码结构 v o p 通过带边框的矩形表示，其编码包括形状编码和运动和纹理编码，如图1 3 所示。v m 编码基于v o p 编码。 再c o d , e n 。山l 1 v o p o f _ a r b i t r a r y s h a 。p 。揣。 一 一 e 唪 聿，i 。v o p o fa r b 忌一舢一。筹燃 m u x n e v “”。r 。e c ，o n s t r u c t e d 卜之j n m m m 一 图编码结构 2 第一章编码器结构 1 2 形状编码 1 2 1v m 中的形状编码 相对于以前的标准来说，m p e g - 4 的v m 第一次引入了形状编码压缩算法。形 状信息有两类：二值形状信息( b i n a r ys h a p ei n f o r m a t i o n ) 和灰度级形状信息 ( g r a y s c a l es h a p ei n f o r m a t i o n ) 。二值形状信息就用0 、1 表示编码的v o p 形状，0 示非v o p 区域，1 示v o p 区域。灰度级形状信息取值0 2 5 5 ，类似图形学中的口 平面，0 表示非v o p 区域( 透明区域) ，l 2 5 5 表示v o p 区域透明程度的不同， 2 5 5 表示完全不透明。灰度级形状信息的引入主要是为了使前景物体叠加到背景上 时不至于边界太生硬，即进行模糊处理。 v m 采用位图法表示上述两类形状信息。v o p 由一个边框( b o u n d i n gb o x ) 框 住，其长、宽均为1 6 的整数倍，同时要保证边框最小。这样的位图表示法实际上 就是一个边框矩阵。矩阵被分为1 6 16 的形状块( s h a p eb l o c k ) 。允许进行有损 编码，这要通过对边界信息进行子采样实现，同时允许使用宏块的运动向量来做形 状块的运动补偿。这种方法压缩效率高，并且计算量小。但是为了得到语义上更方 便的描述，以支持基于内容的操作，在v m l 8 中引入了基于上下文的算术编码。 在解码端，对二值形状c a e ( c o n t e n t b a s e da r i t h m e t i ce n c o d i n g 基于上下文的 算术编码) 解码后还要进行羽化( f e a t h e r i n g ) 以产生与原来相似的灰度图。f e a t h e r i n g 的方法有五种： l i n e a rf e a t h e r i n g c o n s t a n tf e a t h e r i n g l i n e a rf e a t h e r i n ga n dc o n s t a n ta l p h a f e a t h e r i n gf i l t e r f e a m e r i n gf i l t e ra n dc o n s t a n ta l p h a 1 2 2 二值形状编码 二值形状编码是基于1 6 x1 6 的b a b ( b i n a r ya l p h ab l o c k ) 块的。形状编码主要 按以下步骤进行： ( 1 ) 熏新确定所给v o p 二值形状图的边界。原则如下： 1 】边界框须由1 6 1 6 的b a b 块组成。 【2 】边框左上角的绝对位置坐标须为偶数。 第一章编码器结构 【3 】使对v o p 形状有贡献的b a b 块数最少。 图1 4 o p 形状图 ( 2 ) 按( 1 ) 确定b a b 块后，如果该v o p 是b v o p 或p - v o p ，那么就对待编码 的b a b 进行运动估计，得运动矢量m v s ( m vf o rs h a p e ) ；若该v o p 是 i - v o p ，则该步可省去。 v i m 将m v s 分成两部分，m v s = m v p s + m v d s 。其中，m v p $ 为形状运动矢 量的预测值，m d s 为形状运动矢量和其预测值的差值。求m v s 的步骤如下： 1 】确定m v p s 。m v p s 可以是当前b a b 块的左侧和上方的b a b 块的m v s l ， m v s 2 和m v s 3 中残差绝对值之和s a d ( s u mo fa b s o l u t ed i f f e r e n c e ) 值最小的 ( 如图1 5 所示) 。 【2 】确定m v d $ 。如果m v p s 指向的b a b 块与当前b a b 块的s a d 在指定域值之 内，那么可以认为m v d s 为0 ：否则应为在m v p s 所指定b a b 块附近搜索，来 得到m v d s 。 m v 3 m 、一 m v j 图1 5m r s 的预测 ( 3 ) 对该v o p 中待编码的b a b 块确定编码方式。 形状编码共有七种方式： m v d s = = o & & n ou p d a t e 第一章编码器结构 m v d s ! = 0 & & n ou p d a t e a 1 1 0 a l l - 2 5 5 i n t r a c a e m v d s 一= o & & i n t e 犯a e m v d s f - o & i n t e r c a e 对i - v o p 只有3 ，4 ，5 三种可用。对b p v o p 以上七种都可用，编码方式由码 流中v o p 层的f i r s t - s h a p e - c o d e 码字指示。 在确定b a b 块编码方式之前，先介绍b a b 的a c q ( a c c e p t e dq u a l i t y ) 函数。 b a b 块的大小为1 6 x1 6 ，现将其再分为4 4 的像素块p b ( p i x e lb l o c k ) 。 a c q ( b a b ) = m i n ( a c q ，a c q 2 a c q i ) 如果s a d _ p b i 1 6 * a l p h a _ t h ，那么a c q i = 0 ，否则a c q i = 1 。有了b a b 块的质量评价 函数，就可以确定b a b 块的编码方式。其算法如下： i f ( a c q ( b a b o ) & a c q ( b a b 2 5 5 ) ) ( 件t h i si st oa l l o wf o rp r o p e ro p e r a t i o nw h e na l p h a t hi se q u a lt o2 5 6 i i f ( # o p a q u ep i x e l s 21 2 8 ) m o d e = a l l2 5 5 ； e l s e m o d e = a l l _ o ； e l s e i f ( v o p _ _ p r e d i a i o n _ t y p e ! - 0 0 ) + n o t a l l l v o p + ， i f ( a c q ( b a b o ) ) m o d e = a l l - o ； e l s ei f ( a l l o ( m c _ b a b ) ) m o d e = c o d e d ； e l s ei f ( ! a c q ( m c _ b a b ) ) m o d e2c o d e d ； e l s ei f ( a c q ( b a b 2 5 5 ) & & ( m v d s ! = 00 a c q ( m c _ b a b ) ) ) m o d e = a 1 12 5 5 ； e l s ei f ( a l l 2 5 5 ( b a b ) & ! a l l 2 5 5 ( m c _ b a b ) ) m o d e 2 a l l - 2 5 5 ； e l s em o d e = n o tc o d e d e l s e 5 第一章编码器结构 i f ( a c q 0 3 a b 0 ) ) m o d e = a l l o ； e l s e ( a c q ( b a b 2 5 5 ) ) m o d e 2 a l t _ 2 5 5 ； e l s em o d e = c o d e d ； ) 其中，a c q ( b a b x ) 表示b a b x 可以接受的质量。 a l l 0 ( b a b x ) 表示b a b x 块编码方式是a l l 0 。 a l l 2 5 5 ( b a b x ) 表示b a b x 块编码方式是a 1 1 2 5 5 。 b a b 0 表示该b a b 块的像素值都为0 。 b a b 2 5 5 表示该b a b 块的像素值都为2 5 5 。 m o d e = c o d e d 表示使用了i n t r a c a e ( 如果是i v o p s ) 或i n t e r c a e ( 如果是p b v o p s ) 编码方式。 m o d e = n o tc o d e d 表示使用了m v d s 司& & n o u p d a t e 或m v d s ! = 0 n o u p d a l e 编码方式。 ( 4 ) 对待编码的b a b 块确定分辨率。 由于有码率控制，所以有时分辨率的改变是必须的，尺寸转换由两步组成。转 化的比例由v o p - c r ( c o n v e r s i o nr a t i o ) 确定，它可以取值l 或1 2 。当它取值l 2 时，整个v o p 就通过下采样，得到原来1 4 尺寸的形状图。下采样可通过用平均 值来代替多个采样点。上采样通过插值得到。下采样后再经过上采样，由于此过程 不可逆，所以得到的图与原图是存在误差的。 v o p 的形状编码是基于b a b 块的，而b a b 块的分辨率可根据不同块的特点改 变。决定b a b 块的分辨率c r 的算法如下：首先定义e r r o r - p b ，先将当裁b a b 块 按c r 所代表的比例值进行下采样，再进行相应上采样得到与原来同样尺寸的重构 b a b 块，再对这两个b a b 块棚应的p ( 4 4 ) 块计算s a d 值，如果s a d ( p b i ) ) 1 6 1 i - i ( 预先设定的阀值) ，那么该p b 标记为e r r o r p b 。然后，先取 c r = i 4 ，如果宏块中至少有一个e r r o r - p b ，那么将c r 改为l 2 ，然后再判断宏块 中是否有至少一个e r r o r - p b ，如果是，那么就改为c r = i 。 ( 5 ) 在b a b 块确定分辨率之后，就可以对b a b 进行编码了。 对于i - v o p ，可用i n t r a 方式基于上下文的算术编码( i n t r a c a e ) 。而对于p ， v o p ，可用i n t e r 方式基于上下文的算术编码( i n t e r c a e ) 编码。基于上下文的算 术编码基本原理【4 】与算米编码相同，主要是将一串相关符号变换到一个数值区间。 对于i n t r a c a e ，其上下文关系为：c = q 2 第一章编码器结构 其中k = 0 ，l 9 。如果第k 个点为2 5 5 ，那么c k = l ，否则c k 为0 。见图1 - 6 ( a ) 。 c 9c 8c 7 l c 6c 5c 4c 3c 2 l c 1c o ( a ) i n t r a c a e 时的相关点 c o ) i n t e r c a e 时的相关点 图1 - 6 基于上下文的算术编码 i n t e r c a e 只用到相关的9 个点，这些点的位置见图1 - 6 ( b ) 。 注意：图中如果c l 不知道，则c 1 = c 2 ，以此类推。 1 2 3 灰度级的形状编码 1 支持功能和a i p h a 值编码 灰度级a l p h a 平面编码由两部分组成：一个是它的形状轮廓编码，另一个是在 轮廓中的a l p h a 值的编码。形状轮廓编码采用二值形状编码( 图l - 7 中的b i n a r y s h a p ec o d e r 部分) ；a l p h a 编码采用任意形状的纹理编码( 图l - 7 中的t e x t u r e c o d e r 部分) 。 图1 7 灰度级形状编码 第一章编码器结构 轮廓通过在灰度级的a l p h a 平面上设定阀值0 得到。a l p h a 值被分成1 6x1 6 的 块并和灰度值类似编码，除了d c t 变换是基于帧的。1 6 1 6 的块被当成a l p h a 宏 块。在码流中，一个a l p h a 宏块的编码值将附加到它所对应的宏块编码值的后面，此 后描述编码4 怛! ! 塞鉴箜垫圣型尊鎏：銎! ：q 型：v o p ，a l p h a 宏块在码流中的 位置如右；l q 2 垒i 垒塑鲤g 驾i 量坠l 省2 ：量! ! 生i 对于i - v o p 和帧内编码的宏块如果在灰度a l p h a 宏块中的所有a l p h a 值都是 2 5 5 和0 ，那么c o d a 就设为l 。对于p v o p 中的帧间编码宏块，c o d a 值如下设 定： i f ( a l p h a _ r e s i d u e a l l z e r o ) c o d a = l e l s e i f ( a l p h a _ r o b _ a l l _ o p a q u e ) c o d a = 0 l e l s e c o d a = 0 0 ) 当c o d a 为1 或者o l 时，码流中就没有其他a l p h a 值的编码了。c b p a ( c o d e d b l o c kp a r e mf o ra l p h a ) 表示a l p h a 块的编码模式，其他的a l p h a 宏块编码和纹理宏块 编码方式一样。 对于b v o p ，a l p h a 宏块的数据在码流中的位置为： 如果a l p h a 宏块中所有值都是2 5 5 ，那么c o d a 就设为1 ，并且也没有其他编码 值，否则c o d a 为0 。 2 羽化( f e a t h e r i n g ) 和半透明编码( t r a n s l u e e n c yc o d i n g ) 许多视频序列使用灰度级的a l p h a 掩码。它们的纹理相对简单一些( 例如由固定 灰度值构成的a l p h a 掩码) 。另外有一些掩码在轮廓边缘有从2 5 5 递减到0 的光滑 过渡，这种类型的掩码可用一个二值掩码和羽化描述( f e a t h e r i n gd e s c r i p t i o n ) 组 成。羽化就是使轮廓边缘光滑过渡到背景。 每个v o l 描述包含一个选择以下六种模式的识别符： 1 】 n o e f f e c t s 模式 【2 】l i n e a rf e a t h e r i n g 模式 第一章编码器结构 【3 】 c o n s t a n t a l p h a 模式 【4 】l i n e a rf e a t h e r i n g 和c o n s t a n ta l p h a 模式 5 】 f e a t h e r i n gf i t e r 模式 【6 】f e a t h e r i n gf i l t e r 窝c o n s t a n ta l p h a 摸凌 1 3 逡动估计和避动补偿 类似以前压缩标准( m p e g 1 、h 2 6 3 和m p e g -