（信号与信息处理专业论文）基于模糊度量的视频编解码关键技术研究.pdf

摘要 h 2 6 4 a v c 是近年来制定的一套兼顾广播和电信、覆盖低码率通信到高清 晰电视多种应用的视频压缩标准，其压缩性能远高于m p e g 2 和h 2 6 3 等标准。 然而，h 2 6 4 ，a v c 编码的计算复杂度也远高于其它视频压缩标准，编码过程需 要消耗大量的时问和系统资源，实时的h 2 “a v c 编码器实现面l 晦着巨大的挑 战。在编码端也需要寻找新方法，进一步提高编码器的压缩效率。其次，解码器 需要合适的错误隐藏机制，尽可能隐藏视频数据在传输过程中发生的错误，以保 证解码图像的视觉质量。 论文以h 2 6 4 a v c 为研究平台，对视频编码及解码的若干关键技术进行了 深入研究，取得了一些创新性成果： ( 1 ) 研究了模糊积分理论，结合数字视频编码的特点，提出了一种基于三角模 模糊积分的能用于视频处理领域的图像失真模糊度量准则，验证了该度量 准则在评价图像失真中的良好性能。 ( 2 ) 提出了基于模糊度量的h 2 6 4 a v c 宏块预测模式选择方法。使用模糊度 量作为视频编码算法中进行宏块预测模式选择的依据，提高了宏块编码模 式选择的精确性。在相同的实验条件下，编码器的压缩能力在原有基础上 提高了约6 5 2 ，并带来了约o 1 d b 的觥增益。 ( 3 ) 在对宏块运动状态及场景信息进行分析的基础上，提出了一种h 2 6 4 a v c 预测帧的快速模式决策算法。根据宏块的运动状态，跳过对编码效率贡献 不大的帧内模式，根据场景信息，选择是否跳过帧间预测模式选择过程。 实验结果显示，与采用完整的率失真优化决策过程相比，在保证编码效率 的同时，所提方法能明显减少编码时间。 ( 4 ) 提出了一种基于模糊度量的时间错误隐藏方法。在恢复受传输错误影响的 宏块运动矢量时，以模糊度量作为受损块和参考块的边界匹配准则，并以 实验证实了该方法的有效性。 ( 5 ) 在基于模糊度量的时间错误隐藏技术的基础上，提出了结合4 4 小块划分 方式与8 8 大块划分方式的错误隐藏方法。给出了依次进行几种方式下的 运动矢量恢复过程，并以最小化模糊度量为准则，在这些方式中择取最优 方式，进行受损宏块的错误隐藏。试验结果显示，该方法能提高受损图像 的恢复质量。 ( 6 ) 提出了一种基于场景切换检测的错误隐藏机制。利用 l 2 6 4 a v c 的特性快 速检测解码帧是否发生场景切换，根据场景切换检测结果，对预测帧和i 帧分别使用相应的时间空间自适应错误隐藏方法。实验结果表明，所提方 法在重构图像质量上，比通常的方法有明显提高，能适应复杂的视频应用 场合。 关键词：h 2 6 4 a v c ，模糊积分，失真度量，错误隐藏，场景切换，预测模式 a b s t r a c t h 2 “a v ci st t l em o s ta d v a n c e dv i d e o 洮gs 协i l d a r di nr e c 蚰ty c 掷，w 1 1 i c hc o v e 碍a 砸d e 删a g eo f a p p h c 撕0 n 铀nl o wb 怄c 鲫m 伽i c 鲥彻t 0h d l nh 勰d e v e l o p e dal o to f n e w c o d i n gn t 1 1 0 d sa 1 1 ds 砒e g i 部1 1 l en e wc h a n g e si n q 胂v ct h ec o d i i i ge m c i e n c yc o 璐i 蛐l y b u t m l f o r t i l m 舱l yi i i c 私et l l ec 伽叩u t a b 衄c 伽叩l c x i t yt oal a r g ee x t e n t ，w l l i c hn 地a ml a r g e 鼬0 u n to f 廿m e 锄d 础l 口u r 0 c c u p a t i o nf b rh 2 6 4 a v cc o d i n gs y s t 锄t h e r e f o f ei ti sn c c e s s a 巧t od e v e l o p e 蚯c i e n tf h s ta l g 嘶t i l i l _ l s ，i i io r d c rt 0d e c 化勰et l l e 唧l e x i t yo ft h es y s t c l i lw l l i l el 【e 印i l l g n 嚣s a i yp e m 毗嘲c e m n e wm e t l l o d sa a l n d e dt oi l p v et h ec o d i n ge 仿c i e n c y b e s i d e s ，e r r o rc c e a l m 哪i se s p e c i a l l yi 力邛o 】t a mf 研e r r o fr 姻i l i e n c ed e c o d c rt or e c o v 盯t h e “m p ti l i 丝g e t h i sd i s s a t a t i o nh 鹪c o l l d u c t e di l l er 髓e a r ；c hf b c 嘴i n g n ek e yt e c h n o l o g i 髂i l lv i d e o d i l l g 卸d 咖c 彻c e a l m tb a s e do nh 2 6 4 ，a v c ，l cw o r ko f t h ed i s s e n a t i o ni sc 唧o s e d o f c o d i n ga l 鲥t b l l la n de r r o rc o n c e a l 眦n tf e 鲫c hl i s t c d 勰f o l l o 、孵： ( 1 ) p l 呷o dac l a 船o ff l i z z ym e 仃i ct 0i m 嬲l h 圮m 】a g ed i s 跏i o i lb 鹊e do nf i l z z yi i l t e 酬 锄d 吐地c b 黜埘盯o fv i d c oc o d i l i g t h em z 巧雠m c 啪b cu di nv i d p r o c e 豁i n g e x p e r i m 铷曲lr e 蛐l 协d c n l o m n 劬i di 乜a b i h l yt on m s u r ct t i eh m g ed i s 洲0 n ( 2 ) p i 砷o s e dan e wn 删o fp d i c t i o l l 瑚o d ed e c i s i i ni m m ee n c o d i l l gw 池t l l e p r e s e n t 龟z 巧l n e 研c e x p e f i m e n t a lr e 蛐1 协s h o wl l l a tt h ee n c o d e rw i mp f d p o s e df i l z z y m e m cc 弛刚u c cm e b i tm t eb ya v e m g e6 5 2 a i l da c l l i e v ea b o u to i d b 删g a i n ( 3 ) b 掷e d 仰t b e 锄l y s i so f i t i o l la c 吐“t y 锄ds c 锄ec l 瑚g ed e t e c t i o i l 硼i o i lo f m a c r o b l o d 潞i ni n t e rf 胁e ，w ep r 叩o dan 圮幽o d 0 1 0 9 yt os i l n p l i 母t h ec 伽叩u 酬彻o f e 1 1 c o d e rw h i k 埘a i n t a i l l 曲gt h ec o d i n ge 师c i e n c y a c c o r d j l l gt ot l l er 韶u l t so fa 1 1 a l y s i s ，t l l e a l g 嘶t l l ms i 【i p sm ep f e d i c 廿o nm o d c sm a tb 锄e f nu 砌et ot l l ec o d m ge m c i c y s i i i l u l a d o n 他鲫l 协出釉o n s 眦i 忸v a l u a b i ee 仿c i c yo fc o 邶i d e 栩b l yr e d i l c j n gt l 圮锄c o d m g c o r r 驴l a d t yw h n ei n c 呖n gl i 砌el o s si l lq u a l i t y 锄dj l i c 嬲ei l lb i tr 如 ( 4 ) t oe 伍c i 曲n yr e c o v e r 廿l el o s tm o n o nw 咖o fc o r n i p t 姗c r o b l o c l 【s ，w e l e c tm c p i d p o s e d 血z 巧i t 仃i c 鹋d i s t o n i o nm e 廿i c i l lt c n 驴m le i r o rc o i l c 1 1 l l e m ，柚d 血明 i 舭g r a t c 恤聊o s e da l g 嘶吐姐i 咖h 2 “， v cd ec o _ d 乩e x p e 血l c n t a lr e 叭l 乜丘狮 d e c o d i i l g 辩w 玳l lt y p e so f “d q u e n c e sh a v es h o w nm a to u r h 咖ec 柚c o l l s i 山糠b l y 姻m v e t l l ev i s u a jq l l a l i t yo f r e c o m m l c t e d j i l l a g e sa 1 1 da c l l i e v e 恤憨凇g a i na t 丘e ( 5 ) p r o p o s c das c ec h 粕g ed e t e c h o nb a d 咖c o n c e a l i n e n ti n e t l l o d 0 1 0 9 yf o rh 2 6 4 ，a v c a c c o r d i r 培t om e ”s u l 协o fs c ec k m g ed e t e c n o n ，i l l ef h z z ym e 仃i cb 笛e dt e 】叫) o r a l c o n c e a l n l e mw i mb o u n d a r ym a t c hc r i 锄i aa l l d s p a t i a l e r r o rc o n c e a l n i e n t h e l t 地i s a d 印t i v e l ya d o p t 甜 s i n m l a t i o nr e s u l 协d 钮l o n s 缸疵t l l er o b u s m 嚣so f p m p o s e d f m 也o d o l o g y 锄di 协c o m i d e r a b l ei m p r o w 棚e n ti l l “s u a lq u a l i t yo f r e c o i l s h l l c t e dp i c t i l r e s ( 6 )p r o p o s e d 姐e 舾c i e m 储坤o r a le f r o rc c e a l n 啪ta 1 9 0 r i t h l i it h a t 唧s e so f4 4 柚d 1 6 1 6m o h o nv e c t o 塔r e c o v e f y f o rs o m ev i d e oo b j e c 虹w i t l lf 酤tn 1 0 v e f r i 髓t ，m em o n o n v e c t o 塔w i t l i i nas m a na r e aa 托m o r ec o r i e l a 石v et l i 孤i a r g ea 他a a m o n gt l 】忙4 4 柚d 1 6 1 6m o t i o nv e c t o 捧，t t l e ew i l ht l l em i n i m a lf i i z z ym 觚ci ss e l e c t e d 舔t 1 1 e6 n a i m o t i o nv e c t o r s i 枷1 撕o nr e 锄l 协s h a wt h a tt l i es “b j e c 虹v ea 1 1 do b j e c v ep e b m 啪c e so f t l l ep 。o p o s e dt e c h n i q u ea r es l q ，e d o rt oc o f l v e m i o n a lt e m p o r a lc o t l c e a l m 肌t t e c l l l n q i 把s k e yw o r d s ：h 2 6 4 a v c ，f i l z z yi n t e g r a l ，i m a g ed i s t o n i o i l ，e 盯o rc o n c e a l m e i l t ，s c e n e c h a n g e ，p r e d i c t i o nm o d e 主要缩写表 a c k ：a d m o w l e d 咖e n t a ，d ：a n a l o g ，d i g i t a l a r q ：a u t o m a t i cr e p e a tr e q u e s t a v c ：a d v a n c ev i d e oc o d i n g b m a ：b l o c km a t c h i n ga l g o r i t h m c a b a c ：c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g 应答 模拟数字 自动重传 高级视频编码 块匹配算法 上下文自适应二进制算术编码 c a v l c ：c o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n g 上下文自适应变长编码 c b r ：c o n s t a n tb “r a t e固定码率 d c t ：d i s c r e t ec o s i n et r a n s f o r m离散余弦变换 d p ：d a t ap a r t i t i o n数据划分 d v c ：d i s t r i b u t e dv i d e oc o d i n g分布式视频编码 d v d ：d i g i t a lv i d e od i s c 数字化视频光盘 f e c ：f o r w a r de r r o rc o r r e c t i o n前向纠错 f g s ：f i n eg f a n u l a rs c a l a b i l i t v精细的可伸缩性视频编码 f i r ：f i n i t ei m p u l s er e s p o n s e有限冲击响应 f m o ：f 1 e x i b l em a c r o b l o c ko 触g灵活宏块排序 f s ：f u l ls e a r c h全搜索算法 g o b g r o u do f b l o c k宏块组 g o p ：g r o o fp i c n 图像组 i c i p ：i n t e m a t i o n a lc o n f c r c n c eo ni m a g ep r o c e s s i n g图像处理国际会议 i e c ：i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n国际电子委员会 i p ：i n t e m e t p r o t o c o l互联网协议 i s o ：i n t e m a t i o n a lo r g a n i z a t i o nf o fs t a n d a r d i z a t i o n国际标准化组织 i t u ：i n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n国际电信联盟 i t u t ：i t u t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r j b i g ：j o i tb i l e v e li m a g ee x p e r t sg r o u p j p e g ：j o i n tp h o t o g r 印h i ce x p e r t sg r o u p j m ：j o i n tm o d e l j v t ：j o i n tv i d e ot e a m m b a ：m a c r o b l o c ka d d r e 鼯 m b t y p e ：m a c r o b i o c kt y p e m d c ：m u l t i p l ed e s c 却d c o d i i l g m f i ：m o t i o nf i e l di i l t e r l 撕o “ m m s ：m u l t i m e d i am e s s a g es e r v i c e m o s ：m e a no d i n i o ns c o r e m p 4 ：m p e gl a v e r 4 m p e g ：m o v i n gp i c t u r ee x p e r t sg r o u p m s e ：m e a ns a u a r ee r r o r 国际电信联盟一电讯标准部门 联合二值图像专家组 联合图像专家组 联合模型 联合视频小组 宏块地址 宏块类型 多描述编码 运动场插值 多媒体信息服务 平均主观得分 m p e g 音频格式 移动图像专家组 均方差 m v ：m o t i o nv e c t o r n a l ：n e t w o r ka b s t f a c t i o nl a v e r n u r b s ：n o nu n i f o r mr a t i o n a lb s 口l i n e p d e ：p a n i a ld i s t o r t i o ne 1 i m i n a t e p o c s ：p r o i e c t i o no n t oc o n v e xs e t p s n r ： p e a ks i 2 n a l t o n o i s er a t i o q o s ：q u a “t yo fs e r v i c e q p ：q u a n t i z a t i o np a r a m e t e r r c p c ：r a t ec o i i i d a t i b l ep u n c t i i r e dc o n v o l u t i o n a l r d o ：r a t ed i s t o r t i o no d t i m i z a t i o n r t p ：r e a l t i m et r a n s o o r tp f o t o c 0 1 s a t d ：s u mo fa b s o l u t et r a n s f o r m e dd i f 传r c n c e s a d ：s u mo f a b s o l u t ed i f f e r e n c e t c p ：t r a n s m i s s i o nc o n t r o lp r o t o c o l 运动矢量 网络提取层 非均匀有理b 样条 局部误差消除 凸集投影 峰值信噪比 网络服务质量 量化参数 多码率兼容的删余卷积码 码率失真优化 实时传输协议 绝对误差变换和 绝对误差和 传输控制协议 u m h e x a g o n s ：u n s y m m e t r i c a l c r o s sm u t i h e x a g o ns e a r c h 非对称十字型多层次六边形格点搜索算法 u v l c ：u n i v e r s a lv a r i a b l e l e n g t hc o d i n g v b r ：v a r i a b l eb i tr a t e v c e g ： ( i t u t ) v i d e oc o d i n ge x p e r t sg r o u p v c i p ：v i s u a lc o m m u n i c a “o n s i m a g ep r o c e s s i n g v c l ：v i d e oc o d i n gl a y e r v l c ： v a r i a b l e l e n g t hc o d i n g 统一变长编码 可变码率 视频编码专家组 视频通信与图像处理 视频编码层 变长编码 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属于西北工业大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查 阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章律注明作 者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：壁墨塑 妒9 6 年f 。月g 日 指导教师签名： 诫啐i 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的 学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所 知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其 他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已 申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：星型 弘口0 年f d 月p 日 穆广日 移一9 章肖 一 v 第一章绪论 第一章绪论 1 1 视频编码的应用背景 视觉是人们获取信息最为重要的途径，视觉信息能给人以直观、生动的感受， 且不易与其它内容相混淆，因此图像视频的传输更受到人们的欢迎与广泛关注。 据统计，人们获取的总信息中有约7 0 的信息是通过视觉获取的【l 】。在过去的2 0 多年中，随着科学技术的进步，特别是计算机、数字通信、多媒体和网络技术日 新月异的发展，急剧膨胀的信息正深刻地改变着人们的生活和工作方式，基于图 像和视频的应用服务正越来越多地走进人们的生活，逐渐成为人们日常生活中日 益重要的一部分。典型的视频应用包括如下一些： 个人可视电话 商用及政府机关的视频会议 v c d d d 视频点播 通过卫星、广播或有线方式传输的数字电视高清晰度电视 州 移动视频通信 家庭影院 基于视频的安全或事故监控 军用的目标跟踪等 随着计算机及通信技术的发展，特别是光缆骨干网和的第三代移动通信( 3 g ) 的发展，使得多媒体业务将成为今后数据通信的主要内容之一【2 叫。这些日益多 样化的用户需求与传输带宽或存储空间不足的矛盾也促进了视频编码技术的不 断发展，使得数字视频编码技术成为商业、军事和学术界的一个研究热剧7 d 1 1 。 1 2 视频编解码技术的发展现状 1 2 1 视频编码的基本原理 ( 1 ) 图像压缩的可行性 两北工业大学博士学位论文 图像压缩编码就是要以尽量少的比特数表征图像，同时保持重建图像的质 量，使之符合特定应用场合的要求。图像的数据量通常非常庞大，难以传输和存 储，因此极大的制约了图像通信的发展。随着现代信息社会人们对通信业务需求 的不断增长，图像通信与通信网容量的矛盾日益突出，庞大的图像数据量已成为 图像通信发展中的瓶颈问题【1 2 】，所以进行图像压缩编码势在必行。另一方面，图 像数据压缩亦存在着可行性，因为图像的信宿是入眼，而入跟的三个视觉特性为 图像压缩提供了可能1 1 剐： 亮度感觉：即人眼辨别亮度差的能力，是反映人眼视觉特性的一个重要 方面。将亮度为n 彳，的目标置于亮度为j 的背景中，其中4 ，为可分辨 的最小亮度差，或称视觉阈值。亮度，在一个相当宽的范围内，可察觉 的最小相对亮度变化4 朋近似为常数。但在亮度很亮或很暗时，4 肌迅 速上升。这表明亮度感觉依赖于目标背景的亮度比，而不是目标绝对亮 度差。由此，重现亮度时，其亮度不必等于原摄取景象实际亮度，只要 保持二者对比度及亮度差别级数相同，就能给人以真实的感觉。 空间掩盖效应：所谓掩盖效应是指一个视觉刺激加于另一个可视视觉刺 激上产生的效果。空间掩盖效应产生的效果会使图像中均匀背景上施加 的随机白噪声比高对比区域更可见。 视觉带通特性与图像边缘敏感度：由于神经系统作用，人眼视觉从空间 频率上讲具有带通特性。对于图像边缘，人眼对水平和垂直边缘比对角 线边缘更敏感，即视觉敏感度具有方向性； 另外，从信息处理的角度来看，图像自身也提供了可压缩的可能性： 在图像的空间域，相邻像素之间具有一定的相关性，存在图像的空间冗 余度。 对于序列图像，在时间域上由于图像的帧与帧之间存在着相关性，所以 还存在时间冗余度。 图像编码的符号还存在着符号冗余度。 以上这些可能性中，最关键的是人眼视觉特性，它允许图像有一定的失真， 而仍能保持所要求的图像主观质量。所以图像的压缩编码主要关心的是有限失真 度的图像压缩编码。综上所述，图像压缩编码就是要通过充分利用图像本身固有 的统计特性和人眼的视觉特性，从空间域、时间域和符号域三个途径来减少图像 信息的冗余度并获得满意的主观质量。 ( 2 ) 图像压缩的基本体系 图像压缩的基本原理框图如图1 1 所示，主要包含以下几个部分：。 2 第一章绪论 图1 1 图像压缩编码基本原理框图 像素预测 像素预测的目的是要通过预测改变图像的数据特性，去除图像空间域和时间 域冗余度，使其更利于进行压缩编码。例如，图像数据在相邻像素间具有高度相 关性，其差值分布接近于拉普拉斯分布，标准差远小于原始图像的标准差。因此， 对图像差值信号量化后进行变长符号编码所需要的比特数必然小于直接对原始 图像逐点量化后进行变长符号编码所需比特数，从而达到了数据压缩的目的。 变换编码 变换编码不是直接对空间域图像信号编码，而是首先将空间域图像信号映射 到另一个正交矢量空间( 变换域或频域) ，产生一系列变换系数，再进行编码处 理。图像信号进行正交变换之后，在频域描述图像的系数出现了大量的零和近似 于零的系数，为压缩数据提供了可能。映射变换因其完成对图像信息恰当的分解 与表征，决定了量化编码的对象，是图像编码的核心部分。强调对图像信息的有 效表征进行编码正是近代图像编码技术的根本所在，它已成为当前图像编码研究 的主要内容之一【i ”。 量化器 映射变换实现了对图像信号的恰当表征，但要完成压缩，即用有限数目的比 特数来表示映射变换后的数据还需要进行量化。量化的原始概念来自于模拟量到 数字量的转化，即d 转换，也就是通过分层把连续的模拟量离散化，以利于 数字化处理和非均匀量化。量化必然引进误差，而且这些误差在重建图像时不可 恢复。因此量化是整个图像编码过程中引入失真的主要地方。但由于人眼的视觉 特性允许重建图像有一定失真，从而使得能够保持一定重建图像质量的量化成为 可能。量化正是根据这一特性实现对映射变换后数据的有限比特表示。一般来讲， 量化级数越多，量化越细，失真就越小。但如果根据不同的映射变换特性，充分 考虑人眼的视觉特性，正确的设计量化器，同样的量化级数，也可以实现量化失 真减小的目的。反之就可能引起较大的误差，造成图像质量下降。 符号编码 量化后的数据经过二进制编码最终生成编码比特输出，即对每个量化级数应 指定一个专门的码字，其目的就是去除符号的冗余度。根据香农( s h 咖o n ) 信 息论，信源所占有的平均信息量就是进行无失真编码的理论极限【15 1 。所以熵编码 3 西北工业大学博t 学位论文 的任务就是要寻求一种编码方法，以尽可能地接近这一极限，从而最大限度地去 除符号冗余度。 1 2 2 视频编解码技术的研究现状 近二十年来，图像和视频编码技术得到了迅速发展和广泛应用，并且日臻成 熟，其标志就是多个关于图像和视频编码的国际标准的制定，如国际标准化组织 ( i s 0 ) 和国际电工委员会( m c ) 关于静止图像的编码标准j p e g 、j p e g 2 0 0 0 ，关于 视频的编码标准m p e g l 、m p e g 2 、m p e g 4 ，以及国际电信联盟( i t u t 1 制定 的视频编码标准h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 等。这些标准不断融合各种性能 优良的图像编码方法，表现了图像编码的发展历程。h 2 6 4 a v c 则是图像及视频 编码发展至今的最新成果。 h 2 6 4 a v c 是由i s o i e c 与( r r u t ) 组成的联合视频组( t ) 制定并于2 0 0 3 年3 月正式获得通过的新一代视频压缩编码标准。在i s o i e c 中该标准命名为 a v c ( a d v 锄c e d v i d e o c o d i n 曲，作为m p e g 一4 标准的第l o 个部分，即h 2 6 4 a v c ， 在i t u t 中正式命名为h 2 6 4 标准【1 6 1 1 ”。本文的其它部分记该标准为h 2 6 4 。 h - 2 6 4 的主要优点在于：在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和 m p e g 4 减小了约5 0 的码率。对信道时延的适应性较强，既可工作于低时延模 式以满足实时业务，如会议电视等；又可工作于无时延限制的场合，如视频存储 等。提高了网络适应性，采用网络友好的结构和语法，加强对误码和丢包的处理， 提高了解码器的差错恢复能力。在编解码器中采用复杂度可分级设计，以适应 不同复杂度的应用。 相对于先期的视频压缩标准，h 2 6 4 引入了很多先进的技术，这些技术代 表了当今视频压缩研究领域的先进水平，是多媒体研究领域的热点。h 2 6 4 采用 的主要关键技术包括：多种更精确的运动估计( 小数像素、多模式、多参考帧) 、 4 4 小尺寸块的整数变换、更精确的帧内预测、熵编码等【1 8 j 。其中针对帧内( 晰a ) 和帧间( h l t c r ) 宏块的精确快速的预测模式决策算法、快速的高精度运动估计算法、 高效率的熵编码算法是研究的热点和难点。除此之外，解码端的错误隐藏以及其 它视频编码的新技术也是研究的重要方向。 ( 1 ) 编码模式决策算法 多种预测模式的存在，要求在编码时需要对这些模式进行择优。h 2 6 4 将t w i e g a n d 提出的率失真优化策略( r d 0 ) 【1 9 】作为模式选择方法的核心。对于帧内预 测，j v t 提供的用于研究目的的h 2 6 4 联合参考模型( j m ) 中，使用了全搜索的方 4 第一章绪论 法，这种方法的计算量比较大。因此，对决策步骤进行优化，形成快速的帧内模 式决策方法，成为关于模式决策研究的热点之一。f e n g p 扰等提出了基于边缘方 向直方图的方法2 0 】；b o j 曲m e i l g 等提出基于分组像素点的方法等2 1 五7 1 ，这些方 法在不同程度上简化了原有的全搜索方法。对于帧间预测，d w u 等提出的基 于均匀区域的快速帧问预测模式决策【2 町、p c i l gy i n 等提出的基于误差表面单调性 的快速帧间预测模式决策等2 9 也1 成为比较有代表性的方法。 ( 2 ) 运动估计算法 二维运动估计算法中以块匹配算法最为常用。其中全搜索算法( f s ) 可以提供 给定失真准则下的最优解，但计算复杂度太高。尤其是在h 2 6 4 中预测精度达到 了l 4 像素，同样的图像失真度下虽然码率要比h 2 6 3 和m p e g - 2 下降5 0 ，但 是所带来的运算复杂度将远远大于h 2 6 3 的编码复杂度。在编码器中，运动估计 模块是整个编码系统中运算量最大的部分。在j v t 的文档中表明，如果采用全 搜索算法，当使用一个参考帧时运动估计占整个编码运算量的7 0 ，当使用5 个参考帧时则占到整个运算量的9 0 以上p 3 1 ，因此无论在软件实现还是在硬件 实现的过程中，运动估计都占很重要的地位。 通常基于块匹配的运动估计快速搜索算法可以归纳为三类：( a ) 通过减少搜索 点的快速算法；( b ) 快速块匹配误差计算方法；( c ) 运动场下采样法。其中第一类 方法是最高效的也是最常用的快速搜索算法，目前已有很多相关的研究成果。在 h 2 6 4 的参考程序中，可以采用全搜索算法来获取块位移的运动矢量。全搜索算 法由于对搜索窗范围内所有可能的匹配位置都进行了检测，所以它得到的匹配点 是理论上的最优点。全搜索算法通常被用作一种评价标准，来评价其它的快速优 化算法的编码效率。针对全搜索算法计算量大，无法应用于实时通信场合的问题， 研究人员陆续提出了一些快速搜索算法：如三步搜索法【3 4 1 、新三步搜索法【3 5 】、 四步搜索法【3 6 】、二维对数搜索法旧、钻石搜索法【3 8 】、六边形搜索法等。 许多快速匹配算法可以提供较快的搜索速度，但预测性能不太好。针对较早 的编码标准如h 2 6 3 、m p e g - 4 等提出的优化算法有三步搜索法、对数搜索法、 梯度搜索法、四步搜索法、六边形搜索法、钻石搜索法以及带状搜索法等。新的 快速运动估计算法i 腓i c x a g o i l s 是种运算量相对于h 2 6 4 中原有的快速全搜 索算法可节约9 0 以上的新算法，全名叫“非对称十字型多层次六边形格点搜 索算法”( u n s y r i l m e t r i c a l c r o s sm l n i h e x a g o ns e a r c h ) 【加】，这是一种整像素运动估 值算法。由于它在高码率大运动图像序列编码时，在保持较好率失真性能的条件 下，运算量较低，成为比较好的运动估计方法之一。 ( 3 ) 熵编码算法 5 西北工业大学博l 学位论文 h 2 6 4 标准中使用了自适应可变长度编码( c a v l c ) 1 4 1 】和基于内容的自适应 二进制算术编码( c a b a c ) 【4 2 】等熵编码算法。c a b a c 与c a v l c 相比较有3 个优 点：( a ) 内容建模提供编码符号条件概率的估计，利用恰当的内容模型可去掉符 号间冗余：( b ) 算术编码为每个字母符号分配非整数位，因此符号几乎以它们的 熵速率编码，对概率 o 5 的符号很有效。相比h u 位n a l l 编码，算术编码可以实现 小数码长的分配，更符合香农的信息论，使压缩率大为提高；( c ) 自适应算术编码 允许熵编码器适应变化的符号的统计性，即对每个帧间宏块源图像和低质量的预 测之间的差值编码。通常，大量的运动矢量、不同序列和位速率的统计性在时间 和空间上发生变化，因此采用考虑已经编码的运动向量的累进概率的自适应模型 可以使算术编码器更好的适应当前符号的统计性。 在h 2 6 4 的主要层次( m a i n p r o f i l c ) 中是采用的是c a b a c ，而在基本层次( b 勰e p r o f i l e ) 中主要使用的是c a v i c 。两者的主要区别在于压缩比和编码的效率以及 实现复杂度上。统计数据表明，c a b a c 的压缩比要比c a v l c 高1 5 一2 0 ， 但编码复杂度高出c a v l c1 5 2 倍f 4 3 】。 此外，变尺寸整数d c t 变换、可变步长的量化机制、自适应的码率控制以 及去除方块效应的环路滤波等技术也是基于块的视频编码中的重要技术f “t 4 5 1 。 ( 4 ) 解码端的错误隐藏技术 在解码器中，错误隐藏是其中的关键技术之一。在t 描述的非标准化解 码器中，采用了两种错误隐藏算法，分别是使用于i 帧的加权像素平均空域错误 隐藏【4 6 】，以及使用于预测帧的基于边界匹配运动矢量恢复的时域错误隐藏方法 【4 ”。此外，除了传统的空间域和时间域错误隐藏方法外，s b e m o r e 等提出了其 它一些用于 l 2 6 4 的错误隐藏方法h ”，基于数据嵌入的错误隐藏方法也引起了 不少关注【”，”j 。 ( 5 ) 视频压缩领域的其它新技术 本文是在传统的基于块预测的混合视频编码领域进行研究。除了基于传统 混合编码器框架的高效视频编码技术研究以外，还有一些其它视频压缩的新技术 正在被关注和研究中。其中，新型的精细可伸缩视频编码【5 4 ，5 5 1 、基于小波的可伸 缩视频编码【5 6 】、基于对象模型的视频编码以及分布式视频编码技术( d v c ) 【5 7 】正 成为其中的热门。 精细的可伸缩性的视频编码( f g s l 它是m p e g 4 标准的视频流化框架中的关键性编码技术，主要由基本层和 增强层构成。基本层采用现有的运动补偿d c t 变换编码标准，通常基本层的码 率非常低，量化步长比较大。基本层的量化误差通过位平面编码技术形成增强层 6 第一章绪论 码流。由于增强层缺少有效的运动补偿，使得其编码效率较低。 基于小波的可伸缩视频编码 相对于传统的基于f g s 的可伸缩视频编码技术，小波变换具有完全的可伸 缩特性，可以同时实现质量、空间和时间的可伸缩编码。然而，在视频编码中应 用小波技术需要解决的关键问题是如何嵌入高效的运动补偿策略。 基于对象的编码方法 作为新一代视频编码技术的主要组成部分已经成为研究的热点问题。与传 统的视频编码方法相比，基于对象的方法不仅可以有效地提高编码效率，还可以 在诸如基于内容的多媒体交互等应用中起重要作用。基于模型的编码可以看作是 一种特殊的基于对象的编码，此时对象的结构更复杂，除了在对象的边界存在形 状特征外，在对象的纹理区域也存在一定的结构，这些结构信息通过网格模型的 内部节点和边来表示。将传统的基于块的编码方法同基于模型的编码方式相结 合，也值得做深入研究。 分布式视频编码技术( d v c ) d v c 在近两年吸引了国内外不少学者的研究兴趣，在近期的i c p ( h l t 锄a t i o n a lc o n 向c e i l n a g ep f o c e s s i n 曲、v c 口( v i 跚a lc o m m u l l i c a t i o 璐 h i l a g e p r o c e s s i l l g ) 等知名国际会议上成为热门讨论话题。分布式视频编码技术的 主要应用领域是无线传感器网络。无线传感器网络是由大量的集成了传感器、数 据处理单元和通信模块的微小节点构成的全分布式的自组织网络。在传感器网络 中应用d v c 技术，对多个信源应用独立编码器进行编码，得到的多个独立码流 送入同一个联合解码器，这个解码器充分利用码流之间的相关性对所有输入码流 进行解码。分布式视频编码避免了传感器之间的信息交互，简化了传感器网络分 布结构的设计，节省了由于信息交互带来的带宽需求。另外，d v c 技术是一种 低复杂度的编码端技术。利用d v c 技术可以实现计算复杂度由编码器向解码器 的转移，把复杂计算转移到位于网络数据处理中心上的解码器上进行。分布式视 频编码技术在实际应用时所遇到关键的问题就是相关性模型，因为图像块的噪声 需要按照预先设计好的相关性级别进行分级，分级后的块根据相关性在不同级别 上应用相应的信道编码方法。分布式视频编码中的关键技术是信道编码，好的信 道编码技术能够在相关性信息不断变化的情况下仍保持高效性。 7 西北工业大学博t 学位论文 1 3 论文的研究意义及主要内容 1 3 1 论文的研究意义 首先，虽然h 2 6 4 的编码效率远比以先前的视频编码标准高，但由于其具 有相当复杂的编码技术及模式选择过程，使得它的运算复杂度也远高于先前的编 码标准，这使得h 2 6 4 的实际应用面临巨大挑战。因此，如何在不致牺牲h 2 6 4 编码效率的前提下降低其运算复杂度，对h 2 6 4 的实际应用具有重要意义。 其次，视频压缩过程中的许多技术都要使用如残差绝对值之和( t d ) 等失真 判定准则来确定编解码器的相关参数，这些参数对于编码器的性能有着直接的影 响。因此，图像失真判定准则在视频压缩中具有重要的作用。目前，直接结合视 频编码和解码过程去研究图像失真度量的成果还很少。所以，结合图像失真度量 对视频编解码中的一些关键技术进行创新性研究具有比较重要的理论指导意义 和应用价值。 最后，视频数据在信道传输过程中不可避免的会产生位错误或者包丢失， 这些错误如果不进行处理将使解码后的图像质量严重下降。因此，除了在信道传 输部分提高传输稳定性，在解码端，也需要合适的错误隐藏机制，尽可能隐藏已 发生的传输错误，以尽力保证解码图像的视