（通信与信息系统专业论文）视频分级编码及可靠传输的编码技术研究.pdf

摘要 视频分级编码及可靠传输的编码技术研究 摘要 由于i n t e r n e t 爆炸性增长和巨大成功，网络多媒体业务的需求急剧增加，如：网络视频点 播、i p t v 等，被业界普遍认为是信息产业新的业务增长点和经济增长点。然而，互联网的基础 是i p v 4 ，其设计的初衷主要是面向教育和研究机构的数据传输服务，是一个与生俱来的动态异 构网络，无法提供可靠的质量保证，为此需要在传输和应用层上提供技术支持。然而i p 网络复 杂的传输特性对高效可靠地提供视频流传输提出了挑战。因此，研究适应于i p 网络传输的视 频编码技术具有极其重要的理论研究价值和广阔的应用前景，是目前视频编码领域最具吸引力 的方向之一 本文的工作中心即为研究适应l p 网络可靠传输要求的视频编码方法，以达到提高编码效率 及抗误码性能、改善重建图像质量的目的。论文首先把精细粒度分级编码( f g s ) 作为研究的重点， 其次，将以混合编码为对象，研究基于交织的多描述视频编码，最后，对视频编码的后处理技 术进行研究。 本文在视频精细粒度分级编码方面进行了研究。首先提出一种码流的抽象数据表示结构， 据此将目前主流的几种分级编码总结为3 种类型，并对现有的3 种主要的精细粒度分级编码算 法性能进行了扼要的分析和概括，之后对m p e g - 4f g 8 的编码进行了较为全面的实验测试与性 能分析，提出了在保持f g $ 良好的抗误码数据结构基础上，改进f g s 编码性能的两个方向， 即通过码流切换改进基本层编码质量以适应大范围码率的波动，以及改进增强层本身的编码效 率。最后，提出了改进增强层编码的3 个方法，包括d c t 系数基于形态学数据重捧和基于子带 数据重排的增强层编码，以及最低比特面的直接编码等。实验结果表明经过d c t 系数重捧后， f g s 编码性能得到了实质性改善，天然地实现了基本的f g $ 高级选项s e 和f w 的功能，而无 需增加额外的码率。 本文在视频多码流切换方面进行了研究首先阐述了多码流切换的基本原理和多码流切换 方案，然后在对目前主要多流切换的编解码器组成结构深入分析的基础上，总结出多码流生成 的本质即在码流中打入合适的“锲子”，即质量符合目标码流环境的切换帧。基于码流切换时的 不同需要，提出了一种新的全嵌入式码流切换方案f e s s s ，详细描述了新的多码流切换方案设 计过程，并提供了两种方式的基本切换码流生成算法。新算法的特点是通过开环方式生成基本 码流，多个码流可以用一个编码器顺序产生，无需多个编码器并行工作，降低了计算的难度。 上海交通大学博士学位论文 实验结果表明，新算法性能良好。具有实际应用意义。 本文在基于交织的多描述编码方面进行了研究。首先阐述了实现l p 网络视频可靠传输的三 种主要策略，然后扼要总结了其中的抗误码编码技术，分析了两类主要抗误码编码一分级编 码和多描述编码的技术差异。在用一种新的观点基于数据交织技术阐述目前几种主要的混 合编码m d c 的共性之后，着重研究实现简单、效果良好的基于象素交织的m d c 。在介绍和分 析基于o r b - d c t 的m d c 算法之后，提出一种新的改进算法，得到了物理意义更加清晰、并 且适应于快速运算的结果。之后，从广义抗混叠滤波的角度对新算法做了进一步分析，把抽样 类型从一维推广到二维，并在实验中发现了图像中存在不对称现象。最后从一种新的观点对基 于交织的最佳重建进行了解释，从而为从2 个描述推广到4 个描述，以及寻找它们的最佳重建 方法提供了另一种思路。 本文最后研究了基于小波域软阈值的去方块滤波算法。针对现有算法存在参考模型不够准 确，从而引起阈值估计不准、滤波处理不够细致的问题，提出了由图像的非纹理区为参考的改 进思路。并相应地提出了两种改进算法d c c s t 和v f s t ，其中包括阈值估计和软阈值处理两方 面的改进，同时针对压缩视频的去方块滤波进行了相应的修改。通过实验对新算法分别进行了 单幅压缩图像和压缩视频的测试和分析。结果表明，新算法在阈值估计的准确性，滤波的效果 均得到明显的改进，而计算复杂度有明显降低。最后，在对实验数据分析的基础上，提出了阈 值的一致性假设，并结合实验加以解释。这一假设对实时滤波处理具有一定的参考意义。 本文对全文的工作进行了回顾和总结，并且提出进一步研究的设想和方向。 关键词：精细粒度分级编码，多码流切换。抗误码编码，多描述编码，抗混叠滤波，去方块 滤波，软阈值滤波 n 摘要 s t u d yo ns c a l a b l e d e oc o d i n ga n dt h e c o d i n gt e c h n i q u e sf o ri t sr e l i a b l e t r a n s m i s s i o n a b s t r u c t d u et ot h ee x p l o s i v eg r o w t ha n dg r e a ts u c c e s so fi n t e m e t , t h er e q u i r e m e n t so fn e t w o r k m u l t i m e d i as e r v i c e sh a v eb e e ni n c r e a s e de x t r e m e l y , e g n e t w o r kv o d ，i p l 、e t e a n db e e nw i d e l y c o n s i d e r e db yi n d u s u ya n da c a d e m i aa st h en e x tg r o w t hp o i n to f s e r v i c ea n de c o n o m yo f i n f o r m 砒i o n i n d u s t r y h o w e v e r , t h ei n t e m e t , w h i c hw a si sb a s e do l li p v 4a n di n i t i a l l yd e s i g n e df o rt h ed a t a m m s m i s s i o nm n e n gc o m p u t e r sf o rr e s e a r c hi n s t i m t a sa n du n i v e r s i t i e s , i si n h e r e n t l yah e t e r o g e n e o u s a n dd y n a m i cn e t w o r k , c a n n o tg u a r a n t e en e c e s s m yq o s t h e r e f o r e , i ti sn e c e s s a r yt op r o v i d er e l a t i v e t e c h n i c a ls u p p o r t 砒u a n s m i s s i o na n da p p l i c a t i o nl a y e r s h o w e v e r , t h ec o m p l i c a t e dt r a n s m i i o n c h a r a c t e r i s t i c so ft h ei pn e t w o r kp r e s e n tg w a tc h a l l e n g e sf o re f f i c i e n ta n dr e l i a b l ev i d e os t r e e n l t r a n s m i s s i o n s o , t h er e s e a r c h e so nt h ev i d e oc o d i n gt e c h n i q u e s w h i c h s u i t a b l ef o rt r a n s m i s s i o n o v e ri pn e t w o r k , h a v et h e o r e t i ca n da p p l i c a t i o ns i g n i f i c a n c e , a n db e c o m eo n eo ft h em o s ta t t r a c t i v e d i r e c t i o n si nv i d e oc o d i n gf i e l d s t h ew o r ko ft h i sd i s s e r t a t i o ni sc o n c e n t r a t e do nt h ev i d e oc o d i n gt e c h n i q u e s , w h i c hs u p p o r t r e l i a b l ev i d e ot r a n s m i s s i o no v e ri pn e t w o r k , s oa st oe n h a n c et h ec o d i n ge f f i c i e n c yo n de r r o r r e s i l i e n c e ，a n di m p r o v ec o m p r e s s e di m a g eq u a l i t i e sa sw e l l f i r s t l y , t h ef i n eg r a n u l a r i t ys c a l a b l ef i g s ) c o d i n gi sc h o s e na st h ep r i m 砸yr e s e a r c hg o a l s e c o n d l y , t h ei n t e f l e n v i n g - b a s o dv i d e om u l t i p l e d e s c r i p t i o nc o d i n g ( m d c ) o fh y b r i dc o d e ri ss t u d i e d l a s t l y , p o s t - p r o c e s s i n gf o rc o m p r e s s e dv i d e o , e s p e c i a l b t h ed e b l o c k i n gf i l t e r i n gf o rh y b r i dc e d i n g , i ss t u d i e d i nt h e 咖母o ff g s ，a na b s 啾i v ed a t as t r u c t u r ed e s e r i p t i 伽i s 坤粼m c da tf i r s tt or e p r e s e n t c o d e ds h e s a c c o r d i n g l y , s e v e r a lc u r r e n ts c a l a b l ec o d i n gs c h e m e sm c a t e g o r i z e di n t ot h r e et y p e s , a n dt h r e ew e l l - k n o w nf g sa l g o r i t h m sa r ed e s c d b o da n da n a l y z e db r i e f l y t h e n , t h em p e g - 4f g si s t e s t e dw i t hs t a n d a r dt e s ts e q u e n c e si nd e t a i l s b a s e do l lt h ea n a l y s i so f t h ee x p e r i m e n t a lr e s u l t s , t w o a s p t st oi m p r o v ef g se n d m ge f f i c i e n c ya r ep r o p o s e d o n eo ft h e mi st ou 辩s t r e a ms w i t c h i n gt o a d a p tt ow i d cr a n g eb i tr a t ev a r i a t i o n s a n dt h eo t h e ri st oi m p r o v et h ee n h a n c e m e n tl a y e rc o d i n g i 一卜海交通大学博七学位论文 d i r e c t b y , a tl a s t , t h r e ep o s s i b l ew a y st oi m p r o v ef g se n h a n c e m e n tl a y e rc o d i n ga r ed i s c u s s e d , s u c ha s u s i n gm o r p h o l o g i c a la n ds u b - b a n dd a t ar e - m y a n g e m e n to ft h ee n h a n c e m e n tl a y e r , a sw e l la sd i r e c t c o d i n go ft h el e a s ts i g n i f i c a n t b i tp h m e e x p e r i m e n t a lr e s u l t ss h o w , t h a tb yd c tc o e f f i c i e n t r e - a r r a n g e m e n t , t h ec o d i n ge f f i c i e n c yo ff g si si m p r o v e de f f e c t i v e l y , a n dt h em p e g - 4a d v a n c e d f e a t u r e sf wa n ds ea r er e a l i z e di n h e r e n yw i t h o u ta n ye x t r ab i tr a t e s i nt h es t u d yo f m u l t i p l ev i d e os t r e a ms w i t c h i n g , t h ep r i n c i p l e so f s u e a m s w i t c h i n ga x ed e s c r i b e d 甜f i r s t b a s e do ht h ea n a l y s i so f t h ee n c o d e rc o n f g u r a t i o n so f c u r r e n tw e l lk n o w ns t r e a ms w i t c h i n g s c h e m e s ，t h ec o r eo f m u l t i p l es u e a ms w i t c h i n gi sd i s c o v e r e d , u h a ti st oi n s e r ts u i t a b l e “a n c h o rp o i m s ， t h es w i t c h i n gf r a m e sw i t hp r o p e rq u a l i t yi nt h el a r g e rb i ts 仃e s a c c o r d i n gt ot h ed i f f e r e n t r e q u i r e m e n t sf o rt h es t r e a ms w i t c h i n gu pa n ds w i t c h i n gd o w n ，an o v e lf u l le m b e d d e ds t r e a m s w i t c h i n gs c h e m e 伊e s s s ) i sp r o p o s e d d e t a i l so ft h ed e s i g np r o c e d u r eo ft h eh e ws c h e m ea r e d e s c r i b e d , e n dt w oc o r r e s p o n d i n gr e a l i z a t i o n so f t h ea l g o r i t h mf o rg e n e r a t i n gb a s i cs w i t c h n gs t r e a m a r ep r e s e n t e d t h em e r i t so ft h ei l c wa l g o r i t h ma ”t og e n e r a t eb a s i cs t r e a m sb yo p e n l o o pm a n n e r , t h e r e f o r e , m u l t i p l es h e 3e a r lb eg e n e r a t e di ns e q u e n c eb yo n l ym l ee n c o d e r , a n dt h ec o m p u t a t i o n a l c o m p l e x i t i e sa r ed e c e a s e do b v i o u s l y e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ec o d i n gp e r f o r m a n c ea n d t h ep r a c t i c a ls i g n i f i c a n c eo f t h eh e ws c h e m e i nt h es t u d yo f i n t e r l e a v i n gb a s e dm u l t i p l ed e s c r i p t i o nc o d i n g , s t r a t e g i e st oi m p r o v er e l i a b i l i t yo f n e t w o r kv i d e ow a n s m i s s i o nw i t he l t o rc o d i n gc o n t r o la r ed e s c n b e da tf i r s t t h ee r r o rr e s i l i e n c ec o d i n g , a 5t h eo t l ei m p o r t a n ta s p e c to f 们rc o d i n gc o n t r o la g ed i s c u s s e db r i e f l y t h ed i f f e r e n c e so ft w o i m p o r t a n te r r o r r e s i l i e n tc o d i n g , t h es c a l s b l ac o d i n g a n d t h e m u l t i p l e d e s c r i p t i o n c o d i n g , a r e a n a l y z e & a f t e re x p l a i n i n gc u r r e n tk n o w nm 1 3 co f h y b r i dc o d e rf r o man e wp o i n to f v i e w d a t ai n t e r l e a v i n g b a s e dt e c h n i q u e , t h es t u d yi sc o n c e n t r a t e d t h es i m p l ea n de f f e c t i v em d ct h a tu s ep i x e l i n t e r l e a v i n g , b a s e do nt h eb r i e fd e s c r i p t i o na n da n a l y s i so fo r b - d c ta l g o r i t h m ，an e ws c h e m ei s p r o p o s e & d e t a i l so f t h en e wa l g o r i t h ma r cp r e s e n t e d , w h i c hp o s s e s s e sc l e a rp h y s i c a lm e a n i n ga n di s s u i t a b l et ou s ef a s td c tt oi m p r o v ep r o c e s s i n gs p e e d t h e nf u r t h e rs t u d i e sa r c a r r i o do u tf r o ma g e n e m la n t i - a l i a s i n gp o t m to f v i e w a sr e s u l t , t h es u b - s a m p l i n gp a t t e r n se r ee x p e n d 。df r o mi dt o2 d , a n dt h ea s y m m e t r i cf e a t u r ei ni m a g e si sf o u n df r o me x p e r i m e n t s a tl e s t , e x p l a n a t i o no nt h e i n t e r l e a v i n g - b a s e do p t i m a lr e c o n s t r u c t i o ni sm a d ef r o man e wp o i n to fv i e w , w h i c hp r o v i d e sa p o s s i b l ed i r e c t i o nt oe x p e n dm o c f r o mt w od e s c r i p t i o n st o4d e s c r i p t i o n s a n dt of m dt h e i ro p t i m a l r e c o n s t r u c t i o na sw e l l 1 珏t h es t u d yo fp o s t - p r o c e s s i n gf o rc o m p r e s s e dv i d e o , t h ed e b l o c k i n gf i r c r i n gb a s e do b s o f l - t h r e s h o l d i n go nw a v e l e td o m a i ni sd i s c u s s e di nd e t a i l s b a s e do nt h ea n a l y s i s0 0t h ep r o b l e m so f 摘要 c u r r e n ta l g o r i t h m s , p o s s i b l ed i r e c t i o nt oi m p r o v et h ee s t i m a t i o no ft h r e s h o l dv a l u e sb yu s i n g l l o n - t c x t u ma “mi nc o m p r e s s e di m a g em p r o p o s e d , a n dt w oc o r r e s p o n d i n ga l g o r i t h m sd c c s ta n d v f s ta r ep r e s e n t e d , w h i c hh n p r o v eb o t ho f t h et h r e s h o l dv a l u ee s t i m a t i o na n dt h r e s h o l d i n gf i l t e r i n g p r o c e s s i n g s p e c i a lc o n s i d e r a t i o n sa r ea l s ot a k e nf b rc o m p r e s s e dv i d e o w e l l e x p e r i m e n t sa r e c a n i e do u tb o t hf o rt h ec o m p r e s s e di m a g e sa n dv i d e o s c o m p a r i n gw i t ht h ek n o w na l g o r i t h m ，t h et e s t r e s u l t sd e m o n s t r a t et h a tt h en e wa l g o r i t h m sc 柚m a k em o r op r e c i s ee s t i m a t i o no f t h et h r e s h o l dv a l u e s a n di m p r o v ed e b l o c k i n go b v i o u s l y w h i l et h ec o m p u t a t i o n a lc o m p l e x i t i e sa r ed e c r e a s e de f f e c t i v e l y a t l a s t , f i - o mt h ea n a l y s i so f t h et e s tr e s u l t s , an e vh y p o t h e s i so f t h ec o n s i s t e n c yo f t h et h r e s h o l dv a l u e si s p r o p o s e da n dv e r i f i e dw i t he x p e r i m e n t s t h i sh y p o t h e s i si ss i g n i f i c a n t 衙i m p r o v i n gt h ep r o c e s s i n g s p e e di nr e a lt i m ed e b l o c k i n gf i l t e r i n g a tl a s t , t h es u m m a r yo ft h ed i s s e r t a t i o ni sm a d e a n dt h ed i r e c t i o n sf o rf i l r t h e rs t u d i e sm k e yw o r d s ：f m eg r a n u l a r i t ys c a l a b l ec o d i n g s t r e a ms w i t c h i n g , f i l l o rr e s i l i o n c ec e d i n g , m u h i p l ed c r i p t i o nc o d i n g , a n t i a l i a s i n gf i l t e r i n g , d e b l o c k i n gf i l t e r i n g , s o f t - t h r e s h o l d 咄 v 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名：撕 日期：矽刁年手月2 9 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密说 ( 请在以上方框内打“，”) 学位论文作者签名：埘 醐：节绷塔日 艚狮戤。彳缈 吼7 年，日 第一章绪论 第一章绪论 1 1 视频编码的标准化与研究新进展 自上世纪九十年代以来，数字图像与数字视频编码的理论研究与应用技术研究取得了令人 瞩目的进展【1 1 1 2 1 ，以图像和视频编码为基础的多媒体通信和多媒体技术加速进入人们的日常生 活和生产实践活动，成为当今信息产业中最具广阔应用前景的发展方向 图像与视频编码在标准化方面的进展是图像与视频技术发展的重要标志。基于视频编码近 四十多年的研究积累，国际电联( i t u ) 在其颁布的具有里程碑意义的第一个视频压缩编码国 际标准| h 2 6 1 1 3 1 建议中，率先采用了混合编码基本结构和层次结构码流语法。即基于空间上 的离散余弦变换( d c t ) + 时间上的运动补偿帧间预测+ 变字长编码( v u c ) 的混合压缩编码 结构，以及按帧、块组、宏块和子块等层次结构组织的码流语法等，确立了混合编码在视频编 码标准中的主导地位。i t u 在颁布h 2 6 1 建议之后，又制定了h 2 6 3 标准h ，其编码器结构与 h 2 6 1 完全相同，但通过采用一系列改进措施，例如：将运动估计的精度从整数象素提高到半 象素，将运动矢量的一维预测编码改为二维预测编码等，特别是引入p b 帧预测、高级预测模 式( o b m c ) 等四个高级选项，编码效率得到显著提高，压缩性能达到h 2 6 1 的两倍以上而 h 2 6 3 的改进版h 2 6 3 + 棚2 6 3v c r 2 ) 1 1 和h 2 6 3 + h h 2 6 3v n 3 广1 加入了更多的高级选项，编码效 率进一步提高。国际标准化组织( i s o ) 的活动图像专家组( m p e g ) 在制定其第一个视频编码 标准m p e g i 时川，为了既满足对视频信息高压缩率、又要满足对视频信息存贮回放的要求， 吸收了h 2 6 1 建议的混合编码器结构以及静止图像压缩编码标准j p e g 田中的基于人的视觉阈值 量化矩阵等技术，并且把序列中的图像分为i - p - b 等三种，对b 帧图像在帧间预测上使用了新 的双向预测的方法编码效率较p 帧图像进一步提高。m p e g l 标准的后续标准m p e g 2 t s q ， 通过引入编码系统的挡位( p r o f i l e ) 和等级( l e v e l ) 的概念，丰富了处理的对象集合和处理方 法，涵盖了从低清晰度电视( l d t v ) 、标准清晰度电视( s d l v ) 到高清耀度电视( h d l v ) 等各种视频应用，成为通用的数字电视编码标准，m p e g - i 则为其一个子集。为了适应新的多 媒体技术和多媒体通信的应用需求，i s o 的专家们又制定了新的m p e g - 4 标准“q ，该标准引入 了新的基于对象的( o b j e c tb a s e d ) 编码概念，简单地说。就是把从前单一的、矩形区域的帧为 单位的处理对象，发展到包括任意形状的视觉对象。为此在编码中引入了视频对象的形状编码， 而彩色纹理信息则仍然采用混合编码方法。2 0 0 1 年1 2 月，r r u t 的视频编码专家组( v c e g ) 与i s o 仃e cj t c l 的m p e g 专家组成立了联合视频专家组( t ) ，共同承担原先由v c e g 发起 上海交通大学博士学位论文 的项目( 1 9 9 7 年) 一极低码率视频编码远期研究项目，简称h 2 6 l i l ”，其目标是突破现有各 种标准的水平，获得视频质量实质性的提高。经过近两年的努力，该标准于2 0 0 3 年5 月完成， 同时成为1 1 u - t 的h 2 6 4 建议和i s o f l e c 的m p e g - 4 标准的第1 0 部分【i “，是目前最新的视频 编码国际标准。表面上，h 2 6 4 仍然沿用了类似于h ，2 6 1 的混合编码方案，即包括基于块的运 动补偿预测，残留信号( r e s i d u e ) 的变换编码、标量量化、z i g - z a g 扫描以及v l c 熵编码等技 术，但其核心技术内容和以前的标准相比有了重要的改进。在运动估计方面，采用最多达5 个 参考帧进行帧间预测，预测块大小7 种不同模式供优化选择，运动矢量精度可以达到l 4 ；在 变换编码中，用4 x 4 的整数变换取代原先常用的8 8 的浮点d c t 变换；在熵编码上，用普适 变字长编码( u v l c ) 或基于上下文的自适应二进制算术编码( c a b a c ) 取代常用的v l c ：增 加了对i 帧采用多种帧内预测模式。h 2 6 4 是迄今为止压缩性能最高的视频编码标准，可以达 到h ，2 6 3 + + 两倍以上的编码效率，在相当宽的码率范围均获得很好的图像质量，满足各种视频 应用的要求。当然，h 2 6 4 在获得了编码效率增加的同时，也付出了近乎一个数量级的运算复 杂度增加的代价，需要性能更为强大的计算机和d s p 为后盾。 视频编码标准化的进展极大地促进了视频编码技术的推广应用，反过来又进一步促进了自 身的理论研究和相关应用技术研究发展。由于视频信息具有极其复杂的非平稳统计特性，因此 自h ，2 6 1 建议制定以来，所有视频编码标准都秉承了同样的技术思想，在混合编码框架之下， 只规定了视频编码中可以包含的各功能模块，以及使用这些模块的工作流程和结果表示形式( 输 出码流层次语法结构) ，而模块如何实现、编码参数和编码模式的选择等具体的技术细节作为标 准的开放部分留给编码实施者根据具体应用场合决定。这些开放部分直接关系到最终编码系统 性能的优劣。是标准实现中豹技术关键，具有重大的应用价值，因此，相关的研究一直持续不 断。运动估计就是其中一个。经久不衰”的研究热点。由于全搜索运动估计虽然可以达到全局 最优，但其运算量占整个编码运算量的6 0 7 0 ，因此在实时视频压缩编码中，快速运动矢 量搜索算法成为优化编码性能中首先考虑的因素，要点是既要降低搜索运算量，又要使结果尽 量逼近全局最优点，比较集中的研究包括搜索点集合的选择1 1 3 1 - “，初始点的自适应选择算法【1 讣 ( 1 9 1 等，也包括许多结合d s p 特殊处理指令的快速算法，而有关运动估计的精度与码率的关系【捌 以及密集运动矢量场口1 】等研究则深刻揭示了运动矢量的编码与整体编码性能的内在关联。另一 个受到广泛关注的研究热点就是编码控制( c o d i n gc o n t r 0 1 ) 码率控制( r a t ec o n t r 0 1 ) 。当编码 模块确定之后，编码，码率控制就成为决定编码效率的关键。在不同的应用环境下。例如：高速、 中低速、甚低速传输速率，常比特率或变比特率信道，基于比特流或数据包的传输方式等，必 须采用相应的编码控制策略和码率分配方式才能达到最佳的视频编码效果。除了几个主要视频 编码标准工作组在其参考软件中均给出了基于c b r 的码率控制算法 2 z h 2 6 1 外，相关的研究文献 经常出现，如基于r - d 函数的码率控制算法p t 2 s 、量化器的比特分配嘲、量化步长与帧频的 2 第一章绪论 联合控制 3 0 1 1 3 “，以及基于网络与缓存容量限制的控制算法1 3 2 等。 新的编码方法的研究在近年来也取得了长足的发展。由于混合编码器采用的v l c 和帧问预 测等技术虽然极大地提高了压缩效率，但对链路上的传输差错也非常敏感，针对日益扩大的伊 网络，无线网络的视频应用需要，抗误码编码成为重要的研究方向嗍，特别是关于混合编码器 的多描述编码删h 搠、误码掩盖处理( 3 7 h 3 9 1 是该领域重要的研究内容。超分辨率编码重建技术也 是近几年来新的研究热点i “唧“，其应用不仅可以用于提高显示图像的质量，也可以提高显示图 像的分辨率，实现图像的高质量缩放，在多个应用领域，如深空探测、军事以及数字电视等有 很好的应用前景。分布式视频编码”则解决编码和解码运算负载不均匀的问题，通过多个低复 杂度的视频编码联合，得到较高图像的解码重建。分布式编码是一种低复杂度编码端技术，非 常适合新的无线传感器网络的应用。小波图像编码的研究也日益引起人们的关注在静止图像 编码方面。最新的j p e g 2 0 0 0 静止图像压缩编码标准已经采用了小波变换编码，而m p e g 4 编 码标准( 第二部分) 也把小波变换用于静态对象的编码。最近有关小波视频编码的研究也开 始引起人们的重视 4 3 4 4 1 ，通过在时阔和空间的3 d 小波变换，可以得到和混合编码相当、甚至 更优的视频压缩性能，而且小波变换具有的天然多尺度、多分辨率特性非常适用于在i p 网络的 异构、变速率环境的视频传输，其应用前景广阔。 在目前众多的视频编码研究方向中，有关视频在新的i p 网络环境应用下的关键技术是本文 所关注的，即视频的分级编码、抗误码编码，以及在应用中广泛使用的后处理技术。 1 2i p 网络的数据传输 l p 网络可以简单地概括为在网络层协议采用i n t e m e t 协议( 1 p ：i n t e r n e tp r o t o c 0 1 ) 的网络即l 。 i p 网络的特点为无连接、分组交换。i p 网络构造简单、灵活、方便，其最典型的代表就是今天 被广泛使用的互联网，即因特网。该网络由分布在各地的不同类型的网络，通过运行m 协议的 网络节点( 路由器) 有机地结合起来，使得网络上的计算机能寅接、透明地进行通信、共享遍 布在网络上的资源和业务。因特网出现于上世纪8 0 年代，最初仅提供简单的文件传输和远程登 录等简单的网络服务，但当1 9 9 5 年起出现了电子邮件，w e b 敢i 览等业务后，因特网的发展呈 现出远远超出人们相象的速度，在不到5 年的时间内，因特网的用户就超过了五千万，其发展 速度之快超过了之前所有各种通信业务的速度。至今，全世界因特网上的用户已经超过了数亿 目前的因特网使用的协议是i p v 4 ，所能提供的是一种尽力而为( b e s t o f e f f o r t ) 的服务。当 分组产生并需要通过网络传送到其目的地时，网络不保证分组传输的时间( 延迟) 传输的速率 ( 数据传输速率及吞吐量) ，传输时的可用带宽甚至数据到达传输目的地的可靠性。网络仅保证 用其可以提供的资源尽力传输数据分组。i p 提供的这种服务被称为不可靠服务，它可以满足 上海交通大学博士学位论文 e m a i l 、f t p 、t e l n e t 以及w e b 浏览等传统的i n t e r n e t 数据服务，使网络上所有的应用都公平地 分享网络资源。然而这种策略对于日益增加的实时语音和视频等业务则非常不利。无法保证基 本的服务质量( q o s ) 为此，互联网工作组( i e t f ) 等国际组织推出了相应的协议，如实时传 输和控制协议( r 肼忸t c p ) 、资源预留协议( r s v p ) 等，以改善实时流媒体的传输。并且提出 了集成服务( i n t s e r v ) 和区分服务( d i f i s e r v ) 等两种i p 网络q o s 策略，除了支持已有的尽力 而为服务模式外，还增加了新的加速转发和确保转发服务等级。为了解决目前i p v 4 在地址空间 的局限性、以及服务的安全性、服务质量等方面的不足。i e t f 于1 9 9 4 年制定了新的i p v 6 。目 前一些支持l p v 6 的实验网已经建设和投入运行如我国的下一代互联网示范工程c n g i 等， 有关下一代因特网( n g i ) 豹概念也已经提出，但目前i p v 4 网络仍然占据绝对优势，互联网中 的l p v 6 网络有如i p v 4 海洋中的小岛，要演进到全i p v 6 的因特网还需要经过相当长的时间。 概括地说，服务质量是面向网络和面向服务的m 。为了在现有的不可靠的i p 网络实现一定 质量的数据传输，就必须在网络层之上的传送层和应用层提供一定的q o s 保证。对于实时性要 求不高的数据传输，例如使用f t p 的文件传送，利用面向连接的t c p 的遇错重传等机制就能 保证实现可靠的传输。然而，对于需要连续实时传输的视频流和音频流，使用t c p 可能会引入 很大的传输时延，无法保证实时性的要求，因此传输时主要采用面向非连接的u d p ，以满足实 时性的要求。同时在应用层上，必须结合当前网络的传输条件，通过在编码端、服务器端和解 码端等各个环节使用相应的技术，才能达到一定质量端到端的可靠传输目标。 i p 网络的传输特性主要包括三个方面：带宽、实时性以及可靠性。在实际应用中，常用的 性能参数包括数据传输速率、传输时延和丢包率等。在连续视频和音频的实时传输时，传输时 延的抖动也可以等效为一定的丢包。图1 1 和图l - 2 分别是对经过无线局域网w l a n 或c d m a 网络接入到内网( 校园网) 中节点进行的端到端数据传输测试实例嗍，图1 3 则是对一个具有 对w l a n 和c d m a 网络进行自动选择能力的编码传输系统的端到端数据传输测试实例。测试 结果包括数据接收速率和丢