（通信与信息系统专业论文）基于无线网络的多媒体通信关键技术研究.pdf

摘要 视频信息处理是多媒体通信应用中的核心技术，由于视频业务具有实时性和 对误码敏感度高的特点，这使得在低带宽和高误码率的无线信道上传输压缩视频 流面临着极大挑战，因此成为近年来通信领域内的一个研究热点。 本文以无线网络视频通信为主线，研究了视频传输及编码的一些关键技术， 内容涉及质量评判、容错性能、差错控制、信道编码、信源信道联合控制等，并 提出了一些新的思想和方法。具体包括： 1 、提出了一种客观视频综合评价模型。该模型将视频特征转化为因素子集， 可同时权衡视频压缩序列的图像清晰度、流畅性、运动抖动性等重要特征。同时 通过定制评价子集，协同通用性和求值复杂度，可在视频流传输尤其是实时传输 时，针对差错弹性、流量控制等做指导性传输。此外对于其它客观评判准则，可 通过建立模糊关系引入至模型中，因此该模型对其它评价准则或模型具有很好的 兼容性。仿真实验结果表明，该模型能够对视频编码流的多个特征进行较好的综 合评价。相比以往评价模型具有实现简洁和可靠度高的优点。 2 、提出了一种联合信源信道编码码率控制算法。首先分析了信源的各种码 率控制方法，然后分析了传输中的带宽决策方案。最后提出了一种新的联合信源 信道编码算法。该算法主要是在网络带宽一定的情况下，从信源、信道和解码器 各方面的性能权衡考虑，引入了解码器的抗误码性能指标，充分考虑解码器差错 掩盖的能力，根据不同的信道状态确定信源信道编码最优的速率分配方案，以获 得最大的可解码长度。这样可降低无线网络传输中信道编码的压力，同时对该种 算法，以h 2 6 4 与t u r b o 码联合为例进行了性能仿真。仿真结果表明，该方案相对 于未考虑解码器差错掩盖能力的方案可提高o 21 9 d b ，很适合于压缩视频数据 在无线网络上传输。 3 、提出了一种组合式差错控制算法，该算法主要针对以下三个方面提出了 创新，首先在信源的数据划分上，针对不等差错防护技术进一步提出了交错式控 制思想。然后从信道编码方面针对现有前向纠错技术多采用多参数r s 编码方式的 复杂性和局限性，提出了一种u e p 型r s + c r c 差错控制算法。最后再综合以上方面， 在不同的信道状态下保证一定的失真度情况下，提出采用合理的帧长及组包算 法，使得传输功耗能够得到很大的降低。最后根据实时媒体特性，对不同的数据 丢包率进行了仿真，从仿真结果看，该算法可以在降低失真度的同时可节省传 输功率，其中在信道编码上可以降低5 0 左右的功耗。因此可达到最佳端到端功 耗控制的效果。 4 、提出一种解码端i n t r a 帧的差错掩盖算法。该算法列用h 2 6 4 中相邻帧序列 具有高度相关性的特点，本文对高差错的i n t r a 做二次插值，并以j v t 等规定的仿 真环境做了大量测试，其中i n 打a 帧可提高4 d b 左右，对整个视频序列贡献为提高 了1 d b 左右的增益，结果显示本算法可以有效地改善差错图像的视觉质量，尤其 在高误码信道下效果显著，并且在满足实时视频传输的要求的同时还降低了实现 的复杂性。 5 、提出了一种在不改变l d p c 码的基本结构的情况下，得到多码率l d p c 码 率匹配的算法。该算法针对目前在生成多码率l d p c 码时，大多采用变换不同的 校验矩阵的缺点。提出一种不改变编码器结构的产生多码率l d p c 码的新算法。 该算法根据密度进化理论分析了穿孔图样对l d p c 码性能的影响，寻找合理的匹 配穿孔图样。算法适用于规则码和非规则码情况，生成多码率算法对编码和解码 影响很小。最后采用该算法对规则码和非规则码分别在高斯信道和r a y l e i 曲信道 下进行了性能仿真。从仿真结果验证了本算法可以获得很好的多码率l d p c 码， 例如对非规则o 8 码率时，在高斯信道可以获得大约1 6 d b 左右的增益，在衰落信 道可以获得大约l ，5d b 左右的增益。 关键词：客观质量评价、视频处理与通信、视频编码、信道编码、联合信源 信道、差错弹性控制、差错掩盖、速率控制 中图分类号：t p 3 9 1 、i n 9 1 9 a b s t r a c t r e c e n t l y ，t h ed e v e l o p m e n to fb r o a d b a l l dw i r e l e s sn e “v o r k sh a ss t i i n u l a t e dg r e a t i n t e r e s ti nr e a l 一t i m ev i d e oc o m m u n i c a t i o n so v e r 、v i r e l e s sn e t w o r k h o w e v e r d e l i v e r i n gq u a l i t yv i d e oo v e rw i r e l e s sn e t w o r k si nr e a lt i m ei ss t i l lac h a l l e n g i n gt a s k d u et ot h eb u r s te r r o r sn a t u r eo fw i r e l e s sc h a n n e l sa n dt h ee r r o rp r o p a g a t i o np r o p e n y o fc o m p r e s s e dv i d e o s u i t a b l ee f f i c i e n ts c h e m e sa r en e c e s s a r yt ob ea d d e di nm e c o m p r e s s e db i t s t r e 锄si no r d e r t oe n s u r er e l i a b l et r a n s m i s s i o n s t h i sd i s s e r t a t i o na d d r e s s e ss o m ek e yi s s u e si nw i r e l e s sc o m m u n j c a t i o ns y s t e m s + r h e s ep r o b l e m sa r eo fg r e a ti m e r e s tt oc o m m u n i c a t i o ne n g i n e e r si n v 0 1 v e di np l 蛐i n g a 1 1 do p “m i z e dd e s i g no fw i r e l e s sc o m m u n i c a t i o ns y s t e m s ，i n c l u d i n gv i d e oq u a l i t y e v a l u a t i o n ，e r r o rc a p a c i 妙，e r r o r r e s i l i e n c e ，c h a n n e lc o d i n g ，j o i n ts o u r c ea n dc h a i l i 】e l c o d i n e t c s o m en e w a l g o r i t l l i n s a 1 1 ds c h e m e sa r ep m p o s e d t h e nm a i n c o n t r i b u t i o n sc a nb es u m m a r i z e da sf b l l o w s ： 1 、an e we f 诧c t i v ea n dr e l i a b l eo b j e c t i v ev i d e oe v a l u a t i o nm o d e li sp r o p o s e db a s e d o nf u z z ys y n m e t i cj u d g m e n t f i r s t l y ，m ee s s e n t i “d e s i g no ft l l em o d e l i sd e s c r i b e d s y s t e m i c a l l y t h e n t h e f u z z ym e m b e r s h i pf u n c t i o n so fa l l f a c t o r sw h i c ha f r c t c o m p r e s s e dv i d e oq u a l i t ya r ed e t e m l i n c d a n dt h ef a c t o rw e i g h t sa r ea l s oe s t i m a t e d b ya p p r o x i m a t ea l g o r i t 王l i n t h i s m o d e lh i g h l i g h t sac o m p r c h e n s i v ee v a l u a t i o nb y t a k i n ga c c o u mo fm u l t i p l ep r o p e r t i e so ft h ec o m p r e s s e dv i d e ov ，h i c ha f f 色c tt h ew h 0 1 e v i d e os e q u e n c e ，s u c ha sq u a l i t y ，n u e n c ya n dm o t i o ni n f o o nt l l eo t l l e fs i d c ，t h i s m o d e lh a sw e l lc a p a b i l i t yo fc o m p a t i b i l i t yw i t ho t h e re v a l u a 胁nm o d e lo rs t a n d a r d s i m u l a t i o nr e s u l t sd e m o n s t r a t et h ea d v a n t a g e so fm ef u z z yo b j e c t i v ev i d e oq u a l i t y e v a l u a t i o nm o d e le s p e c i a l l yi nc o m p r e h e n s i v ej u d g m e n to ft h ew h 0 1 ev i d e o 2 、a no p t i m a lr a t ea l l o c a t i o na l g o r i t h mi nj o i n ts o u r c e c h a n n e lc o d i n gf b rv i d e o t r a n s m i s s i o ni sp r o p o s e dw ed e e mm a te r r o rc o n c e a l m e n tt e c i l t l i q u e sh a v eb e e n e m p l o y e da tt h ed e c o d e rt oc o n c e a lt h ee f r e c to ft r a n s m i s s i o ne r r o r s ，w h i c hw m e x e r t i n d i r e c ti n f l u e n c eo nt r a d i t i o n a lj s c cs c h e m e s t h eh i g h l i g h ti n l p r o v e m e n to ft h i s p r o b l e mi st oa d dt h ee r r o rr e s i l i e n c et e m lo f d e c o d e rt or a t e e r r o re v a l u a t i o nf u n c t i o n t h e r e f o r e ，t h e r ei sat r a d e o f fa n l o n gs o u r c e ，c h a i l n e l ，a 1 1 de r r o rr e s i l i e n c ec a p a b i l i t y t h ee r r o rc o n c e a l m e n ts c h e m e s a d o p t e di n d i f k r e n tc o d i n gs t a n d a r d sc o u l db e c o m b i n e dw i t hj s c c p e r f o 肿a n c er e s u l t ss h o wb o t ht h ee f k c t i v e n e s so ft h es c h e m e a n du t i l i z a t i o no f t h es o u r c ed i s t o r t i o nr a t ec h a r a c t e “s t i c sa n dt h eb e rs t a t i s t i c so f t h e a v a i l a b l ec h a n n e lc o d e s 3 、ac r o s s e di e pp a c k e t i z a t i o na l g o r i t h mb a s e do nd a t ap a n i t i o n i n ga n dc o m b i n e d e r r o rc o n t r o ls c h e m ei sp r e s e n t st oi m p r o v et h er e s o u r c eu t i l i z a t i o na i l d 也ed a t a s e r v i c ep e r f o r m a n c eu n d e rf a d i n gc h a l m e lc o n d i t i o nw i t hh i g he r r o rr a t e s a d a p t i v e l e n g t hp a c k e t i z a t i o na n dh a r qs c h e m ea r ea l s oa d o p t e dt oo p t i m i z eo u rc o m b i n e d e r r o rc o n t r o ls c h e m e s i m u i a t i o nr e s u i t sd e m o n s t r a t et h a to u rp r o p o s e ds c h e m e s o u t p e r f b n ns o m eo t h e ra p p r o a c h e se s p e c i a l l yu e pa c h i e v e db ya p p l y i n gd i f 诧r e n t r e e d s o l o m o nc o d i n g 4 、an o v e le o rc o n c e a l m e n ts c h c m ef o ri m r af r a r n e so f h 2 6 4i sp r o p o s e d i nt l i s a l g o r i t l l i i l ，t h ee o rp i x e l v a l u eo ft h ec o n c e a l e di n t r a 仔锄ei s c o p i e d a n d r e i n t e 印o l a t i o nf r o mt h ec o r r e s p o n d i n gp i x e lo ft h ep r e v i o u s l yd e c o d e d 丘a m ea 1 1 dt h e a d j a c e mb l o c k sr e c e i v e dc o r r e c t l y a tt h es a m et i m e ，w ep r o p o s ee x t e n d i n gt h ej m s o f t w a r et os u p p o r tt h ei n t r ae 玎o rc o n c e a l m e n tf o rb i t s t r e a m sc o n t a i n i n gm i s s i n g c o d e dp i c t u r e t h ep r o p o s e de r r o rc o n c e a l m e n ta l g o r i t h m sf o ri n t r af h m e sw e r c t e s t e du s i n gt h ep a c k e tl o s sm o d e lo ft h ev i d e oa d h o cg r o u po fs a 4w i m i n3 g p p ， w h i c hi si n t e n d e dt op f o v i d ec o m m o nc o n d i t i o n sa n dv a l u a b l et o o l k i t sf o rt e s t i n g v i d e ot r a n s m i n e do v e r3 g p pn e t w o r k s s i m u l a t i o nr e s u l t sd e m o n s t i a t et h a to u r m e t h o do u t p e “b r n l st h eo t l l e rm e t h o db yu pt o4 d b 5 、an o v e la p p m a c hf o rt h ed e s i g no fr a t e - c o m p a t 沁l ep u n c t u r e dl o w d e n s i t y p a r i t y c h e c k ( r c p l ) i sp r o p o s e d ，v ，h i c hi so b t a i n e dw i t h o u tr e s t r i c t i o n 。nr e g u l a ro r i 1 r e g u l a rc o d c s f i r s t ，w ea p p l yd e n s i t ye v o l u t i o nm e t h o dt oo b t a i no p t i m a ld c g r e e d i s t r i b u t i o n so nd e s i r a b i ec o d er a t e t h e nw eg i v eap r o c e d u r ef o rd e t e r m i n i n g 血e o p t i m i z e dp u n c t u r i n gb yg e m n gm a xn u m b e ro fs u r v i v e dv 撕a b l en o d e sf o re v e r y c h e c kn o d ei ne a c hd e g r e ed i s t r i b u t i o n t h ep u n c t u r i n gp a t t e m sa r er e l a t i v et ot h e d e g r e ed i s t r i b u t i o no ft h ev a r i a b l en o d e s i ti ss h o v mm ep u n c t u r e dn o d e sa r e r e c o v e r e dm o r er e l i a b l y s i m u l a t i o nr e s u l t ss h o wt h a tr a t e c o m p a t i b l el d p cc o d e s c o n s t m c t e di nt m sm a n n e r p e r f o r mb e t t e rt h a no t h c rt e c h n i q u e s k e yw o r d s ：o b j e c t i v e e v a l u a t i o no fv i d e o q u a i i t y ， v i d e op r o c e s s i n ga n d c o m m u n i c a t i o n ，v i d e oc o d i n g ，c h a n n e lc o d i n g ，j o i n ts o u r c ea n dc h a i l i l e lc o n 仃o l ， e rr e s i l i e n c e ，e “o rc o n c e a l m e n t ，r a t ec o n t m l 。 i v 西北工业大学博j ：论文 缩略语 3 g p p a r q b e r b i f r 础 b p c c i r c c i t t c d ，【a c r c d c d c t d p d s c q s e e p f e c f g s f g s t f r g o b g o p g s m g p r s h v s h a r q i 一矗a m e i r i t u j s c c j v t l d p c l l r m b m c m d s m o s m p e g m s e m 1 1 j 缩略语 3 r dg e n e r a t i o np a n i l e r s h i pp r o j e c t 第三代合作伙伴计划 a u t o m a t i cr e t r a l l s m i s s i o nr e q u e s t自动重传请求 b i t e n d rm t e 误比特率 b i - d i r e c t i o m lf r a r n e 双向帧 b e l i e f p r o m u l g a t i o n 置信传播 i n t e m a t i o n a jt e l e p h o n ec o n s u l t a t j v ec o n l i l l i t t e e 国际无线电咨询委 员会 i n t e m a t i o n a l t e l e p h o n e a n dt e l e g r a p hc o n s u l 诅t i v e c o 1 1 1 l i n c e ( r e n 姗e di t u 1 ) 国际电话与电报委员会9 3 年易名为i t u t c o d ed i “s i o nm u l t i p l ea c c e s s 码分多址 c y c l i cr e d u l l d a l l c yc h e c k 循环冗余校验 d i r e c tc u r r e n t 直流分量 d i s c r e t ec o s i n et m s f 0 皿 离散余弦变换 d a 恤p a n i t i o n i n g数据分割 d o u b l es t i m u l u sc o n t i n u o l l sq u a l 时s c a l e 用双刺激连续质量标度 c q u a le r r o rp r o t e c t i o n 等差错防护 f o r 、v a r de 仃0 rc o r r e c t i o n 前向纠错 f i n eg r a i l u l 撕t ys c a l a b i l t ) r精细颗粒度伸缩技术 f g s t e m p o r a l支持时域的f g s f r 锄e c o p y帧拷贝 掣o u po f b l o c k s 块组 g r o u po f p i c t u r e s图像组 g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n 全球移动通信系统 g e n e m lp a c k e tm d i os e i c e通用无线分组业务 h u l l l 孤v i s u a ls y s t e m 人类视觉系统 h y b r i da u t o m a t i cr c m m s m i s s i o nr e q u e s t 混合a r q i n t r a 胁e i n t r a 帧 i n c r e m e n t a l r e d u n d a l l c y 增量冗余 i n t e m a t i o n a lt e l e c o i i u l l u i l i c a t i o n su n i o n 国际电信联盟 j o i n ts o u r c ea 1 1 dc h 锄e lc o d i n g 联合信源信道编码 j o i mv j d e ot e 锄 联合视频专家组 l o wd e n s i l yp a r i t yc h e c k低密度奇偶校验 l o g 1 i l ( e l i h o o dr a t i o对数似然比 m a c r o b l o c k 宏块 m o t i o nv e c t o rc o p y 运动矢量拷贝 m 缸i m 岫d i s t a l l c e p a r a b l e极大最小距离可分码 m e a n0 p l l u o ns c o r e m o t i o np j c t 山_ ee x p e r tg r o u p m e a n s q u a r e de r r o r m a x i m 啪n 娜m i s s i o nu n “ 1 1 9 主观评估结果 运动图像专家组 均方误差 最大传输单元 西北工业大学博 二论文缩略语 m s r n a l n a l u p f g s p f g s t p o c s p s n r q c i f q p s k q o s q p r o i r c p c r c p t r s s r c t d s c d m a t u r b o u e p u m t s v c e g v c l v o p v q e g m 戕i m a l l ys m o o t l lr e c o v e r y n e t w o r ka d 印t a t i o nl a y e r n a lu n i t s 最大平滑恢复 网络适配层 n a l 单元 p r o g r c s s i v ef g s渐近的f g s p r o g r c s s i v ef m eg r 锄u l a r i t ys c a l a b l et e m p o m l 渐近的时域f g s p r o j e c t i o no m o c o n v e xs e t s 凸集投影 p e a ks i g n a l t o n o i s er a t i o 峰值信噪比 a l l a r t e r c i f1 4 c i f 格式 q u a d r a l = u r ep h a s e s l i rk e y i n g正交相移键控 q u a l i t yo f s e r v i c e服务质量 q u a l l t j z a t i o np 盯a m e t e r 量化参数 豫g i o no f i n t e r e s t感兴趣区域 r a t e c o m p a t i b l ep 岫c t u r e dc o n v o l u t j o i l a lc o d e 速率兼容卷积码 r a _ 【c c o m p a t i b l ep u n c t u r e dt u r b ec o d e 速率兼容t u r b o 码 r e e d s o l o m o n c o d i n g理德一索罗门码 s c a j a b l er a c ec o n 昀l 可伸缩速率控制 t i m ed i v i s i o n s y n c h r o n o 邺c o d ed i v i s i o nm u l t i p l ea c c e s s 时分i 司步码分 多址 a 可p e o f c h 锄e lc o d i n g 一种信道编码 i l i l e q l l a ie 丌o rp r o t e c t不等差错防护 u n i v e r s a lm o b i i et c l e c o m m l 】i l i c a t i o n ss v s t e m 通用移动通信系统 v i d e oc o d i n ge x p e n sg r o u p 视频编码专家组 v i d e oc o d 访gl a y e r视频编码层 v j d e o o b j e c t p l a n e视觉对象( 目标) 平面 d e oq u a l i t ye x p e ng r o u p视频质量专家组 西北工业大学业 学位论文知识产权声明书 本人完全了艇学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文：l 作 的知识产权单位属于西北工! 止大学。学校有权保留并向国家有荧部门或机构送交论文的复 印件和电子版。本人允许论文被查阅平借阅。学校可以将本学位论文的全部或部分内容编 入有芙数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为硒北二业 人学。 保密论文待解密后适用本声明。 学侥论文作者签名 抽0 年f 。月r 舻日 指导教师签名：二心 、 夕6 年l 。爿 i 日 西北工业大学 学位论文原创性声明 采承学校严谨的学风利优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究：】二作所取得的成果。尽我所知，除文中已经注明引川的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他己申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关舶法律责任。 学位论文作者签名：5 凌： 汹年，口月j f 目 西北t 业大学博1 ：论文第一章绪论 1 1 课题目的和意义 第一章绪论 无线移动通信在近年来取得惊人发展，是技术驱动和市场导向密切结合的成 功范例。随着经济走向全球化，无线和网络技术爆炸性的发展正深刻地改变着全 球通信的基础结构。无线、多媒体和网络技术的融合将彻底改变人们进行商务活 动和彼此间通信的方式。对于正在实施的3 g 系统以及正在讨论的4 g 系统，其 共性就是增加了以多媒体业务为首的高速多数据业务。未来的计算机和通信结构 将具有实际意义上的无限带宽、全连接性、高移动性和充裕的多媒体容量。因此 多媒体通信及相关领域的研究是现有及未来无线网络的研究难点与热点。 然而由于无线网络存在低带宽且带宽波动大、误码率高( 随机误码以及由多 径衰落效应导致的长突发性差错) 和异构性等问题，尤其当网络遇到过高的信息 丢失率和过度的延迟时，提供稳定的多媒体业务质量就成为一个棘手而有挑战的 问题，在多媒体通信中，视频通信尤其是难点与重点。在无线网络上实时传输高 质量的视频仍是未来很长一段时间很富有挑战性的任务。在无线网络上传输视频 的困难主要体现在低带宽和高误码率，而影响最大的是可用带宽和差错特性的波 动。当涉及到移动终端时，这种变化尤为剧烈。因此无线视频通信系统在速率和 差错复原两方面都必须有自适应性。因此面向无线网络的视频处理及传输技术正 在成为多媒体通信应用领域中急需解决的关键问题，对其进行的研究具有重要的 理论与现实意义。 1 2 研究动态 无线信道上的视频处理与传输问题已经成为目前通信领域内最热点的问题 之一。l t u ( 国际电信联盟) 和t 在已有视频编码标准中不断增加新的选项内 容m 例，从而在保证兼容性的前提下改善视频编解码器在无线通信中的性能。 另一方面，一些研究机构和公司还在积极探索全新的视频编解码及传输方案，使 之能够适应无线信道恶劣的传输环境。 在实现无线应用而进行系统设计的各个层次中，很多技术问题亟待解决，例 如终端需要有多种操作模式，以支持不同的应用和不同的媒体，能处理语音、图 像、文本和视频数据，这种在电脑能实现的在轻巧的手提设备上实现不但需要硬 件电路上的突破，更需要其中各种软件及算法的优化协调“。作者在充分研究各 西北工业大学博上论文第一章绪论 个方面技术之后，打算从以下方面展开研究，并在每方面提出新的见解： 视频质量的客观评价方法 由于视频压缩算法会导致不可避免的质量降级，所以其编码算法的性能必须 根据重构视频图像的质量来评估，然而对压缩后的视频质量进行评估一直是困扰 学术界的难胚。由于主观视频质量评价方法耗费成本高，因此在多媒体通信中， 对视频编解码序列的客观评价及主客观结合评价是目前研究的热点。近年来视频 质量专家组v q e g i d e o q u a l i t y e x p e r t g 的u p ) ”o 】为此做了大量的工作，但由 于几乎不可能建立起一套精确、统一的数学或物理模型，因此在一定程度上影响 了视频质量客观评价的准确性。同时由于无线通信系统对视频传输业务要求越来 越高，这就意味着对质量实时评价的同时还需对后续各种联合处理提供指导性准 则，因此评价模型必须简洁，而且便于硬件实现，而现有的众多种评价模型常常 是有效性和复杂性的折中，例如多通道h v s 评判模型【7 】、基于失真感知的模型 i ”、支持运动特性的分层加权模型1 9 】、三维加权信噪比模型m l 、经验模型i ”l 、 滤波模型咄等。但在多媒体应用中这些模型实现起来相对复杂，尤其在传输实 时业务时很难在传输前或传输过程中对视频流做出快速准确的评判，因此需要有 一种快速有效的评判方法来对压缩数据流及其后续各种联合处理提供指导性准 则。 视频帧编码分析模型与压缩视频中的流量控制 随着网络视频流传输需求的不断增长，新的视频压缩算法不断引入，例如代 表性的m p e g 系列及h 2 6 x 系列等等。然而在实际应用系统中，视频流往往面 对在带宽变化不一致的网络上传输，这样为保证最优的感观质量及充分利用网络 资源，必须引入流控机制以满足当带宽需求变化时，视频编码器的输出比特率 实时适应变化的带宽环境。具体控制方法包括【i 。l ：根据获取的信道状态信息来 改变视频编码参数，以获得在某特定时刻信道所能提供的速率的调整编码参数及 量化步长的速率控制方法；通过对视景的r o i 区域 r e 昏o no fi n t c r e s t ) 进行比 其余区域内容更能精确编码，充分利用视景内容的先验知识来提高编码效率的速 率控制方法：近几年提出的f g s 、p f g s 、p f g s t 等为代表的多层编码的速率控 制方法；广泛应用在h 2 6 3 、 l 2 “及m p e g 2 、m p e g 4 等中较为成功应用的 时域联合空域速率控制算法等。有关流量控制方面，近年来有个热点，即联合信 源信道的速率控制方面。这是因为考虑无线网络的特点时，必须注意到，由于信 源编码压缩效率的提高会导致码流抗误码能力急剧降低，同时在提商压缩码流的 抗误码性能则会导致编码效率降低，因此确定考虑信道条件来分配出信源和信道 编码速率的最佳匹配方案，则是在信源和信道编码领域的重要问题。然而对于视 频通信业务而言，由于视频编码器更为复杂，需要考虑及处理的参数更多，有关 西北1 = 业大学博i ：论文第一章绪论 视频信源信道联合编码处理的研究则相对很少。这样更需要一些兼顾传输效率和 质量的有效算法，以获得最优的端到端的传输性能。 无线信道下视频数据的差错弹性控制与鲁棒性传输 在无线网络上传输视频的困难在于低带宽和高误码率( 随机误码以及由多径 衰落效应导致的长突发性差错) ，而影响最大的是可用带宽和差错特性的波动。 当涉及到移动终端时，这种变化尤为剧烈。因此无线视频通信系统在速率和差错 复原两方面都必须由自适应性。为了满足这种要求，对于无线视频传输目前国际 广泛流行采用具有不等差错保护的分层编码。虽然针对有相当大噪声的无线信道 应用f e c ( 前向纠错) 和a r q ( 自动重传请求) 会得到一个几乎无差错的数据 传输环境，但a r q 在解决相当高的b e r 或f e r 的同时，也引入了较大的时延， 这尤其对于解决实时视频流传输问题是一个新的挑战。近年来的研究成果在有效 的改善了分组丢失差错环境中压缩视频传输的效果，同时尽可能的减少系统冗余 开销和编解码延时。然而当这些算法落实到移动终端时，面临着复杂度与有效性 的矛盾，这样需要能够兼顾应用需求且可执行性高的算法。 视频数据的差错掩盖技术 压缩视频数据有个特点，即对错误具有很高的敏感性。当其在无线信道这样 的差错信道传输，比特误差和丢包是不可避免。针对信道b e r 可导致数据帧出 现差错，差错位置可能为帧头、帧内( 宏块头、运动矢量、直流低频d c t 、高 频d c t ) 、包标示等，实验表明，当压缩视频数据有3 的误码时最多可造成 6 6 数据不能正常解码，其影响是巨大的。因此基于解码器的差错掩盖技术一直 是持续的热点。当纠错位数有限时，差错掩盖充分利用视频编码器的特点，可将 纠错时不能完全校正的数据利用与相邻采样关系解码成原值的近似值进行替换 处理。近几年来，对于i n t e r 帧以及b i 帧的差错掩盖算法研究较为透彻，但对于 i n 妇帧研究近几年来一直难有突破，然而i n t m 帧对于视频g o p 的解码起着决定 性作用，这就需要新的思路来有效的提高解码器尤其是对i n t r a 帧的差错掩盖算 法。 速率兼容的l d p c 码 l d p c 码具有逼近信道容量极限的译码性能同时在码长较大的情况下性能 甚至超过t u r b o 码。l d p c 码和t u r b o 码相比，一个重要的区别就是一个l d p c 译码器可以给出是否正确的对一个码组进行了译码，t u r b o 码无法做到这一点。 而且1 、曲。码的译码算法只能串行处理，l d p c 码可以并行处理，这样u ) p c 码 更适于用硬件实现。此外t u r b o 码需要交织器，这带来相当大的编码和译码时延， 而l d p c 码不需要交织，因而l d p c 码的编译码时延要小于t i l r b o 码。因此这种 优秀的线性分组码尤其适用于视频数据包的传输，作者认为它将是以后4 g 进行 西北工业大学博j ：论文第一章绪论 无线多媒体传输的首选纠错编码的方式。在无线信道传输中，压缩视频流获得较 好的重建图像质量会受到很多因素的影响。为充分发挥视频流信源编码的特性， 通常采用不等差错防护技术，采用多码率纠错码对信源做最佳支持。目前的热点 集中在讨论多码率l 汇p t 码支持不等差错防护，鲜有结合l d p c 码的研究。同时 即使对l d p c 码提供多码率控制上，国际上也只是从2 0 0 4 年才开始出现少量研 究文献，因此这是一个新的突破点。 此外，对于无线多媒体通信还有其它很多重要问题，例如和音频的协调控制 等，这些作者在发表文章中有详细讨论，在本论文里就不做解释了。 1 3 论文的主要工作与组织结构 第一章绪论介绍了网络多媒体通信的研究背景以及近年来研究动态和成 果，并指出了目前该领域的主要热点研究方向。 第二章利用模糊综合评判的思想给出一种客观视频评价模型。该模型可同 时权衡视频压缩序列的图像清晰度、流畅性、运动抖动性等重要特征，并对其它 评价模型和指标具有很好的兼容性。仿真实验结果表明，本文提出的综合评判模 型能够对视频编码流的多个特征进行较好的综合评价。相比以往评价模型具有实 现简洁和可靠度高的优点。 第三章提出基于解码器差错弹性控制的联合信源信道编码码率控制算法。 引入信源解码器的抗误码性能指标，在信源、信道编码以及差错弹性能力三者中 做出权衡，确定信源信道编码的速率分配方案，以充分利用信源和信道的能力， 达到最优传输，并最终获取最佳重建视频质量。 第四章为减轻无线信道差错对视频传输质量的影响，针对现有前向纠错技 术多采用多参数r s 编码方式的局限性，提出一种新的组合式差错控制机制，首 先联合信源采用交错式控制建立基于对视频重建影响程度的o o s 映射；然后采用 非均等差错防护确立基于t y p e i h a r q 的c r c r s 组合式差错机制；最后提出自 适应帧长及组包算法进行有效的c r c 传输，以最大化利用无线带宽资源。 第五章利用h 2 6 4 中相邻帧序列具有高度相关性的特点，提出一种针对i n t r a 视频编码帧的差错掩盖算法，并以t 等规定的仿真环境做了大量测试，结果显 示本算法可以有效地改善差错图像的视觉质量，并且能够满足实时视频传输的要 求的同时还降低了实现的复杂性。 第六章提出一种新的l d p c 码率匹配的方法，同时根据密度进化理论分析了 穿孔图样对l d p c 码性能的影响，致力于寻找匹配的穿孔图样。最后根据本算法 对现今常用的度分布l d p c 码进行了分析仿真，验证本算法可以获得很好的多码 率l d p c 码。 西北下业大学博l 论文第二章基于运动特征的 = ! j ! 频流质量客观评价 第二章基于运动特征的