（通信与信息系统专业论文）基于ldpc码不等错误保护的立体视频通信研究.pdf

摘要 摘要 随着人们对数字视频的要求日益提高，传统的二维平面视频已无法满足人们对场景真实 和自然再现的需求，能够提供深度信息、再现真实场景的立体视频成为当前的研究热点。基 于立体视频通信技术的立体电视、视频会议、远程控制、远程医疗等具体应用受到了广泛关 注。针对近年来立体视频采集和显示技术不断进步，立体视频压缩编码、传输技术成为制约 立体视频通信发展关键因素的现状，本文对立体视频通信系统中若干关键技术进行了研究。 本文在信源处理方面，提出了基于加权联合帧间预测模式的立体视频编码方法：在信道 编译码方面，构造了一种高性能低编码复杂度的非规则低密度奇偶校验( l d p c ) 码进行信道编 码、提出了一种改进的b p 译码算法；综合考虑了立体视频码流和非规则l d p c 码的特点，将 立体视频码流进行了分割，对分割后的码流采用了基于l d p c 不等错误保护( u e p ) 策略的联合 信源信道编码( j s c c ) 技术进行传输。 首先对立体视频编码进行了研究。针对立体视频具有很强的空间和时间相关性、各通 道之间具有交叉相关性的特点，提出了基于h 2 6 4 的立体视频编码方案。利用h 2 6 4 的帧内方 向预测和帧间多模式预测解除立体视频的空间相关性、时间相关性和交叉相关性。在视差预 测中采用可变块尺寸视差预测编码模式，并将其集成到h 2 6 4 的多模式预测编码中。提高了 压缩效率。为了进一步提高编码性能、减少预测误差，本文在基于h 2 6 4 立体视频编码方案 的基础上，提出了加权联合预测的帧问预测模式，通过在视差预测、运动预测之间合理的分 配权重系数来优化预测效果。 其次，分析了各种信道纠错编码的优缺点针对立体视频通信强纠错能力、大吞吐量的 要求，采用了非规月j l d p c 码进行信道编码，并构造了一种高性能、低差错平底且具有线性 编码复杂度的非规则l d p c 码s 设计了基于改进e l r a ( i e l r a ) 形式的全局矩阵m ，通过对 进行矩阵置换，并选择合适的循环系数生成l d p c 码校验矩阵日。 然后，对l d p c 码的译码算法进行了研究，针对b p 译码算法在每次迭代过程中都要更新 所有的节点，存在译码效率低下的问题，提出了改进的b p 译码算法：采用每个比特节点的伪 后验概率差s ( 0 和每个比特的非法校验数c ，( ，) 来表征节点的可靠度，在下次迭代中，只更 新可靠度低的节点。 最后，提出了基于非规mj i l d p c 码不等错误保护的立体视频通信策略，根据对重建视频 图像的重要性不同，将立体视频码流进行分割，对不同重要级别的码流采用不同纠错能力的 浙江大学博士学位论文 码字进行不等错误保护。根据非规厕j l d p c 码高度数的比特节点比低度数比特节点具有更强 纠错能力的特点，提出了采用同一个非规卿j l d p c 码不同度数的比特节点和构造两种码率不 同的非规刃j l d p c 码两种不等错误保护实现形式。 实验结果和仿真数据证明：本文提出的基于h 2 6 4 的加权联合帧间预测编码方法提高了 立体视频的编码性能。本文构造的非规则l d p c 码降低了差错平底、改善了误比特性能、提 高了信道编码的纠错能力。本文改进的b p 算法，在性能损失较少的情况下( 误码率为1 0 1 时， 信噪比损失约0 2 6 d b ) ，降低了运算量( 在第1 0 次迭代时，运算量降低约6 0 ) ，提高了译 码效率。当信源码率不变时，本文的u e p 方案与e e p 方案相比降低了重要数据的误码率 提高了接收端重建图像的p s n r 值改善了主观视觉效果。 关键诃：立体视频通信、加权联合预测、l d p c 码、b p 译码、不等错误保护、联合信源信道 编码 1 i a b s t r a c t a b s t r a c t s t e r e ov i d e o ，w h i c hc a l lp r o v i d ev i e w e r sw i t ht h eb e n e f i t so fa d d e dr e a l i s ma n di m p r o v e d s c e n eu n d e r s t a n d i n g , w i l lb ew i d e l yu s e di nt h ef i e l d so f3 dt v , i m m e r s i v ev i d e oc o n f e r e n c e ， t e l e c o m m u n i c a t i o n , r e m o t ec o n t r o le r e s t e r e ov i d e oc o m m u n i c a t i o ni so n eo ft h em a i nt a s k si na s t e r e ov i d e oa p p l i c a t i o ns y s t e m h o w e v e r , t h el a r g ea m o u n to f s t e r e ov i d e od a t aa n dt h ee r r o rp r o n e c h a r a c t e r i s t i co f l i m i tb a n d w i d t hc h a n n e l 锄t w om a j o ro b s t a c l e sf o ras t e r e ov i d e oc o m m u n i c a t i o n s y s t e m t h i st h e s i sc o n c e r n so nt h ep r o b l e m so f s t e r e ov i d e oc o m m u n i c a t i o ni nt h el i m i tb a n d w i d t h a d d i t i v ew h i t eg a n s s i a nn o i s e ( a w g n ) c h a n n e l s i no r d e rt oi n c r e a s et h ec o m m u n i c a t i o n p e r f o r m a n c e ，h e i g h t e n t h er e c o n s t r u c t i o ne f f e c to fs t e r e ov i d e oa tt h er e c e i v e r s o m ek e y t e c h n o l o g yw a su s e d f o rs o u r c ee n c o d i n g , aw e i g h t a dj o i n ti n t e rp r e d i c t i o nm o d eb a s e do nh 2 6 4w a sp r o p o s e d f o rc h a n n e le n c o d i n g , ac l a s so fs t r u c t u r e di r r e g u l a rl o w - d e n s i t yp a r i t y - c h e c k ( l d p c ) c o d ew i t h h i g hp e r f o r m a n c ea n dl o wc o m p l e x i t yw a sp u tf o r w a r d a n da l li m p r o v e db pd e c o d i n ga l g o r i t h m w a sg i v e n b a s e do ot h ec h a r a c t e r i s t i co f s t e r e ov i d e os u e a m ，u n e q u a le f f o rp r o t e c t i o n ( u e p ) b a s e d o nj o i n ts o u r c e - c h a n n e lc o d i n g ( j s c c ) w a su s e da c c o r d i n gt ot h ei m p o r t a n c et or e c o n s t r u c t i o n s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mi m p r o v e st h es t e r e ov i d e oc o d i n gp e r f o r m a n c e ， e n h a n c e st h ee r r o rc o r r e c t i o na b i l i t yo fc h a n n e lc o d i n g , a n dd e c r e a s e st h ec o m p l e x i t yo fb p d e c o d i n g , i n c r e a s e st h ep s n ra n ds u b j e c t i v ee f f e c to f t h er e c o n s t r u c t e di m a g e f i r s t l y , a nh 2 6 4b a s e ds t e r e ov i d e oc o d i n gs c h e m ew a sp u tf o r w a r d i tu s e st h ea d v a n c e d p r e d i c t i v em e t h o do fh 2 6 4t oe l i m i n a t et h es p a t i a l ，t e m p o r a la n di n t e r - v i e wc o - r e l a t i o ni ns t e r e o v i d e o v a r i a b l es i z eb l o c ki s e m p l o y e d i n d i s p a r i t yp r e d i c t i o n a n dw a s i n t e g r a t e d w i t h m u l t i p r e d i c t i o nm o d eo fh 2 6 4p r o t o c 0 1 t oi m p r o v ec o d i n gp e r f o r m a n c e 。a c c o r d i n gt o t h e c h a r a c t e r i s t i co f m o t i o np r e d i c t i o na n dd i s p a r i t yp r e d i c t i o n ，aw e i g h t e dj o i n tp r e d i c t i o nm o d ew a s p r o p o s e d i tn o to n l yc o m p a r e st h em o t i o np r e d i c t i o na n dd i s p a r i t yp r e d i c t i o n , b u ta l s oc o m p a r e s t h em o t i o np r e d i c t i o n ，d i s p a r i t yp r e d i c t i o na n dt h ew e i g h t e dj o i n tp r e d i c t i o n t h e n , t h ep r e d i c t i o n m o d ew h i c hl e a d st h el e a s tp r e d i c t i o nd i s t o r t i o ni sc h o s e na si n t e rp r e d i c t i o nm o d e e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e dc o d i n gs c h e m ei m p r o v e st h es t e r e ov i d e oc o d i n gp e r f o r m a n c e s e c o n d l y t od e a lw i t ht h ee r r o rp r o n ec h a r a c t e r i s t i co fc o d e dv i d e os t r e a mi nu n r e l i a b l e c h a n n e l s ，ac l a s so fs t r u c t u r e di r r e g u l a rl d p cc o d e sw i t hh i g hp e r f o r m a n c ea n dl o wc o m p l e x i t y w a sp r o p o s e di nt h i sp a p e r f i r s t , ag l o b a lm a t r i xmw i t hat r i a n g u l a rp l u sd u a l - d i a g o n a lf o r mb a s e d o ni m p r o v e de x t e n d e di r r e g u l a rr e p e a t - a c c u m u l a t e ( i e i r a ) m e t h o dw a sd e s i g n e d t h e ne a c h 1 i 1 1 i i i 浙江大学博士学位论文 t h eg l o b a lm a t r i xmw a sr e p l a c e db yai d e n t i t yp e r m u t a t i o nm a t r i xa n de a c h 0 w a sr e p l a c e db ya n u l lm a t r i xt og e n e r a mt h ep a r i t yc h e c km a t r i xh t e s tr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a n a c h i e v ev e r yg o o dp e r f o r m a n c e ，e x t r e m e l yl o we l l o rf l o o rw i t hl i n e a re n c o d i n gc o m p l e x i t yb y s e l e c t i n gp r o p e rc y c l i cs h mc o e f f i c i e n to f e a c hi d e n t i t yp e r m u t a t i o nm a t r i x t h e n ，i no r d e rt os o l v et h eh i g hc o m p l e x i 劬l o wd e c o d i n ge f f c i e n c yp r o b l e mo fb e l i e f p r o p a g a t i o n ( b p ) d e c o d i n ga l g o r i t h m ，al o wc o m p l e x i t yb pd e c o d i n gs c h e m ew a sp u tf o r w a r d i n t h ep r o p o s e dd e c o d i n gs c h e m e ，ad i f f e r e n t i a t er u l eb a s e d0 1 1l a w l e s sc h e c kn u m b e ra n dp s e u d o p o s t e r i o rp r o b a b i l i t yw a su s e dt oe v a l u a t ee v e r yb i t sr e l i a b i l i t yb e f o r ee a c hs t e po fi t e r a t i o n t h e b i t sw i t hh i g hr e l i a b i l i t yn e e dn o tt ob eu p d a t e di nt h en e x ti t e r a t i o n s i m u l a t i o nr e s u l t ss h o wt h a t t h ep r o p o s e db pd e c o d i n ga l g o r i t h mc a l lr e d u c et h ec o m p u t a t i o n a ll o a d ，i n c r e a s et h ed e c o d i n g e f f i c i e n c yw i t ho n l yal i t t l ep e r f o r m a n c ed e c r e a s e a tl a s t , i no r d e rt oi m p r o v ee r r o rr e s i l i e n ta b i l i t ya n dt r a n s m i s s i o ne f f i c i e n c yf o rs t e r e ov i d e o c o m m u n i c a t i o no v e rl i m i tb a n d w i d t he r r o rp r o n ec h a n n e l s ，aj s c cs c h e m eb a s e do nu e pw a s p u t f o r w a r d a c c o r d i n gt ot h ec h a r a c t e r i s t i co f c o d e ds t e r e ov i d e o t h es t e r e ov i d e os t r e a mw a sd i v i d e d i n t ot w op a r t sw i t hd i f f e r e n tl e v e lo fs i g n i f i c a n c e t h e n , d i f f e r e n tl e v e lp r o t e c t i o nw a su s e dt o d i f f e r e n ts i g n i f i c a n tv i d e os t r e a m h i g hd e g r e eb i tn o d e sw i t h i na ni r r e g u l a rl d p cc o d eh a v em o r e p o w e r f u le r r o r - c o r r e c t i n ga b i l i t yt h a nt h a to f l o wd e g r e eo n e sa n dc a np r o v i d eu e es oi nt h i sp a p e r t w ok i n d so fu e ps c h e m ew e r ep u tf o r w a r d ，o n eu s e dt h ed i f f e r e n tc o r r e c t i o na b i l i t yo fd i f f e r e n t d e g r e eb i tn o d e si no n el d p cc o d e ，t h eo t h e ru s e di r r e g u l a rl d p cc o d ew i t hd i f f e r e n tr a t e s s i m u l a t i o nr e s u l bs h o wt h a tt h ep r o p o s e dj s c cs c h e m ei m p r o v e st h er e c o n s t r u c t e di m a g ep s n r a n ds u b j e c t i v ev i s u a lq u a l i t y k e y w o r d s ：s t e r e ov i d e oc o m m u n i c a t i o n , w e i g h t e dj o i n tp r e d i c t i o n , l d p cc o d e ，b pd e c o d e ，u e r j s c c i v 插图清单 插图清单 图1 】a i t e s t 立体视频通信系统框图 图1 2m e r l 的立体视频通信系统 图1 3 采用韩国e t r i 研究所立体视频系统拍摄的世界杯视频 图l - 4 立体视频通信系统结构图 图2 1 视差与深度的关系图 图2 2 双目平行立体摄像示意图 图2 3 双目汇聚立体摄像系统示意图 图2 4 视频压缩标准的发展情况 图2 5 基于h 2 6 4 的立体视频编解码系统框图 图2 - 6 两路立体视频编码帧结构图 图2 7由日本k d d i 实验室提供的立体视频序列o b j e c t l 图2 8 o b j e c t s l 序列的r - d 曲线 图2 9b a l l e t s 序列的r d 曲线 图2 1 0o b j e c t s l 序列，i 帧，模式选择统计 图2 - 1 1 o b j e c t s i 序列，p 帧，模式选择统计 图2 1 2 立体视频编码中，对右路视频进行预测的参考帧以及预测方向 图2 1 3 基于运动预测和视差预测的立体视频帧间预测方案 图2 1 4 联合运动预测和视差预测的立体视频帧间预测方案 图2 1 5 加权联合预测的立体视频帧间预测方案 图2 1 6 立体视频编码不同帧间预测方案的r d 曲线比较 图2 1 7 o j e c t s l 序列，不同编码方案下模式选择统计 图3 一l ( 1 0 ，2 ，4 ) l d p c 码的奇偶检验矩阵及其双向图 图3 2 通过对h 矩阵作高斯消去后的矩阵形式 图3 - 3 校验矩阵做列重排后获得的近似下三角阵h 图3 4 基于e l k a 校验矩阵的编码器的结构， 图3 5 不同度数的节点随迭代次数的收敛情况 图3 - 6 本文构造的l d p c 码与基于s f t 置换矩阵的l d p c 码性能比较 图3 7 本文构造的l d p c 码与基于三角阵置换矩阵的l d p c 码性能比较 图3 - 8 本文构造的l d p c 码与基于e l r a 置换矩阵的l d p c 码性能比较 图4 - l l d p c 码的校验矩阵及其对应的双向图， 图4 2 比特节点k 和校验节点的局部双向图 图4 3 传统b p 算法每次迭代过程中纠正错误比特的百分比 图4 4 传统b p 算法每次迭代的计算量 3 3 3 4 ”h b博侈m筋笛拍勰勰”弛弘站柏“邪鲋钳铂乱卵记 浙江大学博士学位论文 图4 5 改进b p 算法每次迭代计算量7 3 图4 - 6 传统b p 译码算法的译码效率。，7 3 图4 - 7 改进b p 译码算法的译码效率( 门限u ( i ) 卸，s ( 1 ) 卸4 ) 7 4 图4 8 改进b p 译码算法的译码效率( 门限u ( 1 户0 ，s 0 ) = 0 3 ) 7 4 图4 9 不同b p 译码算法下误码率性能比较7 5 图5 - 1 级连式联合信源信道编码结构图8 0 图5 2 级连式联合信源信道编码的原理8 1 图5 3 一体式联合信源信道编码结构图8 3 图5 4 解码器的宏块状态表，8 4 图5 - 5 基于象素加权和的空间插值，8 5 图5 - 6 选择预测运动矢量8 6 图5 - 7 宏块的内外边界象素8 6 图5 8 立体视频码流不等错误保护的实现框图8 7 图5 - 9 立体视频码流数据分割框图8 9 图5 - 1 0 信息矢量排列方法9 1 图5 一1 1 实验中各种码字在a w g n 信道上的误比特性能比较9 4 图5 - 1 2 不同传输方案中，主视频重建图像的p s n r 曲线图9 4 图5 - 1 3 不同传输方案中，辅助视频重建图像的p s n r 曲线图9 0 图5 1 4 各种不同的保护策略接收端重建图像视觉效果9 6 图5 - 1 5 各种不同码字在a w g n 信道上的性能比较9 9 图5 一1 6 不同传输方案中，主视频重建图像的p s n r 曲线图，1 0 0 图5 1 7 不同传输方案中，辅助视频重建图像的p s n r 曲线图1 0 0 图5 1 8 各种不同编码策略接收端重建图像视觉效果，1 0 1 图5 1 9 不同编码方案时，主视频重建图像的p s n l 曲线图1 0 2 图5 - 2 0 不同编码方案时，辅助视频重建图像的p s n r 曲线图。1 0 3 图a 1f l a m e n c o l 序列1 0 8 图a 2o b j e c t s l 序列1 0 8 图a - 3r a c e l 序列1 0 9 图a 4g o l f 序列1 0 9 图a 一5b a l l e t s 序列1 l o 图a - 6b r e a k d a n c e r 序列1 1 0 图b 1 直接编解码( 未经信道传输的) 1 1 1 图b 2 基于l d p c ir e l , 方案1 1 1 图b 一3 基于l d p c e e p 方案1 1 2 图b - 4 基于r s u e p 方案1 1 2 v i i i 表格清单 表格清单 表2 1 基于h 2 6 4 的立体视频编码器的参数 表2 2 采用立体视频编码方案，相对于基于h ，2 6 4 的独立编码方案r - d 值改进 表2 3 采用加权联合预测编码方案后，r d 值改进比较 表3 1本文中各种非规j j l d p c 码的最小汉明距离比较 表4 - 1 ( ，j ，2 j ) l d p c 码b p 译码算法所需计算量 表5 - lh 2 6 4 语法元素及其数据分割 表5 2 立体视频编码器参数 表5 - 3l d p c 码不同度的比特数目 表5 - 4 实验中所采用保护策略 表5 - 5 实验中各种信道编码码字的参数 表5 - 6 实验中各种编码方案以及采用的码率 筋 卵 罟宕s!鸲蚰蚰 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期： 年月日 学位论文版权使用授权书 本学位论文作者完全了解堑姿盘堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝姿盘茎可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 导师签名 签字日期：年月日 签字日期：年月日 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 第一章绪论 1 1 论文研究背景 第一章绪论 随着科技的进步和数字时代的到来，视频技术发展迅速。基于传统二维平面视频的视频 会议、可视电话、视频广播、高清晰数字电视等已经得到了广泛的应用。伴随人们对数字视 频的要求日益提高，目前的二维平面视频在表征场景深度信息方面的局限性已不能满足人们 对场景真实和自然再现的需求 k o n r a d ，2 0 0 1 ；s c h r e e 9 2 0 0 5 。2 0 世纪9 0 年代后期立体显示技 术的突破，使立体视频技术成为新的研究热点和发展方向 l i ，2 0 0 2 ；l i a o ，2 0 0 2 ；a l j o s c h a , 2 0 0 4 。 立体视频技术可应用于立体电视、视频会议、远程控制、远程医疗等领域 m o t o k i 1 9 9 5 ； 韩，2 0 0 3 ；k o n r a d ，2 0 0 1 ；h a d ，2 0 0 6 。立体视频通信系统是立体视频应用的具体实现形式，完整 的立体视频通信系统包括立体视频的采集、压缩编码、传输以及立体显示等方面 a n t h o n y ， 2 0 0 4 ；l e v e n t 。2 0 0 6 1 。由于近年来立体视频采集技术的成熟和显示技术的突破，立体视频的压 缩编码、传输技术成为制约立体视频通信发展的关键因素 g a g n o n 。2 0 0 1 。 立体视频数据量的急剧增加，使视频数据的存贮和通信变得十分困难，必须采取高效的 视频压缩编码技术。在过去的几十年间，很多学者致力于立体视频压缩编码领域的研究，希 望得到高效的压缩编码方法 s e t h u r a m a n ，1 9 9 6 ；w o o n t a c l 【，1 9 9 9 ；i s o 。2 0 0 4 ；k i m a t a , 2 0 0 4 a ；n g a n , 2 0 0 0 ；陈, 2 0 0 6 1 。国际视频标准组织m p e g 成立了3 d 音视频的特别研究小组，讨论立体视频 的编码要求及技术实现方案，以期建立统一的立体视频压缩标准 i s o 。2 0 0 5 a ；i s o ，2 0 0 5 b 。随 着最新视频编码标准h 2 6 4 的推出研究者纷纷开展了基于h 2 6 4 立体视频编码的研究 工作 l i ，2 0 0 3 ；g u o 。2 0 0 4 ；u l r i c h , 2 0 0 5 ；z h a n g , 2 0 0 6 。 在实际信道上，特别是带宽受限的无线信道上传输数字信号时，由于信道衰落、多径和 噪声等的影响，接收端接收的信号不可避免地产生错误。立体视频数据是经过高度压缩的数 据流，对错误非常敏感，并且一旦产生误码，错误将会扩散，导致解码后的视频质量严重下 降，甚至出现不可解码的情况。因此，需要采用高效的信道纠错编码技术和有效的传输控制 策略 g a g n o n ，2 0 0 1 1 。随着近年来对具有接近香农限的前向纠错编码( f e c 卜低密度奇偶校 验码( 1 0 wd e n s i t yp a r i t yc h e c k , l o p c ) 研究的深入，基于l d p c 码的视频通信受到了广泛关注 王，2 0 0 6 a ；l i u 。2 0 0 6 ；王, 2 0 0 6 b 】。 因此，本文将立体视频在有限带宽a w g n 信道上的通信作为主要研究对象，从基于 h 2 6 4 的立体视频压缩编码、基于l d p c 码的信道纠错编码和基于不等错误保护( u n e q u a le r r o r p r o t e c t i o n ，u e p ) i 勺联合信源信道编码( j o i n ts o u r c o c h a n n e lc o d i n g ，j s c c ) - - 方面进行了深入探 浙江大学博士学位论文 讨。 1 2 立体视频通信的研究现状 国外对立体视频通信系统的研究始于2 0 世纪9 0 年代初，经过十几年发展，已经在立体 视频采集、压缩编码与传输以及立体显示技术等方面取得了显著的成果。 德国、法国等欧洲国家从1 9 9 2 年开始联合开展的d i s t i m a 项目，在m p e g 2 编码标 准的基础上，实现了一个集采集、显示、压缩和传输于一体的完整立体视频通信系统，并应 用于i o m b p s 的a t m 网络 d i s t i m a ，1 9 9 4 。加拿大的g a g n o n 【g a g n o n 。2 0 0 1 等人研究了基于 m p e g 2 的立体视频压缩编码算法，并在此基础上实现了标清的立体视频在1 5 5 m b p s 高速 a t m 网络和广播信道上的传输。欧洲的a 1 v r e s t 计划提出了一种新颖的立体视频通信解决 方案，其中一路传输带有色彩信息的m p e g - 2 视频图像，另外一路传输深度信息，通过基于 深度信息的图像合成技术，在接收端产生立体效果 f e h n ，2 0 0 2 】，如图1 1 所示。 】9 9 8 年日本通过在4 5 m b p s 的卫星链路上分别编码传输两路高清的视频图像，对长野 冬奥会实现了立体视频直播 j a v i d i ，2 0 0 1 】。三菱实验室( m i t s u b i s h ie l e c t r i c r e s e a r c h l a b o r a t o r y 。 m e r l ) 提出了多路立体视频通信的解决方案 a n t h o n y ，2 0 0 4 。该方案对1 6 路视频信号分别 采用m p e g - 2 标准进行实时编码，编码后的视频流通过高速的以太网传输，如图1 - 2 ；接收 端的服务器将接收到的视频流解码后送入自动3 d 显示系统，用户不需要通过头部跟踪或配 戴专用眼镜就能观看立体视频。韩国的e t r i 研究所对立体视频的采集、压缩编码和传输等 技术进行了深入研究，研制了基于m p e g 2 的高清立体电视系统，在4 5 m b p s 的地面广播网 络和1 5 5 m b p s 的卫星网络上成功实现了2 0 0 2 年韩日足球世界杯的立体视频直播 h u r ，2 0 0 4 】， 图l - 3 所示为该研究所拍摄的世界杯比赛的立体视频图像对。欧洲v i t a 项目 h h i ，2 0 0 6 推出 了新的立体视频通信方案，使观看者可以享受大范吊的现场感觉和任意视角的高质量视觉效 果。 以上立体视频通信系统的不足之处在于：在信源编码方面，采用基于m p e g - 2 标准的立 体视频编码方案对两路视频进行压缩编码，或者采用将每路视频分别压缩编码的方法，编码 效率低；在信道传输方面只考虑了视频流在基于分组的宽带有线网络和高速卫星信道上的 传输，对需要更强纠错编码和控制策略的有限带宽信道涉及较少。针对上述问题，y i p 【y i p , 2 0 0 5 等研究了联合信源信道编码的h ，2 6 4 兼容立体视频码流在有限带宽a w g n 信道上的传 输性能，但其未对信源压缩编码进行深入的研究，并且所采用的信道编码纠错能力有限。 国内对立体视频通信系统的研究尚处于起步阶段，目前的研究成果主要集中于立体视频 压缩编码的理论方面，对信道编码和传输控制涉及较少。 2 第一章绪论 秽4 镶 3 0 v 】d 蝴 c 州l n g 图1 1a 1 1 e s t 立体视频通信系统框图 摄像机处理压缩传输( 电视信遵、互联同等) 解码控制显示( 幼或者) 视飙采集 视频编码侍输 显示 图i - 2m e r l 的立体视频通信系统 图1 - 3 采用韩国e t r i 研究所立体视频系统拍摄的世界杯视频 一个完整的立体视频通信系统如图l _ 4 所示，系统主要由立体视频采集、立体视频压缩 编码与传输、立体显示三部分组成【g a g n o n ，2 0 0 1 。其中，立体视频采集部分由同步的左右两 路摄像机组成，完成对同一场景的同步视频采集；立体视频压缩编码与传输部分包括立体视 频的压缩，和对编码后视频流的纠错编码与传输控制以实现立体视频在信道上的可靠传输； 3 浙江大学博士学位论文 立体显示部分完成对解码后码流的自动立体显示。 一一一一一i 广一一一一一一一i 广一一一一一一一 il 春 v 霪 同 li 磊；j i 弘 步 li 控 一 制 ii j+r ii il ll 。 立体视频采集立体视频压缩编码与传输立体显示 图1 - 4 立体视频通信系统结构图 随着立体视频采集和立体显示技术的逐渐成熬，立体视频压缩编码技术，信道纠错编泽 码技术和传输控制策略成为制约立体视频通信系统的关键因素 w a n g 1 9 9 s ；s t o c k h a m m e r , 2 0 0 3 ；周2 0 0 6 1 。 1 2 1 立体视频压缩编码技术 立体视频带来了数据量的剧增，为了解决数据量和有限带宽之间的矛盾，必须对立体视 频进行压缩以适应传输和存储的需求 z h u ，2 0 0 2 。 考虑到立体视频不同通道之间的相关性，l u k a c sf l u k a c s ，1 9 8 6 提出了在相邻通道间使用 视差预测补偿技术提高立体视频压缩效率的方法。根据这一原理大量卓有成效的算法和方 案相继产生 s e t h u r a m a n ，1 9 9 6 ；w o o n m c k ，1 9 9 9 ；w o o n t a c k , 1 9 9 9 ；m i c h a e l ，1 9 9 2 ；p u r l ，1 9 9 7 ；陈， 2 0 0 6 1 ，根据视差和运动预测方法的不同，这些算法可以归纳为基于“块”的编码方法和基于 “对象”的编码方法两大类。 m p e g - 2 多视点配置( m u l t i v i e wp r o f i l e ) 是一种典型的基于块的立体视频编码方法【i s o 1 9 9 6 ；s o n g , 1 9 9 6 1 。s e t h u r a m a n s e t h u m m a n ，1 9 9 6 首先将可交块尺寸预测方法引入到视差预测 中，提出了基于视差分割的编码方法。w o o n t a c k w o o n t a c k , 1 9 9 9 等人在可变块尺寸的视差 预测中采用了基于马尔可夫随机场模型( m a r k o vr a n d o mf i e l d ，m r f ) 的平滑约束，提高了视差 场的一致性，并且使用了率失真优化的方法来选择最佳的视差预测块尺寸。安【安，2 0 0 2 提出 了基于分层马尔可夫随机场( m r f ) 模型的视差估计方法。s e t h u r a m a n s e t h u r a m a n ，1 9 9 4 ；p u r i ， 1 9 9 7 ；y a n g 2 0 0 4 t a 等提出了混合分辨率的编码方法，只对两路视频中的主视频进行高质量的 编码。为了进一步降低立体视频中辅助码流的码率，j i a n g j i a n