（通信与信息系统专业论文）立体信息可靠传输的研究与实现.pdf

摘要 立体信息技术的研究已经成为国际热点。三维立体信息必将取代二维信息， 成为电视、电脑以及图画所负载的主流内容。其将会给人们带来震撼的三维视觉 体验，有着令人羡慕的发展前景。立体信息技术的研究涉及到采集制作、编码、 传输以及显示等方面。立体信息的研究有着很大的实用价值。 网络带宽的增加及传输速率的提高为立体信息的网络应用提供了良好的平 台。然而在因特网环境中，由于信道的非理想性，信息传输将不可避免地出现随 机误码以及突发误码。而误码的出现将会导致立体信息的再现产生失真。另外立 体信息由多个视点信息合成的特点决定了立体信息传输的特殊性八路视点 信息应同时传输。本文中将主要研究立体信息的可靠传输方案。 本文针对立体信息的特殊性，以v c + + 为开发工具设计软件界面，开发了基于 w i n d o w s 平台的可视化客户机服务器结构，实现了网络传输中服务器端与客户 端软件的基本功能。同时针对网络传输中可能出现的误码，经过理论分析以及实 验，选取纠错码与交织码相结合来保证立体信息传输的可靠性。软件设计中，每 一路视点信息都将经过纠错以及交织编码后从服务器的不同端口单独传输到达 客户机。客户机端需要对接收到的数据进行纠错解码以及解交织。论文中实现的 客户机服务器结构采用八线程传输。这样八路视点信息可以同时传输到达客户 机。为客户机的后续研究工作提供了方便。经过一定时间的测试，论文中所实现 的可靠性传输方案运行情况良好，达到了预期效果。 关键词：立体信息可靠传输纠错交织客户机服务器 a b s t r a c t s t u d yo ft h et e c h n o l o g yo ft h r e e d i m e n s i o n a l i n f o r m a t i o nh a sb e c o m ea n i n t e r n a t i o n a lh o ts p o t t h r e e d i m e n s i o n a li n f o r m a t i o nw i l lb et h em a i nc o n t e x to n t v s ，c o m p u t e r sa n dp i c t u r e s i n s t e a do ft w o d i m e n s i o n a li n f 0 r m a t i o n p e o p l ew i l l h a v eaw o n d c r 缸it h f e e _ d i m e n s i o n a lv i 鲫a l e x p e r i e n c e t h r e e - d i m e n s i o n a l i n f o r m a t i o nh a sa ne n v i a b l ep r o s p e c t t h et e c h n o i o g yo ft h r e e - d i m 锄s i o n a i i n f o r m a t i o n 佗l a t e st om a n ya r 髓s ，s u c ha sa c q u i s i t i o n ，e n c o d i n g ，t r a n s m i s s i o na n d d i s p l a y t h e r ei sa 伊e a tp 豫c t i c a lv a l u e i ns t u d ya b o u tt h r e e d i m e n s i o n a l i n f 0 m a t i o n t h ei n c r s e si nt h eb a n d w i d t ho fn e t w o r ka n di nt h e 豫t eo f 昀n s m i s s i o np r o v i d e 卸e x c e 玎tp l a t f - o 咖f o rt h ew e ba p p l i c a t i o no ft 1 1 r e e d i m e n s i o n a li n f 0 m a t i o n h o w e v e r ，i nt h ei n t e r n e t ，d u et ot h en o n - i d e a lc h a n n e l ，e r r o rw i l li n e v i t a b l yo c c u ri n i n f o r m a t i t r a n s m i s s i o n e r r o r s nr e s u i ti nt h ed i s t o r t i o ni nm er 铋p p 既r 锄c eo f t t l r e e _ d i m e n s i o n a li n f 0 m a t i o n a n dt h es p e c i a ln a t u 佗t h a tt h et h r e e d i m e n s i o n a i i n f o r m a t i o ni sp r o d u c c dt h r o u g hs y n t h e s i z i n gm u l t i - v i e wi n f 0 r m a t i o nd e t e 邝a i n e st h e p a n i c u l a r i t yt h a te i g h t w a yi n f o r m a t i o ns h o u i db e 们n s m i t t e ds i m u l t a n e o u s l y t h e m a i n他s r c hi n t h i s p a p e r i st h er e i i a b l e仃a n s m i s s i o no ft h r e e d i m e n s i o n a l i n f - o r m a t i a c c o r d i n gt 0t h ep a n i c u l a r i t yo ft h r d i m e n s i o n a ii n f o m a t i o n ，b a s eo nt h e v c + + ，t h i sp a p e rd e v e i o p e dt h ev i s u a lc ss t 】r u c t u r eb a s e do nw i n d o w sp i a t f o r m ，a n d r e a i i z o dt h eb a s i c 如n c t i o no f s e r v e ra n dc l i e n t a tt h e 姐m et i m e ，d u et ot h ep o s s i b i l i t y o fe 1 1 r o ri nn e t w o r kt m n s m i s s i o n ，t h ec o m b i n a t i o no fe r r o r - c o l l r e c t i n g a n d i n t e r i 朗v i n gi su s e d t oe n s u r et h er e i i a b i i i t yo fi n f o r m a t i o nt r a n s m i s s i o na r e r t h e o r e t i c a la n a l y s i sa n de x p e r i m e n t i nt h ed e s i g no fs o r w a r e ，船c hv i e w p o i n to f i n f o r m a t i o nw i l lb es e p a r a t e i y 仃a n s m i t t e d 仔o ms e r v e rt oc i i e n tt h r o u g hd if r e r 锄tp o r t s a f t e r b e i n ge n c o d c d 锄di n t e r l v e d a r e rr c h i n gc l i t ，t h ed a t am u s tb e d e i n t e r l e a v c da n dd e c o d c db yt h ec l i e n t t h ec ss t r u c t u r ei m p l e m e n t e di nt h i sp a p c r s e r v e r st h en e x ts t u d ya b o u tt h r e e - d i m e n s i o n a li n f o r m a t i o ni nc i i e n t a r e rap e r i o do f t e s t i n g ，t h es o f t w a r er u n sw e l la n dh a sag o o dp e r f o m a n c e a l ld e s i r e de f 话c t sh a v e b e e na c c o m p l i s h e d k e yw o r d s ：t h r d i m e n s i o n a li n f o r m a t i o n r s ，i n t e r l a c ec o d e c s ，r e l i a b l e t i 翟n s m i s s i o n 第一章绪论 第一章绪论 1 1 立体信息技术研究的意义与背景 长期以来，人们热衷于观看电视，或者坐在电脑前观看i p t 、，享受着二维图 像或者视频带来的信息与快乐。这些发明真正实现了人类千里眼顺风耳的梦想。 然而，即使人眼从不同的角度观看显示器，同一时刻看到的总是同一幅图像。 而在现实世界中，人眼从不同的角度观看同一个物体，获得的图像是不一样的。 人类的追求是无止境的，已经不满足于观看单一视点的二维信息，而是努力实现 着三维信息的问世与应用。近些年来，国际视觉与信息处理领域已经把立体技术 作为一个研究热点。 人们可以从立体信息中享受到高质量、逼真、超现实的视觉效果1 1 1 ，感受立 体视觉的强大冲击力，从而体验到前所未有的真实感。立体影片阿凡达在 2 0 0 9 年底热映，其票房足以说明这部立体影片创造了电影史上一个崭新的里程 碑：日本在2 0 1 0 年初成功透过w i n d s 卫星现场直播立体高清心脏外科手术；英 国天空体育频道在2 0 1 0 年2 月首次将英超球赛的立体直播搬上屏幕，实现了体 育赛事的立体技术直播。立体信息技术热潮已席卷全球，其初步应用已经响亮地 宣告了属于立体信息的感官时代已经到来。 人们依赖自己的一双眼睛获取对自然世界的直观感受。通过双眼，人类看到 的是自然界中真实的三维景物，而不是只有一个视点的二维图像。人类期望在显 示器前能够获得同样的三维感知，期望能够得到身临其境的感受。因此人们一直 希望着能够使每天观看的显示器可以帮助人们再现这种三维景物的立体感。现在 立体电视，又称为三维电视( 3 d t v ) ，能够帮助人们实现这个愿望。场景中多个 视点的视频信息能够在立体电视中同时显示，只要人的左右眼能够接受有一对具 有立体视差的视点，人们就能感受到场景中几乎完全真实的立体感。 真实的三维世界呈现给人们的不仅是物体的宽度和高度，还能使人感知它的 深度，使人能判断出观看者与物体之间或物体之间的距离。人们之所以能够产生 这种三维视觉，其主要原因之一就是：人们用双眼同时观看物体，而两只眼睛视 轴间距约为6 5 毫米( 2 】，左、有眼在观察物体时。所观看的角度并彳i 相同，因此 所看到的视觉图像之间有差异。两幅图像的差异经过大脑的综合，人们就产生了 立体感。 在可见的未来，立体视频将会在工作、生活的各个方面展示小强大的魅力。 囊? 一 、4 第一章绪论 可以预见到立体视频将会在展览、娱乐、广告、家庭教育、电视购物等方面得到 广泛的应用。采用立体视频来展示广告、展示商品，其带给观众的强烈视觉冲击 效果势必将广告的影响力大大提高。在立体视频的帮助下，人们坐在家里观看文 艺演出和体育比赛，将会有更加真切的身临其境的感觉。未来，用户将可以参与 三维互动游戏。立体电视可以将城市规划、楼板展示、内部装修等设计真实的展 现给用户。 立体信息在未来有着巨大的应用前景【3 】。其所涉及到的视频源采集、编码、 传输以及显示等技术都有着极大的研究价值。 1 2 立体信息应用平台的发展 w h e a l s t o n e 发明的立体镜( 图1 1 ) 巧妙地利用了平面镜反射，从而使人眼 获得了立体感。这种立体镜将左眼对应的视点图像通过平面镜反射传送给左眼， 将右眼对应的视点图像也同样通过另一侧的平面镜反射传送给右眼。传送给左眼 的图像和传送给右眼的图像其实是反应同一场景图像对，这对图像之间具有人眼 标准视差。因此，左右眼接收到图像对的人们便产生了立体感。 人类获得立体感的关键就是左眼接收到左视点图像，右眼接收到右视点图 像。偏振光眼镜、l c d ( l i q u i dc r y s t a ld i s p l a y ) 开关眼镜、极化眼镜、红蓝眼 镜以及头盔显示器( h m d ，h dm o u n t e dd i s p l a y ) 都是为了把左视点图像与右 视点图像区分开【4 1 。使左视点图像进入左眼，右视点图像进入右眼，这样人们就 可以产生立体感。采用这些辅助工具来获得立体感的方法实现成本比较低且易于 实现。但是佩戴眼镜观看立体信息的方式并不方便。 左 图 像 图1 1w h 酬s t o n e 发明的立体镜 右 图 像 第一一章绪论 空间复用自由立体显示技术中，由于要在同一屏幕上同时显示具有双眼视差 的一对图像，这样就会导致将原来屏幕的水平分辨率降低为一半。空间复用自由 立体显示技术中包括透镜柱面和视差栅栏这两种方式。现对这两种方式进行简要 的介绍。 将在l c d 显示器前面贴上特制的透镜或栅栏【5 】【6 1 ，也是一种区分左右视点图 像的方法。图1 _ 2 中，视差栅栏安装在显示器前方。由于其阻挡作用，任何一只 眼睛都无法看到栅栏后屏幕的全部图像。人站在距离屏幕有一定距离的位置上， 左眼只能接收到左视点图像，右眼只能接受到右视点图像。 图l - 2 栅栏立体显示屏。 o 人眼 s h a r p 和n e c 已经把这种视察栅栏集成到了l c d 立体显示器中。这种显示 器支持一键切换2 d 和3 d 显示屏幕。此键可以控制视差栅栏的开启和关闭，当 视差栅栏被关闭时，显示器就处于二维模式，此时人的双眼能透过视差栅看到屏 幕上所有的东西。开启视差栅栏后，显示器就处于三维模式，此时由于视差栅栏 的阻挡作用，左眼只能看到l c d 上标有“l ”的像素，而右眼也只能透过栅栏看 到标有“r ”的像素。这样左右视点图像就通过视察栅栏分别传送到了左右眼中 【l o 】 o 如图l - 3 ，透镜柱面是由一排半圆形柱面透镜组成的( 这些透镜是垂直排列 的) 。每个柱面对光线都可以产生折射这一特性就可以把两幅不同视点的平面图 像折射到左右眼中，进而产生立体视觉。这种显示屏产生的图像丰富真实，因而 适合大屏幕显示。每个透镜的截面在运用精密的成形手段后可以达到微米级，进 而能够支持更高的分辨率。同时，现在可以借助先进的数字处理技术，大大减少 色度亮度干扰。这些技术手段大大增加了采用多透镜技术制造出高清立体电视机 的可能性。 在以上两种显示方式中，显示的只有两个视点图像，采用同定的观看方向 和位置才可以获得立体视觉。一旦人的头部发生移动，眼镜不在固定的方向和位 置，就4 i 能获取立体视觉了。现在有一种方式叫做头部运动跟踪的立体显示可以 3 v 。i - 矿w ；o 第一章绪论 在一定程度上解决上述问题。这种方式采用人眼视线跟踪方法”2 1 ，显示器仅 显示一幅立体图像，尽管观看者的头部位置在一定范围内变化着，但是利用头部 图1 3 透镜柱面立体显示器的原理 跟踪装置调整显示方向，这样就可以使得人眼始终接收着正确的对应视点图像， 从而获得立体视觉。 多视点自由立体显示方式，不仅考虑了双目视差，而且把运动视差也考虑在 内。多视点自由立体显示方式综合了多个视点的组合。多个观看者可以从不同位 置同时欣赏到具有立体画面。同一观看者在显示器前一定范围内移动时，能够一 直欣赏到具有立体画面。但是，视点数的增加会迅速降低显示分辨率。也就是说 可视范围越大，则图像清晰度越低。由于多视点自由立体显示方式综合了多个视 点的组合，这样就导致分辨率严重降低，进而降低了图像的清晰度，这也是多视 点平板显示方式亟待改进的地方。解决这个问题的关键就在于尽量提高显示器的 分辨率。随着科学技术尤其是显示技术的发展，以上问题有望得到更好的解决。 1 9 3 1 年由h i v e s 发明的多投影仪透镜显示器将透镜阵列的背面用散射油漆 涂满。之后把3 9 台投影仪摆在不同角度，继而对准透镜阵列的正面。这样就产 生了多视点立体画面。目前m e r l 是基于多投影仪立体显示技术的设备中最先进 的目前最先进的立体显示系统，它可以实时采集和播放1 6 个视点的视频，分辨 率高达1 0 2 4 7 6 8 f 1 3 1 。 然而上述的这些立体显示器带给人们的视觉体验与真实三维世界带给人们 的立体视觉体验还有着不小的差距。这些显示器提供给人的视点数目十分有限， 并且这些立体信息是离散的( 即当人眼位置从观察一个立体视点信息的位置移动 到另一个观察立体视点信息的位置时，人能够明显感受到立体视频的跳变) 。在 真实三维世界中。人们的双眼可以从任意且连续的视角进行观察。 体积显示器和全息显示技术就能够提供给人以连续的观察视角。下面介绍几 种常见的显示技术。 ，：。；。：! | - 上： ，5 一- - 一- - 一、 4 第一章绪论 扫频体积显示器( s w e p tv o l u m ed i s p l a y s ) 是一种立体显示器【1 4 】，通过把光 束投放到一个快速旋转地显示表面来形成立体画面。首先将立体信息数据从存储 器转移到投影仪上。接着用投影仪把图像光束投射到分光镜上。立体信息图像光 束经分光镜反射后，到达角度为3 6 0 度且以高速旋转的投影表面屏幕上。不同的 角度，对应的视点图像不同。由于视觉暂留效应以及屏幕的高速旋转运动，所以 人眼睛能够接收到完整的立体影像。采用这种球形立体显示器，人眼就可以在垂 直2 7 0 度、水平3 6 0 度的任意角度观看到分辨率较高的图像，这种显示器的分辨 率可达7 6 8 牛7 6 8 牛1 9 8 。但是，该显示器可显示颜色数目与分辨率是一对矛盾。目 前扫频立体显示器在高分辨率下只能呈现8 种颜色，但其在低分辨率下可显示的 颜色数目多于1 0 0 。此外，由于投影屏幕高速旋转运动平面为水平面，这个系统 对于支撑面的水平程度要求十分之高。 多液晶平面立体显示器的原理与背投式显示器十分相同，可以算是一种立体 背投式显示器1 1 4 1 。首先按照时间顺序把各个深度对应的二维图像传送到3 d 帧缓 冲器上。当3 d 帧缓冲器收到了某一深度的二维图像，对应深度的液晶屏幕就被 控制打开，同时使其余的液晶屏幕会呈现无色透明状。之后按照时间先后顺序循 环显示每个深度的二维图像。液晶屏幕快速地切换可以使人观察到不同深度的二 维图像，这样眼睛就可以通过依次观看2 0 张液晶屏幕来获得不同深度的二维图 像。另外再加上视觉暂留效应，人眼就可以获得立体视觉。 因为其可以提供多视点自由立体视角的特点，立体显示器所提供的立体画面 基本解决了多人，多视角观察的问题。且立体显示器所提供的视点画面连续，而 且立体画面质量很高。但是，立体显示器方式成本较大，而且极大的信息量对于 带宽资源的需求很大。所以目前这种方式还主要在医学、科学研究、虚拟现实等 专业领域中应用。 法国物理学家a i m ec o t t o 在1 9 0 1 年首次阐述了全息原理：d 朗n i sg a b o r 在 1 9 4 8 年得到了全息图；1 9 6 2 年l e i t h 和u p a t n i e k s 把全息摄影技术首次应用到了 图像显示领域。全息图再现的原理其实是由全息图表面的干扰带对来自光源的光 形成衍射，继而就呈现了原始立体物体的光波阵面。全息图真正的实现了实时地、 连续地展示物体的各个视角图像。 m a r k - i i 全息视频显示系统是由麻省理工学院s t e p h e nb e n t o n 的空间图像组 研出来的这种显示系统采用了声光调节器，垂直扫描器，分光器，水平扫描器， 可移动镜面和输出棱镜。其伞息显示区域为：1 5 0 7 5 7 5 ，但只能湿示红色。 全息显示设备相当复杂，而且其制作十分严格。迭i 此，全息技术还有一段时 间才能应用于立体显示领域。 5 瘁- ，穆_ 峨3 ：一? ? 瓣确靠扩，：卅i 蛊 蕾 第一章绪论 综上所述，可得到以下结论。立体显示器显示虽然立体效果较好，但其需要 十分昂贵的成本，因此并不适合应用于3 dt v 的普及型产品应用。而全息成像 技术还需要进一步进行研究才能进行广泛应用。戴眼镜观看立体视频的方式不能 满足人们舒适方便的要求。平板方式以及视差栅栏的立体显示技术有着较好的性 价比，再配合高质量的视点合成算法、高效的多视点压缩算法、以及精确的视线 跟踪算法，将会是近期立体电视的发展方向。当然，我们希望未来能够实现全息 成像技术与电子显示技术的共同结晶，从而创造出真正多视点、多观察者自由观 看的3 dt v 。 1 3 网络立体信息可靠传输的特殊性 网络立体信息的应用必然需要网络立体信息传输体系的支撑，而立体信息的 特殊性使得网络立体信息的传输体系又有别于普通的二维视频传输体系。 当前绝大部分的视频传输系统都只局限于二维视频的传输，然而二维视频无 法让观察者得到视觉立体感受。为了使接收者可以站在不同的位置上产生立体视 觉感知，将在i p 网络上建立相应的可视化c s 结构，从而实现客户端与服务器 端之间四对共八路视点信息( 每一对视点信息分别代表左、右眼视点视图) 的传 输。与单路传输相比，八路视点信息的传输需要同时进行，从而接收端可以同时 获得并利用八路信息进行立体信息的实时播放。 另外由于视频信息的实时性要求，网络传输中采用了u d p 协议，并不能保 证传输的可靠性。论文中将对立体信息进行信道编码来提供一定的抗误码保证。 1 4 论文结构 第一章：绪论。这一章中介绍了立体信息研究的背景以及其重要性。论述了 立体信息将会有广阔的应用前景。 第二章：立体视频信息及其抗误码技术。这一章介绍了立体视频的基本知识， 并且简要的阐述了一些常用的抗误码技术。 第三章：纠错编码概述以及选用。这一章中概述了信道编码相关理论，并介 绍了几种常见的信道编码技术实现。经过对比选用编码方案，并从理论与实验上 证明可行性。 第四章：基于嘶n d o w s 平台的可视化c s 服务器结构实现。这一章中将设计 并实现应用于立体视频信息的具有一定可靠性保障的服务器架构。 第五章：基于w i n d o w s 平台的可视化c s 客户机结构实现。这一章中将设计 第一章绪论 并实现应用于立体视频信息的具有一定可靠性保障的客户机架构。 第六章：总结与展望。这一章对论文中的研究工作和结果作了全面的总结。 并指出了论文中今后需要改进的地方。 7 。，嚏、，曲。、- ? “ 澎1 0 ，! 一0 0 童鞋一五吨穗警呜 茹e 一笆二- 第二章立体视频信息及其抗误码技术 第二章立体视频信息及其抗误码技术 电视的发明让所有人都能够及时得到大量的实时信息。但人们在电视前无论 从哪个角度观察，仍然只能看到同一视点图像。这与在真实视觉体验完全不相同。 通过平面电视，用户只能获得我们所处的三维世界中的一个视点，并且这个视点 的选择仅仅取决于拍摄时摄像机所对的角度。虽然电视技术日新月异，但是其单 视点以及二维图像的本质一直没有得到改变。立体视频的出现则给人类带来了新 的视觉体验。 2 1 立体视频信息简述 不同于通过平面电视，在自然界中，眼睛看到的是真实的三维实物，因此， 能够再现自然界中自然实物的立体感一直是人们所追求的目标。立体电视的出现 很好的解决了传统平面电视的二维局限性，立体电视又称为三维电视( 3 d t v ) ，。 三维电视将会给人带来震撼的真实视觉享受。它与传统的平面电视区别主要在 于：立体电视同时能够显示同一物体多个视点信息。这些视点信息中，只要有一 对有立体视差的视点信息相应进入人的左右眼，人们就能感受到三维立体感。 人们是依赖于前额下方的那双平行的眼睛来获取信息的，人眼不仅要感知到 到物体的宽度和高度，还要感知它的深度信息，由此判断出物体之间的距离或判 断出观看者与物体之间的距离。人们通常用双眼同时观看真实三维世界里的物 体，双眼视轴间距大约为6 5 毫米【2 1 ，两只眼睛眼在观察物体时，所看到的是有 差异的视觉图像。大脑正是通过这两幅图像之间的差异来产生立体感的。 2 2 立体视频信息的获取 一切立体视频的效果最终都需要用双眼来检验，立体视频的播放最终是为了 使人们看着舒服。因此人的双眼就足立体视频最严格准确的评判仪器。从仿生学 角度来讲，人的双眼是用来进行立体视频获取的最好的设备。因此，立体信息的 采集、制作、压缩编码都应该从人眼的视觉特性和心理的视觉特性出发来进行研 究。 8 第二章立体视频信息及其抗误码技术 由场景反射回来的红外信号，由此得到场景的深度信号。利用得到的一个视点的 视频信息r g b 信号以及深度信号，通过算法合成其它视点。 有一种基于m e g 2 扩展增强层的方案【16 1 。方案中，用基本层来传输场景的 一个视点的完整视频信息，同时将该视点的深度信息通过增强层传输。这就接受 的用户其选择就比较有灵活性。一方面可以只接受场景一个视点视频信息来获得 二维视频；另一方面也可以选择同时接收场景的一个视点视频信息和相应的深度 信 图2 - 3 深度摄像机拍摄原理 息，通过算法合成在用户端生成多视点立体视频。这种方法的压缩率很高，所需 要的信息仅仅是场景的一个视点的视频信息以及相应的深度信息。但该方案却很 难产生高质量的场景的其它视点视频信息，并且用户也无法获得场景的独立的视 点效果。 电脑合成方法是指利用3 d 建模软件( 如3 dm a x 等) 制作立体视频。 电视诞生已经有一百多年了。与电视的发展相伴随，人类积累了大量二维视 频信息素材。如果有办法能够把这些二维视频信息转换成为三维立体视频信息， 那么现有的资源将会得到更充分的利用。文献【 】提出了一种方法，可以将平面二 维图像转换为立体图像。对于满足特定要求的运动情况，可以从拍摄时间连续的 平面图像中得到立体深度信息。同时考虑人类对于立体深度的心理暗示，算法实 现将平面二维图像生成立体图像。文献【l8 】提供了一种立体视频合成算法，这是一 种基于深度的算法。算法中先将场景的深度信息采用不均匀的滤波器从二维视频 中提取出来，之后结合原始视频和深度信息，合成新的视点视频信息。文献【i9 】也 提出了一种同样是基于深度信息提取的算法来进行立体视频合成。算法中先将所 有视点的对应物通过异常色块分割算法产生，然后再通过透视算法合成新的视 点。 第二章立体视频信息及其抗误码技术 立体信息主要通过三种途径来获取：摄像采集、电脑制作以及算法合成。下 面简单介绍一下。 摄像采集方法是指采用多部摄像机从不同视点同时拍摄场景来获得立体信 息。其中任意相邻的两台摄像机光心之间的距离应该约为人眼间距，这样摄像机 就可以像人的一双眼睛一样去采集场景中的对应人左右眼的视点。图2 1 所示的 是平行摄像系统【l5 1 ，这由一组平行的摄像机组成。摄像机的平行摆放相当于人眼 观察远处物体。这些摄像机的焦距需要严格校准。但是平行采集系统在拍摄近物 时，其立体感效果会大打折扣。 丽面面酾面蔺面酾面 a 1a 2a 3a 4a 5a 6a 7a 8舶 图2 1 平行摄像系统 还有一种会聚摄像系统如图2 2 所示【1 5 】。图中b 1 b 9 是会聚系统中的摄像 机。摄像机的会聚摆放方式如同人眼观察近处物体。但若被观察物位置不是处于 b 1 b 9 组成圆弧圆心，那么物体到b l b 9 的距离就不可能完全相同。这样， 就需要相应地调整每台摄像机的焦距。平行以及会聚采集系统都只能获取到一条 直线上离散的、相邻的几个视点。对立体视频信息的质量要求越高，对于摄像精 度要求相应也就越高。总之，采集立体视频信息所需成本相当高。 b 1b 2 b 3b 4b 5b 6b 7b 8b 9 图2 2 会聚摄像系统 算法合成产生立体视频信息时，需要用到场景的深度信息。这种方法需要 采用深度摄像机拍摄。图2 3 中，深度摄像机能够直接采集到场景的一个视点的 r g b 信号。另外通过摄像机前面安装的红外线光源发射出红外线信号，并捕获 第二章立体视频信息及其抗误码技术 2 3 立体视频压缩编码 视频压缩属于信源压缩的一种。目的为了能够将所要传输或者存储的视频信 息使用尽可能少且含有尽可能小冗余度的比特来表示，这样就可以有效的利用信 道容量或存储容量。立体视频与二维视频信息相比，其数据量相当大。并且视点 数目越多，其数据量越大。对于立体视频来讲，对原始视频数据进行压缩的必要 性就毋庸置疑。 信源压缩的本质其实就是去处冗余度。先分析一下立体视频信息的冗余度。 立体视频信息的冗余信息有空间冗余信息、心理视觉冗余信息、时间冗余信息， 编码冗余信息以及视点间的视差冗余信息。大多数立体视频压缩算法研究在分析 了立体视频信息的冗余度后，结合已有的二维视频压缩算法，同时考虑立体视频 特有的视差冗余信息特点，改进和扩展算法。 可以采取一种简单的视频压缩方案，利用现有的二维视频压缩算法对于各个 视点的视频信息进行单独压缩，之后将压缩后的多个视点的视频信息整合成立体 视频信息。m p e g3 d a v 组做了实验。实验表明：在m p e g - 2 m p e g 4 以及h 2 6 4 a v c 中，从立体视频的压缩效率来看，h 2 6 4 明显地强于其它编码器。在观察 三维真实场景时，人类左眼和右眼的所看到的场景高度相关，左右眼所看到的场 景包含大量相似的信息。同时左、右眼所接收到的场景之间具有视差信息，视差 信息是构成立体感重要的部分。二维视频编码标准只能用于压缩立体视频中各单 独视点中的二维视频信息，减少视点中冗余信息，而无法通过算法压缩来减少左 右视点视频信息之间的视差冗余信息。 立体视频合成算法也是一种比较好的压缩立体视频信息的方法【2 0 1 。相对来 讲，服务器只需要传送数据量远小于多个视点的视频信息一个视点的视频信息， 用户端再利用各种算法，得到更多视点的视频信息，形成立体视频。文献【2 1 】研 究了一种合成中间视点的信息的插值算法，这种算法所利用的就是有限视点的信 息。 基于视差估计的立体视频信息压缩算法通过采用相似特征的搜索算法或相 似亮度块，从而获得左右眼视点图像的视差相关性、降低冗余信息。这种压缩算 法由于它只需要补偿水平方向上的视差，因而一般只用在平行摄像系统上。 可以将多台摄像机安装在不同位置的，并且对相同场景在相同时刻进行拍 摄。进而得到多个视点的视频信息序列，从而产生多视点视频。多视点视频的一 个具体j 逦用就是立体视频。冈而，可以采用多视点编码标准来处理立体视频，这 是一种好的压缩数据方法。 第二章立体视频信息及其抗误码技术 1 9 9 6 年，多视点框架( m v p ：m u l t i v i e wp r o f i l e ) 作为一个修订部分被写入 m p e g - 2 标准中。其主要原理就是利用时域可伸缩( t s ：t e m p o r a is c a i a b i l i 妙) 模式来实现多视点视频压缩。多视点框架定义了一个基本层以及一个增强层。基 本层用整个码流一半的帧率来编码。增强层被用于插入附加帧，以满足整个码流 的帧率。通常把左视点视频信息编码为基本层，而将右视点视频信息定义为增强 层。基本层到增强层采用视差补偿预测( d i s p 盯时c o m p e n s a t e dp r e d i 商伽) 。虽 然对于被遮挡的区域视差补偿预测会失效，但是还可以利用增强层的帧之间的运 动补偿预测来保证重构图像的质量。 随着视频编码标准的发展，人们研究出了基于新的视频编码标准的多视点编 码算法。多视点视频编码( m v c ) 是h 2 6 4 视频编码标准扩展集中的一部分。 多视点视频编码针对多视点视频的特点，采用基于h 2 6 4 高级编码的压缩算法， 首先更改一部分h 2 6 4 编码器的框架，再次增加编码器的一些编码工具，从而压 缩多视点视频。 2 4 视频通信介绍 2 4 1 视频通信模式 视频通信的传送模式主要有单点传送模式以及多点传送模式两种【7 】嘲。单点 传送模式通常也被称为一对一方式，这种对等通信一般被称为单播。多点传送则 是采用一对多或者一对全部的方式，通常被称为广播方式，也被称为组播。 对于用户服务器模式，如视频点播、电子购物、文件传送以及电子邮件等， 由于用户有着不同的需求。故服务器应该对于每个客户机均建立一个独立的传送 通道，服务器发送的数据包只能传送给相应的一个客户。一般采用单播模式。而 对于远程教学、电视会议以及i p l r v 等，用户可以接受同时接收到同样的视频数 据方式。服务器可以将同样的数据包同时发送给多个用户，因此一般采用组播模 式。 在英特网上进行视频信息传送主要采用视频流方式。这种方式又可以分为两 种工作方式分别是直播和点播。直播适合采用组播机制，而点播适合采用单播机 制。 2 4 2 视频传输的相关网络协议 因特网的快速发展不仅使得原来基于i p 网络的各种应用业务有了更大更好 的平台，而且传统的不在l p 网上进行的数据通信业务，如音频、视频甚至于立 1 2 第二章立体视频信息及其抗误码技术 体视频信息等多媒体业务也开始在i p 网上得到了很好的应用与发展。目前因特 网上主要采用t c p i p 协议族。 尽管因特网上的计算机是由各种厂家生产的，其型号各式各样，甚至于运行 着完全不同的操作系统，但t c p i p 协议族却实现了这些计算机之间的互相通信。 i p 网络模型通常被认为是一个完整的四层协议系统【9 】如表2 1 所示。每一 层都负责着不同的网络功能： 1 数据链路层也被称作网络接口层，负责处理与电缆( 或其他任何传输媒介) 的物理接口细节，通常包括设备驱动程序和网络接口卡。 表2 1t c p i p 协议族的四个层次 层次 功能 应用层 运输层 网络层 链路层 e m a i l 、t e l n e t 和f t p 等 u d p 和t c p i g m 【p 、i p 和i c m p 接口卡及设备驱动程序 2 网络层也被称作互联网层，负责处理网络中分组的活动，例如分组的路由 选择。网络层协议包括i p 协议，i g m p 协议，以及l c m p 协议等。 3 运输层主要负责为两端主机上的应用程序之间提供端到端的通信。t c p l p 协议族包含两个不同的传输协议：t c p ( 传输控制协议，t r a n s m i s s i o nc o n t r o l p r o t o c 0 1 ) 和u d p ( 用户数据报协议，u 辩rd a t a g r a mp r o t o c 0 i ) 。t c p 协议为两台 主机间的应用程序提供可靠性数据传输。应用程序可以将自己的数据交给运输层 后，由运输层分成合适的数据块后，之后交给网络层。另外运输层还有其他功能， 包括确认接收到分组，设置超时时钟等。由于运输层提供了这样的高可靠性通信， 因此应用层就不需要再去处理这些细节。u d p 只是将分组从一台主机的应用程 序发送到另一台主机的应用程序，但并不保证传输的可靠性。采用u d p 负责传 输的应用程序必须自己保证可靠性。 相比较而言【2 2 1 ，t c p 协议提供了可靠的、面向连接的数据传输，比较适合图 像、文本等无实时性要求或者实时性要求较低且要求高准确率的业务。u d p 协 议提供的是一种无连接的、不可靠的传输虽然其不可靠，但其对于实时性的业 务比较使用。因此视频传输中常采用u d p 协议。 这两种运输层协议分别在不同的应用程序中有不同的用途。 4 应用层负责应用程序细节的处理。 第二章立体视频信息及其抗误码技术 互联网上的每个网络接口必须对应于一个i n t e r n e t 地址( 也称作lp 地址) 。 现在主流版本是i p v 4 。i p v 4 中i p 地址长度3 2b “。i p 地址具有一定的结构，五 类不同的互联网地址格式如图2 - 4 所示。 这些长度为3 2 位的地址通常采用被称为“点分十进制表示法( d 傩e dd e c i m a l n o t a t i o n ) ”的表示方法表示成四个十进制的数。这3 2 b i t 中每字节都表示成为一 个整数。可以通过它的第一个十进制整数来区分各类地址。表2 - 2 列出了各类地 址的起止范围。 a 类地址支持一个网络中拥有大量主机，其是用来支持超大型网络的。地址 范围为o o 0 0 到1 2 7 2 5 5 2 5 5 2 5 5 。a 类地址用来标示地址的网络部分只有一个 八位组，而其地址中的主机部分却用了其余3 个八位组来标示。在第一个八位组 氮匝 玉堕互 匡亟 二二二二二二二二二二 1 4 位1 6 位 b 菇匝二二二 亟亟二二二二1 二 亘匿二二 2 1 位8 位 c 炎匹互 二= 】亟夏二二二二= = 工二二亘圃 篮位 d 樊臣卫丑互二二豳醛匾二二二二二二二二二二 2 7 位 e 黄巨卫口互工二二二五函运亘 二二二二 图2 _ 4 五类不同的互联网地址格式 表2 - 2 各类i p 地址的范围 类型 范围 a b c d e 0 o o 0 到1 2 7 2 5 5 2 5 5 2 5 5 1 2 8 0 o o 至u1 9 1 2 5 5 2 5 5 2 5 5 l9 2 o o 0 到2 2 3 2 5 5 2 5 5 2 5 5 2 2 4 0 0 o 至02 3 9 2 5 5 2 5 5 2 5 5 2 4 0 o o o 至02 4 7 2 5 5 2 5 5 2 5 5 中的o 和1 2 7 保留使用，具有特殊用处，不作为公网网络地址。1 2 7 o o 0 地址用 于回环测试( 本地机器或路由器向自己发送分组时应该使用该地址) 。 b 类地址是用来支持中大型网络的。其地址范围为1 2 8 0 o o 到 1 9 1 2 5 5 2 5 5 2 5 5 。地址的网络部分使用前两个八位组来标示，地址的主机部分用 i p 地址的其余部分来标示。 c 类地址支持小型网络：地址范围为1 9 2 0 0 0 到2 2 3 2 5 5 2 5 5 2 5 5 。 l j i 第二章立体视频信息及其抗误码技术 d 类地址支持组播：地址范围为2 2 4 0 0 0 到2 3 9 2 5 5 2 5 5 2 5 5 。 e 类地址是保留地址，作为研究使用：地址范围为2 4 0 0 o 0 到 2 5 5 2 5 5 2 5 5 2 5 5 。 此外有必要介绍一些一些特殊地址： 当标识主机的八位组为零时，此时网络地址用于标识网络本身。如： 2 1 2 11 2 2 8 o 、1 3 1 2 1 2 0 0 。 标识主机的八位组为2 5 5 的网络地址为广播地址，可以通过这种l p 地址向 该网络中的所有i p 地址广播数据分组。 私有地址不能被路游到i n t e r n e t 骨干网上。根据用户自己需要的不同可以采 用a 、b 、c 三类私有地址。其中a 类私有地址范围是l o 0 o 0 1 0 2 5 5 2 5 5 2 5 5 。 b 类私有地址范围是17 2 1 6 0 o 1 7 2 3 1 2 5 5 2 5 5 。c 类私有地址范围是1 9 2 1 6 8 0 o 1 9 2 1 6 8 2 5 5 2 5 5 。c s 结构所在的实验环境就采用了c 类私有地址。 r t p ( 实时传输协议) 是主要用于网络上多媒体数据流业务( 如音视频等) 的一个传输协议，作为r f c l8 8 9 由l e t f ( i n t 啪e t 工程任务组) 发布。r t p 提供两 个关于数据包关键的参考：一是每个数据包的序号，另外一个是每个数据包的时 间戳。这样序号信息为解决数据包的非正常顺序到达以及丢失问题提供了重要参 考。时间戳为接收端的可控播放提供了必要的信息。采用r t p 目的是提供时间 信息并且实现流同步。r t p 一般建立在u d p 上，当然也可以工作于t c p 或a t m 等其他协议之上。设计i 玎p 协议的本意就是为了服务于多媒体数据业务。 r t p 本身只提供实时数据的传输参数。仅仅依靠r t p 本身，并不能保证数 据包传送的可靠性、原序性；也达不到流量控制或拥塞控制的目的。当前的视频 流以及音频流的实时传输方式往往采用u d p 与r t p 相配合的方式来实现。r t p ( 实时传输协议) 位于u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 之上，是一个传输层协议。 它自身并不保证传输的可靠性，也并没有流量的拥塞控制机制。u d p 本身也无 法提供实时业务的服务质量的保证。相伴随于r t p 的r t c p 协议可以为这些服 务提供信息。 r t c p ( r 朗1 t i m et m n s p o nc o n t r o ip r o t o c o l ，实时传输控制协议) 可以提供 有关的控制功能。它本身就是伴随r t p 协议的而诞生的。r t c p 需要接收端与发 送端之间互相