基于下一代互联网的立体视频传输

基于下一代互联网的立体视频传输/sundae_meng提纲应用背景立体视频的获取和显示当前国内外的立体视频相关的应用系统基于下一代互联网的立体视频传输系统视频与虚拟现实实验室当前工作简介/sundae_meng应用背景Internet上的各种视频传输服务向高清晰度和现实感的发展[1]传统的图像和视频集中在平面视觉（monoscopicimagery）上，没有充分利用人眼的视差感知功能立体视觉（stereoscopicimagery）可以给观众带来更真实的视觉体验/sundae_meng立体视频的获取基本原理：用两台摄像机代替和模拟人眼的功能[2]1．分离距离（separation）2．视线聚合距离（vergencedistance）3．视域（fieldofview）/sundae_meng人眼视觉示意图双台摄像机模拟系统[2]/sundae_meng用这种模拟系统代替人眼的功能，存在问题：[2]1 人眼具有快速的视线聚合距离调整功能，模拟系统，虽然也可以附加自动控制装置以模拟这些人眼的细微运动，但是造价非常昂贵，同时调节需要用时。2两台摄像机的曝光，镜头缩放和聚焦控制必须相应的模拟人眼的视觉系统，但是仍然存在stonekey，crosstalk等扭曲效应（ImageDistortion）[3]，相比人眼视觉存在不足。结论：这样的模型系统是人眼视觉系统的一个近似，不能完全模拟人眼，但可以在一定范围内捕捉和产生立体视觉，达到与人眼视觉感知相似的效果。/sundae_meng立体视觉的显示基本原理：远端的接收者左右眼需要分别接收两路视频源，由于双路视频源的图像存在视差，使得接收者产生了立体视觉的感知。分类： 主动式和被动式（图像是否分时现实）红蓝立体视觉和偏振光立体视觉/sundae_meng基本原理：左眼视频（或图像）只允许红色通道的光通过，右眼视频（或图像）只允许蓝绿通道的光通过。然后将两路视频投影到一起。观察者需要戴上特殊的立体眼镜来观看这样的图像或视频。立体眼镜的左眼安装红色滤光片，右眼安装蓝绿色滤光片/sundae_meng基本原理：将两路与左右眼对应的视频或图像，分别通过两个偏光方向垂直的偏振片，将得到的两路偏振光投影到特殊的幕布上。观察者需要戴上特殊的偏振光片眼镜观看经过幕布反射回来的图像。/sundae_meng当前国内外的立体视频相关的应用系统1远程机器人遥感控制[2][4]2远程医疗手术

3特定地质环境的探索和远程再现[5]4远程视频交流相关系统[1][6][7][8]5……/sundae_meng立体视频会议原形系统[1]，July2001特点和问题：一个远程立体视频会议的原型系统，基于RTP发送视频数据，用NTP实现两路视频的同步。但是视频质量处在VIC级别上。

/sundae_mengLinux平台上的立体视觉传输原形系统[7]，2005特点和问题：处于实验阶段的一个原形系统，没有对视频传输的同步问题进行处理，实用性欠缺

/sundae_meng远程机器人遥感控制系统[2]，February2002特点和问题：在定时的采样点上获取两台摄像机拍到的图像，对图像进行处理得到物体的位置和大小等信息。

/sundae_mengHDVideoServicesOverIP[9]，May11th,2005特点：基于HDV的立体视频传输系统，韩国科研机构GIST提出，处在设想阶段

/sundae_meng基于下一代互联网的立体视频传输系统CNGI项目要求：实现具有“真立体”感的立体摄像硬件装置和立体显示软件处理技术，并进行实装。为了实现真实的具有沉浸感的三维立体显示，采用双摄像系统产生真实立体感的视频图像，从而产生左右眼立体视觉的方法。研究目标：实现在广域网上传输具有广播质量立体视频的增强型虚拟现实系统/sundae_meng系统总体设计CaptureTransmissionviaInternetDisplay/sundae_meng左眼视频右眼视频发送端接收端接收左眼视频接收右眼视频/sundae_meng系统硬件选择投影仪BenQPB8220标称光亮度：2200ANSI标准分辨率：1024*768对比度2000:1投影技术：DLP最大分辨率：1280*1024屏幕宽高比例：4:3色彩：16.7M有效扫描频段：水平：20.0-88.0KHz垂直：20-100Hz背投幕布StewartFilmrearprojectionscreen/sundae_meng一对圆偏振片Apioptics3Dcircularpolarizeringlass10副与圆偏振片配套的3D立体眼镜Apioptics3Dpolarizingglasses/sundae_meng安装圆偏振片的支架安装投影仪的支架/sundae_meng系统软件体系图VideoCapture&VideoPacketSenderModuleInternetVideoPacketReceiver&VideoDisplayModule/sundae_meng清华大学信息网络工程中心

视频与虚拟现实实验室 实验室正在进行的工作： 搭建立体视频传输实验室 筹划和建立清华FIT研究楼的CAVE环境 研究网络上音视频传输的协议H.26x,RTP等 研究高清晰度数字视频的应用和性能分析 开发和应用基于VIC视频工具的视频会议系统

……/sundae_meng当前实验室承担CNGI项目承担CNGI中建设CERNET2上的增强型虚拟现实系统的任务增强型虚拟现实（AugmentedReality）是CNGI重大应用的起步内容之一，对教育、科研、协同工作和娱乐等有重大意义国家重点实验室中CAVE环境的起步应用/sundae_meng虚拟现实的分类

1．桌面式虚拟现实

2．沉浸式虚拟现实

3．增强现实性的虚拟现实

4．分布式虚拟现实立体视频属于增强型虚拟现实（AugmentedReality）的一种。/sundae_meng当前实验室在立体视频传输方面的研究工作建立立体视频传输研究和演示环境显示设备和方案的选择基于DV/HDV的立体视频传输系统软件的开发其他内容立体节目片断和立体电影的网络点播服务立体视频传输和增强型虚拟现实网站的建设……

/sundae_meng参考文献[1] MathiasJohanson，StereoscopicVideoTransmissionovertheInternet,InternetApplications,2001.WIAPP2001.Proceedings.TheSecondIEEEWorkshopon23-24July2001Page(s):12–19[2] RHYSHAWKINS.DigitalStereoVideo:displaycompressionandtransmission.TheAustralianNationalUniversity.February2002/sundae_meng[3]A.Woods,T.Docherty,R.Koch,“ImageDistortionsinStereoscopicVideoSystems”,StereoscopicDisplaysandApplicationsIV,ProceedingsoftheSPIE,Vol.1915,SanJose,CA,(1993).[4] 陈彦良，即时立体视觉物体追踪系统，台湾中原大学机械工程学系硕士学位论文，2002年7月[5] ButlerP.HineIII,CarolStoker,MichaelSims,DarylRasmussen,andPhilHontalas,TerrenceW.Fong,JaySteele,andDonBarch,DaleAndersen,EricMiles,ErikNygren,TheApplicationofTelepresenceandVirtualRealitytoSubseaExploration/sundae_meng[6] KazuhiroGOMI,YutakaNISHINO,KazuhumiTAI,MinoruYASUDA,NobujiTETSUTANI,stereoscopicvideotransmissionandpresentationsystemforISDN,ConsumerElectronics,IEEETransactionsonVolume36,Issue3,Aug1990Page(s):759-766[7] MilosLiska，DesignandImplementationofCapturing,Transmission,andDisplayofStereoscopicVideoinDVFormat,MASARYKUNIVERSITY,2005[8]Mowafi,M.;NanJiang;Caudell,T.P.;WeiShu;Min-YouWu;Real-timetransmissionofstereoimagesovertheaccessgrid,CircuitsandSystems,2002.ISCAS2002.IEEEInternationalSymposiumonVolume5,26-29May