基于计算机三维立体视差映射的双目立体成像研究.docx

基于计算机三维立体视差映射的双目立体成像研究摘要：基于计算机三维立体视差映射的双目立体成像涉及计算机视觉、模式识别、计算机图形学等领域中许多具有挑战性的研究问题。主要存在的问题是所成的立体图像仍不够逼真和自然，人们对人眼的功能以及双目立体成像模型的了解还不够彻底，立体图像对的获取还有一些难题没有得到较好的解决。该文提出了一种已建三维模型的情况下立体图像生成方法。介绍了三维软件中如何利用摄像机对象生成双目立体图像，研究了影响立体效果的几个重要因素，包括目标摄像机与三维模型的位置关系、镜头距离、成像位置的控制等内容。这些工作基于计算机三维立体视差映射的双目立体成像推向深入，也为双目立体成像在可视化立体展示中的应用提供了理论和技术上的支撑。关键词：计算机立体视觉；双目立体成像；视差中图分类号：TP37文献标识码：A文章编号：1009-3044(2011)12-2929-03Binocular Stereo Imaging Based on the Computer Disparity Mapping for Stereoscopic 3DYANG Fu-bao(Hefei University of Technology, Hefei 230009, China) Abstract: Binocular stereo imaging which based on the computer disparity mapping forstereoscopic 3D, deals with many challenging problems in computer vision,pattern recognition and computer graphics. The main problems are that the stereo visions are not vivid and natural enough, people dont have a thorough knowledge of the functions of their eyes and the binocular stereo visions and there are still some problems to solve in the getting of stereo images. This article proposes a new method to create stereo images based on a certain 3D model that already been built, introduces a method to creat binocular stereo visions by cameras, studys several important factors that affect stereo effects ,including the relationship between the targetcamera and the 3D models, cam wide and the control of the position of the screen, etc. These studys are based on the deep study of the binocular stereo vision of computer disparity mapping for stereoscopic 3D and provide theory and technical support for the application of binocular stereo imaging in visual stereo displays.Key words: computer stereo vision; binocular stereo imaging; parallax随着阿凡达的热映，立体3D现在已经成为大众消费的一个主流产品。电影院线越来越多的电影都加入到3D立体的行列，电视频道也开始尝试推出三维广播节目，越来越多的公司开始提供3DTV和蓝光3D的播放设备。尽管这些技术的进步在不断的进步，但是在立体内容的实际生产中，如何让观众在一个自然、舒适的环境中观看立体视频仍然是一个很大的挑战。最根本的问题在于，在人类复杂的视觉感知和显示设备限制的相互作用。因此，视觉内容必须适应特定应用的特殊性场景。对于立体3D视频领域，在计算机图形学对此内容重定向或映射的问题进行了广泛的研究。虽然今天的3D显示技术可以重构双目立体视觉，但是受深度信息的影响，不能在一个平面上真实地再现图像的深度。当屏幕上显示一个遥远的对象时，这种冲突会造成严重后果，强烈的负视差可能会导致不舒服的观看的经验，可以引起暂时性复视，无法融合立体图像。1 国内外3D视频产业发展现状1.1 国外3D产业现状随着阿凡达的大热，消费者对3D的狂热在国际上掀起一轮3D热潮。美国、日本、欧洲纷纷加大3D产业的投入力度，加紧研发3D立体视频产品，并积极参与相关国际3D标准的制定。一些国家已经开播3D频道。英国天空电视台正式启播SKY3D电视频道和美国ESPN 3D频道直播南非世界杯足球赛之后，日本天空完美卫星通信公司联手索尼公司将在其卫星高清电视中推出一个专门的世界杯3D频道，为日本电视家庭提供南非世界杯足球赛3DTV直播。美国作为全球3D产业的领跑者对于3D产业自然不遗余力，但之前的重点一直集中在3D动画上。而与之前不同的是，此次的3D热潮，带动起从内容商到传输商到设备商这一整条产业链的热情。1.2 国内3D产业现状与国外的3D产业发展相比，我国的3D产业起步相对较晚，3D内容不多，在技术方案及产业链方面还不成熟，但是目前国内的3D产业也已步人快速成长期。在索尼、松下等国外企业纷纷推出相关产品的同时，国内各家电企业相继推出了3D立体现实产品，并已上市销售。国内相关企业和科研院所在3D内容制作、3D编解码技术、3D传输与存储、3D显示终端等方面已经拥有一定产业基础。很多高校都已开展3D立体显示方面的研究。据了解，在我国进行3D技术研究和产品研发的企业也越来越多。2 双目立体成像研究在现实生活中，人们通过眼睛观察的周围环境之所以是立体的，是因为人的两只眼睛所处的空间位置不同，可以从两个不同的视角同时获得两幅不同的场景图像，如图1所示，左眼仅能够看到AB面，右眼仅看到AC面，经人脑判断后就能感知到完整的物体ABC的形状和距离。人的大脑对这两幅图像进行处理后，根据两幅图像的差异判断出物体与双眼的距离等空间信息，形成一幅立体的画面就呈现在脑海中。理论和实验表明，两个目标摄像机与三维模型的位置关系、两个目标摄像机之间的距离、会聚角变化值等，是影响立体效果的重要因素，下面就定性地讨论这些因素。2.1 目标摄像机与三维模型的位置关系在3DS MAX中利用两个目标摄像机生成立体图像对时，这两个摄像机的镜头、视野和目标距离都要相同，它们的视点和目标点必须都在同一平面内。这样可以避免产生垂直视差。根据目标摄像机与三维模型的位置关系，视差可分为负视差、正视差和正负视差同时存在等三种情形。1）当两个目标摄像机的两条视线相互平行或相交于目标点，且三维模型在目标点的内侧时(如图2所示)，生成负视差的立体图像对。此时人眼感觉物体在监视器之前。直线，-上的点具有零视差，即显示时刚好重合，因此这些点就成像在屏幕上。2）当两个目标摄像机的两条视线相交于目标点，且三维模型在目标点的外侧时(如图3所示)，生成正视差的立体图像对。此时人眼感觉物体在监视器里面。3）当两个目标摄像机的两条视线相交于目标点，且目标点内外侧都存在三维模型时(如图4所示)，生成的立体图像对正负视差同时存在。此时人眼感觉物体镶嵌在监视器的表面。2.2 如何准确地控制“出屏”的距离对比三维环节和放映环节，当屏幕对观众眼睛的张角与在三维软件中镜头的水平张角相等，且渲染镜头的镜距camWide与观众两眼的距离eyeWide相等时，即=，且eyeWide=camWide时，则D=D。也就是说，此时可以通过控制三维软件中物体A与渲染镜头的距离D，在播放时精确地定位A到观众的距离。实现了在三维环境中的“可见”，即实现了播放环境中的“可得”。在三维环境和放映环境中，当camWide = eyeWide，且=时，则D = D，所见即所得。可见，放映环境与三维环境的一致，给精确定位A提供了最好的操作性。在这样的环境下，三维制作人员在制作阶段就能很清楚地预估最终的“出屏”效果。然而在现实工作中，放映环境和三维环境一致的要求并不能总被满足。如屏幕大小区别，观众离屏幕的距离区别，观众相对于屏幕可居中可偏离等等。各种影院环境对观众的影响，最终产生两个变化：屏幕对观众的张角和屏幕对观众的错切变化。错切是由于观众偏离屏幕中轴产生的图像变化，其影响并不大，不容易被感知。因此，下面仅讨论的变化对立体效果的影响。1）当观众离屏幕过远，或屏幕不够大时，会导致D，削弱了“出屏”效果，观众觉得物体飞不到眼前，没有“触手可及”的冲动。2）在三维环境中增大camWide，使camWideeyeWide，Al和Ar间的距离会变大，成像交叉点A前移，使得D在3）当camWide增大时，则D时，会出现相反的情况，即D3 结束语在立体视频的制作过程中，渲染镜头最好由专人制作。增加几个反映放映环境的属性（如屏幕大小、观众离屏幕的距离、观众的瞳距等），用表达式的方式给出现场数据与渲染镜头相应属性间的函数关系。这样不仅能做到统一控制，还能做到调整简便，保证每组画面的立体效果。除上述因素外，画面的许多艺术因素对立体效果也非常重要，例如物体运动的速度和方向，镜头前各物体的摆放层次，物体出屏的位置和方向等，这些问题都需要我们在制作中逐步地积累经验。参考文献：1 Lang M,Hornung A,Wang O,et al. Disn