基于自由立体显示系统的人机交互研究

基于自由立体显示系统的人机交互研究-刘克滨1 李婷2 (1.北京邮电大学自动化学院工业设计系，北京1008762.陕西师范大学教育学院，西安710000)摘 要：随着三维立体显示的发展，不带观察设备的自由立体显示系统得到广泛的研究，本文通过对自由立体显示系统中人的视差感知因素研究、自由立体显示图像透视图计算方法的研究，进行人机因素分析和人机行为研究，得到人机行为分析流程图，依据人机因素分析和人机行为分析流程图，得出要实现更好的自由立体显示所需的必要条件。对研究自由立体显示技术有良好的参考价值。为普及自由立体显示技术提供一些具有针对性的建议。关键字： 自由立体显示； 透视图； 立体显示； 人机交互1引言观察者不需要佩戴任何观察设备就可以直接看见3D立体图像。即自由立体显示技术。自由立体显示主要有全息立体技术、平板显示、体立体与立体投影技术等等。其中全息立体技术是研究历史最长，最成熟的立体技术，但是由于全息图像的色散问题使得难以做出一幅全彩色的立体图像，而平板显示与自由立体显示技术由于现有技术条件的限制，很难实现大屏幕显示。立体投影的实现方式有全息投影、菲涅尔透镜投影和双柱面光栅投影等等。其中，双柱面光栅投影立体投影系统利用了成熟的大屏幕投影技术，可以比较方便地实现大幅面的全彩色立体图像，因而受到了广泛重视。随着三维立体显示电影阿凡达等的出现，三维立体显示得到广泛的关注，自由立体显示系统作为最好实现真三维立体显示的技术，对自由立体显示的研究具有重要的作用，本文通过对自由立体显示系统中人的因素分析以及自由立体显示图像制作分析，为了使人得到很好的三维立体感觉，进行了综合的人机交互分析2自由立体显示中人的视差感知因素分析2.1双眼竞争 (Binocular rivalry)所谓双眼竞争是指在无法融合的双眼刺激间产生的知觉更替1。其中，在特定时间看到的刺激叫显要刺激；在特定时间无法看到的刺激叫抑制刺激。当两个刺激很小时，会交替看到两个完整的映像，这是“全或无”优势；当不同模式的不同部分在不同区域占优势时，即所谓的镶嵌式优势。图1 双眼竞争如图1示，仔细观察就会了解到，双眼竞争引发的直接后果之一便是抑制刺激在受抑制过程中，其特征几乎完全从知觉意识中消失。这在系统显示中是非常危险的，因此，应当尽量避免给操作者双眼的网膜对应位置呈现不相称的刺激，以阻止双眼竞争现象的发生。2.2 Pulfrich 现象德国物理学者Carl Pulfrich于1922年指出，当我们把中性密度的滤光片放在一只眼睛前(另一只眼睛前没有)去观察单摆(或钟摆)的运动时，我们会看到摆球似乎在沿平面椭圆形轨道运动，这就是Pulfrich现象(此单摆称为普氏摆)。摆球运动的方向取决于人的哪只眼睛戴滤光片，双眼间亮度水平的差异在运动场景下会造成深度错觉。Gregory 采用视觉潜伏期假说对这种深度错觉现象做了解释。他认为：被过滤眼中的刺激亮度衰减，使该眼的视觉反应潜伏期延长，因此有关物体位置的信号在传输到视皮层时会产生双眼间的时间偏差，从而导致在深度上运动的错觉。根据这种解释，只要有运动和双眼间的亮度差异，那么就有可能存在体视信息，这种信息会改变视觉显示中已有视差的大小甚至是方向，因此，应当尽量避免双眼间的深度差异，以免影响对三维立体视觉的探测。3. 自由立体显示图像制作的问题任何立体显示系统，都是软硬件的有机结合。怎样正确实现立体透视图对的形成和显示是软件设计的主要任务，软硬件能否协调一致、取长补短是影响整个系统性能的重要因素，下面阐述几个对正确构建和显示立体图像对至关重要的因素2。3.1左右透视图的计算在立体视觉系统中，要为左右眼各生成一个透视图，需要两个水平排列的投影中心。图像分别投影到这两个投影中心生成左右视图。标准的图形学投影方式如图2所示，这里使用左手坐标系统。通过这种有两个投影中心的投影方式3，可获得类似人眼的视野分布：中央的重叠区和两个单视区，而获得比单投影中心方式更宽的视野范围，而且在重叠区由于左右透视图的差异，将会有更多的信息被存入左右透视图对中。图2 体视观察空间根据透视投影的变换矩阵可导出体视投影变换矩阵。以视点坐标系（右手系）原点O（在体视学中叫做中央眼）为视点的透视变换矩阵为（1）式中d为视距。如图2所示，设左视点为SL（-B/2，0，0），右视点为SR（B/2，0，0），SLSR称为眼基线，SLSR平行于画面， SLSR= B，B称为目距，约为65mm。则左、右视点的体视变换矩阵分别为 （2）（3）设空间一点的坐标为，则其左、右投影分别为（4） （5）显然，左、右视点y和z坐标分别相等，所不同的只是x坐标，而（6）其中称为图对间隔位似系数，如图3所示。上式说明，左、右投影间距不是一个常数，而是与物体各顶点的z坐标有关。由图3还可以看出，这时z坐标应小于0。 (a) 示意图 (b) 根据透视原理画出的体视图图3 物体的体视图由此产生的三维立体显示问题由显示分辨率与投影算法之间的矛盾引起。虽然经过几何投影算法的计算可以得到远距离物体的投影尺寸，但由于投影介质物理分辨率有限无法显示出物体纹理的轮廓和细节，从而无法形成有效的三维立体视觉。3.2 两种计算方法的比较上面介绍的计算立体图对的方法是将投影中心分别放在Z轴两侧，一般称为离轴投影。还有一种方法称为轴上投影。它使用标准投影中心，通过移动数据获得与离轴法相同的左右投影点集变换式可得到计算方程。对比标准投影变换式，可以很容易地得到计算左视图的算法：(1) 给每一点的坐标加并对它进行标准投影变换；(2) 再将每一投影点的坐标减去；这两种方法在数学上是一致的，在实现效果上各有优缺点轴上投影需在轴方向上进行两次平移变换，因而会丢失信息，使视野缩小。但因其采用的是标准投影，可由硬件实现，而离轴投影只能由软件实现。因此从总体性能上说，轴上投影较好。4自由立体显示中的人机交互分析人机交互技术（Human Computer Interaction，简称HCI）主要是研究人与计算机之间的信息交换，主要包括人到计算机和计算机到人的信息交换两部分。人们通过计算机可实现与其他事物的交互，对自由立体显示系统来说，可将其人机交互行为分为四类不同的感知过程：人对现实世界的感知、计算机对外部世界的感知、人对计算机的感知以及人通过计算机传递的视差感知信息。我们在以下内容中着重从这几个方面来进行研究4。4.1自由立体显示人-机因素分析在自由立体图像显示方式5、自由立体图像输出方式和自由立体系统构造模式等方面开展研究，都是通过完善交互性、解决融入性，并最终让观察者得到良好的沉浸性真实的三维立体感。自由立体显示的多用户交互性问题6。早先的应用为了实现良好的沉浸性，采用了头部显示以及追踪设备，但因为立体成像能力的限制带来很多的问题，使立体环境只能针对单个的用户开放，即只能是单一的操作者和受益者，这给自由立体显示的应用带来了很大的局限性。为此，可以采取的解决办法称之为“导游”方式，典型的应用是“参观”项目7。方法是将操作者观察到的内容用并行通道显示到更大的屏幕上，更多的参加者可以跟随操作者进行参观游览。操作者就象旅行团的“导游” 一样。采用自由立体显示技术后，“观察者”可以得到更强的沉浸感。缺点是“观察者”的视点与“导游”的视点不同，且相互间的视点各异，不但“观察者”不能与三维立体环境交流，而且他们看到的图像与感觉之间不能吻合，因而得到的三维立体沉浸感比较差。解决多用户交互方案是利用互联网建立起来的Web3D显示系统。设想如果对一个参与者而言其他参与者都是环境中的一部分，那么基本的三维立体环境对所有的参与者而言，都是公用的，每个参与者都可以与环境有很好的交互性。这种交互性是互联网固有的特性。需要提高的是系统的实时运行能力和图像生成能力。这两个问题随着互联网带宽的增大和终端运行能力的提高可以得到很好解决。现在已经出现了很多专用于互联网的虚拟现实编程语言，例如Vrml.Java3D以及X3D等。对技术实现者和观察者来说，来自于三维立体环境的反馈信息主要是通过视觉信息来搜索收集。因而在图形图像的显示方面的研究非常多。但在许多自由立体显示的应用中，为了在三维立体显示的应用中提供给观察者沉浸感，交互感和想象感。就要提供三维立体图像图形效果评价方法，通过这样的信息，来判断我们当前的技术是否能满足观察者挑剔的需求。要实现自由立体显示，必须给观察者提供真实的三维立体环境。三维立体图像是自由立体显示系统人机交互中极为重要的视觉信息，在立体显示的计算机成像方面仍然大量的问题需要研究，结合自由立体显示中人的因素和计算机的因素开展的人机交互研究，构建三维环境的三维逼真度，直接影响着自由立体显示的质量效果，也直接影响了人们观察的沉浸感。人基于视差通过对深度距离和深度图像的判断，对具体的目标产生三维立体感，获取三维立体效果。4.2自由立体显示人-机行为分析自由立体显示系统一个典型的特征就是观察者与三维立体环境的交互性。人在三维立体环境下与虚拟世界的交互行为，是与人在真实环境下与真实世界的交互行为完全对应的。自由立体显示系统最终追求的效果是上述两类交互行为在人的感受上的一致性。如图4人机行为分析，体现了人与计算机信息的双向传递，人通过左右两眼观看自由立体显示器，自由立体显示器将三维显示视觉信息反馈给观察者8。图4 人-机行为分析人们在视觉信息的获取过程中，视觉对运动的感应是一个非常奇特的现象：一方面人眼的视网膜具有视觉暂留的特性，另一方面人眼又对运动的物体极其敏感；同时头部结构又给人眼提供了一个非常稳定的平台，使人能够在相当颠簸的状态也能获得较稳定的视觉。概括来说就是，人们既能在物体静止时获得稳定的视觉，又能在物体移动时获得稳定的视觉。这种矛盾现象说明人的视觉信息获取过程是一个非常稳定而快捷的控制过程。对于自由立体显示来说，理想的获取三维视觉信息就是，在人们静止时系统能提供稳定的三维立体场景。5总结我们根据人机交互分析，需要保证以下三个方面：一要确保三维立体环境显示的逼真性问题，即立体显示问题；二是由于算法和数据的转换原因引起立体图像显示中实体位置的误差问题。三是由于自由立体显示的应用目的不同、系统结构不同、实现手段不同，会涉及到不同领域的关键技术。就三维立体图像的生成本身而言，有三维立体图像的生成算法、自由立体显示的软硬件支持环境、自由立体显示方式等问题。计算机系统提供视觉的真实性，也就是提供三维立体环境以再现真实环境的能力，影响着整个自由立体显示系统的效果评价。人与三维立体环境之间的交互可以根据视差感知信息流动的方式和渠道进行归纳总结。在视差感知的帮助下，可以将人一机交互过程的结果传递给人，从而影响人的思想决策，研究人员通过对产生的结果进行分析、归纳、总结。在以后的自由立体显示的技术实现中，充分考虑人机交互的因素，最终达到人们完美获取真实三维立体显示的环境。参考文献1 庄天戈,赵俊,钱晓平.生物医学图像处理.上海交通大学.2007.6.pp.110-130.2 WANG Fei, The Principle，Stereoscopic Factors and Terminology of Three-dimensional Display Technology, Beijing,Beijing University of Posts and Telecommunications,2007.3 董国耀.透视和体视M.北京理工大学出版社,1992.6:218220.4 彭俊毅.虚拟现实中的人机交互研究.博士学位论文.北京.北京航空航天大学.2003.10.pp.10-35.5 Yokokobji,Y.;Sugawara,Y.;Yoshikawa,T.，Accurate image overlay on video see-through HMDs using vision and accelerometers Virtual Reality,2000.Proceedings.IEEE pp.247-254,18-22 March 2000.6 Dennis Brown,Simon Julier,Yohan Baillot and Mark A.Livingston,An Event-Based Data Distribution Mechanism for Collaborative Mobile Augmented Reality and Virtual Environments, Proceddings of IEEE VR Conference,2003.7 K.Stanney,Realizing the full potential of virtual reality:Human factors issues that could stand in the way,in:Proc.of the IEEE Computer Society Virtual Reality Annual Symposium, 1995, pp.28-34.8 Jordan,P.W.Usability and Product Design.International Encyclopedia of Ergonomics and Human Factors.London:Taylor&Francis, pp.1426-1428.The Study on the Auto-stereoscopic Display System Based on Human-Computer InteractionLiu Kebin， Li TingAutomation School, Beijing University of Posts and Telecommunications, PRC, (100876)Education School, Shaanxi Normal University, PRC, (710000)AbstractWith the development of stereoscopic display, non-observation equipment in the auto-stereoscopic display system has been extensively studied, this paper is about auto-stereoscopic display syste