C第三章双目立体视觉

1、C第三章双目立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉生理立体视觉Stereo vision model of human eyesDepth Cues in the Human Visual SystemThe human visual system interprets depth in sensed images using both physiological and psychological cues. Some physiological cues requi

2、re both eyes to be open (binocular), others are available also when looking at images with only one open eye (monocular). The physiological depth cues are accommodation, convergence, binocular parallax, and monocular movement parallax. The psychological depth cues are retinal image size, linear pers

3、pective, texture gradient, overlapping, aerial perspective, and shades and shadows. 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉生理立体视觉Stereo vision model of human eyesAB物点A 、B 、C的角视差注视角分别为: A A、B 、C角视差分别为1、2的物点1与物点2之间角视差的差值12= 1 - 2 假设12 0，那么物点1较物点2近；假设12 0，或 0时，这样的

4、屏幕视差称作非穿插视差Uncrossed parallax，融合点在屏幕前方，离屏深度为：3dF = 0，或 = 0时，融合点在屏幕上，该点在视网膜上的成像位置完全一样，是无视差点。 2dF 0，或 0时，这样的屏幕视差称作交叉视差（Crossed parallax），融合点在屏幕前方，离屏深度为：南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉设左、右图像中某同名点的坐标分别为Xs1, Ys1、Xs2, Ys2，并且观看者的双眼连线的中心Ou距离屏幕中央Os为L0，那么双目

5、观看所形成的立体图像点在用户坐标系中的坐标值为： 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉物点(X0, Y0, Z0)像点(Xcl, Ycl)、(Xcr, Ycr)南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing Universi

6、ty双目立体视觉虚拟立体视觉h - Sensor Axial Offset. In the parallel camera configuration, this is the distance by which the centre of each imaging sensor (CCD) has been moved away (outwards) from the optical axis of the lens to achieve convergence.南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing Uni

7、versity双目立体视觉虚拟立体视觉M The transformation from CCD coordinates to screen coordinates is achieved by multiplying by the screen magnification factor南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University

8、双目立体视觉虚拟立体视觉Coordinate transformation from Object Space to Image SpaceCamera Separation = 75mmEye Separation = 65mm Screen width = 300mm Toed-in cameras南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉Parallel cameras Toed-in camerasshear distortion shear distortio

9、n 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉Zi(m)Z0(m)0 1 2 3 4 5 6 7 8 9 10 11Depth non-linearityObject distance away from the camera system Image distance away from the eyes 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体

10、视觉立体图像的视疲劳观看立体显示器引起的视疲劳的因素有多种，包括：左右图像几何形状不一致或变形，或者亮度、色度方面有差异；图像存在串影Crosstalk情况；视差过大，虚拟图像深度超出人眼调焦允许的范围；视差变化过快；会聚和调焦之间不协调；伪立体。南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉生理立体视觉Conflict betweenAccommodation and convergenceO1, O2 : Accommodationr1 : ConvergencePQ : Diff

11、erence南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉生理立体视觉The relationship between accommodation and convergence in the real world Empirical Studies of Accommodation, Convergence, and HMD UseThe shaded area is the zone of clear, comfortable, binocular vision. the real

12、 world 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉 会聚 调焦 An A0Af Bf B0Bn 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉N. Hiruma, T. Fuku

13、da, Accommodation response to binocular stereoscopic TV images and their viewing conditions人眼的焦深在-0.2D +0.2D 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉Fumio Okuyama，Human Visual Accommoldation and Vergence Eye Movement while viewing Stereoscopic Display and

14、Actual Target 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉虚拟像点LED南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉立体视频Waffen由会聚式相机拍摄，处在相机光轴交会点所在平面的场景，其视差为零； Africa由平行式相机拍摄，相机的光轴间距65mm。 Sumio Yano, Shinji Ide, at el. A study o

15、f visual fatigue and visual comfort for 3D HDTV/HDTV images. Displays 23 (2002) 191201 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department

16、 of ESE, Nanjing University双目立体视觉虚拟立体视觉南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉伪立体如果左、右视点图像分别被右眼和左眼观看到，那么人眼的立体感觉与客观空间物点相对位置相反，这种纵深分布与客观物点实际纵深分布相反的立体图像就是伪立体图像(Pseudoscopy )。伪立体图像观看起来十分费力，为了观看图像的不同位置，人眼必须不断调节才能使图像清晰，即便如此，在双眼注视点的一定范围之外，依旧会出现明显的双像，令人眩目。 南京大学-电

17、子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉形成伪立体图像的环节有二：1、在图像视差记录过程中产生了物点的视差反转；2、在图像重建过程中出现像点的视差反转。左、右视图重建存在三种情况：1、人眼观看到的是“正立像(以I+标志)、人眼观看到的“倒置像(以I-标志)；2、 人眼观看到的是“正像(以II+标志)、人眼观看到的是“镜像(以II-标志) ；3、 右眼看到右图、左眼看到左图, 即“顺序像(以III+标志)；右眼看到左图、左眼看到右图，即“逆序像(以III-标志)。南京大学-电子科学

18、与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉虚拟立体视觉视图位置图 号ABCDEFGH顺序/逆序(I)+-+-+-正立/倒置(II)+-+正像/镜像(III)+-+-+-+立体/伪立体+-南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价图像的主观质量评价 根据事先规定的评价尺度或经历，由观察者对测试图像按视觉效果提出质量判断，给出质量分数，对所有观察者给出的分数进展加权平均。 级别质

19、量尺度妨碍尺度绝对评价相对评价1很好群中最好丝毫看不出图像质量变坏2较好好于群中平均水平可看出图像质量变化但不妨碍观看3一般群中平均水平明显地看出图像质量变坏4较差差于群中平均水平图像质量对观看有妨碍5很差群中最差图像质量对观看有严重妨碍主观质量测量评分 图像质量评价的传统方法 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价图像的客观质量评价 用恢复图像偏离原始图像的误差来衡量图像质量。 均方误差(MSE) fij, fij即原始图像和恢复图像，M、N即图像的高与宽 峰值信

20、噪比(PSNR) A 为 f(i,j) 中的最大值，通常取 255 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价Key technologies for an advanced 3D TV system Depth-image-based rendering(DIBR)ATTEST工程研究成果南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价小尺寸图像33

21、dB以上，大尺寸图像35dB以上，高清电视38dB以上YUV420- 524.23Kbit，网络视频-6001Mbit，高清电视-10Mbit南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价目前的图像客观质量评价针对的是黑白图像，对于彩色图像和立体图像，其逼真度的测量和计算要复杂得多，这不仅是由于图像维数的增加，而且还要满足许多视觉现象。因此，还没有公认的计算方法。 图像最终是供人看的，合理评价图像质量的方法应充分遵循人眼的视觉特性(HVS) 。目前，图像质量评价方法的研究，

22、从以往物理意义上简单的误差统计方法转为结合人眼视觉特性的误差统计方法。图像质量评价新方法 大量的研究说明：基于HVS的测量方法优于没有考虑HVS的测量方法，从图像质量评价的研究进展来看，目前新的测量方法主要分为两类：基于视觉感知的测量方法和基于视觉兴趣的测量方法。 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价基于视觉感知的图像质量评价方法 图像降质对人眼视觉的影响是由人眼视觉系统的灵敏度决定的，而视觉灵敏度是由人眼的视觉细胞决定的。人眼视觉系统的灵敏度还受到图像局部空间频

23、率的影响，影响像素误差可视度的因素是误差周围的局部区域环境，而不是整个图像的背景环境。 典型的HVS模型 输入图像视觉非线性视觉敏感度带通视觉多通道和掩盖效应输出测量结果HVS模型 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价视觉非线性特性：根据Weber定律，人眼的亮度感觉依赖于目标与背景的亮度比，而不是绝对亮度。所以重现亮度时，其亮度不必等于原摄取景象的实际亮度，只要保持目标与背景亮度比，就能给人以真实感觉。视觉敏感度带通：人眼具有低通特性，即人眼对图像高频局部不如对

24、低频局部敏感，因此对高频分量可以用较少的位数表示；对于图像边缘，人眼对水平和垂直方向的边缘和线条较灵敏而对斜向不灵敏，即视觉敏感度有方向性。视觉多通道及掩盖效应：即一个视觉刺激加在另一个视觉刺激上产生的效果，图像中均匀背景上施加随机白噪声比高比照度区域可见。人眼视觉的三大特性南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价基于视觉兴趣的图像质量评价方法 从视觉心理学角度看，视觉是一种积极的感受行为，不仅与生理因素有关，还在相当大的程度上取决于心理因素。人们在观察和理解图像时往

25、往会不自觉地对其中某些区域产生兴趣，这些区域被称为“感兴趣区(ROIregion of interest)。整幅图像的视觉质量往往取决于ROI的质量，而不感兴趣区的降质有时不易觉察。 基于视觉兴趣的图像质量评价方法通过对图像中不同区域的加权突出人眼对ROI的兴趣程度。近似认为人眼对ROI的兴趣程度与其面积成反比。 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价单视图分辨率(Resolution per View)立体图像评价参数 最终提供给观看者的单视点图像的精细度。通常可

26、以用图像或显示器的点数多少来表示，也可以用显示器中的RGB三色之间的空间距离表示。单位像素或亚像素。一般而言，立体显示器的分辨率是不可调节的固定值，同样的尺寸之下，分辨率越高那么可以显示的画面越细致。 相邻立体视角图像记录过程中，主体物体在相邻拍摄位置之间的夹角。相邻立体视角越小，图像的虚拟立体深度越小；反之越大。对于自由视点图像，相邻立体视角过大，会导致图像的跳跃。南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价图像的串影率Crosstalk 任意视角的图像中，混合了另一幅

27、视角的图像，即形成串影现象。单视图刷新率最终提供给观看者的单视点图像的刷新速度，单位是Hz（赫兹）。刷新频率越低，图像的闪烁和抖动就越厉害，眼睛疲劳得越快。 设某一视角的图像光强度为I0，混杂的另外视角图像的光强度为Ic，定义立体图像的串影率为：南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价标称观看距离设计规定的观看屏幕到观看者的最正确纵向距离。有效窗口深度能够提供给观看者的无串影的纵向区间。立体深度的连续性立体图像的相邻虚拟深度的差值，相对于人眼体视锐度的大小。当这个差值

28、大于人眼体视锐度时，虚拟立体深度的连续性将下降，人眼可以分辨出图像的纵向深度跳跃。南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价Stereoscopic ResolutionStereoscopic resolution is the number of depth intervals (or voxels) a display can reproduce over a defined depth range. Displays with lower resolution

29、per view automatically have a lower stereoscopic resolution. A typical good quality two-view display may be able to reproduce 31 voxels in a depth range +/-100mm, the eye in contrast can perceive at least 240 voxels over the same range. See my IOP publication 3D Display Systems for details of these

30、calculations.南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价BrightnessYou should expect the brightness of a 3D display to be comparable to an equivalent 2D display. It often isnt. ContrastYou should expect the contrast ratio of a 3D display to be comparable to an

31、 equivalent 2D display. It often isnt. 谢 谢 Department of Electronic Science and Engineering, Nanjing University 电子科学与工程系南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价Viewing FreedomOver what range can the viewer move and still see a 3D effect. Viewing freedom us

32、ually comes at a price, either reduced resolution per view or increased cost while evidence shows that in desktop applications viewers naturally tend to position themselves at the centre of the display. Viewing freedom becomes more important in applications such as public information displays where

33、users are passing by a display rather than sitting down to use it.Resolution per ViewThe resolution per view is a key variable. It determines the basic 2D image quality for each eye and also the stereoscopic resolution.南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉人眼视

34、觉Rod cell南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉人眼视觉新区培训中心张锦江之星苏州乐园店位于国家高新技术开发区苏州市苏州新区长江路418号，东方迪斯尼苏州乐园对面。0 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉立体图像的产生立体摄影Base line selection 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Departmen

35、t of ESE, Nanjing University双目立体视觉立体图像的产生立体摄影Base line selection 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉立体图像的产生图像渲染南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉立体图像的产生南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing

36、 University双目立体视觉立体图像的产生图像渲染南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉立体图像的产生立体摄影图像渲染立体图像差值Base line selection Base line selection 南京大学-电子科学与工程系-立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University双目立体视觉图像质量评价Comparing 3D DisplaysA difficult problem for user

37、s of 3D displays is how to compare the performance of the wide range of display types available and the suitability of different displays for a specific task. The type of display can help do this to an extent but there are specific technical features which should be considered, these include:Viewing

38、 FreedomOver what range can the viewer move and still see a 3D effect. Viewing freedom usually comes at a price, either reduced resolution per view or increased cost while evidence shows that in desktop applications viewers naturally tend to position themselves at the centre of the display. Viewing

39、freedom becomes more important in applications such as public information displays where users are passing by a display rather than sitting down to use it.Resolution per ViewThe resolution per view is a key variable. It determines the basic 2D image quality for each eye and also the stereoscopic resolution.Stereoscopic ResolutionStereoscopic resolution is the number of depth intervals (or voxels) a display can reproduce ov