基于深度评估中恰可察觉失真的3D视频评价.doc

基于深度评估中恰可察觉失真的3D视频评价D.V.S.X. De Silva, W.A.C. Fernando, G. Nur, E.Ekmekcioglu and S.T. WorrallI-Lab, Multimedia Communications Research Group, Faculty of Engineering and Physical Sciences,University of Surrey, Guildford, GU2 7XH, UK.D.Desilva, W.Fernando, G.Nur, E.Ekmekcioglu, and S.Worrall surrey.ac.uk摘要提供一个真实深度感的能力是现代3D视频显示系统新增功能的核心。目前，还没有标准的方法来评价3D视频中的深度感。类似方法的出现必将极大地促进3D视频研究的进步。这篇文章的重点在于3D视频中深度感知的评定。本文中，我们主观的评价使用者在自动立体显示器上获得的深度感。当深度图压缩的过程中产生损害的时候，我们分析深度感知的变化。我们用另外一个评价来解释主观深度感的变化，这个评价是用来识别观察者深度感知的恰可察觉到的失真（JNDD）。JNDD符合观察者对于3D视频场景中深度的改变的敏感性，尽管这篇文章中仅仅考虑压缩失真的影响，提出的基于JNDD值的评价技术可以用在将来深度感知评价工作中。关键字：深度图，3D视频，深度感知1. 引言3DTV通过提供深度感来给用户提供更好的视觉感受。因此，提供高质量的深度感是非常重要的。任何一个与视频相关的服务系统中，质量评价是一个重要的组成部分。当主观测试结果仍然停留在质量测量的“黄金标准”。客观的度量对于3D视频相关技术的及时发展是最重要的。3D视频的质量评价面临新的挑战。深度感知的评价仍然有无法解答的问题。本文在一定程度上解决了这个问题。由没有立体效果的彩色图片和深度图来表现3D视频。使用这两个组成部分，同一场景的两个不同的角度，称作立体视图，经过绘制展现给观看者。虽然人们使用不同的生理和心理因素来感知深度，双目视差是现代立体3D显示能够提供深度感的最重要的原因，相比较传统的2D显示。双目视差是一种感觉，大脑利用视差来说明深度信息，双眼视差是由双眼看到的图像有点轻微不同产生的。因此，人的大脑可以通过立体视图中不同对象的视差来感知深度信息。文献4是最早的研究之一，探索人们对3D视频中三个具体的感知属性的不同。这些属性是深度的感知，深度的存在和深度的自然性。结果表明，深度的增加将导致存在感的增强，假如深度被视为自然的（即depth cues introduced are consistent and within natural bounds）。文献5介绍了深度图像的质量对于3D感的影响。这里，深度图用不同的码率进行量化并且主观的评价整体的3D感。文献5推出的结论：深度图可以大量的量化并且不影响3D感的质量。文献6中，分析了2D视频质量度量和立体视频中感知的属性的主观分数之间的联系，文献6中的结论：出于许多2D度量指标的考虑，彩色成分的视频质量度量（VQM）和深度感的整体感知有很大的关联。另外，没有单独应用于深度图质量度量标准，主要依赖于观众对于3D视频中深度感的评级。相似的，在文献8主要介绍了深度失真没有彩色失真重要。 尽管在文献56和8中介绍了深度感知不随着深度图量化级数的改变而改变，但都没有解释原因。本文详细研究了观察者对于深度压缩失真所带来的深度图改变的反应。为了解释感知到的深度的变化，我们主观的研究了人们感觉到的深度的恰可察觉失真(JNDD)的作用,在一个3D视频场景中。由于深度图的损失，观察者无法感觉到深度任何重大的改变的原因，JNDD的研究结果会解释这个原因。 论文的剩余部分是这么安排的。第二部分介绍主观实验用来研究不同量化级别的情况下深度感知的变化情况。第三部分介绍了用实验评价JNDD值。第四部分解释了根据JNDD的结果，研究深度感知的变化。第五部分总结了未来工作的研究方向。2. 深度感知的评估这一部分提供了详细的主观实验用来评估用户的深度感知。尤其是，我们研究用户对于压缩过程中引起的深度图失真的反应。(a) chess 序列 (b) world cup 序列 图1 实验中用到的彩色和深度图像2.1 建立实验主观实验是根据ITU-TBT.500-11 9来进行的，16位观察者(6个专家和10个非专家)参加了所有的测试。与标准相对应，一些专家是考虑到3D视频的特别的性质才选择的。观察者都有很好的视力(0.7,经过斯内伦眼图测试)，好的立体视觉，好的彩色视觉。实验在42寸的飞利浦WoWvx多视点自动立体显示器上进行。屏幕的高宽比是16:9，最大的亮度是.观察距离是3m，这个距离是观察效果最好的距离。输入进去的是彩色加深度视频来代表3D视频。这种表现形式，深度图有256个(0-255)个深度级别，视频对象有128个深度级别，零视差。测量环境的照明是200 lux，文献9中推荐的，近似与家里的环境。2.2 实验一些3D视频序列被用于主观测试。主要是Breakdancers序列(运动剧烈/高的深度变化，静止的照相机)，“Chess”(低运动/高的深度变化和平行的相机运动)，”World Cup”(运动一般/低的深度变化和静止的相机)和”Interview”(低运动/低的深度变化和静止的相机)，考虑到不同的序列有不同的特性。序列中的其中两个的缩略图如图1所示。在每一个主观评估测试中，观察者被要求评价失真的视频序列中感知到的深度，相对于没有失真的序列。文献9中的DSCQS方法，从1到5，在实验中使用了。使用JM Version 15.1来编码深度图序列，5种不同的QP分别为22,27,32,37,42.彩色图像不进行压缩。2.3 结果主观试验的结果如图2所示，就像图2中说的那样，当QP增大的时候，曲线有轻微的下降的趋势。图2 不同QP下对应的深度是真图里的深度感知的平均分数因为MOS下降的很少，可以做如下结论：即使深度图高度压缩的时候，深度感知也不改变。一般来讲，序列Breakdancers和Chess的MOS绝对值比另外两个序列的高。原因是Breakdancers和Chess包含更多的深度等级。3. JNDD性能的评估 为了解释上面部分的主观结果，我们进行了主观实验来了解人们对于3D场景中深度感知变化的敏感性。双目视差是产生深度感的重要原因。这一部分主要介绍了JNDD是如何实验评估的。3.1 建立实验实验的显示设备和2.1部分的一样。深度等级0-255各自显示在屏幕的最远和最近的15.25厘米处。18位观察者全部参与了实验。3.2 JNDD评估实验观察者被要求观察一个合成的图像序列，序列里有两个对象，都是一个汽车的合成图像，如图3所示，在一个自然地场景中，有很多因素产生深度感知，然而，在这个实验中，我们仅考虑双目视差的因素影响，因此有必要隔离其他能够引起深度感知的因素。如图3中的平面图像被用在实验中。图3 纹理图和相对应的JNDD实验的深度图例子 最初，这两个物体相对于屏幕来说被放置在同一个深度等级上，如图3中的(b)所示，右面物体的深度按照预定的速率慢慢的改变(增加或降低)，而左面物体的深度不发生变化。如图3中的(c)和(d)。当他们感觉到两个物体的深度等级发生变化的时候，他们被问到相对于左图像来说，右图像是否在前进或后退。为了确保实验结果的可靠性，被测试者的答案如果错误的话，将会在最后的结果分析中被剔除。 在实验中，右图像的深度每一次增加一个深度等级，彩色图像不发生改变。右边物体的深度等级每1.5秒改变一次。3.3 JNDD评估实验的结果3.2中的实验结果被总结在表格1中，结果是按深度等级的单位来呈现的，每一个深度等级对应于大约1.2mm(30.5cm/255).JNDD对应于未察觉到的深度等级的数目。当视差为0的时候，JNDD为最小值，当靠近最近和最远平面的时候，JNDD值增加，可以用韦伯定律来解释。4.深度感知结果的解释这一部分提出一个简单的方法来评定深度损害如何影响3D视频场景中的深度感知。基于第3部分提出的JNDD研究，接下来解释第2部分产生的深度感知结果的原因。在编解码过程中，深度图中的像素值会发生改变，引起立体视点的失真。这些失真引起感知深度的改变。但是，在前面部分介绍的JNDD研究说明观察者直到深度级别增加或减少至少16级（7）才能感知深度的变化。因此，深度图中像素的改变不能引起感知深度的失真，除非改变超过一个特定的阈值。这个阈值相当于JNDD的值，通过深度级的单位来测量。 4.1感知深度失真区域的确定 在分析深度感知像素错误的影响时，确定感知失真的区域是重要的。为了此目的，我们介绍了“失真图”，突出感知失真的像素位置。 在接下来的解释中，X和Y分别表示原始和失真深度图。感知失真（E）是通过位于位置（i，j）的像素值的变化而引起的，计算如等式（1）。在等式（1）中，是在深度的恰可察觉失真或者在（i，j）位置与深度相关的被忽视深度级数量，用X(i,j)。根据在前面部分实验得到的JNDD值来计算。理想地，应该根据每个像素（这种情况下为X(i,j)）的深度值而变化。但是，为了减小计算复杂度，我们分开计算，考虑一个特殊的bin的设置。这些bin在等式（2）中说明。 对于等式（2）中每个bin对应的值是在每个bin的深度级的开始和结束，通过不可察觉深度级的平均值计算的。这个计算进一步在表2中表示。因为我们处理的是整数，所以表2中每个，都在最近的整数之间循环。 图4中的失真图表明了有感知深度失真的位置。换句话说，失真图表明当E(i,j) 0时的像素值。失真图对鉴别感知深度失真的区域是非常有用的。 4.2讨论 所有图4中的失真图，与实验中考虑的最高损坏级别是相对应的，表明感知失真仅仅发生在物体边缘。在物体的感兴趣内是没有感知失真的。甚至在目标边缘仅仅2-3像素的宽度存在失真。这些像素的深度失真对全部深度感知是没有影响的，因为目标感兴趣区域的深度值是根本没有变化的。因此，总的来说，大部分感知深度，在压缩过程中是不被影响的。 但是，深度感知的少量减小也可以使用深度图来解释。目标边缘的少数失真如图4所示，引起了一些使人明显察觉的绘制失真。这导致了目标边缘的少量闪动。而且，深度和绘制失真的不一致将引起视力疲劳。这很可能是某些目标在较高的量化等级认为深度感知稍低的的原因。 因此，实验中使用编解码介绍的压缩不会引起重大的感知深度变化。但是，对于不同类型的深度损坏图和不同的观察条件，这个观察将不一定支持。5.结论 本文研究了使用深度图量化级别的深度感知的主观质量变化。本文尤其集中于3D视频的彩色加深度描述。在自动立体展示中实施的主观实验显示，当彩色图保持不变时，深度图一定量化级别的深度感知不会引起的重大变化。为了解释在相同展示中实施的这一观察的另一个主观评价，以确定人对深度变化有多敏感。我们通过实验得出JNDD有各种各样的深度值。JNDD的结果建议考虑本文的观察条件，人类对深度图的少量变化是不敏感的。一个深度像素的值平均应该至少改变7%（在128测试深度级别中16级别），人类才会察觉到深度变化。基于JNDD的结果，我们提出了一种方法来评价深度损坏在深度图的帮助下带来的影响，讨论了为什么深度感知在量化级别下不会发生重大改变。总之对于本文描述的情况，深度感知不会受到深度图的量化的影响。 但是，对于不同视点情况来说，例如不同的显示，JNDD值需要被再一次证实。此时，我们正在使用JNDD的结果来压缩和加工深度图，希望将来在3D不同的显示类型中证实他们。 参考文献： 1 L. Onural, “Television in 3-D: What Are the Prospects?,”Proceedings of the IEEE, vol. 95, 2007, pp. 1143-1145.2 Christoph Fehn, “Depth-Image-Based Rendering (DIBR),Compression and Transmission for a New Approach on 3D-TV,”Proceedings of the SPIE, vol. 5291, 93, 2004.3 V. Bruce, P.R. Green, and M.A. Georgeson, “Visual perception, ”Psychology Press, 4th Edition, 2003.4 W. IJsselsteijn, H. de Ridder, R. Hamberg, D. Bouwhuis, and J.Freeman, “Perceived depth and the feeling of presence in 3DTV,”Displays, vol. 18, May. 1998, pp. 207-214.5 G. Leon, H. Kalva, and B. Furht, “3D Video Quality Evaluation with Depth Quality Variations,” 3DTV Conference: The True Vision -Capture, Transmission and Display of 3D Video, 2008, pp. 301-304.6 C. Hewage, S. Worrall, S. Dogan, S. Villette, and