基于JND的多视点视频编解码

1、基于基于JND的多视点视频编码的多视点视频编码目目 录录研究背景视频编码基础知识简介基于视觉特性的多视点视频编码123研究背景研究背景经过近经过近30年的飞速发展，视频技术已进入年的飞速发展，视频技术已进入3D时时代。代。2010年上映的电影大片年上映的电影大片阿凡达阿凡达标志着标志着3D电影已成为商业电影的发展趋势。电影已成为商业电影的发展趋势。3D视频在视频在给人们带来真实临场感的体验效果的同时，也给人们带来真实临场感的体验效果的同时，也带来了巨大的数据量。带来了巨大的数据量。3D视频与传统的二维视视频与传统的二维视频相比，最大的不同是视点的增多，从而导致频相比，最大的不同是视点的增多，从

2、而导致编码数据量和编码时间的增大，因此制约了编码数据量和编码时间的增大，因此制约了3D视频技术的发展。视频技术的发展。u由于人眼是视频内容的最终接受体，因由于人眼是视频内容的最终接受体，因此，感知视频编码被认为是最有前景的此，感知视频编码被认为是最有前景的解决方案之一，成为近几年重要的研究解决方案之一，成为近几年重要的研究方向。感知视频编码是根据人类视觉系方向。感知视频编码是根据人类视觉系统（统（HVS)的感知机制及感知特性建立数的感知机制及感知特性建立数学模型，并将此模型集成到压缩算法中，学模型，并将此模型集成到压缩算法中，以去除视频信号中的感知冗余的一种视以去除视频信号中的感知冗余的一种视

3、频编码方案。为了能够定量地度量感知频编码方案。为了能够定量地度量感知冗余，研究者们提出了感知视频编码中冗余，研究者们提出了感知视频编码中的一个重要概念的一个重要概念JND 。u最小可察觉失真（最小可察觉失真（Just Noticeable DistortionJND），也可称为恰可察），也可称为恰可察觉失真，指由于人类视觉系统存在的各觉失真，指由于人类视觉系统存在的各种视觉屏蔽效应，使得人眼只能察觉到种视觉屏蔽效应，使得人眼只能察觉到超过某一阈值的信号变化，该阈值即为超过某一阈值的信号变化，该阈值即为最小可察觉失真。最小可察觉失真。JND模型是一种基于模型是一种基于心理学和生理学的模型，它能有

4、效的表心理学和生理学的模型，它能有效的表征图像中的人类视觉冗余。征图像中的人类视觉冗余。uJND模型：模型：u1、像素域的、像素域的JND模型模型u2、频率域的、频率域的JND模型模型 视频编码基础知识简介u目前的研究显示视频文件中主要存在四种形目前的研究显示视频文件中主要存在四种形式的冗余：式的冗余：u 空间冗余空间冗余u 时间冗余时间冗余u 统计冗余统计冗余u 心理冗余心理冗余u空间冗余空间冗余：视频由连续的帧图像组成，每帧图：视频由连续的帧图像组成，每帧图像又可被分为前景和背景，一般情况下，在前景像又可被分为前景和背景，一般情况下，在前景和背景中均存在大片的内容相似区域。这种帧内和背景中

5、均存在大片的内容相似区域。这种帧内相似性也就是空间相关性。相似性也就是空间相关性。u时间冗余时间冗余：在连续拍摄的场景中，相邻的帧与：在连续拍摄的场景中，相邻的帧与帧中的同一物体一般不会发生很大的变化，它们帧中的同一物体一般不会发生很大的变化，它们在内容上也是相似的。这种帧间物体的相似性就在内容上也是相似的。这种帧间物体的相似性就是时间相关性。是时间相关性。u统计冗余统计冗余：现在的编码标准中熵编码是必不：现在的编码标准中熵编码是必不可少的环节，因为视频内容在去除了上面提到可少的环节，因为视频内容在去除了上面提到的两种冗余后得到的经变换后的码字又可分为的两种冗余后得到的经变换后的码字又可分为高

6、频和低频数据，各频域数据之间又存在着相高频和低频数据，各频域数据之间又存在着相关性，这就是统计冗余。关性，这就是统计冗余。u心理冗余心理冗余：人眼对图像的感知能力并不像计：人眼对图像的感知能力并不像计算机那么灵敏，比如色彩、对比度、分辨率等，算机那么灵敏，比如色彩、对比度、分辨率等，这样就允许视频信息提供者在适当的时候减少这样就允许视频信息提供者在适当的时候减少所提供的数据。所提供的数据。u1、视频编码器将输入图像划分为互不重叠的、视频编码器将输入图像划分为互不重叠的块。块。u2、利用视频的空间相关性以及时间相关性，、利用视频的空间相关性以及时间相关性，采用帧内预测或帧间预测去除冗余信息，得到

7、采用帧内预测或帧间预测去除冗余信息，得到预测块。预测块。u3、预测图像块和原始图像块进行差值，取得、预测图像块和原始图像块进行差值，取得预测残差块。预测残差块。u4、对预测残差进行、对预测残差进行DCT变换和量化，获得量变换和量化，获得量化的化的DCT系数。系数。u5、对量化后的、对量化后的DCT系数进行熵编码，得到压系数进行熵编码，得到压缩码流。缩码流。基于视觉特性的多视点视频编码 多视点视频系统的结构图 多视点视频编码系统结构框图多视点视频编码系统结构框图u多视点视频编码标准中除了采用多视点视频编码标准中除了采用HEVC标准中标准中的帧内预测和帧间预测编码技术外，还采用了的帧内预测和帧间预

8、测编码技术外，还采用了视差补偿预测。这是因为多视点视频是摄像机视差补偿预测。这是因为多视点视频是摄像机对同一场景内容从不同位置拍摄而得，各视点对同一场景内容从不同位置拍摄而得，各视点视频间有很大的相关性，存在着大量的冗余信视频间有很大的相关性，存在着大量的冗余信息，因此在多视点视频编码中采用视差估计息，因此在多视点视频编码中采用视差估计/补补偿来去除多视点视频各视点间的冗余信息。偿来去除多视点视频各视点间的冗余信息。 u传统的视频编码技术通过去除空间冗余、时间传统的视频编码技术通过去除空间冗余、时间冗余以及统计冗余来达到提高视频的压缩率的目冗余以及统计冗余来达到提高视频的压缩率的目的的 ，但未

9、利用人眼的视觉冗余。，但未利用人眼的视觉冗余。所以我们根据人眼视觉特性，建立所以我们根据人眼视觉特性，建立JND模型，并模型，并将其嵌入到多视点视频编码框架中。将其嵌入到多视点视频编码框架中。uJND模型可分为两大类型：像素域模型可分为两大类型：像素域JND模型和模型和频域频域JND模型。模型。u像素域像素域JND模型是根据视频帧的像素值特性而模型是根据视频帧的像素值特性而建立的模型。建立的模型。u频域频域JND模型是根据像素值在变换域的特性而模型是根据像素值在变换域的特性而建立的模型，通常的变换域有小波域和建立的模型，通常的变换域有小波域和DCT域。域。由于视频编码过程中主要是在由于视频编码

10、过程中主要是在DCT域对图像进域对图像进行处理，因此频域行处理，因此频域JND模型大都建立在模型大都建立在DCT域。域。u像素域JND模型 亮度掩盖效应模型亮度掩盖效应模型 纹理掩盖效应模型纹理掩盖效应模型 时域掩盖效应模型时域掩盖效应模型uDCT域JND模型 空间空间CSF特性模型特性模型 背景亮度自适应模型背景亮度自适应模型 纹理掩盖模型纹理掩盖模型 时间时间CSF特性模型特性模型 像素域JND模型u亮度掩盖效应亮度掩盖效应：人类神经系统对信号的敏感度和：人类神经系统对信号的敏感度和背景信号的强度成反比，背景信号的强度越大，人背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区

11、分能力就越小。类的敏感度就越低，区分能力就越小。u纹理掩盖效应纹理掩盖效应：通常在纹理能量高的区域，：通常在纹理能量高的区域，噪声一般是很难觉察到的，因为人眼对频率比噪声一般是很难觉察到的，因为人眼对频率比较高的纹理区的失真不敏感，较高的纹理区的失真不敏感， 在纹理区可以容在纹理区可以容纳较大的失真。而在平滑区和边缘区的噪声纳较大的失真。而在平滑区和边缘区的噪声( , )17(1)3,( , )127127( , )3( ( , ) 127)3,128lumI x yif I x yTHx yI x yotherwise就比较容易被人眼觉察到，人眼对其失真相对就比较容易被人眼觉察到，人眼对其失

12、真相对比较敏感，应予以保护，避免过多失真。因此比较敏感，应予以保护，避免过多失真。因此在不同的区域，在不同的区域，JND阈值应取不同的值。阈值应取不同的值。由于亮度掩盖效应和纹理掩盖效应会产生重叠由于亮度掩盖效应和纹理掩盖效应会产生重叠的效应，提出了掩盖效应的非线性叠加模型的效应，提出了掩盖效应的非线性叠加模型NAMM：( , )( , )( , )txtTH xyGxy Wxy ,( , )( , )( , )m in( , ),( , )slumtxtltlumtxtTH xy TH xy TH xy CTH xy TH xyu时域掩盖效应模型时域掩盖效应模型：当帧间差异变化越：当帧间差异

13、变化越大，人眼感知噪声的能力越小，反之，大，人眼感知噪声的能力越小，反之，越大。越大。u最终的像素域最终的像素域JND模型为模型为( , )( , )( , ,)ststTH xy TH xy TH xyt0.15max( ,exp( ( , , ) 255)( , , )022( , , )0.15max( ,exp(255( , , )( , , )022tHx y tx y tTH x y tLx y tx y tDCT域JND模型u空间空间CSF特性模型特性模型:空间对比敏感度空间对比敏感度(Spatial Contrast Sensitivity)表征了表征了HVS对视觉信号的敏感程

14、对视觉信号的敏感程度，定义为观察者能检测出测试激励的最小对比度度，定义为观察者能检测出测试激励的最小对比度值的倒数，它会受视觉信号的空间频率因素影响。值的倒数，它会受视觉信号的空间频率因素影响。u背景亮度自适应模型背景亮度自适应模型:人类神经系统对信号的敏感度和背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区分能力就越小。 ijijijjiBasicrrbwacwsjiT2cos1exp,170 ,142517017060 ,160 ,115060IIIIIFlumu纹理掩盖效应纹理掩盖效应 对图像采取块分类的方法，分别将块分成三类：平滑区、边缘区和纹理区。对一个图像块，如果包

15、含较少的边缘像素，则可认为是平滑块。另一方面，如果包含较多的边缘像素，意味着图像块中含有很多的高频能量，则被认为是纹理块。 其他，平滑区和边缘区36. 022, 1max, 4min16,)(nFjinTjinCjinFlumhBasiccontrastu时间时间CSF特性模型：特性模型：时间时间CSF特性反映的是人眼对特性反映的是人眼对比敏感度和时间频率之间的关系，在一定条件下，比敏感度和时间频率之间的关系，在一定条件下，两者之间近似满足指数函数关系。两者之间近似满足指数函数关系。u最终的最终的DCT域域JND模型可表示为模型可表示为.5 ,07.110&5 ,07.110&

16、5 , 1)10(cpdfHzfcpdfHzfcpdfFsftsftsTttjinkFnkFnkFjinkTjinkJNDTconstrlumBasic, 像素域像素域JND模型应用于视频编码中的框架图模型应用于视频编码中的框架图+编码帧R(x,y)DCT像素JND滤波QVLC像素JND模型R(x,y)Q-1+ IDCT+去块滤波器帧内预测参考帧缓存运动补偿视差补偿运动估计视差估计像素JND滤波视间参考帧DCT域域JND模型应用于视频编码中的框架图模型应用于视频编码中的框架图u我们利用我们利用DCT域域JND模型建立多视点视频编模型建立多视点视频编码系统中的预处理滤波器，对多视点视频编码码系统

17、中的预处理滤波器，对多视点视频编码DCT域残差系数和率失真优化中的失真信号进域残差系数和率失真优化中的失真信号进行滤波预处理。行滤波预处理。u多视点视频图像经过帧内预测、帧间预测多视点视频图像经过帧内预测、帧间预测 和视点间预测后得到原始视频图像和预测和视点间预测后得到原始视频图像和预测 图图像之间的残差信号，并进行像之间的残差信号，并进行DCT变换编码。由变换编码。由于人眼视觉系统各种视觉掩盖效应，使得人眼于人眼视觉系统各种视觉掩盖效应，使得人眼只能察觉到超过一定阈值的信号变化。基于这只能察觉到超过一定阈值的信号变化。基于这一思想，我们对多视点视频编码中的一思想，我们对多视点视频编码中的DC

18、T域残域残差系数进行滤波预处理，若差系数进行滤波预处理，若DCT残差系数小于残差系数小于等于相应的等于相应的JND阈值，则该系数认为是视觉冗余阈值，则该系数认为是视觉冗余信息，直接置为零舍弃，如此便去除多视点视信息，直接置为零舍弃，如此便去除多视点视频信息中人眼不能察觉到的视觉冗余信息，达频信息中人眼不能察觉到的视觉冗余信息，达到降低编码比特数的目的到降低编码比特数的目的u多视点视频编码中，针对帧内预测，帧间多视点视频编码中，针对帧内预测，帧间 预测以及视点间预测，多视点视频编码采用拉预测以及视点间预测，多视点视频编码采用拉格朗日率失真优化（格朗日率失真优化（RDO，Rate Distortion Optimization）策略进行编码模式的选择。在实）策略进行编码模式的选择。在实际编码中分别计算出各