基于JND的多视点视频编码

1、基于基于JND的多视点视频编码的多视点视频编码目录：一、视频编码基础简介二、多视点视频编码的基本框架三、基于视觉特性的多视点视频编码 l一、视频编码基础简介一、视频编码基础简介l人们通过视觉获得的信息量占人们获取外界信息总量的80% 左右，传统的二维视频因为在表征自然场景深度信息方面有缺陷，不能给人带来身临其境的视觉效应，难以满足人们对视频应用的需求。因此，具有立体感的高清3D视频越来越受到人们的亲睐。 3D视频与传统的二维视频相比，最大的不同是视点的增多，从而导致编码数据量和编码时间的增大，因此制约了3D视频技术的发展。l现有的网络带宽不能满足传输3D视频产生的巨大数据量的要求；3D电视直播

2、和3D会议对编码实时性要求高，现有的3D视频编码复杂度阻碍了3D视频技术的实时应用。为此，提高视频压缩效率和编码速度对于3D视频技术的发展显得尤为重要。l目前的研究显示视频文件中主要存在四种形式的冗余：空间冗余，时间冗余，统计冗余和心理冗余。l空间冗余：视频由连续的帧图像组成，每帧图像又可被分为前景和背景，一般情况下，在前景和背景中均存在大片的内容相似区域。这种帧内相似性也就是空间相关性。l时间冗余：在连续拍摄的场景中，相邻的帧与帧中的同一物体一般不会发生很大的变化，它们在内容上也是相似的。这种帧间物体的相似性就是时间相关性。l统计冗余：现在的编码标准中熵编码是必 不可少的环节，因为视频内容在

3、去除了上面提到的两种冗余后得到的经变换后的码字又可分为高频和低频数据，各频域数据之间又存在着相关性，这就是统计冗余。l心理冗余：人眼对图像的感知能力并不像计算机那么灵敏，比如色彩、对比度、分辨率等，这样就允许视频信息提供者在适当的时候减少所提供的数据。l1、视频编码器将输入图像划分为互不重叠的块。l2、利用视频的空间相关性以及时间相关性，采用帧内预测或帧间预测去除冗余信息，得到预测块。l3、预测图像块和原始图像块进行差值，取得预测残差块。l4、对预测残差进行DCT变换和量化，获得量化的DCT系数。l5、对量化后的DCT系数进行熵编码，得到压缩码流。二、多视点视频编码的基本框架二、多视点视频编码

4、的基本框架多视点视频系统的结构图l l 多视点视频编码系统结构框图l多视点视频编码标准中除了采用H.264标准中的帧内预测和帧间预测编码技术外，还采用了视差补偿预测。这是因为多视点视频是摄像机对同一场景内容从不同位置拍摄而得，各视点视频间有很大的相关性，存在着大量的冗余信息，因此在多视点视频编码中采用视差估计/补偿来去除多视点视频各视点间的冗余信息。视差估计/补偿的原理类似于帧间预测中的运动估计/补偿技术，基本方法就是在参考视点中寻找当前编码图像中的像素点匹配的像素点，这两个匹配像素点之间的相对偏移量就是视差矢量，获得视差矢量的过程称视差估计。视差矢量和两个匹配像素点之间的残差一起发送到解码端

5、进行视频图像重建，这个过程就是视差补偿。 l三、基于视觉特性的多视点视频编码三、基于视觉特性的多视点视频编码 传统的视频编码技术通过去除空间冗余、时间冗余以及统计冗余来达到提高视频的压缩率的目的 ，但未利用人眼的视觉冗余。l最小可察觉失真（Just Noticeable DistortionJND），也可称为恰可察觉失真，指由于人类视觉系统存在的各种视觉屏蔽效应，使得人眼只能察觉到超过某一阈值的信号变化，该阈值即为最小可察觉失真。JND模型是一种基于心理学和生理学的模型，它能有效的表征图像中的人类视觉冗余。 l JND模型可分为两大类型：像素域JND模型和频域JND模型。像素域JND模型是根据

6、视频帧的像素值特性而建立的模型。频域JND模型是根据像素值在变换域的特性而建立的模型，通常的变换域有小波域和DCT域。由于视频编码过程中主要是在DCT域对图像进行处理，因此频域JND模型大都建立在DCT域。l像素域像素域JND模型模型 亮度掩盖效应：人类神经系统对信号的敏感 度和背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区分能力就越小。在图像处理领域，图像中的所有变化并不是都能够被人眼察觉，因此，图像中存在着大量人眼无法察觉到的视觉冗余数据，对传输设备和终端来说是一种浪费。( ,)17(1)3,( ,)127127( ,)3( ( ,)127)3,128lumI x yif

7、 I x yTHx yI x yotherwisel纹理纹理掩盖效应：通常在纹理能量高的 区域，噪声一般是很难觉察到的，因而， 人眼对频率比较高的纹理区的失真不敏感， 在纹理区可以容纳较大的失真。而在平滑区和边缘区的噪声就比较容易被人眼觉察到，人眼对其失真相对比较敏感，应予以保护避免过多失真。因此在不同的区域，JND阈值应取不同的值，可对图像采取块分类的方法，分别将块分成三类：平滑区、边缘区和纹理区。( , )( , )( , )txtTHx yG x yW x yl时域掩盖效应 ：当帧间差异变化越大，人眼感知噪声的能力越小，反之，越大， l最终的像素域JND模型为( , )( , )( ,

8、,)ststTH xy TH xy TH xyt0.15max( ,exp( ( , , )255)( , , )022( , , )0.15max( ,exp(255( , , )( , , )022tHx y tx y tTH x y tLx y tx y tlDCT域域JND模型模型l空间CSF特性模型:空间对比敏感度(Spatial Contrast Sensitivity)表征了HVS对视觉信号的敏感程度，定义为观察者能检测出测试激励的最小对比度值的倒数，它会受视觉信号的空间频率因素影响。 背景亮度自适应模型背景亮度自适应模型:人类神经系统对信号的敏感人类神经系统对信号的敏感度和背景

9、信号的强度成反比，背景信号的强度越度和背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区分能力就越小。大，人类的敏感度就越低，区分能力就越小。 ijijijjiBasicrrbwacwsjiT2cos1exp,170 ,142517017060 ,160 ,115060IIIIIFlum纹理掩盖模型纹理掩盖模型: 对图像采取块分类的方法，分别将块分成三类：对图像采取块分类的方法，分别将块分成三类：平滑区、边缘区和纹理区。平滑区、边缘区和纹理区。Canny边缘检测器是边缘检测器是一个比较著名和有效的边缘检测器，能够很精确一个比较著名和有效的边缘检测器，能够很精确的检测出给定图像的边

10、缘。对一个图像块，如果的检测出给定图像的边缘。对一个图像块，如果包含较少的边缘像素，则可认为是平滑块。另一包含较少的边缘像素，则可认为是平滑块。另一方面，如果包含较多的边缘像素，意味着图像块方面，如果包含较多的边缘像素，意味着图像块中含有很多的高频能量，则被认为是纹理块。中含有很多的高频能量，则被认为是纹理块。 其他，平滑区和边缘区36. 022, 1max, 4min16,)(nFjinTjinCjinFlumhBasiccontrastl时间CSF特性模型：时间CSF特性反映的是 人眼对比敏感度和时间频率之间的关系，在一 定条件下，两者之间近似满足指数函数关系。l最终的DCT域JND模型可

11、表示为 l 为空间CSF特性阈值， 为背景亮度自适应性调制系数， 为纹理掩盖特性调制系数， 为时间CSF特性阈值。.5 ,07. 110&5 ,07. 110&5 , 1)10(cpdfHzfcpdfHzfcpdfFsftsftsTttjinkFnkFnkFjinkTjinkJNDTconstrlumBasic, , , ,jinkTBasic, ,nkFlum,nkFcontr,jinkFT, ,lDCT域JND模型结构图 基于视觉特性的多视点视频编码系统框图 l我们利用DCT域JND模型建立多视点视频 编码系统中的预处理滤波器，对多视点视 频编码DCT域残差系数和率失真优化

12、中的 失真信号进行滤波预处理。l首先是利用JND阈值对DCT变换后的残差系数进行预处理；其次在模式选择过程中，对率失真优化模型中的失真信号进行预处理。l多视点视频图像经过帧内预测、帧间预测 和视点间预测后得到原始视频图像和预测 图像之间的残差信号，并进行DCT变换编码。由于人眼视觉系统各种视觉掩盖效应，使得人眼只能察觉到超过一定阈值的信号变化。基于这一思想，我们提出对多视点视频编码中的DCT域残差系数进行滤波预处理，若DCT残差系数小于等于相应的JND阈值，则该系数认为是视觉冗余信息，直接置为零舍弃，如此便去除多视点视频信息中人眼不能察觉到的视觉冗余信息，达到降低编码比特数的目的。l多视点视频编码中，针对帧内预测，帧间 预测以及视点间预测，多视点视频编码参考软件JMVC采用基于H.264中的拉格朗日率失真优化55（RDO，Rate Distortion Optimization）策略进行编码模式的选择。在实际编码中分别计算出各种编码模式的率失真代价，并选择率失真代价最小的编码模式作为最佳的编码模式。率失真代价的计算式如下 其中 为失真信号，为不同编码模式编码所需的比特数，