视频编码技术前沿与方向_ppt

1、1视频编码技术前沿与方向视频编码技术前沿与方向 北京大学数字媒体研究所http:/ + 预测 + 熵编码v视频编码的极限数学极限 熵差别感知能力 Weber定律， 心理学模型t+1t时间冗余空间冗余感知冗余DCT5视频编码技术发展历程视频编码技术发展历程v编码效率进一步提高已很艰难色彩空间和变换编码已接近最优用计算复杂度换取预测增益的空间越来越小熵编码提高增益的路也不宽1950差分预测编码调制隔行编码B帧P帧场景自适应编码块运动估计DCT 宏块混合编码哈夫曼编码变换编码运动矢量预测视频对象基于对象的可分级编码容错一般的B帧高级的去块效率虑波基于位平面的可伸缩编码高精度运动补偿基于上下文的算术编

2、码2014多视 编码分布式编码19991985专利可免费使用专利可免费使用6vISO/IEC MPEG MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVCvITU-T VCEGH.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGCv中国 AVSAVS-P2, AVS-S v下一代标准？方向、技术？ 年代 MPEG-1 1993 2001 1997 2005 MPEG-4 AVC/H.2641989 MPEG-2MPEG-42013AVS下一代标准20092017视频编码标准发展历程视频编码标准发展历程7问题

3、分析：客观指标与主观问题分析：客观指标与主观感知的差异？感知的差异？峰值信噪比=6.24峰值信噪比=5.98一般认为：峰值信噪比与图像质量近似成正比关系。结论：1、峰值信噪比度量与人的视觉感知并不完全一致！ 2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。8群组编码稀疏编码视觉注意运动感知视觉机理视频编码稀疏编码JPEG (50倍)JPEG (14倍)基于视感知的压缩(200倍)感知图v对视觉感知机理的认识逐渐深入，用于视频编码的潜力很大可能突破方向：借鉴视觉感知可能突破方向：借鉴视觉感知机理机理Guo03, ICCV9提纲提纲v视频编码技术现状简介v视频编码技术前沿

4、与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准10 视网膜侧膝体 人类“眼脑”视觉信息系统处理基本流程 下颞叶皮质区 信息论视觉信息论视频编码理论基础视频编码 框架与方法 基于数字信号处理的框架与方法基于视觉模型的框架与方法 光学刺激 像素像素图像块图像块局部特征局部特征 部件部件/ /物体物体 视觉信息表示的基本粒子结构基于视觉特性的视频编码基于视觉特性的视频编码11v视觉信息论 从像素到基元（熵）v质量评价方法 与主观感知一致v编码方法 多维度感知编码、分布式视觉编码香农信息熵视觉熵像素集基元词典)(XH)(FH扩展基于视觉特性的视频编码基于视觉特性的

5、视频编码12v技术1：纹理分析合成编码*Thomas Wiegand: New Techniques for Improved Video Coding基于视觉特性的视频编码基于视觉特性的视频编码13*Thomas Wiegand: New Techniques for Improved Video Codingv纹理分析合成编码*实验结果对比基于视觉特性的视频编码基于视觉特性的视频编码14v技术2：基于Inpainting技术的视频编码*码率节省达18%*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-B

6、ased Inpainting, IEEE-TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 12731287.基于视觉特性的视频编码基于视觉特性的视频编码15v技术3：视觉感知机理与编码“像素-基元/纹理-对象-场景” 层次模型S. Zhu, UCLA感知图获取结构感知合成纹理原始图像合成图像纹理区域估计基于视觉特性的视频编码基于视觉特性的视频编码16基于视觉特性的视频编码基于视觉特性的视频编码v符合人眼特性的图像/视频质量评价标准块效应、模糊效应、振铃效应的模型表示 图像/视频库主观质量评价视觉失真测度模型17提纲提纲v视频编码技术现状简介v视频编码技术前沿与方向

7、基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准18传统可伸缩编码传统可伸缩编码H22H00H12H00L22H00H12H00H22H00H12H00IBPBPBH20H10L20H10H20H10Spatial upsamplingH21H11L21H11H21H11H23H01H13H01L23H01H13H01H23H01H13H01MP1,2MP0Layer 0: QCIF, 7.5 Hz, 64 kbit/sLayer 1: QCIF, 15 Hz, 128 kbit/sLayer 2: CIF, 15 Hz, 256 kbit/sLayer 3: C

8、IF, 15 Hz, 512 kbit/sLayer 4: CIF, 30 Hz, 1024 kbit/sLayer 5: CIF, 30 Hz, 2048 kbit/sH22H00H12H00L22H00H12H00H22H00H12H00H22H00H12H00L22H00H12H00H22H00H12H00H22H00H12H00L22H00H12H00H22H00H12H00IBPBPBIBPBPBH20H10L20H10H20H10H20H10L20H10H20H10Spatial upsamplingH21H11L21H11H21H11H21H11L21H11H21H11H23H0

9、1H13H01L23H01H13H01H23H01H13H01H23H01H13H01L23H01H13H01H23H01H13H01H23H01H13H01L23H01H13H01H23H01H13H01MP1,2MP1,2MP0MP0Layer 0: QCIF, 7.5 Hz, 64 kbit/sLayer 1: QCIF, 15 Hz, 128 kbit/sLayer 2: CIF, 15 Hz, 256 kbit/sLayer 3: CIF, 15 Hz, 512 kbit/sLayer 4: CIF, 30 Hz, 1024 kbit/sLayer 5: CIF, 30 Hz, 20

10、48 kbit/s时域可分级空域可分级质量可分级时域可分级质量可分级19传统可伸缩编码传统可伸缩编码vH.264 SVC Hierarchical Picture编码, 完全可兼容AVC的SVC编码方案, 通过层次预测实现时域可分级编码AB3B2B1AB3B3B3B2L3H1H2H3H2L3H1H1H1GOP boundariesAVC Main Profilecompatible base layerMCTF enhancementlayer20L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L1L1L1L1L1L1L1L1L1L1L1L1L0L0L0L0L0L0L0

11、L0L0L0L0L0Spatial Base Layer (Layer 0)Spatial Enhancement Layer (Layer 1)reconstructedsequencereconstructedand upsampledsequenceH1H1H1H1H1L1H1H1H1H1H1H1reconstructedsequencetemporalsubbandpicturesSpatial upsamplingBase Layer PredictionReconstructionL0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*L0*

12、L0*L0*L0*L0*L0*L0*L0*L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L1L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0L0Spatial Base Layer (Layer 0)Spatial Enhancement Layer (Layer 1)reconstructedsequencereconstructedand upsampledsequenceH1H1H1H1H1L1H1H1H

13、1H1H1H1H1H1H1H1H1L1H1H1H1H1H1H1H1H1H1H1H1L1H1H1H1H1H1H1reconstructedsequencetemporalsubbandpicturesSpatial upsamplingBase Layer PredictionReconstruction传统可伸缩编码传统可伸缩编码vH.264 SVC SNR可分级：层间预测21多维度可伸缩视频编码多维度可伸缩视频编码v可伸缩编码框架：融合时域、空域、质量、注意、动态范围等的多维度可伸缩编码方法v注意编码：基于注意模型的感兴趣区域表达、编码及码流优化截取方法空域可伸缩时域可伸缩质量可伸缩注意可伸

14、缩动态范围可伸缩22提纲提纲v视频编码技术现状简介v视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准23多视编码多视编码v多视采集系统线阵排列24多视编码多视编码v多视采集系统弧形排列25多视编码多视编码v采集系统面阵排列26多视编码多视编码v多视点预测编码H.264 MVC视内预测视间预测：消除视间的冗余27多视编码多视编码vH.264 MVC 编码效率28立体视频编码立体视频编码v立体感的产生视差原理29立体视频编码立体视频编码v立体电视与自由视点电视30立体视频编码立体视频编码v立体显示戴眼镜观看：互补色、时分立体电视不戴眼镜即可观看：

15、三维显示器31立体视编码立体视编码v多视预测编码v深度信息获取立体摄像机直接获取：成本高双目立体匹配方法：匹配点不唯一问题，遮挡问题单目单图示线索方法 ：可利用图示信息较少，提取深度不准确其他研究：单目多图示线索方法 32立体视编码立体视编码纹理图深度图分块模型v深度信息编码基于模型的编码，通过编码模型参数来表示深度信息对相邻帧间深度信息进行差分预测、量化编码编码过程中的率失真优化33立体电视示范系统立体电视示范系统多视点立体视频采集装置自动立体显示器分时立体显示器深度图生成平台多视点立体视频编码器直播点播服务器解码绘制终端现有视频节目显示适配器网络34立体视编码立体视编码v韩国立体电视广播示

16、范系统2002 FIFA World Cup Korea/Japan (5 games)35提纲提纲v视频编码技术现状简介v视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准36分布式编码原理分布式编码原理vSlepian-Wolf理论独立编码信源X,Y也可达到联合熵下界独立编码相关信源X,Y可在解码端通过联合解码进行重建满足条件约束(,)(|)(|)RxRyH X YRxH X YRyH YX1 Slepian-Wolf, Noiseless coding of correlated information sources, IEEE tra

17、ns. on Inf. Theory, 1973.2 Wyner-Ziv, Recent results in the Shannon theory, IEEE trans on Inf. Theory, 1974.37分布式编码系统分布式编码系统vStandford DVC编码器以常规方法编码信源Y(Key frame)以Wyner-Ziv 编码信源X, 通过Slephian-Wolf Coder传送校验位38分布式编码系统分布式编码系统vBerkeley DVC编码器PRISM (Power-efficient Robust hIgh-compression Syndrome-based

18、Multimedia coding)：将高效的预测编码模式和帧内预测编码模式有效的结合起来，相应地需要：低复杂度边信息编码高复杂度边信息解码39分布式编码应用分布式编码应用v独立、低复杂度编码适合分布式监控、无线传感网络等应用上行：Wyner-Ziv编码器编码码流传送到级站下行：级站进行转码，用通用编码器编码，终端采用通用低复杂度解码器解码40提纲提纲v视频编码技术现状简介v视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准41下一代视频编码标准下一代视频编码标准vMPEG HVC, 2009年2月需求文档w10361两大应用前景需要支持HD甚

19、至UHD应用的家庭影院、数字相机等移动终端应用压缩效率比现有技术有显著提高图像分辨率支持4Kx2K，甚至高达8Kx4K支持采样格式 YCbCr4:2:0, YCbCr/RGB 4:4:4，采样精度最高达14bit 典型帧率支持2460fps，支持灵活帧率复杂度/性能较好的折中42下一代视频编码标准下一代视频编码标准vVCEG, H.NGC, Geneva, 27 January - 6 February 2009 编码码率比H.264/AVC再降低50%编码复杂度低于3倍的H.264/AVC复杂度增加50%时应能提供25%的码率降低较好的容错性能支持8-bit 4:2:0到12-bit 4:4:4编码分辨率支持8K x 4K，帧率23.976 Hz甚至更高43下一代视频编码