HEVCH.265编码技术.ppt

HEVC H.265,Agent,2,H.265的发展背景和历程,H.265的关键技术,H.265编码能力对比,H.265的产品实现,H.265应用实测,H.265与4K视频,背景 (1),3,视频应用向以下几个方向发展的趋势愈加明显： 高清晰度(Higher Definition)：数字视频的应用格式从720 P向1080 P全面升级，在一些视频应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式; 高帧率(Higher frame rate )：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级; 高压缩率(Higher Compression rate )：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。,背景（2）,4,由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性： (1) 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。 (2) 由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4 x 4或8 x 8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。 (3) 由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。 (4) H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。,H.265应运而生,5,基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高压缩率的高效视频编码标准(High Efficiency Video Coding）HEVC (H.265)协议标准应运而生。 HEVC的: 核心目标：在H.264/AVC high profile的基础上，保证相同视频质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，允许编码端适当提高复杂度（三倍计算复杂性下）。 编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。HEVC在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。 技术创新：基于大尺寸四叉树结构的分割技术，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。,H.265（HEVC）标准完成时间点,6,2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代编码标准：HEVC(High Efficiency Video Coding)。 2012.2：委员会草案（标准草案完成稿）；HEVC委员会草案获得通过。 2012.7：HEVC国际标准草案获得通过； 2013.1：国际标准最终获得通过；,Agent,7,H.265的发展背景和历程,H.265的关键技术,H.265编码能力对比,H.265的产品实现,H.265应用实测,H.265与4K视频,H.265关键技术(1)四叉树编码结构,8,该结构使用编码单元(Coding Unit, CU)，预测单元(Prediction Unit, PU)和变换单元(Transform unit, TU) 3个概念描述整个编码过程。 编码单元：HEVC定义了5种类型的编码元: 128128(LCU)，6464，3232，1616，88(Smallest Coding Unit, SCU)。 对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测，HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取了运动矢量方案(MVR )、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC)和基于块的照明竞争(B-BIC)来提高编码性能。 变换单元，则是针对正交变换和量化。对于正交变换，HEVC采用包含了1616，3232和6464等尺寸块的变换矩阵、旋转变换和基于模式的方向性变换来提高编码性能。,H.265关键技术(1)四叉树编码结构,9,LCU的树形结构示意图,(a) 2N2N,(b) N2N,(c) 2NN,(d) NN,4种PU分割类型,6464CU所支持的4种AMP分割形态,HEVC的变换结构突破了原有的变换尺寸限制，可支持44至3232的编码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。下图为编码单元、变换单元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单元四叉树分割，编号为各编码单元的编码顺序。,H.265关键技术(1)四叉树编码结构,10,左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准，编码单元大小是根据区域信息量来决定的,H.265关键技术(1)四叉树编码结构,11,H.265关键技术(2)预测编码技术,12,HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。HEVC改进之处：,帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度。另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进。目前HM模型中共包含了35种预测模式，下图只显示了34种，未显示Planar预测方法。,多角度帧内预测,H.265关键技术(2)预测编码技术,13,帧间预测技术,广义B预测技术：HEVC仍然采用了H.264中的B预测方式，同时还增加了广义B(Generalized P and B picture，GPB)预测方式。GPB预测结构对传统P帧采取双向预测方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率。,高精度运动补偿技术： HEVC的编码器内部增加了像素比特深度，最大可支持12 bit的解码图像输出，提高了解码图像的信息精度。 HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加，在双向运动补偿过程中都将使用14 bit的精度进行相关计算。,运动融合技术：将以往的跳过预测模式(Skip Mode)和直接预测模式(Direct Mode)的概念进行了整合。采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记(Merge Flag)以及融合索引(Merge Index)，无需传送其运动信息,自适应运动矢量预测技术：为一般的帧间预测PU服务，通过相邻空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。利用AMVP技术可充分发掘时域相关性和空域相关性。,H.265关键技术(3)环路滤波,14,1个HEVC环路滤波包括3个环节： 去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低复杂度，目前的HM模型取消了对44块的去块滤波 采样点自适应偏移(Sample Adaptive Offset，SAO)： HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。分为带状偏移(Band Offset，BO)和边缘偏移(Edge Offset，EO)两大类 自适应环路滤波(Adaptive Loop Filter，ALF)： HEVC采用的新技术，在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。,H.265关键技术(4)熵编码,15,H. 264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处理能力，降低对解码端芯片的频率要求： 可支持上下文自适应变长编码(CAVLC)：用于低复杂度的编码场合 基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高效的编码场合。,H.265关键技术(5)细粒度slice分块边界,16,H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位，每个slice的大小都可以精确控制，同时解决了码率控制和负载均衡的问题。但是带来的代价是slice边界处理更为复杂。片的分割如图：,H.265关键技术(6)比H.264改进之处,17,相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，具体各项改进如表所示：,Agent,18,H.265的发展背景和历程,H.265的关键技术,H.265编码能力对比,H.265的产品实现,H.265应用实测,H.265与4K视频,编码能力对比,19,分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码率对比如下表所示：,编码能力对比,20,相同质量情况下，H.265编码比H.264编码的码率减少25%35%。 质量越高，编码后的码率差别越大。,编码能力对比,21,编码能力对比,22,相同PSNR时，几种不同视频编码标准的对比：,压缩能力对比,23,Agent,24,H.265的发展背景和历程,H.265的关键技术,H.265编码能力对比,H.265的产品实现,H.265应用实测,H.265与4K视频,H.265的产品实现编码器,25,编码器（硬件）：,2. 编码器（软件）：,2013年1月8日，Vanguard Video发表了V.265，一个专业的纯软件HEVC编码器，能达到实时的编码性能。同年6月， V.265专业HEVC编码器加入了Main 10 profile的支持，成为第一个支持Main 10 profile的实时HEVC软件编码器。 2013年8月8日，日本电信电话发布了他们的HEVC-1000 SDK软件编码器，能支持Main 10 profile、分辨率最高7680x4320以及祯率最高到120 fps。 2013年9月，北京瑞普图视发布其国内首款H.265实时编码软件，可以轻松地分别实现1路1080p、2路720p、4路480p的实时输入、编码压缩、实时输出，延时小于1秒以内，画面清晰流畅 2013年10月，Ateme正式发布HEVC编码器，能够以60fps、平均15 Mbit/s的码率编码3840x2160p分辨率的视频,2012年8月22日，Ericsson发表了世界第一个HEVC编码器Ericsson SVP 5500，可做到实时编码视频，并首先用于在移动网络上提供电视节目。,H.265的产品实现解码器（硬件）,26,2012年9月，法国Allegro DVT推出了全球首款HEVC广播配件：AL1200HD-SDI解码器与AL2200IP转码器，并于2013年7月改进了其HEVC解码器IP，增加Main 10 profile的支持。 2013年1月8日，博通发表了一个UHD解码芯片BCM7445，能够运行解码HEVC至最高4096x2160p分辨率于60 fps。BCM7445采用28纳米ARM架构，能达到21,000Dhrystone的每秒百万指令，预计在2014年中批量生产。 2013年2月11日，MIT于国际固态电路研讨会(ISSCC)上，展示了世界第一个HEVC ASIC解码器。他们的芯片能够实时解码3840x2160p 30fps的视频流，并消耗低于0.1瓦的电力 ARM不仅在其Mali-T600 GPU上实现了1080P的HEVC解码，2013年10月，ARM还发布其全球第一个4Kx2K 实时硬解H.265的GPU芯片Mali-T764，可支持OpenGL ES 3.0和OpenCL 1.2。Mali-T764最大特点是采用第三代MIDgard架构。,H.265的产品实现解码器（软件）,27,2012年2月29日， 世界移动通信大会上，高通展示了一个HEVC解码器运行在Android平板上，使用了Qualcomm SnapdragonS4 双核心处理器运行在1.5GHz，将同一个视频以H.264/AVC和HEVC同时并发播放，HEVC展现了较H.264/AVC几乎节省了50%的比特率 2013年3月，NTT DoCoMo开始授权其HEVC解码软件，能够在个人计算机上拨放4K UHDTV的视频于60 fps以及在智能手机上拨放1080p的视频，在一个JCT-VC文件内，该软件解码器能够在2.7 GHz 四核心Ivy BridgeCPU的平台上，以3个线程解码3840x2160于60 fps 2013年4月3日，Ateme发布了第一个开放源代码实现的HEVC软件播放器，基于OpenHEVC解码器和GPAC视频播放器(两者都基于LGPL授权)。OpenHEVC解码器支持HEVC Main profile，能够用宏内核的CPU来解码1080p 30fps的视频，同时还有一个支持HEVC的实况转码器搭配GPAC视频拨放器。,H.265的产品实现编解码器,28,2012年9月6日，Rovi Corporation发表一个HEVC适用的MainConcept SDK， HEVC MainConcept SDK包含了一个解码器、编码器及传输多任务器，可在Microsoft Windows、Mac OS、Linux、iOS及Android上运行。 2013年3月14日，Ittiam Systems发布了一个HEVC视频编码器及解码器，其中编码器是基于Intel x86软件，能编码高清(HD)放送质量的视频。而解码器软件可在基于ARM Cortex-A9以及Cortex-A15的SoC上运行，允许大部分现存的消费性电子设备譬如智能手机、平板电脑、智能电视、机上盒来拨放高解析的HEVC内容。 2013年9月6日，Thomson Video Networks展示了一个试验式的UHD传输用的HEVC编解码器，并且被人造卫星传输营运商HISPASAT所采用。,H.265的产品实现转码器及其他,29,2013年9月11日，ViXS Systems了XCode 6400 SoC，在HEVC Main 10 profile下支持4K分辨率于60 fps，以及Rec. 2020色彩空间。并于2013年12月18日正式出货。 2013年8月21日，Microsoft发布了一个用于HEVC的DXVA（DirectX Video Acceleration）规范，支持Main、Main 10及Main Still Picture profile。DXVA 2.0可进行HEVC解码的硬件加速，兼容的解码器可使用DXVA 2.0进行以下操作：比特流解析、去区块、反量化缩放、反转换以及运动补偿。 2013年9月，DivX在DivX 10.0中提供了DivX HEVC Plug-in，激活后即可播放或将其他格式视频转换为HEVC视频。 DivX 10.1 Beta版的解码器能分别以210.9 fps、101.5 fps、29.6 fps的速度来解码720p、1080p、4K的视频。 2013年1月，三星电子在F8500等离子电视支持HEVC解码。,H.265的产品实现云网行CR12,30,采用最新的瑞芯微RK3288芯片。 CPU：四核Cortex-A17构架处理器，最高主频达到1.8GHz。 GPU：最新、最强的8核MaliT76X。 强劲的CPU、GPU，支持4K*2K视频H.265硬解。 通过HDMI2.0展现完美的4K视频播放输出。,云网行2014年6月推出的新品-云网行CR12：,Agent,31,H.265的发展背景和历程,H.265的关键技术,H.265编码能力对比,H.265的产品实现,H.265应用实测,H.265与4K视频,H.265应用实测（迅雷）,32,测试配置：Athlon II X4 640 3.0GHz；DDR3 1333 6GB （DC+ enabled）；Windows 7 64bit,测试仅用一个场景片段，一个码率预设值，来测试迅雷HEVC编码器的速度与压缩效率，同时与H264作对比。,测试参数配置：,编码测试结果：CPU基本满载编码，HEVC用时83分钟，H.264用时10分钟左右。（绝对数值与硬件配置有关） 解码测试结果： 从启动播放器到播放到30秒处的CPU时间分别如下：HEVC: 27秒；H264: 19秒,测试片源：1280X720，时长1分33秒,编码软件：Lentoid HEVC Encoder（北京视骏 ） ； 解码软件： Lentoid Codec, 版本是2.0.0,2013年3月30日迅雷看看独家首发了H.265升级版客户端，成为行业内首个将H.265技术标准从试验阶段正式大规模投入商用的企业。,H.265应用实测（迅雷）,33,HEVC在控制block方面做得很不错。,线条方面，HEVC的线条走样远小于AVC方案，但水面细节涂抹的很严重。,高动态下的效果，HEVC对细节的涂抹非常严重，甚至x264都保留了更多背景的粒子特效,源片,H.265/HEVC,H.264/AVC,H.265应用测试（PPS）,34,臻高清测试环境：Windows7旗舰版、AMD FX-5000 (4核)、显卡GTX-260、 内存 DDR3 4GB,2013年4月，PPS发布了支持H.265技术的“PPS影音”客户端，并以“臻高清”命名成为独立品牌，成为国内首家自主研发支持H.265技术，并掌握核心技术的视频应用公司，实现在线视频1080P画质。,2012年9月，PPS正式成立了H.265研发团队。这个由有8人组成的团队，经过半年的时间开发，推出了国内首家支持H.265技术的客户端产品。,H.265应用测试（PPS）,35,PPS普通画质版-见龙卸甲截图，刘备眼部模糊,PPS高清画质版-见龙卸甲截图，刘备面部略灰,PPS超清画质版-见龙卸甲截图，刘备面部比较