视频编码方法现状.doc

h.264/avc发展现状目录1h.264/avc发展现状21.1h.264/avc简介21.2h.264/avc编码工具21.3h.264/avc最近发展32svc发展现状42.1svc简介42.2svc对h264的技术扩展，语法扩展42.2.1语法扩展42.2.2技术扩展53mvc发展现状63.1多视点视频概念63.2多视点视频编码的主要研究内容63.2.1预测结构63.2.2提高mvc编码效率的技术63.2.3mvc高层语法74h.265发展现状74.1h.265提出的主要目标74.2h.265最近发展84.2.1自适应插值滤波器84.2.21/8像素精度运动补偿预测测94.2.3运动矢量竞赛机制94.2.4自适应量化矩阵选择94.2.5空域和频域自适应预测残差编码10视频编码方法现状摘要:随着数字技术的发展，世界视频设备市场已经进入从模拟设备向数字设备的转型期。与传统的模拟电视相比，数字视频技术的突出特点是采用了全数字的图像/声音处理技术。随着这些数字视频系统的日益成熟和不断发展，针对不同的应用领域，一系列相应的数字视频音频编码标准也迅速地制定并不断得到完善。abstract：with the development of digital technology, the video equipment market has transformed from an analog to digital. compared with traditional analog tv, the salient features of digital video technology is all-digital image / sound processing technology. digital video systems become more sophisticated and have continuous development for different applications. a series of digital video and audio coding standard are quickly developed and kept getting better.1 h.264/avc发展现状1.1 h.264/avc简介当前的数字视频主要以mpeg-2为基础，这是一个已经使用了十多年的旧标准，已经达到了它的压缩效率极限。h.264，或称mpeg-4第十部分，是由itu-t视频编码专家组（vceg）和iso/iec动态图像专家组（mpeg）联合组成的联合视频组（jvt，joint video team）提出的高度压缩数字视频编解码器标准。h.264是itu-t以h.26x系列为名称命名的标准之一，同时avc是iso/iecmpeg一方的称呼。这个标准通常被称之为h.264/avc（或者avc/h.264或者h.264/mpeg-4 avc或mpeg-4/h.264 avc）。itu-t的h.264标准和iso/iec mpeg-4第10部分（正式名称是iso/iec 14496-10）在编解码技术上是相同的，这种编解码技术也被称为avc，即高级视频编码（advanced video coding）。1.2 h.264/avc编码工具h.264/avc作为新一代视频编解码标准，采用了一系列新的编码工具使压缩率获得重大突破。这些编码工具主要包括如下几种。1）帧内空域预测图像内通常都有很高的空间相关性，以往的标准没有充分利用这一特性。h.264/avc引入了空域的内预测技术。能够提高帧内编码图像的编码效率。2）低复杂度整数变换及无除法量化由于dct变换具有较好的去相关性，并且计算复杂度低，一直用于以前的编码标准中。但这种浮点dct的缺点是需要浮点乘法计算，并且正变换与逆变换由于精度误差不是完全匹配，因而可能产生偏移误差。h.264/avc采用整数变换，降低变换复杂度，将量化和变换结合，把量化的除法与变换归一化结合起来，可通过乘法与移位实现，避免了除法运算。3）增强的帧间预测能力4）多帧参考技术在h.264/avc中，可采用多个运动帧进行运动估计。5）可变块大小预测在h.264/avc中，一个宏块可进行从1616到44的划分。灵活的宏块划分可以更接近图像中的不同运动物体的形状。6）子像素精度运动补偿h.264/avc中采用了1/4像素精度的运动补偿。7）多模式帧间预测h.264/avc支持丰富的帧间预测模式。8）基于上下文的适应性变长/算术编码h.264/avc引入全新的上下文自适应变长编码cavlc以及上下文自适应算术编码cabac。这两种编码方法充分地挖掘编码元素的上下文相关性，可以根据上下文选择合适的模型进行编码，进一步提高编码效率。9）环路滤波h.264/avc把去块效应滤波放在运动补偿的环路中，既可以去除块效应，也可以提高后续预测参考图像的质量。1.3 h.264/avc最近发展h.264压缩效率的提高是以压缩算法复杂度的提高为代价的，其解码复杂度大约是mpeg-2的2-3倍，为此国外厂商纷纷投入资金，对基于h.264技术的解码芯片进行了研发，形成了多种h.264解决方案，实现h.264hpl4级别的实时解码。目前，主要有以下几种方案：基于专用芯片的结构(soc+asic)；基于dsp+arm的结构；基于x86的结构1。h.264解码芯片市场，目前被conexant，broadcom，signaldesigns，stmicroelectronics等企业垄断。各方案比较参见下表。11方案典型芯片优点缺点soc+asiccx2418x因使用专用芯片，故成本低廉，便于推广无法进行软件升级，系统支持的每个编解码器都需要单独的硬件，资源浪费dsp+armdm642由于其可编程性，基于单个应用开发的ip核能得到重复利用，可对不同的压缩标准进行解码，集成了丰富的外围设备，开发方便cabac等模块在移植到dsp后效率比较低，功耗问题得不到有效解决基于x86x-stream vp提供丰富的应用程序，开发周期短价格昂贵，不易普及表1-1 不同解决方案的优缺点2 svc发展现状2.1 svc简介除此之外，jvt专门针对可伸缩编码需要，提出了svc(scalable video coding)可伸缩编码技术。编码生成的一个svc码流，能够提供在多种不同处理能力终端、不同网络带宽情况下的解码服务，同时达到接近非可伸缩编码码流的图像质量。h.264svc是以h.264为基础，在语法和工具集上进行了扩展，支持具有分级特性的码流，h.264svc是h.264标准的附录g，同时作为h.264新的profile。h.264svc在2007年10月成为正式标准。h.264 svc以h.264/ avc视频编解码器标准为基础，利用了avc编解码器的各种高效算法工具，在编码产生的编码视频时间上（帧率）、空间上（分辨率）可扩展，并且是在视频质 量方面可扩展的，可产生不同帧速率、分辨率或质量等级的解码视频。通过在gop（编码图像组）中设置可丢弃的参考帧实现时间上的可分级。0-16视频帧构成全帧率视频，除t3标志外的所有视频帧构成了半帧率视频，所有 t0标志和t2标志的视频帧构成了1/3帧率视频，所有只是t0标志的视频帧构成了1/4帧率视频。2.2 svc对h264的技术扩展，语法扩展2.2.1 语法扩展对nal（network adaptive layer）头进行了扩展，用于描述码流的分级信息。为了便于描述avc兼容码流的分级特性，定一个nal类型为14的前缀nal，该类型的nal出现在avc兼容码流的nal前面，用于描述avc基本层码流的分级信息。使用保留的nal类型15、20编码增强层码流。nal_unit( numbytesinlunit) cdescriptor forbldden_zero_bitallf(1) nal_ref_idcallu(2) nal_unit_typeallu(5) numbytesinrbsp=0 nalunitheaderbytes= if(nal_unit_type=14|nal_unit_type=20) nal_unit_header_svc_extension() /*specified in annex g*/all nalunitheaderbytes+=3表2-1 nal头扩展nal_unit_header_svc_extension()cdescriptor reserved_one_bitallu(1) idr_flagallu(1) priority_idallu(6) no_inter_layer_pred_flagallu(1) dependency_idallu(3) quality_idallu(4) temporal_idallu(3) use_ref_base_pic_flgallu(1) discardable_flagallu(1) putput_flagallu(1) reserved_three_2bitsallu(2)表2-2 扩展lal头内容2.2.2 技术扩展分层编码为了提高编码效率，就需要最大程度的利用层间相关性。svc增加了层间预测的工具集，主要如下：1) 层间帧内预测（inter-layer intra prediction）。2) 层间宏块模式和运动参数预测（inter-layer macroblock mode and motion prediction）。3) 层间残差预测（inter-layer residual prediction）3 mvc发展现状3.1 多视点视频概念多视点视频指的是由不同视点的多个摄像机从不同视角拍摄同一景得到的一组视频信号，是一种有效的3d视频表示方法，能够更加生动地再现场景，提供立体感和交互功能。与单视点视频相比，多视点视频的数据量随着摄像机的数目增加而线性增加。巨大的数据量已成为制约其广泛应用的瓶颈，为此，itu-t 和mpeg 的联合视频组（jvt，joint video team）提出了多视点视频编码（mvc，multiview video coding）的概念。mvc主要致力于多视点视频的高效压缩编码，是未来视频通信领域中的一项关键技术。3.2 多视点视频编码的主要研究内容3.2.1 预测结构为了提高帧间预测的准确性，h.264/avc引入了多参考图像预测技术。该技术使用多个参考图像进行位移估值和帧间预测，从而获得相对精确的匹配块，降低预测差（residual）信号的能量，提高编码效率。在h.264/avc编码框架下，去除视点间冗余最直接的方式是在编码当前图像时使用其他视点中的已解码图像作为参考图像进行位移估值和帧间预测，这种方法称为视点间预测。如何设计时间预测和视点间预测以有效利用时间和视点间相关性是mvc 预测结构需要解决的问题。3.2.2 提高mvc编码效率的技术预测结构一经确定后，如何有效进行视点间预测来提高编码效率是mvc 研究的一个主要内容。根据所使用方法的不同，视点间预测技术大致可分为两类：利用现有视点间相关性提高mvc 编码效率的技术和补偿视点间差异性提高mvc 编码效率的技术。利用现有视点间相关性提高mvc编码效率的技术：视点间预测指的是采用邻近视点中已解码的图像作为参考图像对当前待编码图像进行预测。因此，如何有效利用视点间参考图像的信息提高mvc编码效率是视点间预测的核心内容。根据利用视点间相关性进行预测信息的不同，视点间预测技术可进一步分为视点间采样点预测和视点间运动信息预测两大类。补偿视点间差异性提高mvc编码效率的技术：视点间差异减弱了视点间相关性，致使视点间预测不能有效地去除视点间冗余，降低了mvc的编码效率。因此，如何通过补偿视点间差异性进而更充分地利用视点间相关性提高mvc 编码效率也是mvc 的关键技术之一。该环节的主要研究内容包括了亮度补偿、颜色补偿、虚拟视图合成预测、自适应参考图像滤波等。3.2.3 mvc高层语法mvc高层语法的研究主要集中在mvc语法和语义的设计。h.264/avc的语法和语义是经过精心设计的，在对其增加新的补充时，往往需要对原h.264/avc语法做适当的修改。具体而言，mvc需要根据多个视点联合编码的特点，扩展h.264/avc语法和语义。目前，关于mvc 扩展的高层语法主要有以下4方面：一是在序列参数集中添加语法元素，用来说明视点的数目以及定义各视点之间的预测关系；二是扩展网络抽象层单元（nalu，network abstract layer unit）的语法元素，添加当前nalu属于哪个视点，是否做视点间参考图像等信息；三是设计适合mvc 的参考图像管理机制，包括参考图像标记、参考图像列表初始化以及参考图像重排序等；四是扩展h.264/avc附加增强信息（sei，supplemental enhancement information），使其能够支持mvc中所定义的各项功能需求，如视点可分级性、支持观看部分视点、并行处理等。4 h.265发展现状4.1 h.265提出的主要目标提出 h.265标准。是为了给音视频服务提供更好的视频编码方法。音视频服务包括会话式和非会话式音视频服务。其中会话式音视频服务包括视频会议和可视 电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储/播放和数字摄像机。h.265标准围绕着现有的视频编码标准,保留原来的某些技术,同时对一些相关 的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法 复杂度之间的关系，达到最优化设置。视频编码标准的发展会更加适应各种类型 的网络，比如，inter1et、lan、mobile、isdn、gstn、ngn等网络。对于以上提出的目标vecg确定了相应的研究内容，包括：1）提出的新压缩方法可以完成下列功能：提高压缩效率； 具有鲁棒性，提高错误恢复能力(例如某些不能供带宽保障的分 组网络或无线移动通信)； 减少实时的时延； 减少信道获取时间和随机接入时延；减少复杂度2）组织压缩数据格式以支持包和流格式3）允许流能容易地被处理器或终端处理 4）提供可以让网络或终端有效地调整码流的技术5）更容易的看到运行后的代码6）提供更有效的数字压缩技术7）根据比色法、视频质量评估和质量控制的要求，提高视频编解码技术4.2 h.265最近发展目前,h.265并未形成新的标准,vceg仍然在征集各方意见和信息以获得性能上的提升.由于整个视频编体系没有大的变化,从总体上看,性能提升的主要方法还是 针对原有编码步骤中各个主要节的改进或增强。为了衡量各种提案的效果，与开发h.64标准时类似,vceg在jm11的基础上推出了一个新的技术验证平台.称为kta 各方面的提案经过提交分析后对比较有前景的提案就会在kta中加以实现和验证。测试新的编码工具的性能以及与其他编码方法的兼容性，目前主要的改进和提升分为三方面：运算复杂度、易出错环境适应性、编码效率。4.2.1 自适应插值滤波器 在非整像素精度的运动预测产生的运动矢量中含有混淆的元素直接限制了运动补偿的精确程度。通过对每个p帧和b帧使用二维非分离插值滤波器可以减少预 测差值能量。每个非整数像素位置的插值都有一组2维滤波器系数，这些系数放 在片头传输给解码器。在原有的运动补偿过程中对于半像素精度的位置使用时不 变的6抽头维纳滤波器计算对应位置的插值，再在此基础上使用双线形插值滤波器计算1/4像素精度的插值。而自适应插值滤波器通过动态的计算滤波器的系数 值来最小化预测差值的能量，之后再计算得到运动矢量。对基本模式使用这一方法可以使得编码增益提升1db，而对主要模式使用这一方法也使得编码增益提升 了0.8db，对较高模式的效果也基本接近主要模式。4.2.2 1/8像素精度运动补偿预测测 图像的运动矢量在原有的系统中是1/4像素精度，当将这一精度设置为1/8时，经测试发现可以有效的降低比特率对主要的测试序列和格式在帧率为30的实验结果显示在36db y-psnr时使用这一技术可以使得比在非整像素精度的运动预测产 生的运动矢量中含有特率减少314。4.2.3 运动矢量竞赛机制h.264比h.263在压 缩比上取得了很大的进步。但这也使得用于运动信息的比特成倍增加。如何减少在运动信息上的花消是进一步提高压缩比的一个突破口。为 了减少运动信息的花消，h.264的运动矢量通过相邻块的空间中值来完成预测这 一中值根据相邻块的情况动态改变。同时，对于时间上的冗余信息，对于运动矢量使用预测块也能到达一定的效果。但这种时间上的预测方式在对于一系列序列的处理上比空间预测方式效率低。已有的一些运动矢量竞争机制都是在一个给定的预测块集合中选择出最佳 的一个，然后将这一预测块的序号作为辅助信息发送，如有的预测块集合由三个 相邻的运动矢量组成，再在这三个预测块间做比较，以确定最后发送的预测和运动信息。在新的建议中，对已有的做法提出了改进，将预测块的集合由原来的空 间域扩展到了时间域及空时混合域。引入了新的预测块，通过率失真准则计算后 选择最佳的预测块，并把预测块的序号在码流中发送。使用这一方法在基本模式下测试，在与h.264相同质量的情况下，得到平均为6.1的压缩增益(对于复杂 的运动这一增益可达20%)。从算法复杂度来看，这一方法影响很小。在编码端来的新增开销也不大。4.2.4 自适应量化矩阵选择根据率失真最优化准则对每个片中的每个宏块都单独选择量化矩阵，量化矩阵分 为两个参数，梯度分量和偏移分量，在码端，为了估算出最优的量化矩阵参数，先要进行常识性的编码，最佳的量化矩阵由这些参数产生。对于每个宏块基于率 失真函数选择最优的量化矩阵。如果变换系数出现在当前的宏块中，那么就将量 化矩阵的序号