四川大学计算机学院多媒体基础视频压缩标准2.ppt

视频压缩标准,陈虎,H.264/AVC标准简介,JVT(JointVideoTeam)是由国际标准化组织运动图像专家组（ISOMPEG）和国际电信联盟视频编码专家组（ITU-TVCEG）成立的联合视频工作组，致力于开发低比特率视频标准；JVT标准于2003年推出H.264/AVC标准在ISO/IEC中正式名称为MPEG-4Part10，称之为“ISO/IEC14496Part10高级视频编码算法”（ISO/IEC1449610AVC）,H.264/AVC标准简介,H.264/AVC实现的目标,更高的编码效率，在H.263和MPEG-4的基础上，保持相同图像质量，节省50的比特率。更好的图像质量，在各种编码速率条件下提供满意的主观图像质量。更强的时延适应性，适应低时延的实时通信应用，如视频会议等，也可适应高时延的数字存储等应用。更强的容错能力，适应包交换网络中的丢包和无线信道中的误码。更好的网络适应能力，分离视频编码层（VideoCodingLayer，简称VCL）和网络适配层（NetAbstractionLayer，简称NAL），适应在不同特性的网络上打包传输。,H.264/AVC标准的制定历程,H.264/AVC的应用前景,有线、卫星数字电视广播优越性广泛应用有赖于高效的压缩技术美国在2010年（我国约在2015年）停止模拟电视广播，全部采用数字电视广播HDTV要获得迅猛发展，必须要降低成本，采用H.264，可使传输费用降为原来的1/4在有线电视信道上开通数字电视，采用压缩性能优异的H.264显得非常迫切,H.264/AVC的应用前景,视频通信上世纪90年代初以来，电视会议在我国获得了迅速发展。其不足之处为：（1）不方便：必须到电信局专门的电视会议室才能参加会议（2）价格昂贵：当时采用H.261，压缩比不高，图像质量不够好，设备价格昂贵，传输费用也昂贵可视电话是视频通信的另一个重要应用，尚未很好地广泛地被应用，一个重要原因是视频质量不理想，这与视频压缩技术有密切关系利用IP技术传输视频，在网络流量不大时，可视电话质量尚能接受（尽管也不是很好）由于IP数据流的突发性，在流量大时网络会发生拥塞，常发生丢包、误码，图像中带有不少方块，视频质量难以接受对视频编码的要求：高压缩比，在恶劣传输条件下（包括移动网络的衰落）具有抗阻塞、抗误码的鲁棒性H.264具有优异的压缩性能、良好的网络亲和性基于DSP的采用H.264编码的可视电话有重要应用价值,H.264/AVC的应用前景,视频点播与流媒体服务应用流媒体技术的电视点播（VOD）有迅速发展利用宽带上网进行VOD多媒体消息服务短信市场正方兴未艾，相信多媒体短信也将有巨大发展交互式数字存储设备蓝光Blu-Ray,H.264/AVC的相关产品,高清DVD、数字电视1080p,60Hz蓝光DVD25/50GBofstorage4hoursofHDvideoH.264/AVC和WindowsMediaVideo9相关机顶盒产品已经出现,H.264/AVC的相关产品,H.264/AVC的相关产品,H.264/AVC的相关产品,H.264/AVC定义的档次和级别,H.264主要支持4:2:0格式的连续或隔行视频的编解码，4:2:2和4:4:4可作为额外的参考信息参数；根据应用领域不同，制定了不同的算法集合和技术限定，共分为3个档次：基本档、主档和扩展档；在每一档次设置了不同的参数，每个档次下面又划分为不同的等级；基本档是扩展档的子集，但不是主档的子集。,H.264/AVC定义的档次和级别,H.264/AVC视频编码和解码,H.264/AVC的分层设计,H.264标准从概念上将编码结构分为两层：上层为视频编码层（VCL：VideoCodingLayer）负责高效的视频内容表示底层为网络提取层（NAL：NetworkAbstractionLayer）负责以网络所要求的恰当的方式对数据进行打包和传送。在VCL和NAL之间定义了一个基于分组方式的接口，高编码效率和网络友好性的任务分别由VCL和NAL来完成。,H.264/AVC的分层设计,H.264/AVC的分层设计,视频编码层负责完成高效率的视频压缩任务，网络提取层将视频编码层从具体的传输层中抽象出来，负责解决网络的适配问题，即根据使用环境对不同网络采用最为合适的方式对数据进行打包和传送，以使得码流对各类信道都具有良好的适应能力；对上层，从视频编码层获得数据，包括头信息、视频压缩数据信息；对下层，依据具体传输网络的特性对数据进行封装，包括成帧、发送信号至逻辑信道、利用同步信息等，定义适合传输层或存储介质需要的数据格式，提供头信息，将视频编码数据正确的映射到H.323、H.324等具体的传输协议上，从而提供视频编码层与外部世界的接口。例如，NAL支持视频在电路交换信道上的传输格式，支持视频在Internet上利用RTP/UDP/IP传输的格式,H.264/AVC编解码器的基本架构,编解码流程主要包括5个部分：帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码。,H.264/AVC编解码器的基本架构,仍然采用经典的运动补偿混合编码算法；编码图像分为3种：I帧、P帧和B帧；此外H.264还定义了新的SP帧和SI帧，用以实现不同的传输速率、不同图像质量码流间的快速切换以及信息丢失的快速恢复等功能；H.264将一视频图像编码成一个或多个片，一个片由一系列按光栅扫描顺序排列的宏块构成每片包含整数个宏块或一幅图像的全部宏块。,片和片组,片一个视频图像可编码成一个或更多个片，每片包含整数个宏块（MB），宏块数不固定目的：限制误码的扩散措施：编码片相互间独立，即某片的预测不能以其它片中的宏块为参考图像编码片共有5种不同类型：I片、P片、B片、SP片和SI片。SP（切换P）用于不同编码流之间的切换，它包含P和/或I宏块，是扩展档次中必须具有的切换。它包含了一种特殊类型的编码宏块，叫做SI宏块，SI也是扩展档次中的必备功能片的句法结构见图6.7。片头规定了片的类型，该片属于哪个图像，有关的参考图像等，片的数据包含一系列的编码MB，和/或跳编码（不编码）数据每个MB包含头单元和残差数据。,片和片组,片和片组,片组一个编码图象中若干MB的一个子集，可包含一个或若干个片一个片组中，每片的MB按光栅扫描次序被编码，如果每幅图象仅取一个片组，则该图象中所有的MB均按光栅扫描次序被编码除非使用了ASO（任意的片次序），即一个编码帧中的片之后可跟随任一解码程序的片还有一种片组，叫灵活宏块次序（FMO）它用灵活的方法把编码MB序列映射到解码图象中MB的分配用MB到片组之间的映射来确定，它表示每一个MB属于哪个片组,片和片组,MB到片组的映射,片和片组,交错型片组散乱型片组,前景和背景型片组,H.264/AVC的关键技术,H.264的特征是加大了预测部分的比重，通过改善预测误差而提高编码效率；与H.263+和MPEG-4简单类相比，在视频图像质量相同的情况下，H.264最多能节省50%的码率；采用的新型编码技术主要包括如下：采用44像素块的整数变换，运算速度快，反变换过程中没有匹配错误问题；采用可变块运动估计/运动补偿技术，宏块尺寸从1616,168,816,88,84,48,44像素块中可选，采用尺寸可变块的运动估计可以比单独1616宏块的预测方法提高超过15%的编码率；,H.264/AVC的关键技术,运动矢量的精度为1/4或1/8像素，编码效率比整数精度的提高20%；采用多参考帧进行帧间预测，可节省5%10%的传输码率，且有利于码流的错误恢复；采用空域帧内预测技术，有效降低了I帧编码的比特率；为消除块效应，采用基于44块边界的去块滤波器（环路滤波器），有效提高了图像的主观质量；采用通用可变长编码或基于上下文的自适应二进算术编码提高10%编码率；引入SP/SI帧类型，有效提高码流切换能力，对增强抗误码性也有一定优势。,H.264/AVC的帧内预测技术,子块内部和子块之间的像素具有空间冗余性；自然场景图像中的前景和背景通常具有一定的纹理特性，按其方向性可分为水平纹理、垂直纹理和倾斜纹理等；为空域的帧内预测创造了条件H.264进一步利用了相邻像素的相关性，使用当前帧中已经编码重建的像素块来预测当前块。只对预测差值进行编码，这样就能用较少的比特数来表示像素块信息。,H.264/AVC的帧内预测技术,MPEG-1/2帧内编码采用DCT、量化和熵编码；H.263+和MPEG-4中I帧采用基于频域的帧内预测；H.264基于空间的像素值进行预测，对于每个44块每个像素可用17个最接近的先前已编码像素的不同加权和来预测。H.264对亮度分量（两种预测模式）和色度分量（一种预测模式）设定不同预测方案，独立实施预测。各预测模式中详细定义了多种预测选项适应不同纹理特性的图像子块。,H.264/AVC的帧内预测技术,在帧内预测模式中，预测块P是基于已编码重建块和当前块形成的。对亮度像素而言，P块用于44子块或者1616宏块的相关操作。44亮度子块有9种可选预测模式，独立预测每一个44亮度子块，适用于带有大量细节的图像编码；1616亮度块有4种预测模式，预测整个1616亮度块，适用于平坦区域图像编码；色度块也有4种预测模式类似于1616亮度块预测模式编码器通常选择使P块和编码块之间差异最小的预测模式。,H.264/AVC的帧内预测技术,左图是需编码的QCIF视频帧。右图是根据最佳模式而得的预测亮度P帧，该模式使得编码信息量最小。,H.264/AVC的帧内预测技术,H.264/AVC的帧内预测技术,H.264/AVC的帧内预测技术,帧内预测编码模式,H.264/AVC的帧内预测技术,H.264/AVC的帧内预测技术,H.264/AVC的帧内预测技术,1616亮度预测模式宏块的全部1616亮度成分可以整体预测，有4种预测模式。,1616预测模式,H.264/AVC的帧内预测技术,1616预测模式,H.264/AVC的帧内预测技术,1616宏块,图6.19帧内1616预测块,帧内1616预测块,举例：图6给出了一个左上方像素已编码的亮度宏块。图7给出了4种预测模式预测结果。其中模式3最匹配原始宏块。帧内1616模式适用于图像平坦区域预测。,H.264/AVC的帧内预测技术,88色度块预测模式每个帧内编码宏块的88色度成分由已编码左上方色度像素预测而得，两种色度成分常用同一种预测模式。4种预测模式类似于帧内1616预测的4种预测模式，只是模式编号不同。其中DC（模式0）、水平（模式1）、垂直（模式2）、平面（模式3）。,H.264/AVC的多参考帧预测,H.264编码标准与以往标准的一个最大不同：在运动估计中采用多参考预测帧来提高预测精度。为了提高预测精度，H.264编码器可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像，这样一来，复杂度大为增加，但多次比较的结果，使匹配后的预测精度显著改进H.264中最多可从15个参数图像中进行选择，选出最佳的匹配图像,H.264/AVC的多参考帧预测,H.264/AVC的多参考帧预测,H.264/AVC中多参考帧预测,H.264/AVC的多参考帧预测,B片预测参考图像B片用到了两个已编码图像列表：list0和list1，包括短期和长期图像两种。这两个列表都可包含前向和后向的已编码图像（按显示顺序排列）List0：最近前向图像（基于POC）标为index0，接着是其余前向图像（POC递减顺序），及后向图像（从当前图像POC递增顺序）List1：最近后向图像标为index0，接着是其余后向图像（POC递增顺序），及前向图像（从当前图像POC递减顺序）,H.264/AVC的多参考帧预测,举例：一个H.264解码器存储了6幅短期参考图像。其POC分别为：123，125，126，128，129和130。当前图像为127。所有6幅短期参考图像在list0和list1中都标为“用作参考”,H.264/AVC的多参考帧预测,H.264/AVC的多参考帧预测,Akiyo,Mobile,H.264/AVC的多参考帧预测,H.264/AVC的多参考帧预测,H.264/AVC的的帧间预测模式,H.264仍旧使用运动估计和运动补偿消除时间冗余。预测时所用块的大小可变（从1616到）由于基于块的运动模型假设块内的所有象素都做了相同的平移，在运动比较剧烈时或者在运动物体的边缘处，这一假设会与实际出入较大，从而导致较大的预测误差，这时减小块的大小可以使假设在小的块中依然成立。小的块所造成的块效应相对也小，一般来说小的块可以提高预测的效果。,H.264/AVC的的帧间预测模式,在H.264的运动预测中，一个宏块（MB）可以被分为不同的子块。在这种方式下，在每个宏块中可以包含有1、2、4、8或16个运动矢量。这种多模式的灵活和细致的划分，更切合图像中实际运动物体的形状，大大提高了运动估计的精确程度。每个宏块（1616像素）可以4种方式分割：一个1616，两个168，两个816，四个88。其运动补偿也相应有四种。而88分割还可以有四种方式的分割：一个88，两个48或两个84及4个44。这种分割下的运动补偿则称为树状结构运动补偿。,H.264/AVC的的帧间预测模式,H.264/AVC的的帧间预测模式,H.264/AVC的高精度运动矢量,H.264支持1/4或1/8像素精度的运动矢量亚像素位置的亮度和色度像素并不存在于参考图像中，需利用邻近已编码点进行内插而得。1/4像素精度时可使用6抽头滤波器来减少高频噪声1/8像素精度时可使用更为复杂的8抽头的滤波器,H.264/AVC的高精度运动矢量,亮度半像素位置内插,H.264/AVC的高精度运动矢量,亮度1/4像素位置内插,H.264/AVC的高精度运动矢量,色度1/8像素内插,H.264/AVC的整数变换算法,以44像素子块为单位，在正反变换过程中只包含整数运算整数变换算法由Nokia和Microsoft联合提出，采用了全新的变换核和量化公式；变换可通过16位运算实现，有效降低对存储器的要求；简化了步骤在计算时只使用加法和移位运算，无需使用乘法；使用这种算法做正反变换同样是安全可逆的，不存在误匹配问题；对亮度分量DC和AC系数以及色度分量的AC系数使用44的整数变换；对色度分量的DC系数22整数变换。,3.5H.264/AVC视频编码和解码,整数变换算法分析由于采用更小的像素块变换，比88变换的运动估计精度更高，且能降低块效应；整数变换、量化计算及其逆过程可通过整数运算实现，比原来浮点运算能有效提高计算速度，也更有利于硬件实现实时系统；整数变换运算结果精确度高，且不存在浮点运算及取整，可有效避免反变换误匹配问题；尺度运算结合到量化过程中，进一步降低整数变换的复杂度；,H.264/AVC的整数变换算法,新的16bit整数变换更简洁，无需使用乘法；减少变换后的动态范围，降低了对存储器和处理器的要求；通过采用“分层”变换方案，能进一步降低变换后的DC系数之间的相关性。变换后量化步长的变化幅度控制在12.5%左右，不以固定增幅变化。对色度系数采用较小量化步长，使色度分量更为逼真。,H.264/AVC的整数变换算法,H.264/AVC的整数变换算法,H.264/AVC的整数变换算法,正变换,H.264/AVC的整数变换算法,逆变换,H.264/AVC的整数变换算法,H.264/AVC的SP/SI帧编码,为了适应视频码流带宽自适应特性和抗误码性能要求，在扩展档次中定义了两种新的帧类型：SP帧(SwitchingPPicture)和SI帧(SwitchingPPicture)；SP/SI帧特有的编码方法使压缩码流能在不插入I帧的情况下同样实现码流的随机切换功能；SP帧可在诸如码流拼接、随机接入、快进/快退等应用中取代I帧，获得比I帧更高的编码效率；对于多参考帧模式下SP帧能采用统一的重建过程，更利于码流错误恢复和隐藏；通过使用SP/SI帧，能非常好的适应视频数据在各种传输环境下的应用，如视频监视器之间快速切换、广播电视插播、网络错误重发等。,H.264/AVC的SP/SI帧编码,A2,P拼接,码流A,B2,切换点,码流B,P拼接,P拼接,I拼接,使用I帧进行视频流的切换过程,码流切换,H.264/AVC的SP/SI帧编码,A2,P拼接,码流A,B2,切换点,码流B,P拼接,P拼接,I拼接,使用SP帧进行视频流的切换过程,AB2,H.264/AVC的SP/SI帧编码,A2,SP帧,码流A,B2,切换点,码流B,P帧,使用SI帧实现视频流的拼接,SI,码流拼接,P帧,P帧,SI帧不使用运动补偿，所以适合于两种序列之间没有相关性,H.264/AVC的SP/SI帧编码,P帧,A1A10,SI帧,使用SI帧实现快进功能,随机接入,.,SP帧,SI帧不需要像I帧那样包含在码流中，仅在快进/快退时传输,H.264/AVC的SP/SI帧编码,编码原理SP帧编码类似于P帧，不同在于SP帧编码允许在使用不同参考帧图像的情况下重建相同的帧，在许多应用中可以取代I帧，大大降低码率开销；SI帧编码类似于I帧，使用44的帧内预测算法对以前的解码样本进行预测，能够同样重构一个对应的SP帧。,H.264/AVC的去块滤波器,H.264采用自适应去块滤波器技术（AdaptiveDe-blockingFilter）缓解块效应，尽可能保持图像边缘；视频编码中所使用滤波器分两种：后处理滤波器(PostFilter)、回路滤波器(LoopFilter)；后处理滤波器只对缓冲区内输出的图像处理，而去块滤波器位于编码器的运动估计/运动补偿回路中，重构帧必须经过滤波才可存入帧存储器作为参考帧，因此此处的自适应去块滤波器是回路滤波器；,3.5H.264/AVC视频编码和解码,自适应滤波基本思想是使用边界强度自适应地判定是否需要滤波，若检测到的图像块的边缘采样点之间具有较大的绝对差，需进行平滑处理；但如果此绝对差非常大，可能是图像真实信息，需保持；运算量大，占到编码器总运算量的1/3左右，如何降低滤波器复杂度是亟待解决的问题。,3.H.264/AVC的去块效应滤波,最早的相关提案出现在H.263+AnnexJ,H.264/AVC的去块效应滤波,b)WithH.264/AVCDeblocking,a)WithoutH.264/AVCDeblocking,H.264/AVC的熵编码,H.264中熵编码有两种方法：VLC2006.07，确定了亮度补偿和视点合成预测两个核心实验，并正式发布JMVM软件参考模型2007.04，基于深度图的视点合成技术被核心实验采纳，并将深度图作为附加信息进行编码2008.01,MVC草案发布,MVC标准化进程,MVC(Multi-ViewVideoCoding）,MVC编码框架利用视点间/视点内相关性提高多视点视频的压缩效率多视点亮度/颜色补偿提高视点间预测的准确性，且可以使视点合成效果更接近自然场景多视点合成技术主要是提供用户在任意视点观看场景MVC可分级性能面向不同接收用户，要求MVC具有良好的可分