数字视频处理6章课件

第六章视频压缩编码基本原理6.1视频压缩编码概述6.1.1视频压缩编码的必要性未经过压缩的原始视频的码率：720p高清电视（30fps，4:2:0）：1280×720×30×8×1.5＝316.41Mbps1080p高清电视（60fps，4:2:2）：1920×1080×60×8×2＝1.85Gbps100分钟的720p高清电视节目（30fps，4:2:0）大小可达约231.74GB视频压缩编码的必要性同样，传输中也存在同样的困难，网络带宽受限6.1.2视频压缩编码的可能性信息之所以能进行压缩，是因为信息本身通常存在冗余量在数据存储或传输时，通过选择优化的信源编码方案，消除了冗余，也就达到了数据压缩目的信源/信道信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等信道就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量信源编码/信道编码为了减少信源输出符号序列中的冗余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换称为信源编码对输入信息进行编码，优化信息和压缩信息并且打成符合标准的数据包信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力信息熵信息是个很抽象的概念，我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少，直到1948年，香农提出了“信息熵”（Entropy）的概念，才解决了对信息的量化度量问题信息熵是用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量时间冗余在视频序列中，前后两帧图像（时间间隔很短）之间具有较大的相关性，表现出帧与帧之间的重复，因而存在时间冗余这是视频信号中所经常包含的冗余空间冗余在同一幅图像中，规则物体和规则背景（所谓规则是指表面颜色分布是有序的、而不是完全杂乱无章的）的表面物理特征具有相关性，这些相关性的光成像结构在数字化图像中就表现为数据冗余同一帧图像中相邻的像素之间具有很强的相关性知识冗余有许多图像的理解与图像所表现内容的基础知识(先验或背景知识)有相当大的相关性，从这种知识出发可以归纳出图像的某种规律性变化，这类冗余称为知识冗余。知识冗余的一个典型例子是对人像的理解，比如，鼻子上方有眼睛，鼻子又在嘴的上方等结构冗余有些图像从大面积上或整体上看存在着重复出现的相同或相近的纹理结构，例如布纹图像和草席图像，被称为结构冗余其它冗余信息熵冗余（统计冗余、编码冗余）：调整编码（coding）方式可以减少码字的数据量，即编码的效率视觉冗余：人类的视觉系统实际上只在一定程度上对图像的变化产生敏感，即图像数据中存在着大量人类视觉觉察不到的细节……6.1.3无损压缩与有损压缩无损压缩可完全恢复数据而不引入失真。由于整个编解码过程中，信源信息的熵始终保持不变，因此无损压缩又被称为熵保持编码，无损压缩的编码效率受信息的熵限制，压缩率通常在2至5倍。无损编码包括：变换编码、游程编码、算术编码等无损压缩与有损压缩有损压缩则是利用人眼视觉特性(HVS:HumanVisionSystem)，对人眼不敏感的某些图像细节信息进行压缩甚至忽略不编码，因此在解码恢复的过程时，不能完全恢复数据的全部信息，引入了失真，但是对于图像的最终接收者（人眼）而言，获得的信息的变化不大（即无大的视觉失真），同时获得较大的压缩率(10到200倍)无损压缩与有损压缩在常用的视频编码应用中，有损编码是与无损编码进行混合编码6.1.4视频压缩编码的目标视频信号由于信息量巨大，存储空间要求高、传输网络带宽要求高，需要将视频信号在传送前先进行压缩编码，即进行视频源压缩编码，然后在网络上进行传送或者存储，以便节省传送带宽和存储空间视频压缩编码的基本目标要求：1）必须压缩在一定的带宽内，即视频编码器应具有足够的压缩比视频压缩编码的目标2）视频信号压缩之后，应保持一定的视频质量如果不问质量，一味地压缩，虽然压缩比很高，但压缩后严重失真，显然达不到要求；反之，如只讲质量，压缩比太小，也不符合要求3）在以上两个要求下，视频编码器的实现应力求简单、易实现、成本低、可靠性高，这也是基本的要求6.1.5视频压缩编码技术概述

从上世纪80年代开始逐渐形成了混合视频编码(Hybridvideocoding/encoding)技术，并成为之后一系列视频编码标准的基础框架视频压缩编码技术概述

视频编码方法与采用的信源模型有关如果采用“一幅图像由许多像素构成”的信源模型，这种信源模型的参数就是每个像素的亮度和色度的幅度值。对这些参数进行压缩编码技术称为基于波形的编码如果采用一个分量有几个物体构成的信源模型，这种信源模型的参数就是各个物体的形状、纹理和运动。对这些参数进行压缩编码的技术被称为基于内容的编码视频压缩编码技术概述

由此可见，根据采用信源模型，视频编码可以分为两大类，基于波形的编码和基于内容的编码它们利用不同的压缩编码（Encoding）方法，得到相应的量化前的参数；再对这些参数进行量化；最后，进行无损熵编码进一步提高效率解码（Decoding）则为编码的逆过程视频编码分块为减少编码的复杂性，使视频编码操作易于执行，首先把一幅图像分成固定大小的宏块（Macroblock,MB），以亮度为基准，通常为16×16块（每块16行，每行16个像素）在宏块中可以进一步分块，例如8×8块（每块8行，每行8个像素）、16×8块、4×4块等等，然后对块进行压缩编码处理色度按照采样或子采样格式对应计算视频编码分块一个宏块通常由6个块组成（4:2:0子采样）8x8blocksmacroblockYCbCr基于内容的编码基于块的编码易于操作，但由于人为地把一幅图像划分成许多固定大小的块，当包含边界的块属于不同物体时，它们分别具有不同的运动，便不能用同一个运动矢量表示该边界块的运动状态。如果强制划分成固定大小的块，这种边界块必然会产生高的预测误差和失真，严重影响了压缩编码信号的质量基于内容的编码于是产生了基于内容的编码技术。这时先把视频帧分成对应于不同物体的区域，然后对其编码即对不同物体的形状、运动和纹理进行编码。在最简单情况下，利用二维轮廓描述物体的形状；利用运动矢量描述其运动状态；而纹理则用颜色的波形进行描述视频冗余的压缩手段空间冗余：帧内编码时间冗余：帧间编码视觉冗余：变换编码、量化信息熵冗余：熵编码6.1.6视频质量对压缩后的视频质量估计是一件困难的工作大体上，可分为主观视频质量评定和客观视频质量评定两种估计方法主观质量由于个人的视觉系统（HVS）不尽相同，对视频内容的熟悉程度也不一样为了减少主观随意性，在对视频进行主观评定前，选若干名专家和“非专家”作为评分委员，共同利用五项或七项评分法对同一种视频进行质量评定最后按加权平均法则对该压缩后的视频质量进行主观评定主观评价分数标准主观质量测试系统测试方法可用随机次序请评委观察比较原始图像和压缩编码的图像，国际上称为DSCOS的测试系统其中A为原始图像，B为编码解码后的图像，以任意的A、B次序让评委打分评定客观质量主观的视频质量评分更接近人的真实视觉感受，但需耗费人力和时间，成本较高客观质量的测定方法速度快、易实行，但往往不会太符合人眼的视觉感受，只能说大体上的质量。客观质量测定方法应致力于改进其测试标准和测试方法，使其符合人的视觉感受客观质量最常用的测试标准是峰值信号与噪声之比（PSNR）：PSNR(dB)=10log10[(2n-1)２/MSE)其中MSE(meansquareerror)为原始和编解码后图像之间的均方误差，(2n-1)２为图像中最大可能信号值的平方，n表示每个像素的比特数客观质量客观质量一般讲，PSNR愈高视频质量愈高；反之亦然但实际上有时并非如此图(4)的PSNR为27.7dB，其主观评定可能比图(2)、(3)的高，但客观质量PSNR却低于图(2)、(3)的30.6dB和28.3dB这是因为图(4)中的脸部更清晰，只是背景模糊，而人眼对脸部往往更敏感更重视第六章视频压缩编码基本原理6.1视频压缩编码概述6.2熵编码（即编码过程中按信息熵原理不丢失任何信息的编码）变长编码（哈夫曼编码）1952年，哈夫曼（霍夫曼）提出变长编码方法：对出现概率大的符号分配短字长的二进制码，对出现概率小的符号分配长字长二进制码，得到符号平均码长最短的码Avariable-lengthencodermapsinputsymbolstoaseriesofcodewords(variablelengthcodesorVLCs).变长编码器将输入符号映射到一系列的码字（变长码，或称VLC）。变长编码（哈夫曼编码）Eachsymbolmapstoacodewordandcodewordsmayhavevaryinglengthbutmusteachcontainanintegralnumberofbits.每一个符号被映射到一个码字，码字具有可变的长度，但是一定是整数比特数的。变长编码（哈夫曼编码）Frequently-occurringsymbolsarerepresentedwithshortVLCswhilstlesscommonsymbolsarerepresentedwithlongVLCs.频繁出现的符号将通过短的VLC（可变长码）表示，而那些较少出现的符号将通过长的VLC表示。由此实现字符数量的压缩变长编码（哈夫曼编码）HuffmancodingassignsaVLCtoeachsymbolbasedontheprobabilityofoccurrenceofdifferentsymbols.Itisnecessarytocalculatetheprobabilityofoccurrenceofeachsymbolandtoconstructasetofvariablelengthcodewords.

哈夫曼编码为每个符号确定VLC时是依据不同符号的出现概率。因此有必要计算每个符号的出现概率来构建一个可变长码集合。哈夫曼码表(Huffmancodetable)哈夫曼编码步骤如下：第1步，将信息符号按其出现概