CH3视频编码压缩技术V1

第三章

视频编码压缩技术3.1多媒体技术基础

473.1.1

图像的色彩模型

473.1.2

图像的色彩空间变换3.1.3

图像的基本属性

503.1.4

图像的格式与质量4951563.1.5

数据压缩方法533.2

静态图像压缩技术3.2.1

色相变换过程

573.2.2

区块切割与采样

583.2.3

离散余弦（DCT）变换60623.2.4

量化过程介绍3.2.5

Z字型编码过程

62613.2.6

DC系数及AC系数编码3.2.7

熵编码介绍643.2.8

JPEG数据流介绍

643.2.9

JPEG解压缩过程

64智能高清视频监控原理精解与最佳实践课件第三章

视频编码压缩技术3.3视频（动态图像）编码压缩653.3.1

视频压缩必要性

653.3.2

视频压缩的可行性3.3.3

图像格式说明

663.3.4

逐行扫描与隔行扫描3.3.5

帧率、码流与分辨率3.3.6

视频编码模型

713.3.7

运动补偿技术介绍66697072733.4主流视频编码技术3.4.1

MJPEG编码压缩743.4.2

MPEG-1技术介绍3.4.3

MPEG-2技术简介3.4.4

MPEG-4技术介绍3.4.5

H.264技术说明

853.4.6

视频编解码技术应用75798087智能高清视频监控原理精解与最佳实践课件本章要点伴随着计算机、芯片、图像处理、网络交换、存储技术的发展，视频监控技术发生了巨大的变革，模拟视频监控系统因种种缺陷而走向末路，而网络视频监控系统得以迅猛发展，其中视频编码压缩技术的发展是网络视频技术的前提条件。智能高清视频监控原理精解与最佳实践课件3.1.1

图像的色彩模型色彩模型也叫颜色空间。在多媒体系统中常涉及到用不同的色彩模型表示图像的颜色，如计算机显示时采用RGB色彩模型，在彩色全电视数字化系统使用YUV色彩模型，彩色印刷时采用CMYK色彩模式等。不同的色彩模型对应不同的应用场合，在图像的生成、存储、处理及显示时，可能需要做不同的色彩模型处理和转换。智能高清视频监控原理精解与最佳实践课件3.1.1

图像的色彩模型图

3.1

三基色混色效果及RGB色彩空间智能高清视频监控原理精解与最佳实践课件3.1.2

图像的色彩空间变换RGB和YUV的对应关系可以用近似的方程式表示，具体如下。.Y=0.299R

+0.587G

+0.114B.U=-0.147R-0.289G

+0.436B.V=0.615R-0.515G-0.100BYUV色彩表示法的重要性在于它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。智能高清视频监控原理精解与最佳实践课件3.1.2

图像的色彩空间变换YUV有样格式,

常见的是4∶4∶4,4∶2∶2和4∶2∶0三种。4：4：4采样指每个分量具有相同的分辨率，例如4个亮度点对应4个色差U和4个色差V；在4：2：2格式中，色差在垂直方向上的分辨率与亮度相同，而在水平方向上只有一半；4：2：0格式中，在水平和垂直方向上，色差的分辨率都是亮度的一半。图

3.4

YUV采样格式示意图智能高清视频监控原理精解与最佳实践课件3.1.3

图像的基本属性

图像分辨率是组成一幅图像的像素密度的度量方法。对同样大小的一幅图，如果组成该图的图像像素数目越多，则说明图像的分辨率越高，图像的信息量就越大，视觉效果也就越逼真。相反，图像像素数量越少，图像显得越粗糙而不清晰。

像素深度是指每个像素所用的位数（bit），像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。智能高清视频监控原理精解与最佳实践课件3.1.4

图像的格式与质量对于视频编码应用，在编码压缩和传输之前，首先需要将视频图像转换为中间格式（CIF格式），通用的中间格式对应一组通用的帧分辨率，如CIFmon

Intermediate

Format）格式的分辨率为352×288像素，而4CIF分辨率为704×576像素。对于CIF图像，在未压缩前，其一帧图像所需要的比特数如下（假定8比特采样深度）。图

3.5常见视频格式示意图（PAL制式下）智能高清视频监控原理精解与最佳实践课件3.1.4

图像的格式与质量（续）对于图像质量的评定，有主观评定法和客观评定法。主观评定法即是将图像序列呈现给评价人员面前，评价人员对图像质量进行主观评定打分。客观评定法主要是PSNR

，即“峰值信噪比”，一种广泛采用的评价图像质量的客观标准，PSNR是“Peak

Signal

toNoiseRatio”的缩写，意思就是到达噪音比率的顶点信号。通常在经过编码压缩之后，输出的图像通常都会有某种程度的失真。为了衡量经过编码处理后的图像品质，我们通常会参考PSNR值来认定某个算法程序够不够令人满意，它的单位是dB。智能高清视频监控原理精解与最佳实践课件3.1.5

常见数据压缩方法数据能够进行压缩，是因为数据中存在或多或少的冗余信息，而对于视频和音频等多媒体信息，更可以利用人类自身的感知冗余（失真）特点来实现更高的压缩比例。衡量压缩算法的三个主要性能指标如下。

压缩比

压缩质量（失真）

压缩与解压缩的效率根据解码后数据与原始数据是否完全一致，数据压缩方法划分为两类：

可逆编码（无失真编码，无损压缩）如：Huffman编码、算术编码、行程长度编码等。

不可逆编码(有失真编码，有损压缩)如：变换编码和预测编码。智能高清视频监控原理精解与最佳实践课件3.1.5

常见数据压缩方法（2）图

3.6图像压缩编码方法分类智能高清视频监控原理精解与最佳实践课件3.1.5

常见数据压缩方法-混合编码用两种或两种以上的方法对图像进行编码称为混合编码，混合编码是近年来广泛采用的一种视频编码压缩方法。混合编码通常使用DCT等变换方式进行空间冗余度的压缩，用帧间预测或运动补偿预测进行时间冗余度的压缩，从而达到对运动图像的更高的压缩率。视频压缩过程中主要利用的冗余信息如表3.1所示。智能高清视频监控原理精解与最佳实践课件3.2静态图像压缩技术静态图像是指内容保持不变的图像，可能是不活动的场景图像或活动场景图像在某一瞬时的“冻结”图像。最常见的是我们身边的数码照相机拍摄的图片就是静态图像。静态图像编码是指对单幅图像的编码，最常见的编码方式是JPEG算法。JPEG是一个适用范围很广的静态图像压缩技术，既可用于灰度图像又可用于彩色图像。JPEG算法与色彩空间无关，处理的彩色图像是单独的彩色分量图像，因此它可以压缩来自不同色彩空间的数据，如RGB、YCbCr和CMYK。JPEG专家组开发了两种基本的压缩算法，一种是采用以离散余弦变换(DCT)为基础的有损压缩算法，使用有损压缩算法时，在压缩比为25:1的情况下，压缩后还原得到的图像与原始图像相比较，区别不大，因此得到了广泛的应用；另一种是以预测技术为基础的无损压缩算法。智能高清视频监控原理精解与最佳实践课件基于DCT的JPEG压缩编码(1)(2)(3)(4)(5)(6)正向离散余弦变换(FDCT)。量化(Quantization)。Z字形编码(Zigzag

Scan)。使用差分脉冲编码调制(DPCM)对直流系数(DC)进行编码。使用行程长度编码(RLE)对交流系数(AC)进行编码。熵编码(Entropy

Coding)。智能高清视频监控原理精解与最佳实践课件3.2.1

色相变换过程智能高清视频监控原理精解与最佳实践课件3.2.2

区块切割与采样JPEG算法是在8×8像素的数据块上的操作，块（8×8像素）是离散余弦变换操作的基本单位，高速信号处理器对这个尺寸大小的数据块有最高的处理性能。在每个图像缓冲区中，数据被从左到右、从上到下地划分成多个8×8大小的像素块。这些像素块不重叠，如果图像的行和列像素数不是8的整数倍数，那么就要根据需要通过重复图像的最后一行或列来填充。智能高清视频监控原理精解与最佳实践课件3.2.2

区块切割与采样图

3.11

YCbCr模型下图像采样示意图智能高清视频监控原理精解与最佳实践课件3.2.3

离散余弦变换智能高清视频监控原理精解与最佳实践课件3.2.4

量化过程

为了达到压缩数据的目的，需要对DCT系数做量化。量化是对经过离散余弦变换后的频率系数进行量化，这是一个“多到一”映射的过程。量化的目的是减小非0系数的幅度以及增加0值系数的数目，在一定的主观保真的前提下，丢掉那些对视觉效果影响不大的信息，量化是图像质量下降的最主要原因,。

量化是在8×8像素块上完成DCT变换之后进行的，一旦非重要的分量被去除，是无法恢复的，因此量化过程是不可逆的有损压缩过程。当量化表建立好之后量化过程就很简单了，简单说就是选择“量化比例系数”，然后DCT系数除以“比例系数”得到“量化后的DCT系数”，量化后的比例系数中数值较大的被映射到非零的整数，数值较小的系数被映射到零。智能高清视频监控原理精解与最佳实践课件3.2.5Z字编码过程图

3.14Z字型变换示意图智能高清视频监控原理精解与最佳实践课件3.2.6DC及AC系数编码过程图

3.15DC系数与AC系数编码流程图智能高清视频监控原理精解与最佳实践课件3.2.7

熵编码过程对上面得到的系数序列做进一步压缩称作熵编码。在这一阶段，对量化后的DCT系数完成最终的无损压缩以提高总压缩比。熵编码是一种使用一系列位编码代表一组可能出现的符号的压缩技术。使用熵编码还可以对DPCM编码后的直流DC系数和RLE编码后的交流AC系数做进一步的压缩。JPEG标准规定了两种熵编码算法：即哈夫曼编码和自适应算术编码。霍夫曼(Huffman)编码是一种可变长度编码技术，它用于压缩具有已知概率分布的一连串符号。JPEG标准使用的另一种熵编码方法是算术编码。智能高清视频监控原理精解与最佳实践课件3.2.8JPEG数据流介绍智能高清视频监控原理精解与最佳实践课件3.2.9JPEG解压缩过程JPEG解码过程的五个步骤如图3.18所示。

AC及DC值的还原(熵编码的解码)

量化值的还原

离散余弦反转换(IDTC)

反取样

色相反转换过程智能高清视频监控原理精解与最佳实践课件3.3视频编码压缩在上一节中介绍了静态图像压缩技术，而在视频监控系统应用中，图像是动态的视频序列，为实现动态视频的实时传输与存储，需要进行视频数据的编码压缩。再次强调一下视频编码压缩必要性，以352×288像素的视频为例，单帧画面数据量大小如下：如果采用4∶2∶0格式，

352×288×12=1216512=1.2M

bit如果采用4∶4∶4格式，

352×288×24=2433024=2.4M

bit对于实时25帧/秒的码流，即使采用4：2：0格式，码流可以达到30Mbps（1.2Mbps×25帧/秒），这是目前的网络环境根本无法支撑的，而另外一方面，录像一个小时需要存储空间为108G（30Mbps×3600s），是标准

DVD-R

存储容量的

20

倍。因此，视频压缩是必须的。所谓压缩就是采用特定的算法，将一种数据类型转换为另一种形态，使得转换后的数据量远小于转换前的数据量，并且可恢复（或部分恢复）。视频压缩就是采用某种压缩方法将原始图像数据流进行压缩，再对压缩后形成的数据流进行传输或存储。智能高清视频监控原理精解与最佳实践课件3.3.3

视频编码压缩为了使现行各种电视制式，即PAL、NTSC、SECAM制的图像，能比较容易地转换成电视电话的图像格式，既便于相互转换，又考虑到位率较低，采用通用中间格式CIFmon

Intermediate

Format）。CIF格式规定图像亮度分量Y的横向像素为352个，纵向像素为288个。图像色度分量Cr、Cb的纵横像素数为亮度分量的一半。为了使图像尺寸的纵横比为3∶4，与常规电视屏幕尺寸比例一致，所以像素的纵横比为：像素纵横比

=

纵∶横

=3/288∶4/352

=11∶12。可见像素的纵横比为11∶12，接近于方形。3.19

CIF格式图像层次结构示意图智能高清视频监控原理精解与最佳实践课件3.3.5

视频编码压缩帧率是每秒显示图像的数量，分辨率表示每幅图像的尺寸即像素数量，码流是数据流量，而压缩是去掉图像的空间冗余和时间冗余。对于基本静态的场景，可以用很低的码流获得较好的图像质量，而对于剧烈运动的场景，可能用很高的码流也达不到好的图像质量。设置帧率表示想要的视频实时性、连续性，设置分辨率是想要看的图像尺寸大小，而码率的设置取决于网络、存储及视频场景的具体情况。3.23帧率、分辨率与码流关系智能高清视频监控原理精解与最佳实践课件3.3.6

视频编码模型视频编码器的结构如图3.24所示，编码器的作用是将原始图像编码压缩成视频流，解码器的作用相反，将视频流还原成图像。通常，编码器采用某种模型来描述一个视频流，模型使得压缩的视频流尽可能占用较少的码流，却提供尽可能好的图像质量。图3.24

视频编码器模型结构智能高清视频监控原理精解与最佳实践课件3.3.7

运动补偿技术在帧间编码过程中，需要消除相邻帧之间的时域信息冗余，即仅仅传输相邻帧之间对应宏块的差值（残差），此差值不是前后两帧对应像素的直接想减做差值，而是需要在前帧（参考帧）内，对应于后帧的宏块位置的附近区域内，搜索找到一个最匹配的宏块（最相似的宏块，甚至能找到完全相同的宏块），并得到宏块在水平及垂直方向上的位移（运动矢量），然后传送这两个宏块之间的差值（对于完全相似的宏块，差值接近于零）及运动矢量。将存储器中前一图像帧（N-1帧）的重建图像中相应的块按编码器端求得的运动矢量进行相应的位移，得到第N帧图像的预测图像的过程就是运动补偿过程。智能高清视频监控原理精解与最佳实践课件3.3.7

运动补偿技术图3.25

运动估计过程原理智能高清视频监控原理精解与最佳实践课件3.4主流视频编码技术智能高清视频监控原理精解与最佳实践课件3.4.3

主流视频编码技术MPEG1/2智能高清视频监控原理精解与最佳实践课件3.4.5

主流视频编码技术

MPEG-4智能高清视频监控原理精解与最佳实践课件3.4.5

主流视频编码技术

H.264智能高清视频监控原理精解与最佳实践课件3.4.6

视频编码技术应用网络视频监控系统应用中，视频编码技术主要应用在编码器、DVR及IP摄像机上。视频编码可以基于硬件或软件，但其实质都是如本章介绍的各种视频编码算法的具体应用，而解码技术主要应用在硬件解码及PC客户端软件上，是视频编码过程的逆向过程。视频编码技术是一门复杂的信息科学，在实现过程中，需要大量的复杂的算法、变换过程及参数配置，而视频编码技术在网络视频监控系统应用中，通常还需要考虑成本、效果、效率等多种因素，对编码实用性及适用性要求较高。视频编码技术在网络视频监控应用中主要是一个成本平衡问题。我们采用视频编码技术的出发点是利用芯片及算法，对数据进行压缩，然后进行传输和存储，而后在需要的时候，再进行解码显示。因此，在带宽成本和存储成本下降的同时是以视频编码芯片及算法成本的增加为代价的，我们或者可以说，目前是带宽成本及存储成本与芯片及算法成本相差悬殊，所以我们在极力进行算法的改进和芯片的升级。智能高清视频监控原理精解与最佳实践课件3.4.6

H.265编码技术