第二章 视频压缩标准及应用课件

1、第二章第二章 视频压缩标准及应用视频压缩标准及应用第一节第一节 压缩技术压缩技术 （压缩（压缩/解压是解压是NLE的核心）的核心） 一、一、JPEG（Joint Photographic Experts Group)国际组织建国际组织建立联合图片专家组，建立一个适用于连续图像压缩的国际标准。立联合图片专家组，建立一个适用于连续图像压缩的国际标准。这一标准的要求：这一标准的要求： 1、先进的压缩技术、先进的压缩技术 压缩与质量同时考虑，失真程度要在压缩与质量同时考虑，失真程度要在一定的范围之内，编码器的参数中包括控制压缩比和图象质量一定的范围之内，编码器的参数中包括控制压缩比和图象质量的成分。的

2、成分。 2、适用于所有的连续色调图象，不应对图象的尺寸、色彩、适用于所有的连续色调图象，不应对图象的尺寸、色彩空间和像素纵横比等特性进行限制，也不应对图象的场景内容空间和像素纵横比等特性进行限制，也不应对图象的场景内容（如复杂性、色彩范围或统计特性）没有任何限制。（如复杂性、色彩范围或统计特性）没有任何限制。 3、具有适中的计算复杂性，从而使得压缩算法既可以用软、具有适中的计算复杂性，从而使得压缩算法既可以用软件来实现，也可用硬件来实现，并且具有较好的性能。件来实现，也可用硬件来实现，并且具有较好的性能。 4、具有、具有4种操作模式：顺序种操作模式：顺序/累进累进/无失真无失真/层次层次 编码

3、编码 MPEG分系统、视频、音频三部分分系统、视频、音频三部分MPEG-1 位率位率1.5Mbps, 用于家用视音频处理标准，用于家用视音频处理标准，VCD。MPEG-2位率位率4-10Mbps，图象质量近于演播室质量，图象质量近于演播室质量，DVD。二、二、MPEG ( Moving Picture Expert Group)360352x240352x2401.69MbpsSLP5240360 x480360 x4802.54MbpsEP4180480 x480480 x5763.38MbpsLP3120720 x480720 x5765.07MbpsSP260720 x480720 x5

4、769.17MbpsHQ1M/4.7GNTSCPAL速率速率模式模式项目项目4.7G DVD-R/RW记录视频的规格记录视频的规格MPEG-4、MPEG-7概述概述第二节第二节 数字视频信号分析数字视频信号分析一、图象和视频数据的处理一、图象和视频数据的处理 1、图象的数据模型、图象的数据模型 图象信息在数学上可表示为图象信息在数学上可表示为 I=f (x,y,z,t,) 其中其中（ x,y,z）是三维空间坐标；）是三维空间坐标；t 代表时间，形成活动图象；代表时间，形成活动图象； 是波长，它对图象是波长，它对图象类型产生影响。类型产生影响。 Fr=25/30Hz 帧速率帧速率 一般用于电视的

5、隔行扫描，每帧由奇、偶两场组成。一般用于电视的隔行扫描，每帧由奇、偶两场组成。HDTV系统系统Fr=50-60Hz ， 当当Fr=50-60Hz 时基本上没有闪烁现象，高质量的工时基本上没有闪烁现象，高质量的工作站显示器通常使用这种帧率。作站显示器通常使用这种帧率。R 1 0 1.042 YG 1 -0.34414 -0.71414 UB 1 1.1772 0 V0.299 0.587 0.144 R -0.1678 -0.3313 -0.5 G 0.5 -0.4187 -0.0813 B2、彩色空间、彩色空间 RGB 和和YUV转换关系转换关系3、标准视频、标准视频NTSC（美国国家电视系统

6、委员会）和（美国国家电视系统委员会）和PAL(Phase lternating Line)逐行倒相格式，逐行倒相格式，SECAM（Sequential Color and memory)串行色彩存储格式。串行色彩存储格式。 4、SIF(source input format)格式定义两种位流格式格式定义两种位流格式PAL 352像素像素*288行行*25HzNTSC 352像素像素*240行行*30Hz因为因为SIF帧速率是帧速率是NTSC和和PAL场速率的场速率的1/2，所有视频显示硬件必须把每，所有视频显示硬件必须把每个个SIF帧显示两次。帧显示两次。 5、ITU-R601编码方案编码方案

7、 国际电信联盟无线电通信部门以演播室质国际电信联盟无线电通信部门以演播室质量标准，把模拟的量标准，把模拟的Y U V与分量编码使用的与分量编码使用的Y Cb Cr在彩色空间具有数字等在彩色空间具有数字等价性。价性。4：2：2方案中的编码参数植方案中的编码参数植摄像机摄像机照相机照相机扫描仪扫描仪TV彩色监视器彩色监视器打印机打印机计算机计算机光盘光盘 录像带录像带数据流带数据流带 磁盘磁盘图象获取图象获取显示输出显示输出图象处理图象处理图象存储图象存储图象通信图象通信数字图象处理系统的基本组成数字图象处理系统的基本组成二、数字图象处理系统二、数字图象处理系统 1 1、图象获取、图象获取 利用各

8、种传感器把相应波长的信号检索出来，利用各种传感器把相应波长的信号检索出来，对信号进行数字化处理并在计算机中存储起来。对信号进行数字化处理并在计算机中存储起来。 2 2、存储、存储 一是供处理过程中使用的短暂存储器，计算机的内存和专用一是供处理过程中使用的短暂存储器，计算机的内存和专用图形图象处理板卡上的帧缓冲区；图形图象处理板卡上的帧缓冲区； 二是在线存储区，能提供较快的存取速度，有磁盘、优盘、二是在线存储区，能提供较快的存取速度，有磁盘、优盘、光盘等存储介质；光盘等存储介质； 三是图象档案的存储区，存储量大，访问频率低，常用磁带三是图象档案的存储区，存储量大，访问频率低，常用磁带和光盘等存储

9、介质。和光盘等存储介质。 3 3、图象处理、图象处理 图象的增强和恢复、分析、重建和压缩等。图象的增强和恢复、分析、重建和压缩等。软件实现较慢，硬件快。软件实现较慢，硬件快。 4 4、通信、通信 局部和远程局部和远程 必须压缩传输后解压。必须压缩传输后解压。 5 5、显示输出、显示输出 监视器是常用的，录像机，胶片记录仪等输监视器是常用的，录像机，胶片记录仪等输出设备。出设备。 三、视频信号的数字化三、视频信号的数字化 1、模拟视频信号行场结构、模拟视频信号行场结构 PAL制：行频制：行频 15625Hz，场频，场频 50Hz ，25帧，每帧帧，每帧2场；场； 一行扫描时间一行扫描时间64 s

10、 （=1/15625 s），其中），其中12 s是行消隐，是行消隐，（4.7 s同步头）；有效显示时间同步头）；有效显示时间52 s。一帧（副）画面扫描行一帧（副）画面扫描行 625行（行（=15625/25） 其中其中50行为场消行为场消隐，有效行为隐，有效行为575行这样有效行场数只占总数的行这样有效行场数只占总数的75%。 数字化数字化AV信号的取样频率信号的取样频率fs fs ，量化位数为，量化位数为R R，则其二进制编，则其二进制编码的传输速率（或称位率、码率、比特率、数据率）码的传输速率（或称位率、码率、比特率、数据率）I= I= fs fs R R bps(b bit; ps p

11、er second)bps(b bit; ps per second) 数字电话的数字电话的fs= 8 kHz, R = 8 bit,I= 8 fs= 8 kHz, R = 8 bit,I= 8 8=64 kbps;8=64 kbps; CD-DA CD-DA的音频信号的每一路的音频信号的每一路fs= 44.1 kHz, R = 16 bit,fs= 44.1 kHz, R = 16 bit,I= 44.1 I= 44.1 16=705.6 kbps16=705.6 kbps，立体声信号为，立体声信号为; I= 1.4112 Mbps; I= 1.4112 Mbps; 视频信号的带宽为视频信号

12、的带宽为6M，采样定理要求，取样频率采样定理要求，取样频率应是信号带宽的应是信号带宽的2倍以上。倍以上。CCIR规定采样频率规定采样频率13.5MHz,13.5MHz/15625=864=13.5MHz64 s, 色度信号的带宽为色度信号的带宽为1.3MHz，取样频率为，取样频率为6.75MHz。 2、数字化、数字化常见数字视频格式（常见数字视频格式（PAL） 科学实验表明：人眼对从纯黑到纯白分辨灰度级为科学实验表明：人眼对从纯黑到纯白分辨灰度级为64级，用级，用6比特来表示图象的灰度级就够了，实际中为提高质量，减低噪声，比特来表示图象的灰度级就够了，实际中为提高质量，减低噪声，采样过程中，最

13、低用采样过程中，最低用256级取样电平，即每个取样点需要用级取样电平，即每个取样点需要用 8比特比特来表示，广播级的图象处理采用来表示，广播级的图象处理采用10、12、14比特。比特。 活动图象数字化后数据速率：活动图象数字化后数据速率： 13.58(Y) + 6.75 8(U) + 6.75 8(V)=216Mbps=27MB/s CCIR601建议建议 规定正程扫描规定正程扫描52 s ，一行采样点数，一行采样点数52 13.5=702点，压缩算法要求水平方向上的采样点必须为点，压缩算法要求水平方向上的采样点必须为32或或16的倍数，通常的倍数，通常704取取720点。有效行点。有效行62

14、5-50=575取取576。 4：2：2格式数字图象数据速率：格式数字图象数据速率： （704 576+352 576 +352 576） 8 25=162201600bit/s=162.2Mbit/s162.2/216=75%对彩色电视信号采样时，有两种方法：一是用同一种采样频率对图象的亮度、色差对彩色电视信号采样时，有两种方法：一是用同一种采样频率对图象的亮度、色差信号进行采样；二是对色差信号采用比亮度信号低的频率采样，这就是图象子采样。信号进行采样；二是对色差信号采用比亮度信号低的频率采样，这就是图象子采样。4:2:0Y10Y11Y12Y13Y20Y21Y22Y23U（12）0U（12）

15、1V（12）0V（12）1在水平和垂直方向每在水平和垂直方向每2个连个连续的采样点取续的采样点取4个个Y、1个个Cr、1个个Cb样本样本,每一个像素用每一个像素用1.5个样个样本表示。本表示。是子采样格式是子采样格式Y10Y11Y12Y13Y20Y21Y22Y23U10U11U12U13U20U21U22U23V10V11V12V13V20V21V22V23每条扫描线每每条扫描线每4个连个连续的采样点取续的采样点取4个个Y、4个个Cr、4个个Cb样本样本,每一个像素用每一个像素用3个样个样本表示。本表示。不是子采样格式不是子采样格式4:4:4Y10Y11Y12Y13Y20Y21Y22Y23U1

16、0U11U20U21V10V11V20V21每条扫描线每每条扫描线每4个连个连续的采样点取续的采样点取4个个Y、2个个Cr、2个个Cb样本样本,每一个像素用每一个像素用2个样个样本表示。本表示。是子采样格式是子采样格式4:2:2Y10Y11Y12Y13Y20Y21Y22Y23U10U20V10V20每条扫描线每每条扫描线每4个连个连续的采样点取续的采样点取4个个Y、1个个Cr、1个个Cb样本样本,每一个像素用每一个像素用1.5个样个样本表示。本表示。是子采样格式是子采样格式4:1:1 3、图象子采样、图象子采样比特比特bit（位）（位）:计算机中信息的最小量。数据速率计算机中信息的最小量。数据

17、速率/码流码流 常用常用bps(比特比特/秒）。秒）。字节字节Byte:存储一个字符所需存储量。通常表示磁盘容量和文件大小。存储一个字符所需存储量。通常表示磁盘容量和文件大小。 1Byte=8bite常用单位及换算：常用单位及换算：1KB=1024B;1MB=1024KB;1GB=1024MB;1TB=1024GB;1PB=1024TB;1EB=1024PB; 以以PAL ITU-R601标准，标准，625/50电视系统的一帧电视系统的一帧D1质量的电视图象，采用质量的电视图象，采用Y：U：V=4：2：2，8bit量化，数据速率：量化，数据速率：720576 （1+0.5 +0.5) 8 25

18、=165888000bit/s(bps)=20736000B/s=19.78MB/s;每帧图象的数据为：每帧图象的数据为： 720 576 （1+0.5 +0.5) 8=6635520bit=0.791M B.DV格式：速率格式：速率25 Mbits/s ,一小时节目所需要的容量为：一小时节目所需要的容量为：25 3600/8=11250MB=10.986328125GB=11GB.1394/DV接口速率接口速率 100/200/400 Mbits/sSDI 接口速率接口速率 270 Mbits/s4、数字视频的比特率和所需存储容量、数字视频的比特率和所需存储容量几种数字录象机记录格式技术参数

19、比较几种数字录象机记录格式技术参数比较第三节第三节 基于基于DCT的图象压缩编码的图象压缩编码 离散余玄变换是一种正交变化，从空间领域或时域获取样离散余玄变换是一种正交变化，从空间领域或时域获取样点序列，并通过特定运算将其变换到频率域。对于图象而言，点序列，并通过特定运算将其变换到频率域。对于图象而言，X、Y坐标轴分别代表屏幕的两个方向，信号的幅度就是屏幕上像素坐标轴分别代表屏幕的两个方向，信号的幅度就是屏幕上像素的样值，由此形成的矩阵就是信号的空间表示。的样值，由此形成的矩阵就是信号的空间表示。DCT将空间信将空间信息转换为频率和频谱信息，变换后的息转换为频率和频谱信息，变换后的X、Y轴分别

20、代表两个方向轴分别代表两个方向上的频率分量。上的频率分量。熵编码熵编码图象分块图象分块运动估计与运动补偿运动估计与运动补偿DCT量化量化缓冲器缓冲器速率控制速率控制输入输入输出输出DCT图象压缩编码原理框图图象压缩编码原理框图MPEG1是第一个标准，主要应用于视频信号的数字化压缩是第一个标准，主要应用于视频信号的数字化压缩存储。码率为存储。码率为1.5Mbps，图象质量相当于图象质量相当于VHS的水平。其主要特点：的水平。其主要特点：1、 MPEG1将电视图象帧分三类将电视图象帧分三类 I、B、P2、 MPEG1的码流语法结构的码流语法结构 这个语法结构把图象压缩数据码流分为六层，每层或者支这

21、个语法结构把图象压缩数据码流分为六层，每层或者支持一种信号处理过程，或者支持一种系统功能。持一种信号处理过程，或者支持一种系统功能。 块：块： MPEG算法中最小的编码单位，包含算法中最小的编码单位，包含88个像素，是个像素，是图象信息之一：图象信息之一：Y、U、V。块是帧内编码的。块是帧内编码的 基本单元。基本单元。 宏块：宏块： MPEG算法中基本编码单元。包含算法中基本编码单元。包含16 16个图象块。个图象块。宏块由四个亮度块、若干个色差块及附加数据构成。附加数据宏块由四个亮度块、若干个色差块及附加数据构成。附加数据包括宏块的编号、编码类型、量化参数、运动矢量等信息。包括宏块的编号、编

22、码类型、量化参数、运动矢量等信息。一、一、MPEG1视频压缩技术视频压缩技术 88图象块图象块 1616 宏块宏块图象片图象片一帧图象一帧图象图象组图象组图象组图象组图象序列图象序列 图象片：图象帧内的水平条图象片：图象帧内的水平条 ，MPEGMPEG编码方案中的基本处编码方案中的基本处理单元。因为条的编码与相邻部分无关，条是自治单元。理单元。因为条的编码与相邻部分无关，条是自治单元。 图象：显示的基本单元。对应于图象序列中的单个帧，图象：显示的基本单元。对应于图象序列中的单个帧，它由数据头和若干图象条构成。它由数据头和若干图象条构成。 图象组：图象组：1212帧，帧，IBBPBBPBBPBB

23、 IBBPBBPBBPBB 序列层：最高层，它由一个数据头和若干个图象组组成。序列层：最高层，它由一个数据头和若干个图象组组成。数据头包含图象大小、量化矩阵等信息。数据头包含图象大小、量化矩阵等信息。 首先将首先将720*576（M*N）的图象分成没有重叠的子图象（正方形）的图象分成没有重叠的子图象（正方形L*L），），M、N必须是必须是L的整数倍，每个图象块中各像素值差异很小，的整数倍，每个图象块中各像素值差异很小，特别相邻像素的值变化不大，图象信号的相关性（帧内）。这是数特别相邻像素的值变化不大，图象信号的相关性（帧内）。这是数字图象压缩的基础。通常字图象压缩的基础。通常16*16，现以，

24、现以8*8为例。为例。取取样样离散余玄变换离散余玄变换 水平方向各频率项由左至右增加，垂直方向各频率项由上往下水平方向各频率项由左至右增加，垂直方向各频率项由上往下增加。所以左上角代表零频率或直流（平均）项，右下角为最高增加。所以左上角代表零频率或直流（平均）项，右下角为最高频率项。变换过程本身并不减少比特，因为变换块的每个系数所频率项。变换过程本身并不减少比特，因为变换块的每个系数所需要的比特数与初始块的相同。需要的比特数与初始块的相同。 二、图象分块二、图象分块144 149 153 155 155 155 155151 153 156 159 156 156 156155 160 162

25、 163 158 156 156161 162 160 160 159 159 159160 161 162 162 155 155 155161 161 161 160 157 157 157162 161 163 162 157 157 157 162 162 161 161 163 158 158 158三、三、DCT变换变换 DCT变换后，能量分布情况发生了改变。大部分系数的值都很小，只是在变换后，能量分布情况发生了改变。大部分系数的值都很小，只是在F（0，0）位置附近有几个系数的指数大，变换域的低频系数集中了大量能量，而高频系数上的位置附近有几个系数的指数大，变换域的低频系数集中了大

26、量能量，而高频系数上的能量很小。能量很小。 F（0，0）实际上等于所有像素的的平均值，叫直流系数（）实际上等于所有像素的的平均值，叫直流系数（DC系数系数 1个），个），重要系数，其余的系数都是交流系数（重要系数，其余的系数都是交流系数（AC系数系数63个）。个）。 DC系数周围的系数反应了图系数周围的系数反应了图象的低频信息，象的低频信息， F（8，8）附近的系数反应了图象中的高频分量。高频系数比较小，）附近的系数反应了图象中的高频分量。高频系数比较小，图象细节比较多，反之细节少。图象细节比较多，反之细节少。 由于人眼对图象的低频特性，如物体的亮度之类的信息很敏由于人眼对图象的低频特性，如物

27、体的亮度之类的信息很敏感，而对图象中的高频信息不敏感，因此在传输过程中可以少感，而对图象中的高频信息不敏感，因此在传输过程中可以少传或不传送高频信息。传或不传送高频信息。 量化过程是一个非线性过程，量化和反量化值存在一定的误量化过程是一个非线性过程，量化和反量化值存在一定的误差。这个误差在一定范围内，人眼很难觉察，这可以提高压缩差。这个误差在一定范围内，人眼很难觉察，这可以提高压缩编码的效率。编码的效率。0 -1 0 0 0 0 0 -2 -1 0 0 0 0 0 0-1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

28、0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 q=1 ( 6个非个非0值）值）0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 0 q=2( 1个非个非0值）值）量化后的系数量化后的系数量化步长量化步长 q 控制量化误差大小，控制量化误差大小，q大，误差大，失真大。大，误差大，失真大。 四、量化四、量化 DCT变换后，可将非变换后，可将非0值发送到接受端，但是，在图象压缩编码中处理的图象是

29、由值发送到接受端，但是，在图象压缩编码中处理的图象是由多个图象块构成的，这些图象块多个图象块构成的，这些图象块DCT后的后的DC系数之间实际上还是有很强的相关性。系数之间实际上还是有很强的相关性。为了节约带宽，对不同的为了节约带宽，对不同的DC系数采用了差分（差值）编码，既系数采用了差分（差值）编码，既 用前一量化后的用前一量化后的DC系系数预测当前量化的数预测当前量化的DC系数，然后再对其差值进行编码；对其他系数，然后再对其差值进行编码；对其他AC系数还要进行系数还要进行ZigZag扫描（扫描（ Z字扫描值）。字扫描值）。 ZigZag扫描将二维的量化系数转换为一维时间序列，并在此基础上进行

30、游程编扫描将二维的量化系数转换为一维时间序列，并在此基础上进行游程编码。游程编码的工作是将一维的时间序列变为一个一个的二维事件，每个事件包括两码。游程编码的工作是将一维的时间序列变为一个一个的二维事件，每个事件包括两个部分。前一部分被称为游程，表示在非个部分。前一部分被称为游程，表示在非 0系数之间系数之间 0的个数，后一部分为系数得值。的个数，后一部分为系数得值。上例上例Z字扫描值：字扫描值：0，-2，-1，-1，-1，0，0，-1，0，0， 对这个数列进行游程编码：对这个数列进行游程编码： （1，-2），（），（0，-1）（0，-1），（），（0，-1），（），（2，-1）。这几个二维的事

31、件）。这几个二维的事件就已经完全表示了量化后系数矩阵的所有信息。就已经完全表示了量化后系数矩阵的所有信息。 Z字扫描图字扫描图五、熵编码五、熵编码 为了进一步压缩传送这些二维事件所需的比特数，经统计，根据二为了进一步压缩传送这些二维事件所需的比特数，经统计，根据二维事件出现的概率为每一事件分配了一个长度不同的码字来表示这些事维事件出现的概率为每一事件分配了一个长度不同的码字来表示这些事件。如用件。如用01表示（表示（0，1）事件，）事件， 010表示（表示（0，2）事件。这个过程被称）事件。这个过程被称为熵编码，又叫变长编码。通常用较短的码字表示出现概率大的事件，为熵编码，又叫变长编码。通常用

32、较短的码字表示出现概率大的事件，较长的码字表示出现概率小的事件。较长的码字表示出现概率小的事件。 从上面的例子看到：一个图象块从上面的例子看到：一个图象块 64个像素，压缩编码后成个像素，压缩编码后成 5个事件，个事件，每个像素用每个像素用8比特，块像素数比特，块像素数 64*8=512个比特；个比特； 每个事件都用每个事件都用8比特，加比特，加上直流系数，总共比特数在上直流系数，总共比特数在50左右，这就获得左右，这就获得10：1的压缩。实际上还有的压缩。实际上还有运动补偿技术，压缩率更高。运动补偿技术，压缩率更高。144 149 153 155 155 155 155151 153 156

33、 159 156 156 156155 160 162 163 158 156 156161 162 160 160 159 159 159160 161 162 162 155 155 155161 161 161 160 157 157 157162 161 163 162 157 157 157 162 162 161 161 163 158 158 158实际实际8*8图象块像素值图象块像素值146 149 152 154 156 156 156 150 152 154 156 156 156 156156 157 158 158 157 156 155161 161 162 161

34、160 157 155163 164 163 162 160 158 156 164 164 164 162 160 158 157161 162 162 162 161 159 158158 159 161 161 162 161 159 158反反DCT得到图象像素值得到图象像素值六、解码过程六、解码过程 从接受到的码流解除不同的二维事件，根据事件中游程和从接受到的码流解除不同的二维事件，根据事件中游程和数据恢复出量化后的系数矩阵，再进行反量化推算出数据恢复出量化后的系数矩阵，再进行反量化推算出DCT系数，系数，再进行反再进行反DCT变换得到在空间域的像素值。变换得到在空间域的像素值。 比

35、较二者，存在一定的失真，但不明显，人眼感觉不出来。比较二者，存在一定的失真，但不明显，人眼感觉不出来。实际上，接受端不可能知道发送端的实际情况。实际上，接受端不可能知道发送端的实际情况。七、运动估计与运动补偿七、运动估计与运动补偿 以上以上DCT、量化、编码等消除了空间上帧图象各部分，各像、量化、编码等消除了空间上帧图象各部分，各像素之间的相关性。实际上，电视图象信号在时间上也存在相关性素之间的相关性。实际上，电视图象信号在时间上也存在相关性（帧间相关性）。（帧间相关性）。 景物移动不是很快，景物移动不是很快，25帧图象间存在很大的相关性。在传输时，帧图象间存在很大的相关性。在传输时，没必要对

36、每一帧图象单独进行编码，只对相邻图象帧中的变化进没必要对每一帧图象单独进行编码，只对相邻图象帧中的变化进行编码，进一步节约带宽。行编码，进一步节约带宽。 运动估计可以在参考图象中为当前图象中的每个图象块找到一运动估计可以在参考图象中为当前图象中的每个图象块找到一个运动矢量，这样在编码过程中就可以将当前图象的块与参考图个运动矢量，这样在编码过程中就可以将当前图象的块与参考图象矢量所指向的图象块相减，得到一个差值图象块，由于差值图象矢量所指向的图象块相减，得到一个差值图象块，由于差值图象块中每个像素的值很小，可获得高压缩比。这个相减过程就叫象块中每个像素的值很小，可获得高压缩比。这个相减过程就叫运

37、动补偿。除传输编码差值外，还要传送与之相关的运动矢量。运动补偿。除传输编码差值外，还要传送与之相关的运动矢量。八、八、I、B、P帧编码模式帧编码模式 MPEG图像编码序列包含图像编码序列包含3种类型的图像：种类型的图像：I帧，帧，P帧和帧和B帧。帧。 I 帧（帧内编码图象帧）压缩采用基准帧模式，只提供帧内帧（帧内编码图象帧）压缩采用基准帧模式，只提供帧内压缩，即把帧图像压缩到压缩，即把帧图像压缩到I 帧时，仅仅考虑了帧内的图像。帧时，仅仅考虑了帧内的图像。I 帧帧压缩不能除去帧间冗余度。帧内压缩基于离散余弦变换（压缩不能除去帧间冗余度。帧内压缩基于离散余弦变换（DCT）的的ADCT自适应离散余

38、弦变换编码技术。自适应离散余弦变换编码技术。PAL制系统中，每制系统中，每12帧至少有帧至少有1个个I 帧。帧。 P帧（预测编码图象帧）采用预测编码，利用相邻帧的一般统帧（预测编码图象帧）采用预测编码，利用相邻帧的一般统计信息进行预测。也就是说，它考虑运动特性，提供帧间编码。计信息进行预测。也就是说，它考虑运动特性，提供帧间编码。P 帧预测当前帧与前面最近的帧预测当前帧与前面最近的I 帧或帧或P 帧的差别。帧的差别。 B帧（双向帧间编码帧）它从前面和后面的帧（双向帧间编码帧）它从前面和后面的I 帧或帧或P 帧中提取帧中提取数据。数据。B 帧基于当前帧与前一帧和后一帧图像之间的差别进行压帧基于当

39、前帧与前一帧和后一帧图像之间的差别进行压缩。缩。MPEG数据流开始数据流开始CCIR-601规定的规定的SIF分辨率的未压缩数字分辨率的未压缩数字图像进行抽样。图像进行抽样。SIF分辨率，对于分辨率，对于NTSC制，就是亮度信号为制，就是亮度信号为352240各像素，每个色度信号都为各像素，每个色度信号都为176120个象素。各信号都是个象素。各信号都是每秒每秒30帧。帧。 MPEG压缩器决定了当前帧以压缩器决定了当前帧以I 帧，帧，P帧还是帧还是B帧。帧确定之帧。帧确定之后就采用后就采用DCT变换，对结果进行量化，舍入，行程编码即变长变换，对结果进行量化，舍入，行程编码即变长编码。编码后的典

40、型图像帧序为：编码。编码后的典型图像帧序为：IBBPBBPBBPBBIBBPBBPBBPBBI.B帧。帧。 实际中，可能没有实际中，可能没有B，B图象需要两帧图象（第一帧图象需要两帧图象（第一帧/I帧和帧和第四帧第四帧/ P 帧）作为参考，故称双向预测图象；帧）作为参考，故称双向预测图象；P 图象利用一图象利用一帧图象（第一帧帧图象（第一帧/ I 帧）作为参考。帧）作为参考。B帧编码需要以帧编码需要以 I、P为参考，为参考，因此，先对因此，先对P 帧编码。帧编码。图象的传输顺序和编码顺序图象的传输顺序和编码顺序是不同的。是不同的。通常在编码器中需要一个大的通常在编码器中需要一个大的输入缓冲器将

41、当前输入的图象输入缓冲器将当前输入的图象进行缓存，缓冲器至少需要能进行缓存，缓冲器至少需要能保存保存3帧图象。当输入帧图象。当输入1、2、3帧后，第一帧编码编码完成时，帧后，第一帧编码编码完成时，第第4帧输入完成，编码器从缓冲帧输入完成，编码器从缓冲器中读出刚刚写入的第器中读出刚刚写入的第4帧并对帧并对其编码，此时，第其编码，此时，第5帧正在写入帧正在写入缓冲器，缓冲器，。解码过程与编码过程相似，都必解码过程与编码过程相似，都必须先存入缓存器，是一个对称过须先存入缓存器，是一个对称过程。只有程。只有I 帧图象才能独立的解帧图象才能独立的解码，码，B、P帧图象均需利用参考帧图象均需利用参考图象，

42、并结合运动矢量完成解码。图象，并结合运动矢量完成解码。解码过程通常从解码过程通常从I帧开始。帧开始。 每个每个12帧安排一个帧安排一个I 帧，是由于在帧，是由于在PAL电视信号每秒发送电视信号每秒发送25帧，如果每帧，如果每12帧安排一帧安排一个个I帧，解码器无论何时解码，在帧，解码器无论何时解码，在0.5秒内找到一个秒内找到一个 I 帧图象，并从此开始正确解码，使帧图象，并从此开始正确解码，使系统的启动和恢复时间缩短，不至于影响图象节目的收看效果。系统的启动和恢复时间缩短，不至于影响图象节目的收看效果。 MPEG编码过程中，一些图像压缩成编码过程中，一些图像压缩成I帧，一些压缩成帧，一些压缩

43、成P帧，另一些压缩成帧，另一些压缩成B帧。帧。I帧压缩可以得到帧压缩可以得到6：1的压缩比而不的压缩比而不产生任何可觉察的模糊现象。产生任何可觉察的模糊现象。I帧压缩的同时使用帧压缩的同时使用P帧压缩，可帧压缩，可以达到更高的压缩比而无可觉察的模糊现象。以达到更高的压缩比而无可觉察的模糊现象。B帧压缩可以达帧压缩可以达到到200：1的压缩比，其文件尺寸一般为的压缩比，其文件尺寸一般为I帧压缩尺寸的帧压缩尺寸的15%,不不到到P帧压缩尺寸的一半。帧压缩尺寸的一半。I帧压缩去掉图像的空间冗余度，帧压缩去掉图像的空间冗余度，P帧帧和和B帧去掉时间冗余度，帧去掉时间冗余度， 类似于类似于JPEG和和H

44、.261图像中使用和图像中使用和P帧要求计算机有更强帧要求计算机有更强的功能。有些压缩能产生的功能。有些压缩能产生B帧或者帧或者P帧也不能产生，则图像的帧也不能产生，则图像的压缩结果将有很明显的间断。压缩结果将有很明显的间断。各类宏块的预测技术各类宏块的预测技术 MPEG2是运动图象及伴音的通用压缩标准，克是运动图象及伴音的通用压缩标准，克服了服了 MPEG1许多缺陷，满足日益增长的多媒体和数字电许多缺陷，满足日益增长的多媒体和数字电视的要求分辨率、传输率等技术。如数字存储媒体、会议电视的要求分辨率、传输率等技术。如数字存储媒体、会议电视视/可视电话、数字电视、高清晰电视、广播、通信、网络等可

45、视电话、数字电视、高清晰电视、广播、通信、网络等应用领域。应用领域。 MPEG2 VIDEO定义不同的功能档（定义不同的功能档（5档：简单档：简单型型/SP、信噪比可调型、信噪比可调型/SNP、空间可调型、空间可调型/SSP、增强型、增强型/HP），），每档分不同的级（每档分不同的级（4级）级） 1、低级、低级LL 352288 25，面向，面向VCR与与MPEG1兼容；兼容； 2、基本级、基本级ML 720 576 25 面向视频广播信号；面向视频广播信号； 3、高、高1440级级 H1440 1440 115225 面向面向HDTV； 4、高级、高级 HL 1920 1152 25 面向面

46、向HDTV。 九、九、MPEG2视频压缩技术视频压缩技术（一）（一） MPEG2级（级（L）Mbps 位速率位速率 ； Mb 缓冲器容量缓冲器容量 基本级的基本型基本级的基本型MPML，已被许多芯片采用，已被许多芯片采用，SP ML将在将在CATV和数字和数字VCR中采用，美国中采用，美国HDTV采用采用MP HL。 MPEG2标准支持固定比特率传送、可变比特率传送、随标准支持固定比特率传送、可变比特率传送、随机访问、分级解码以及一些特殊功能，如搜索、暂停、冻结等。机访问、分级解码以及一些特殊功能，如搜索、暂停、冻结等。 MPEG2视频标准与视频标准与MPEG1兼容，并于兼容，并于 SDTV、

47、HDTV向向上或向下兼容。上或向下兼容。 MPEG2标准作为计算机可处理的数据格式，主要应用标准作为计算机可处理的数据格式，主要应用于数字存储媒体、视频广播和通信。存储媒体可直接与于数字存储媒体、视频广播和通信。存储媒体可直接与MPEG2解码器相连，或者通过总线、局域网、电信通信线路解码器相连，或者通过总线、局域网、电信通信线路等手段相连等手段相连。MPEG2的图象参数（隔行扫描）的图象参数（隔行扫描）MPEG2与与MPEG1相比：取样频率和取样点提高一倍，像素的传输率和码率相比：取样频率和取样点提高一倍，像素的传输率和码率提高提高4倍，水平清晰度达到倍，水平清晰度达到500线。线。 DV（D

48、VCAM/DVCPRO）是数字磁带录象机的一种帧内）是数字磁带录象机的一种帧内编码格式，使用编码格式，使用1/4英寸磁带，采用英寸磁带，采用4 :2:2/4:2:0/4:1:1 的数字分的数字分量，量，8bit量化。量化。 4 :2:2使用的压缩比为使用的压缩比为 3.3：1，码率为，码率为50M bps，松下的，松下的DVCPRO 50格式数字录象机；格式数字录象机； 4:1:1使用的压缩比为使用的压缩比为 5：1，码率为，码率为25M bps，松下的，松下的DVCPRO 25格式数字录象机；格式数字录象机； 4:2:0使用的压缩比为使用的压缩比为 5：1，码率为，码率为25M bps，SO

49、NY的的DVCAM格式和格式和JVC的的DV数录象机；数录象机； MPEG-2 4 :2:2MPML是是SONY开发的开发的BetacamSX数字磁数字磁带录象机采用的格式，由一个带录象机采用的格式，由一个I帧和一个帧帧和一个帧P构成的图像组组成，构成的图像组组成，即即IPIPIPIPIP，所有的数据流进入点都在，所有的数据流进入点都在I帧帧。（二）、（二）、DV压缩格式压缩格式十、十、DV 接口的接口的AV 协议协议IDF9包号包号VA2VA1VA0SC1SC0HOA5A4A3A2A1A0V2V1V0A8A7A6V134V133V132V131V130V129VA2VA1VA0SC1SC0H

50、OV134V133V132V131V130V129V134V133V132V131V130V1290 1 2242549249IDF0IDF1HO：DIF块包头块包头Sci：子码：子码DIF块块 （i=0,1)VAi: VAUI DIF块块 （i=0,1,2)Ai: 音频音频DIF块块 （i=0,1 8)Vi: 视频视频DIF块块 （i=0,1 134) 在数字在数字DV中，视频信号（压缩后）由中，视频信号（压缩后）由DIF块构成，每个块构成，每个DIF块含块含80byte的块数据。对于的块数据。对于525/60（NTSC），），150个个DIF块构成块构成一个一个IDF序列，序列，10个个I

51、DF序列构成一帧视频。实际上视频信号是序列构成一帧视频。实际上视频信号是由异步传输的，一个异步数据包由由异步传输的，一个异步数据包由6个个DIF块构成，块构成，25包构成一个包构成一个IDF序列，一帧由序列，一帧由250个包传输。个包传输。 每个每个IDF序列包含序列包含150 DIF块，其中第一个是包头信息，接着块，其中第一个是包头信息，接着是是2个子码个子码DIF块，然后块，然后3个辅助个辅助DIF块，接下来块，接下来9个音频和个音频和135视视频频DIF块。块。第四节第四节 H.264H.264视频压缩算法介绍视频压缩算法介绍 H.264/AVC是最新的国际视频编码标准。由是最新的国际视

52、频编码标准。由ITU-T和和ISO/IEC两个国两个国际标准化组织联合制定际标准化组织联合制定,将被称为国际标准将被称为国际标准14496-10（MEPG-4第第10部分）部分）-高级视频编码（高级视频编码（AVC）。采用了很多新技术用来提高压缩比降低码流，）。采用了很多新技术用来提高压缩比降低码流，主要是采用了高精度、多模式预测技术。主要是采用了高精度、多模式预测技术。H.264标准针对网络传输的需标准针对网络传输的需要设计了视频编码层要设计了视频编码层VCL和网络提取层和网络提取层NAL结构，网络抽象层是提供结构，网络抽象层是提供“网络友好网络友好”的界面，从而使视频编码层能够在各种系统中

53、得到有效的应的界面，从而使视频编码层能够在各种系统中得到有效的应用。用。 H.264标准针对网络传输的需要设计了差错消除的工具便于压缩视频标准针对网络传输的需要设计了差错消除的工具便于压缩视频在误码、丢包多发环境中传输，从而保证了视频传输的有效性。在误码、丢包多发环境中传输，从而保证了视频传输的有效性。H.264视频压缩方法的优势：视频压缩方法的优势：复杂度：复杂度：Base Profile是是MPEG-4的的2倍左右，倍左右，Main Profile是是MPEG-4的的10倍以上倍以上;图像质量：支持重点部分高质量保存图像质量：支持重点部分高质量保存;压缩码流：压缩码流：Base Profi

54、le与与MPEG-4相当，相当，Main Profile低于低于MPEG-4的一的一半半。实现实现H.264 Main Profile算法后可以使视频码流降低一半，可以实现算法后可以使视频码流降低一半，可以实现CIF格式视频在普通的格式视频在普通的ADSL上实时连续传输，即使在网络有波动的情况上实时连续传输，即使在网络有波动的情况下也不会受到影响。同时由于下也不会受到影响。同时由于H.264算法具有网络编码层和网络传输算法具有网络编码层和网络传输层结构，这样对于普通的宽带网络和无线网络的适应性大大加强，不层结构，这样对于普通的宽带网络和无线网络的适应性大大加强，不会由于网络的误码影响传输的质量

55、。会由于网络的误码影响传输的质量。采用了采用了1/4像素精度的运动矢量，更精确的运动估计将导致更小的残差，像素精度的运动矢量，更精确的运动估计将导致更小的残差，从而导致更高的编码效率。同时，根据应用环境的不同特征设计了不从而导致更高的编码效率。同时，根据应用环境的不同特征设计了不同的运动估计策略，使得算法效率有了很大的提高。同的运动估计策略，使得算法效率有了很大的提高。H.264视频压缩方法的核心点：视频压缩方法的核心点：H.264标准采用了很多新技术用来提高压缩比降低码流，主要是采用了高标准采用了很多新技术用来提高压缩比降低码流，主要是采用了高精度、多模式预测技术，核心点为：精度、多模式预测

56、技术，核心点为：1/4或或1/8像素精度的运动矢量：更精确的运动估计将导致更小的残差，像素精度的运动矢量：更精确的运动估计将导致更小的残差，从而导致更高的编码效率从而导致更高的编码效率，在选择预测滤波器时可以有更大的自由度在选择预测滤波器时可以有更大的自由度；以更小块为基础进行可变大小的块的运动补偿，一个宏块可以分为不以更小块为基础进行可变大小的块的运动补偿，一个宏块可以分为不同的子块，形成同的子块，形成7种不同模式的块种不同模式的块；运动向量可以越过图像边界即指向图像边界以外的运动向量运动向量可以越过图像边界即指向图像边界以外的运动向量；多参考帧的运动补偿：可以使用一帧以上的已经编码的图像作

57、为参考多参考帧的运动补偿：可以使用一帧以上的已经编码的图像作为参考帧，进行运动补偿。帧，进行运动补偿。Slice Group：幅图像可以分成一个或几个片，关键部分图像提高清晰：幅图像可以分成一个或几个片，关键部分图像提高清晰度度块消除滤波器：解决宏块边缘造成的马赛克现象，特别是当码率比较块消除滤波器：解决宏块边缘造成的马赛克现象，特别是当码率比较低的时候，会产生很明显的块边缘，极大的影响视觉效果。低的时候，会产生很明显的块边缘，极大的影响视觉效果。帧内编码的方向预测：空间域上进行而不是在变换域上进行帧内编码的方向预测：空间域上进行而不是在变换域上进行H.264标准针对网络传输的需要设计了视频编

58、码层标准针对网络传输的需要设计了视频编码层VCL和网络提取层和网络提取层NAL结构，网络抽象层是提供结构，网络抽象层是提供“网络友好网络友好”的界面，从而使视频编码的界面，从而使视频编码层能够在各种系统中得到有效的应用。层能够在各种系统中得到有效的应用。参数集结构包含着相对不变的可以解码很多参数集结构包含着相对不变的可以解码很多VCL NAL单元的信息单元的信息NAL单位语法结构被编码的视频数据被组织成单位语法结构被编码的视频数据被组织成NAL单元，每个单元都单元，每个单元都是包含整数个字节的包。是包含整数个字节的包。可变的片大小可变的片大小可变的宏块顺序（可变的宏块顺序（FMO）任意的片顺序

59、（任意的片顺序（ASO）数据分割：划分优先级，网络带宽的限制下可以保证重点部分图数据分割：划分优先级，网络带宽的限制下可以保证重点部分图像的优先传输像的优先传输；SP/SI同步同步/切换切换 帧：帧：SP帧的主要特征是即使使用完全不同的参考帧的主要特征是即使使用完全不同的参考帧进行预测，也可以重建完全相同的帧进行预测，也可以重建完全相同的SP帧。由于这个性质，我们帧。由于这个性质，我们可以在诸如码流切换，随机读取，错误恢复，容错性等应用中用可以在诸如码流切换，随机读取，错误恢复，容错性等应用中用SP帧替换帧替换I帧帧；H.264标准针对网络传输的需要设计了差错消除的工具便于压缩标准针对网络传输

60、的需要设计了差错消除的工具便于压缩视频在误码、丢包多发环境中传输，从而保证了视频传输的有效视频在误码、丢包多发环境中传输，从而保证了视频传输的有效性：性：时间同步：帧内图像刷新时间同步：帧内图像刷新；空间同步：条结构编码空间同步：条结构编码。AVC-ULTRAAVC-ULTRAAVC Ultra将成为将成为Panasonic的新编解码家族，它基于的新编解码家族，它基于AVC Intra和和H.264，但可扩展到覆盖，但可扩展到覆盖1080p记录和视觉无损母版质量记录和视觉无损母版质量12比比特特4:4:4和和4K分辨率。分辨率。 EBU已经测试了已经测试了AVC Ultra 200 Class