视频技术原理

视频技术原理第一页，共四十页，2022年，8月28日2主要内容数字音频基础知识数字视频基础知识音频编码技术视频编码技术第二页，共四十页，2022年，8月28日3一、数字音频基础知识第三页，共四十页，2022年，8月28日4音频基本特性音频特性 音频信号由许多频率不同的声波组成。音频信号的两个基本参数是频率和幅度。人发音器官声音频频率范围：80~3400Hz。人耳感知音频频率范围：20~20000Hz。

第四页，共四十页，2022年，8月28日5音频信号数字化模拟信号与数字信号处理对比

时间上离散-采样幅度上离散-量化语音质量与采样频率

Nyquist原理语音质量与采样精度量化噪声与量化比特数语音质量与数据率第五页，共四十页，2022年，8月28日6音频信号数字化

采样频率(Khz)采样精度(bps)数据率(未压缩KBps)频率范围(hz)

普通电话888200~3400AM11.02581120~15000FM22.0501688.250~7000CD44.116176.420~20000DAT4816192.020~20000

第六页，共四十页，2022年，8月28日7二、数字视频基础知识第七页，共四十页，2022年，8月28日8彩色电视制式NTSC制式PAL制式SECAM制式HDTV制式第八页，共四十页，2022年，8月28日9彩色视频信号类型复合视频分量视频

RGBYIQYUVS-Video第九页，共四十页，2022年，8月28日10电视扫描与同步逐行扫描与隔行扫描场与帧PAL制式的扫描特性

625行/帧，25帧/秒宽高比4∶3

隔行扫描第十页，共四十页，2022年，8月28日11视频数字化两种方式1、模拟全彩色信号-----〉分量信号

------〉三个A/D2、模拟全彩色信号-----〉A/D转换

------〉数字域进行分量分离第十一页，共四十页，2022年，8月28日12行同步与场同步色度载波黑电平图像行第十二页，共四十页，2022年，8月28日13HDTV简介高清晰度电视（HDTV）显示器：16∶9

帧频：>=100Hz

图像格式：1280x720p，1920x1080i

码率：>=20Mbps

主要制式：8VSB（北美），COFDM（欧洲）第十三页，共四十页，2022年，8月28日14多媒体数据压缩技术空间冗余时间冗余信息熵冗余结构冗余知识冗余视觉冗余其他冗余第十四页，共四十页，2022年，8月28日15三、音频编码技术

第十五页，共四十页，2022年，8月28日16编码器类型波形编码器脉冲编码调制（PCM）差分脉冲编码调制（DPCM）子带编码（Sub-BandCoding）音源编码器混合编码器码激励线性预测（CodeExcitedLinearPredictive）第十六页，共四十页，2022年，8月28日17音频编码标准G.711G.721G.722G.728G.729MPEG-1layer1/2/3MPEG-2AAC第十七页，共四十页，2022年，8月28日18声音的遮蔽现象806040200-20SoundLevel(dB)20 50 100 200 500kHz1 2 5 10 20kHz FrequencyDominantSignalComponentsMaskingThresholds第十八页，共四十页，2022年，8月28日19音频MUSICAM编码分析滤波器组量化和编码比特流的编码数字音频信号量化样值已编码的比特流知觉模型第十九页，共四十页，2022年，8月28日20四、视频编码技术第二十页，共四十页，2022年，8月28日21一、视频编码基础

1、数字电视系统

在电视信号的获取、产生、处理、传输、接收和存储的全过程中使用数字电视信号，称为数字电视系统。数字电视系统可分为三大类：

(l)卫星数字电视广播系统；

(2)有线数字电视广播系统；

(3)地面数字电视广播系统。

第二十一页，共四十页，2022年，8月28日222、视频信号的数字化及表示取样——空间的离散化把时间、幅度连续的模拟信号转变为时间离散、幅度连续的信号，即时间离散化；

量化——幅度的离散化把幅度连续信号转换为幅度离散信号，即幅度离散化；

三基色原理：任何颜色均由红（R）、绿（G）、兰（B）三种颜色分量组成；在电视原理里，用亮度（Y）、蓝色差（U）、红色差（V）三个分量表示。两种方法相互之间的转换：Y=0.3R+0.59G+0.11BU=B–YV=R–YR=Y+VG=Y–0.19U–0.51VB=Y+U第二十二页，共四十页，2022年，8月28日233、视频压缩的必要性

数据量太大，占用带宽太宽

例：1秒钟PAL图像数据

720x576x25x8x3=248，832，000bps

4、视频压缩的可能性空间冗余性相邻像素之间具有很强的相关性时间冗余性相邻帧之间具有很强的相关性视觉冗余性对亮度敏感，对色度不敏感对低频敏感，对高频不敏感第二十三页，共四十页，2022年，8月28日24图像信号中存在的冗余

空间冗余Time时间冗余1sec2sec3sec4sec5sec6sec7sec第二十四页，共四十页，2022年，8月28日255、视频压缩的基本方法及关键技术

正交变换去掉空间冗余性，主要采用DCT

运动估计/补偿去掉时间冗余性色度下采样去掉视觉冗余性第二十五页，共四十页，2022年，8月28日26关键技术环节：

1、离散余弦变换DCTDCT是一种空间变换，在MPEG-2中DCT以8x8的像块为单位进行，生成的是8x8的DCT系数数据块。DCT变换的最大特点是对于一般的图像都能够将像块的能量集中于少数低频DCT系数上，即生成8x8DCT系数块中，仅左上角的少量低频系数数值较大，其余系数的数值很小，这样就可能只编码和传输少数系数而不严重影响图像质量。变换倾向于把能量集中到低频系数上，而很多其它系数则接近于零。比特率的降低是依靠不传送接近零值的系数，而像后面所说的那样对剩下的系数进行量化和编码。不均匀的系数分布是由于原图像块中存在的空间冗余度。

DCT不能直接对图像产生压缩作用，但对图像的能量具有很好的集中效果，为压缩打下了基础。第二十六页，共四十页，2022年，8月28日27离散余弦变换DCT1TVline(64us)720pixels“Luminance”700mV0mVfrequency1TVline(64us)720pixels“Luminance”700mV0mVfrequency第二十七页，共四十页，2022年，8月28日282、量化器

量化是针对DCT变换系数进行的，量化过程就是以某个量化步长去除DCT系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含的信息越多，但所需的传输频带越高。不同的DCT变换系数对人类视觉感应的重要性是不同的，因此编码器根据视觉感应准则，对一个8x8的DCT变换块中的64个DCT变换系数采用不同的量化精度，以保证尽可能多地包含特定的DCT空间频率信息，又使量化精度不超过需要。DCT变换系数中，低频系数对视觉感应的重要性较高，因此分配的量化精度较细；高频系数对视觉感应的重要性较低，分配的量化精度较粗，通常情况下，一个DCT变换块中的大多数高频系数量化后都会变为零。要注意编码器所产生的量化噪波是不能在解码器中逆转的，这就使编码和解码过程“有损”。第二十八页，共四十页，2022年，8月28日293.游程编码与Z扫描Z扫描

主要目的是将2维信号转换成1维信号，便于游程编码游程编码

一对码字（N，L），第一个字节为非零值的电平前面的零的个数非零值的电平，第二个为非零值的电平，为熵编码做好进一步的准备。第二十九页，共四十页，2022年，8月28日30Z字型扫描与游程编码第三十页，共四十页，2022年，8月28日31

4、熵编码

量化仅生成了DCT系数的一种有效的离散表示，实际传输前，还须对其进行比特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即每个量化值以同样数目的比特表示，但这种方法的效率较低。而采用熵编码可以提高编码效率。熵编码是基于编码信号的统计特性，使得平均比特率下降。游程和非零系数既可独立的，也可联合的作熵编码。熵编码中使用较多的一种是霍夫曼编码，MPEG-2视频压缩系统中采用的就是霍夫曼编码。霍夫曼编码中，在确定了所有编码信号的概率后生产一个码表，对经常发生的大概率信号分配较少的比特表示，对不常发生的小概率信号分配较多的比特表示，使得整个码流的平均长度趋于最短。为使解码器能分辨在什么地方一个码终止和下一个码开始，VLC有这样一个特性：没有一个完整的码是任何其它的码的前头部分。第三十一页，共四十页，2022年，8月28日325、信道缓存

由于采用了熵编码，产生的比特流的速率是变化的，随着视频图像的统计特性变化。但大多数情况下传输系统分配的频带都是恒定的，因此在编码比特流进入信道前需设置信道缓存。信道缓存是一缓存器，以变比特率从熵编码器向里写入数据，以传输系统标称的恒定比特率向外读出，送入信道。缓存器的大小，或称容量是设定好的，但编码器的瞬时输出比特率常明显高于或低于传输系统的频带，这就有可能造成缓存器的上溢出或下溢出。因此缓存器须带有控制机制，通过反馈控制压缩算法，调整编码器的比特率，使得缓存器的写入数据速率与读出数据速率趋于平衡。缓存器对压缩算法的控制

第三十二页，共四十页，2022年，8月28日33

是通过控制量化器的量化步长实现的，当编码器的瞬时输出速率过高，缓存器将要上溢时，就使量化步长增大以降低编码数据速率，当然也相应增大了图像的损失；当编码器的瞬时输出速率过低，缓存器将要下溢出时，就使量化步长减小以提高编码数据速率。第三十三页，共四十页，2022年，8月28日34

6、运动估计

运动估计使用于帧间编码方式时，通过参考帧图像产生对被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计作的好，那么被压缩图像与估计图像相减后只留下很小的值用于传输。运动估计以宏块为单位进行，计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位置偏移是以运动矢量来描述的，一个运动矢量代表水平和垂直两个方向上的位移。运动估计时，P帧和B帧图像所使用的参考帧图像是不同的。P帧图像使用前面最近解码的I帧或P帧作参考图像，称为前向预测；而B帧图像使用两帧图像作为预测参考，称为双向预测，其中一个参考帧在显示顺序上先于编码帧(前向预测)，另一帧在显示顺序上晚于编码帧(后向预测)，B帧的参考帧在任何情况下都是I帧或P帧。

第三十四页，共四十页，2022年，8月28日35

此技术利用了时间冗余度，它试图从前面的“参考”帧来预测要编码的帧。预测不能以源图像为基础，因为这个预测要在解码器中重复，而在解码器中是没有源图像可用的（解码图像与源图像不尽相同，因为码率压缩过程在解码图像中引入了少量失真）。因此，编码器含有一个本地解码器，它能重建与解码器中将重建的图像完全相同的图像，由此可进行预测。一种确定待编码块与参考帧之间所发生的运动的方法是“块匹配”搜索，这种