数字电视原理课件

1、数字电视原理与应用,Principle and Application of Digital Television,Email： 20062007学年第一学期,1,PPT学习交流,课程安排,2,PPT学习交流,数字电视基本原理,视频压缩原理 第5章 MPEG-2视频编码及其测量 第4,6,11章 MPEG-2音频编码部分及其测量 第7章 MPEG-2系统部分及其测量 第3,9,10章 数字调制基础 第12章 数字电视中的纠错编码原理 补充,3,PPT学习交流,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,4,PPT学习交流,电视演播室中使用了一段时间的无压缩数字视频信

2、号。 ITU-BT.R.601(CCIR 601)的获得： 视频摄像机得到模拟RGB信号 RGB信号在摄像机中通过矩阵变换得到亮度(Y)和色度(色差CB和CR)信号。,1、数字视频信号ITU-BT.R.601,图4.1 亮度和色度信号的数字化,5,PPT学习交流,RGB信号转换成亮度和色度信号 亮度信号 色差信号 亮度信号的带宽利用低通滤波器限定到5.75MHz 两个色差信号带宽限定到2.75MHz 色度信号的分辨率比亮度信号分辨率低人眼视觉特性 模拟电视中色度信号限定到1.3MHz。,1、数字视频信号ITU-BT.R.601,6,PPT学习交流,带限后的亮度和色度信号通过模数转换器实现采样和

3、数字化 亮度分量Y中A/D转换器的采样频率是13.5MHz 色度分量CB和CR中A/D转换器的采样频率是6.75MHz 满足采样定理：信号的最高频率不超过采样频率的一半。,1、数字视频信号ITU-BT.R.601,图4.2 IUT-BT.R.601亮度和色度分量的采样,7,PPT学习交流,A/D转换器的分辨率可达8或10bits 10bits对应270Mbit/s码率 码率高，适合演播室应用，不适合TV传输应用。 Y,CB,CR三个分量的复用顺序： CB Y CR Y CB Y 亮度分量Y与两色度分量CB CR相交替， 亮度分量Y的分辨率是CB或CR分辨率的两倍4:2:2格式。 采样前，矩阵变

4、换输出的Y、CB和CR的分辨率相同4:4:4格式。 信号接口： 25pin subD并口 75Ohm BNC串口，叫做SDI(Serial Digital Interface) 广泛采用传统的75Ohm双绞线/同轴电缆接口。,1、数字视频信号ITU-BT.R.601,8,PPT学习交流,码流中视频信号的开始和结束由特殊码字SAV(Start of Active Video)和EAV (End of Active Video)标记。 EAV到SAV之间有水平空白间隔，不包含任何视频信号，可传输辅助信息，例如音频信号或数字信号的错误掩盖信息。 SAV和EAV码字各自由4个8或10bit码字组成，第

5、一个码字是全1，第二和第三个码字全0，第四个码字包含相应场或相应垂直空白间隔的信息。,1、数字视频信号ITU-BT.R.601,9,PPT学习交流,第四个码字用于检测垂直方向一帧、一场图像的开始 最高位始终是1。 次高位第8位（10bit）或第6位（8bit）是场标志，如果该位为0，是第一场；如果该位为1，是第二场； 第7位（10bit）或第5位（8bit）是垂直方向活动视频区域标志，如果该位为0，表示是可见的视频区域；如果该位为1，是垂直空白间隔。 第6位（10bit）或第4位（8bit）标记该码字是SAV还是EAV，如果该位为0，是SAV；如果该位为1，是EAV。 第52位（10bit）或

6、第30位（8bit）用于SAV和EAV码字的误码保护。 F=Field (0=1st field, 1=2nd field) V=Vertical blanking (1=vertical blanking interval) H=SAV/EAV标记（0SAV，1EAV） P0,P1,P2,P3=保护位（汉明码）,1、数字视频信号ITU-BT.R.601,10,PPT学习交流,Y、CB和CR都没有用到全部的动态范围，留有一个禁止区间作为保留净空，同时使得SAV和EAV便于识别。 亮度信号Y的范围： 16235（8bits） 64940（10bits） 色度信号CB和CR的动态范围： 16240

7、（8bits） 64960（10bits） 该范围外的区间作为净空和同步标识,1、数字视频信号ITU-BT.R.601,图4.4 Y,CB,CR的动态范围,11,PPT学习交流,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,2.MPEG-2视频编码,12,PPT学习交流,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,13,PPT学习交流,数字SDTV视频信号数码率270Mbit/s，必须压缩到26Mbit/s才能用于广播传输。 摄像机输出的RGB信号通过矩阵变换得到Y,CB和CR信号 降低信号带宽，信号通过低通滤波 模数转换 降低色度分辨率为4

8、:2:2格式 按照ITU-BT.R.601，信号码率270Mbit/s 通过MPEG视频压缩过程，必须压缩到26(15)Mbit/s，压缩比高达130。,视频压缩,14,PPT学习交流,视频压缩,冗余度消除 多余信息：码流中多次存在，或没有信息量，或在接收端可通过数学方法无失真恢复。 VLC游程编码 霍夫曼编码：使用频率高的字母用短码，使用频率低的字母用长码。 无损压缩,高压缩比,不相关性消除 不必要信息：人眼无法察觉的信息。 人眼的彩色视觉细胞远远少于亮度视觉细胞，因此色度分辨率可以降低，色度信号带宽可以减少。 人眼不能辨别图像中过于精细结构和粗结构。 不能复原的有损过程,15,PPT学习交

9、流,MPEG采用的压缩步骤,有损,1,量化从10bits降为8bits,无损,2,省略水平和垂直空白间隔,有损,3,降低垂直方向色度分辨率(4:2:0),无损,4,活动图像的DPCM,有损,5,DCT和量化,无损,6,Z扫描和零序列的游程编码,无损,7,Huffman编码,16,PPT学习交流,模拟电视中，视频信号的信噪比大于48dB时，噪声恰好人眼不可见。 A/D转换器中8bit分辨率的量化噪声已经不可见，因此在演播室以外，对Y,CB和CR信号不必要采用10bit分辨率。 演播室中最好采用10bit，更容易进行后处理，质量更好。 10bit降为8bit可节省20码率 (10-8)/10=2/

10、10=20% 不相关性消除 接收端不能恢复原始信号 S/NdB6N，量化噪声增加12dB。,1、10bits量化降为8bits量化,17,PPT学习交流,ITU BT.R601信号的水平和垂直空白间隔不包含任何信息，可以包含辅助数据例如声音信号，但根据MPEG这些辅助数据必须单独编码，因此可以省略，接收端可以轻易恢复。,2、省略水平和垂直空白间隔,图6.1 水平和垂直空白,PAL信号的625线只有575线可见，如果省略垂直空白间隔可以节省8的码率 (625-575)/625=8% 一行长64微秒，只有52微秒可见，如果省略水平空白间隔又可以节省19的码率 (64-52)/64=19% 因为两个

11、节省有部分重叠，总的节省率大约25。,Visible, active picture,64s,52s Active line,V Blanking(8%),575 Visible lines,625 lines,H Blanking(19%),18,PPT学习交流,按照ITU BT.R601，两个色度分量CB和CR的采样频率是亮度分量Y的一半， Y的带宽5.75MHz，CB和CR的带宽降为2.75MHz。 4:2:2格式 4:2:2色度分辨率只是水平方向降低。 人眼无法分辨水平和垂直方向的色度分辨率。 垂直方向降低一半色度分辨率的影响人眼不可见。 4:2:0信号，四个Y像素对应一个CB和CR值

12、。 又节省25码率。,3、降低垂直色度分辨率(4:2:0),图6.2 4:4:4 4:2:2 4:2:0分辨率,19,PPT学习交流,MPEG视频压缩步骤,20,PPT学习交流,进一步数据压缩,DPCM,Z扫描VLC,Huffman编码,进一步数据压缩,DCT量化,21,PPT学习交流,相邻帧之间差别较小，有静止区域不发生变化，有活动区域只改变其位置，还有新增加的对象。 如果每帧图像都完全传输，有部分传输的信息完全相同，会导致很高的码率。 显然对这些图像区域只传输两帧之间的差值更合适DPCM：,4、DPCM,22,PPT学习交流,连续模拟信号采样数字化时得到等间隔的离散采样值，相当于等间隔的脉

13、冲，即PCM脉冲编码调制，每个脉冲的高度表示该时刻信号的离散采样值。 由于经过了带限预处理，相邻采样值之间的差值不大，如果只传输差值可以节省传输容量，降低码率，即DPCM差分脉冲编码调制。 DPCM的问题在于恢复原始信号的延迟较长，可以通过在传输差值时，每隔固定间隔就传输一次完全采样值，来解决该问题。 这种方法非常接近MPEG-1/-2图像压缩中采用的帧间预测编码。,4、DPCM,23,PPT学习交流,在一帧图像进行静止和运动对象检测之前，首先被分成若干宏块。 4:2:0格式每个宏块由一个16x16亮度像素Y和两个8x8的色度像素CB、CR。 每帧图像水平和垂直像素数目选择为16和8的整数倍（

14、720 x576）。 每隔一定间隔传输一帧完全参考帧，I帧(Intracoded)，两个I帧之间传输差值帧。,4、DPCM,图6.20 帧分解为宏块,24,PPT学习交流,求差值的单位是宏块，当前帧宏块与前一帧的宏块进行比较： 首先检测该宏块是否由于图像中的运动在某方向发生位移。 只传输运动向量MV， 如果当前宏块与前一帧的宏块有差值，还传输残差。 或者宏块是否没变化，也没有位移。 不需传输任何信息。 或者是否是新出现的对象。 完全编码,4、DPCM,25,PPT学习交流,P帧前向预测帧 B帧双向预测帧，包括前向和后向预测，码率比I/P帧低很多。 GOP两个I帧之间P/B帧的组织结构。 GOP

15、结构灵活，一个GOP通常包括12帧：I,B,B,P,B,B,P, B帧介于I和P帧之间，在解码B帧之前，必须先解码重建它的前向和后向参考帧（I帧或P帧）。 因此，视频帧的传送顺序和原始显示顺序不同。 接收端的缓存大小可事先计算出，可以利用PES头中的DTS(decoding time stamp)值。,4、DPCM,图6.9 GOP结构,26,PPT学习交流,运动估计得到运动向量过程： 对当前要编码帧的宏块，在前面的参考帧（P帧）或后面的参考帧（B帧）中搜索最佳匹配宏块。 在当前宏块周围的搜索窗内的块匹配 找到匹配宏块后就得到所需传输的运动向量。 另外还传输匹配宏块的残差。 残差单独再经过DC

16、T和量化进一步压缩。,4、DPCM,图6.11 运动向量,27,PPT学习交流,80年代末，静止图象压缩，JPEG标准的核心算法DCT DCT也是MPEG视频编码的核心算法 根据人眼视觉特性，低频图象干扰（相应于粗图象结构）比高频图象（图象细节）干扰更易察觉。 因此，信噪比测量时要根据视觉敏感度进行加权，高频方向比低频图象分量可以容许更大噪声。 为节省码率，低频信号进行更精细量化，高频信号进行粗量化。 如何得到不同频率图象分量？变换编码。 DCT是DFT和FFT的特例，将时域图象信号变换到频域。,5、DCT和量化,28,PPT学习交流,5、DCT和量化,图6.13/14 一维DCT及DCT系数

17、量化,29,PPT学习交流,5、DCT和量化,对视频帧一行中8个象素的时域电压值进行DCT得到频域的8个系数，依次为直流DC系数、低频、中频和高频系数（视频信号能量）。 根据人眼视觉特性，DCT系数在频域进行量化，除以某个量化因子。 量化因子越大，量化越粗。对较平滑图象，量化因子改变不大或根本不变；而对细节丰富图象，量化因子随着频率增高而变大。 量化后很多系数变为0，尤其对高频系数而言。,30,PPT学习交流,5、DCT和量化,JPEG和MPEG中采用二维变换编码。 图象先被分成8x8象素块，再通过二维DCT变换到频域。 为得到带符号值，在做二维DCT之前，所有象素值先减去128。 DCT后即

18、量化，除以合适的量化步长,8X8象素块f(x,y),二维DCT,减去128,F(v,u)=DCT(f(x,y),QF(v,u)=F(v,u)/Q(v,u)/scale_factor,Q(v,u),Scale_factor=2,量化,31,PPT学习交流,8x8象素块做二维DCT后得到频域中的8x8数组: 第一个系数是DC系数，对应整个块的直流分量。 第二个系数对应水平方向最粗图象结构的能量。 第一行最后一个系数对应水平方向最精细图象结构的能量。 第一列从上到下对应垂直方向最粗到最细图象结构的能量。 对角线上系数对应对角线方向从粗到细图象结构的能量。,5、DCT和量化,32,PPT学习交流,DC

19、T后即量化，除以合适的量化步长 MPEG定义了量化表，可以自定义 量化后很多系数变为0 量化后矩阵关于对角线近似对称 量化后矩阵系数通过Z扫描过程使得连续0的个数最大，便于采用游程编码可以大大节省码率。 量化是控制基本视频流码率的唯一手段。 DCT量化对宏块中的Y分量和CB、CR分量进行。 量化在宏块层可以通过量化因子调整来控制码率。 量化表只能在视频序列层修改。 I帧的宏块即按上述方式编码 P帧和B帧的宏块先按运动向量得到参考帧中的预测值，再计算与当前宏块的差值，残差值再经过DCT变换到频域，再进行量化。,5、DCT和量化,33,PPT学习交流,量化DCT系数进行Z扫描之后，使得连0数目最大

20、。 码流中不传这些连续0系数，而是通过游程编码只传连0的个数， Z扫描和游程编码，与DCT和量化相配合，是MPEG-2高压缩比的主要因素。,6、Z扫描和游程编码,Z扫描,173, 6,2*0,-1,1*0,2, 1*0,-2, 6*0,-1,13*0,-1,34*0,RLC,34,PPT学习交流,游程编码后的码流再进行霍夫曼编码。 出现频率高的码字编码为短码，出现频率低的码字编码为长码。 进一步冗余度消除，无损过程。,7、霍夫曼编码,35,PPT学习交流,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,36,PPT学习交流,将IUT BT.R601的4:2:2标清电视信号

21、(270Mbit/s)压缩到26Mbit/s。 核心压缩算法是运动补偿DPCM与DCT变换编码相结合。 MPEG-2的不同应用支持4:2:0和4:2:2不同格式。 SD 4:2:0Main Pro Level SD 4:2:2High Pro Level HD 4:2:0Main Pro Level HD 4:2:2High Pro Level 压缩过程都一样，只是质量和码率不同，码率越高质量越好。 6Mbit/s 4:2:0 SDTV信号质量与传统模拟电视信号相似。 视频基本流的码率可以是固定码率或根据当前图像内容可变码率。 码率通过编码器改变量化因子进行控制。,压缩算法总结,37,PPT学

22、习交流,MPEG-2编码器总体框图,压缩算法总结,38,PPT学习交流,I,P,B帧的宏块有多种编码模式。 B帧宏块的编码模式包括： 帧内编码（完全编码） 前向预测 双向预测 跳过（不编码） 编码模式由编码器根据当前图像内容和信道容量决定。 只传输帧不传输场，在接收端由特殊方式恢复场结构。 宏块有帧编码和场编码方式，场编码方式在DCT之前先分成两场。,压缩算法总结,帧宏块编码,场宏块编码,39,PPT学习交流,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,40,PPT学习交流,块：视频流的最小单元是8x8像素块，是DCT的单位。 宏块：是量化控制的单位，不同宏块可采用不

23、同量化因子。 量化因子是实际视频PES流控制码率的调节器。 量化表不能在宏块层改变。 宏块可以是帧编码或场编码。,视频ES流结构,图6.28 块、宏块、条、帧,41,PPT学习交流,Slice：一行中若干宏块构成一个slice 每个slice头在误码时用于重同步 误码掩盖主要在slice层，发生误码时，MPEG解码器将前一帧的slice复制到当前帧，解码器可以在一个新slice开头重新同步，slice越短，误码造成的干扰越小。 帧：若干slice构成一帧，有I/P/B帧 每一帧都有帧头 由于B帧，编码顺序和显示顺序不同，帧头和PES头带有时间戳，可以恢复原始帧顺序。 GOP：若干I/P/B帧构

24、成一个GOP 每一组GOP都有GOP头 广播采用短GOP，半秒12帧 MPEG解码器只能在GOP的第一个I帧重同步。 大容量设备如DVD可以采用长GOP。 序列：一个GOP或多个GOP构成一个序列 序列有序列头，包括重要视频参数如量化表。,视频ES流结构,42,PPT学习交流,上述视频PES流结构全部或部分嵌入PES包中，打包方式和PES包的长度由视频编码器决定，PES包也有各自的包头。,视频ES流结构,图6.29 视频ES流结构,43,PPT学习交流,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,3.DTV信号的图像质量分析,44,PPT学习交流,DTV信号图像质量

25、的影响因素,DTV信号图像质量的影响因素与模拟电视信号不同 模拟电视信号中的噪声直接表现为图像中的雪花，而在数字电视中只会造成信道误码率的增加，由于信号中的误码保护机制，大部分误码可以被恢复，不会被察觉。如果信道噪声太大，会造成信道突然中断。 对数字电视，线性或非线性失真不会对声音和图像有直接影响，在极端情况会造成完全传输中断。数字电视不需要VITS(vertical insertion test signal)来检测线性和非线性失真，不需要黑电平信号来检测噪声，也不需要有关传输连接的测试信号。 数字电视图像质量也有好坏之分，但质量好坏评价标准不同，评价方法也有多种。 主要有两种因素会影响视频

26、传输，会造成不同类型的干扰： MPEG-2编码器或复用器 不同的压缩率对图像质量有直接影响，压缩比太大会造成块效应。 调制器到接收机的传输链接 传输链接的干扰会造成信道误码，最终表现为大面积块影响，如图像区域冻结或完全传输中断。,45,PPT学习交流,MPEG-2视频编码对图像质量的影响及分析,视频压缩算法的单位都是块或宏块，图像首先被分成8x8像素块，每块单独压缩，16x16宏块是预测编码单位。 如果压缩比过大，块边界可见，出现块效应。亮度和色度信号块边界不连续性可被察觉。 压缩比固定的情况下，块效应的大小取决于图像内容和其他因素：,图11.1 压缩比过大造成的块效应,运动缓慢细节较少的场景

27、，卡通动画和传统电影胶片相对没有问题，因为两场之间没有运动，而且卡通动画的图像结构较粗。 体育节目取决于不同体育项目，问题较大。一级方程式赛车节目比棋类比赛节目压缩难度更大。 实际图像质量取决于MPEG-2编码器采用的算法。,46,PPT学习交流,MPEG-2视频编码对图像质量的影响及分析,除了块效应，压缩比过大还可能显出DCT结构，图像中突然出现图形干扰。 干扰影响的决定性因素在于MPEG-2编码器. 压缩算法对图像质量的影响较难测量: 不可能100测量，总有主观因素。 所谓的客观视频质量分析也是测试人员用主观测试来校准的。 实际上对压缩视频信号，没有参考信号可以做质量评估。 所有视频质量分

28、析的基础ITU-R BT.500标准 描述一组测试人员分析图像质量时的主观视频质量分析方法,47,PPT学习交流,图像质量测量方法,ITU的VQEG(video quality experts group)定义了评估图像质量的方法ITU-R BT.500标准。 原理上有两种主观图像质量评估方法： DSCQS(double stimulus continual quality scale) SSCQE(single stimulus continual quality evaluation) 区别在于是否利用参考视频信号。基本都是一组测试人员的主观图像质量分析，按照特定步骤评估一组图像序列。 尝

29、试采用测试仪器，用自适应算法对宏块进行图像分析，力图通过客观方法取代上述主观方法。,48,PPT学习交流,主观图像质量分析,一组测试人员评估一组图像序列（SSCQE）或相对原始图像比较压缩后的一组图像序列(DSCQS)，用一个滑动控制装置从质量范围0（最差）到100（最好）打分，滑动控制的位置由计算机检测，计算机与测试人员相连，连续（如每隔0.5秒）给出测试人员给出的所有分数的平均值。这样可以得到一个视频序列随时间变化的图像质量值。,49,PPT学习交流,DSCQS方法,按照ITU-R BT.500标准，一组测试人员对编辑或处理过的视频序列与原始视频序列进行比较，得到的结果是编辑或处理过视频序

30、列的比较性质量评价，随时间变化的质量值曲线（0到100）。 总是需要一个参考信号。 通过构成差值，可进行纯粹的客观分析。 实际上参考信号常常不存在。 传输链接测量不能采用这种方法。 市场上有该方法的测量仪器（Tektronix PQA）,50,PPT学习交流,SSCQE方法,故意避免参考信号，因此实际使用更广泛。 一组测试人员只对处理视频序列进行评估，从0（最差）到100（最好）打分。 测试结果也是随时间变化的视频质量曲线。,51,PPT学习交流,客观图像质量分析,由于压缩视频信号DCT相关的干扰总是表现为块效应，SSCQE类型的数字图像分析可以尝试检验图像中块效应的存在，需要仔细分析图像中的

31、宏块和块。 Technical University of Braunschweig和Rohde&Schwarz的测试方法：求宏块内相邻像素间的差值。,图11.4 求宏块内像素差值DVQ,52,PPT学习交流,客观图像质量分析-DVQ,即宏块内相邻像素Y分量、CB和CR分量的幅度值相减。 对每个宏块，Y分量每行求得16个像素差值，共16行；然后每列求得16个像素差值，共16列；块边界的像素差值有特殊重要性，如果有块效应的情况下，块边界的像素差值特别大。 每行内所有宏块的像素差值求和，每行共得到16个值。一帧内每行的16个值再求和，每帧共得到16个值。这16个值最终作为所有宏块水平和垂直方向的0到15的平均像素差值。 两个色差分量CB和CR重复上述过程。,图11.4 求宏块内像素差值DVQ,53,PPT学习交流,客观图像质量分析,分析图像质量好坏两种视频序列的像素差值，可以清楚看出这种客观测试方法的意义： 图像质量好的视频序列，宏块内16个像素差值互相非常接近，图中均为1012。 图像质量差有块效应的视频序列，宏块边界处的像素差值变得更大。图中第0