数字电视原理PPT课件

数字电视原理与应用,PrincipleandApplicationofDigitalTelevision,主讲：张文军教授上海交通大学电子信息工程学院Email：zhangwenjun20062007学年第一学期,.,2,数字电视原理与应用,课程安排,.,3,数字电视原理与应用,数字电视基本原理,视频压缩原理第5章MPEG-2视频编码及其测量第4,6,11章MPEG-2音频编码部分及其测量第7章MPEG-2系统部分及其测量第3,9,10章数字调制基础第12章数字电视中的纠错编码原理补充,.,4,数字电视原理与应用,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,.,5,数字电视原理与应用,电视演播室中使用了一段时间的无压缩数字视频信号。ITU-BT.R.601(CCIR601)的获得：视频摄像机得到模拟RGB信号RGB信号在摄像机中通过矩阵变换得到亮度(Y)和色度(色差CB和CR)信号。,1、数字视频信号ITU-BT.R.601,图4.1亮度和色度信号的数字化,.,6,数字电视原理与应用,RGB信号转换成亮度和色度信号亮度信号色差信号亮度信号的带宽利用低通滤波器限定到5.75MHz两个色差信号带宽限定到2.75MHz色度信号的分辨率比亮度信号分辨率低人眼视觉特性模拟电视中色度信号限定到1.3MHz。,1、数字视频信号ITU-BT.R.601,.,7,数字电视原理与应用,带限后的亮度和色度信号通过模数转换器实现采样和数字化亮度分量Y中A/D转换器的采样频率是13.5MHz色度分量CB和CR中A/D转换器的采样频率是6.75MHz满足采样定理：信号的最高频率不超过采样频率的一半。,1、数字视频信号ITU-BT.R.601,图4.2IUT-BT.R.601亮度和色度分量的采样,.,8,数字电视原理与应用,A/D转换器的分辨率可达8或10bits10bits对应270Mbit/s码率码率高，适合演播室应用，不适合TV传输应用。Y,CB,CR三个分量的复用顺序：CBYCRYCBY亮度分量Y与两色度分量CBCR相交替，亮度分量Y的分辨率是CB或CR分辨率的两倍4:2:2格式。采样前，矩阵变换输出的Y、CB和CR的分辨率相同4:4:4格式。信号接口：25pinsubD并口75OhmBNC串口，叫做SDI(SerialDigitalInterface)广泛采用传统的75Ohm双绞线/同轴电缆接口。,1、数字视频信号ITU-BT.R.601,.,9,数字电视原理与应用,码流中视频信号的开始和结束由特殊码字SAV(StartofActiveVideo)和EAV(EndofActiveVideo)标记。EAV到SAV之间有水平空白间隔，不包含任何视频信号，可传输辅助信息，例如音频信号或数字信号的错误掩盖信息。SAV和EAV码字各自由4个8或10bit码字组成，第一个码字是全1，第二和第三个码字全0，第四个码字包含相应场或相应垂直空白间隔的信息。,1、数字视频信号ITU-BT.R.601,.,10,数字电视原理与应用,第四个码字用于检测垂直方向一帧、一场图像的开始最高位始终是1。次高位第8位（10bit）或第6位（8bit）是场标志，如果该位为0，是第一场；如果该位为1，是第二场；第7位（10bit）或第5位（8bit）是垂直方向活动视频区域标志，如果该位为0，表示是可见的视频区域；如果该位为1，是垂直空白间隔。第6位（10bit）或第4位（8bit）标记该码字是SAV还是EAV，如果该位为0，是SAV；如果该位为1，是EAV。第52位（10bit）或第30位（8bit）用于SAV和EAV码字的误码保护。F=Field(0=1stfield,1=2ndfield)V=Verticalblanking(1=verticalblankinginterval)H=SAV/EAV标记（0SAV，1EAV）P0,P1,P2,P3=保护位（汉明码）,1、数字视频信号ITU-BT.R.601,.,11,数字电视原理与应用,Y、CB和CR都没有用到全部的动态范围，留有一个禁止区间作为保留净空，同时使得SAV和EAV便于识别。亮度信号Y的范围：16235（8bits）64940（10bits）色度信号CB和CR的动态范围：16240（8bits）64960（10bits）该范围外的区间作为净空和同步标识,1、数字视频信号ITU-BT.R.601,图4.4Y,CB,CR的动态范围,.,12,数字电视原理与应用,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,2.MPEG-2视频编码,.,13,数字电视原理与应用,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,.,14,数字电视原理与应用,数字SDTV视频信号数码率270Mbit/s，必须压缩到26Mbit/s才能用于广播传输。摄像机输出的RGB信号通过矩阵变换得到Y,CB和CR信号降低信号带宽，信号通过低通滤波模数转换降低色度分辨率为4:2:2格式按照ITU-BT.R.601，信号码率270Mbit/s通过MPEG视频压缩过程，必须压缩到26(15)Mbit/s，压缩比高达130。,视频压缩,.,15,数字电视原理与应用,视频压缩,冗余度消除多余信息：码流中多次存在，或没有信息量，或在接收端可通过数学方法无失真恢复。VLC游程编码霍夫曼编码：使用频率高的字母用短码，使用频率低的字母用长码。无损压缩,高压缩比,不相关性消除不必要信息：人眼无法察觉的信息。人眼的彩色视觉细胞远远少于亮度视觉细胞，因此色度分辨率可以降低，色度信号带宽可以减少。人眼不能辨别图像中过于精细结构和粗结构。不能复原的有损过程,.,16,数字电视原理与应用,MPEG采用的压缩步骤,有损,1,量化从10bits降为8bits,无损,2,省略水平和垂直空白间隔,有损,3,降低垂直方向色度分辨率(4:2:0),无损,4,活动图像的DPCM,有损,5,DCT和量化,无损,6,Z扫描和零序列的游程编码,无损,7,Huffman编码,.,17,数字电视原理与应用,模拟电视中，视频信号的信噪比大于48dB时，噪声恰好人眼不可见。A/D转换器中8bit分辨率的量化噪声已经不可见，因此在演播室以外，对Y,CB和CR信号不必要采用10bit分辨率。演播室中最好采用10bit，更容易进行后处理，质量更好。10bit降为8bit可节省20码率(10-8)/10=2/10=20%不相关性消除接收端不能恢复原始信号S/NdB6N，量化噪声增加12dB。,1、10bits量化降为8bits量化,.,18,数字电视原理与应用,ITUBT.R601信号的水平和垂直空白间隔不包含任何信息，可以包含辅助数据例如声音信号，但根据MPEG这些辅助数据必须单独编码，因此可以省略，接收端可以轻易恢复。,2、省略水平和垂直空白间隔,图6.1水平和垂直空白,PAL信号的625线只有575线可见，如果省略垂直空白间隔可以节省8的码率(625-575)/625=8%一行长64微秒，只有52微秒可见，如果省略水平空白间隔又可以节省19的码率(64-52)/64=19%因为两个节省有部分重叠，总的节省率大约25。,Visible,activepicture,64s,52sActiveline,VBlanking(8%),575Visiblelines,625lines,HBlanking(19%),.,19,数字电视原理与应用,按照ITUBT.R601，两个色度分量CB和CR的采样频率是亮度分量Y的一半，Y的带宽5.75MHz，CB和CR的带宽降为2.75MHz。4:2:2格式4:2:2色度分辨率只是水平方向降低。人眼无法分辨水平和垂直方向的色度分辨率。垂直方向降低一半色度分辨率的影响人眼不可见。4:2:0信号，四个Y像素对应一个CB和CR值。又节省25码率。,3、降低垂直色度分辨率(4:2:0),图6.24:4:44:2:24:2:0分辨率,.,20,数字电视原理与应用,MPEG视频压缩步骤,.,21,数字电视原理与应用,进一步数据压缩,DPCM,Z扫描VLC,Huffman编码,进一步数据压缩,DCT量化,.,22,数字电视原理与应用,相邻帧之间差别较小，有静止区域不发生变化，有活动区域只改变其位置，还有新增加的对象。如果每帧图像都完全传输，有部分传输的信息完全相同，会导致很高的码率。显然对这些图像区域只传输两帧之间的差值更合适DPCM：,4、DPCM,.,23,数字电视原理与应用,连续模拟信号采样数字化时得到等间隔的离散采样值，相当于等间隔的脉冲，即PCM脉冲编码调制，每个脉冲的高度表示该时刻信号的离散采样值。由于经过了带限预处理，相邻采样值之间的差值不大，如果只传输差值可以节省传输容量，降低码率，即DPCM差分脉冲编码调制。DPCM的问题在于恢复原始信号的延迟较长，可以通过在传输差值时，每隔固定间隔就传输一次完全采样值，来解决该问题。这种方法非常接近MPEG-1/-2图像压缩中采用的帧间预测编码。,4、DPCM,.,24,数字电视原理与应用,在一帧图像进行静止和运动对象检测之前，首先被分成若干宏块。4:2:0格式每个宏块由一个16x16亮度像素Y和两个8x8的色度像素CB、CR。每帧图像水平和垂直像素数目选择为16和8的整数倍（720 x576）。每隔一定间隔传输一帧完全参考帧，I帧(Intracoded)，两个I帧之间传输差值帧。,4、DPCM,图6.20帧分解为宏块,.,25,数字电视原理与应用,求差值的单位是宏块，当前帧宏块与前一帧的宏块进行比较：首先检测该宏块是否由于图像中的运动在某方向发生位移。只传输运动向量MV，如果当前宏块与前一帧的宏块有差值，还传输残差。或者宏块是否没变化，也没有位移。不需传输任何信息。或者是否是新出现的对象。完全编码,4、DPCM,.,26,数字电视原理与应用,P帧前向预测帧B帧双向预测帧，包括前向和后向预测，码率比I/P帧低很多。GOP两个I帧之间P/B帧的组织结构。GOP结构灵活，一个GOP通常包括12帧：I,B,B,P,B,B,P,B帧介于I和P帧之间，在解码B帧之前，必须先解码重建它的前向和后向参考帧（I帧或P帧）。因此，视频帧的传送顺序和原始显示顺序不同。接收端的缓存大小可事先计算出，可以利用PES头中的DTS(decodingtimestamp)值。,4、DPCM,图6.9GOP结构,.,27,数字电视原理与应用,运动估计得到运动向量过程：对当前要编码帧的宏块，在前面的参考帧（P帧）或后面的参考帧（B帧）中搜索最佳匹配宏块。在当前宏块周围的搜索窗内的块匹配找到匹配宏块后就得到所需传输的运动向量。另外还传输匹配宏块的残差。残差单独再经过DCT和量化进一步压缩。,4、DPCM,图6.11运动向量,.,28,数字电视原理与应用,80年代末，静止图象压缩，JPEG标准的核心算法DCTDCT也是MPEG视频编码的核心算法根据人眼视觉特性，低频图象干扰（相应于粗图象结构）比高频图象（图象细节）干扰更易察觉。因此，信噪比测量时要根据视觉敏感度进行加权，高频方向比低频图象分量可以容许更大噪声。为节省码率，低频信号进行更精细量化，高频信号进行粗量化。如何得到不同频率图象分量？变换编码。DCT是DFT和FFT的特例，将时域图象信号变换到频域。,5、DCT和量化,.,29,数字电视原理与应用,5、DCT和量化,图6.13/14一维DCT及DCT系数量化,.,30,数字电视原理与应用,5、DCT和量化,对视频帧一行中8个象素的时域电压值进行DCT得到频域的8个系数，依次为直流DC系数、低频、中频和高频系数（视频信号能量）。根据人眼视觉特性，DCT系数在频域进行量化，除以某个量化因子。量化因子越大，量化越粗。对较平滑图象，量化因子改变不大或根本不变；而对细节丰富图象，量化因子随着频率增高而变大。量化后很多系数变为0，尤其对高频系数而言。,.,31,数字电视原理与应用,5、DCT和量化,JPEG和MPEG中采用二维变换编码。图象先被分成8x8象素块，再通过二维DCT变换到频域。为得到带符号值，在做二维DCT之前，所有象素值先减去128。DCT后即量化，除以合适的量化步长,8X8象素块f(x,y),二维DCT,减去128,F(v,u)=DCT(f(x,y),QF(v,u)=F(v,u)/Q(v,u)/scale_factor,Q(v,u),Scale_factor=2,量化,.,32,数字电视原理与应用,8x8象素块做二维DCT后得到频域中的8x8数组:第一个系数是DC系数，对应整个块的直流分量。第二个系数对应水平方向最粗图象结构的能量。第一行最后一个系数对应水平方向最精细图象结构的能量。第一列从上到下对应垂直方向最粗到最细图象结构的能量。对角线上系数对应对角线方向从粗到细图象结构的能量。,5、DCT和量化,.,33,数字电视原理与应用,DCT后即量化，除以合适的量化步长MPEG定义了量化表，可以自定义量化后很多系数变为0量化后矩阵关于对角线近似对称量化后矩阵系数通过Z扫描过程使得连续0的个数最大，便于采用游程编码可以大大节省码率。量化是控制基本视频流码率的唯一手段。DCT量化对宏块中的Y分量和CB、CR分量进行。量化在宏块层可以通过量化因子调整来控制码率。量化表只能在视频序列层修改。I帧的宏块即按上述方式编码P帧和B帧的宏块先按运动向量得到参考帧中的预测值，再计算与当前宏块的差值，残差值再经过DCT变换到频域，再进行量化。,5、DCT和量化,.,34,数字电视原理与应用,量化DCT系数进行Z扫描之后，使得连0数目最大。码流中不传这些连续0系数，而是通过游程编码只传连0的个数，Z扫描和游程编码，与DCT和量化相配合，是MPEG-2高压缩比的主要因素。,6、Z扫描和游程编码,Z扫描,173,6,2*0,-1,1*0,2,1*0,-2,6*0,-1,13*0,-1,34*0,RLC,.,35,数字电视原理与应用,游程编码后的码流再进行霍夫曼编码。出现频率高的码字编码为短码，出现频率低的码字编码为长码。进一步冗余度消除，无损过程。,7、霍夫曼编码,.,36,数字电视原理与应用,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,.,37,数字电视原理与应用,将IUTBT.R601的4:2:2标清电视信号(270Mbit/s)压缩到26Mbit/s。核心压缩算法是运动补偿DPCM与DCT变换编码相结合。MPEG-2的不同应用支持4:2:0和4:2:2不同格式。SD4:2:0MainProfileMainLevelSD4:2:2HighProfileMainLevelHD4:2:0MainProfileHighLevelHD4:2:2HighProfileHighLevel压缩过程都一样，只是质量和码率不同，码率越高质量越好。6Mbit/s4:2:0SDTV信号质量与传统模拟电视信号相似。视频基本流的码率可以是固定码率或根据当前图像内容可变码率。码率通过编码器改变量化因子进行控制。,压缩算法总结,.,38,数字电视原理与应用,MPEG-2编码器总体框图,压缩算法总结,.,39,数字电视原理与应用,I,P,B帧的宏块有多种编码模式。B帧宏块的编码模式包括：帧内编码（完全编码）前向预测双向预测跳过（不编码）编码模式由编码器根据当前图像内容和信道容量决定。只传输帧不传输场，在接收端由特殊方式恢复场结构。宏块有帧编码和场编码方式，场编码方式在DCT之前先分成两场。,压缩算法总结,帧宏块编码,场宏块编码,.,40,数字电视原理与应用,2、MPEG-2视频编码,视频压缩步骤,压缩算法总结,视频ES流结构,.,41,数字电视原理与应用,块：视频流的最小单元是8x8像素块，是DCT的单位。宏块：是量化控制的单位，不同宏块可采用不同量化因子。量化因子是实际视频PES流控制码率的调节器。量化表不能在宏块层改变。宏块可以是帧编码或场编码。,视频ES流结构,图6.28块、宏块、条、帧,.,42,数字电视原理与应用,Slice：一行中若干宏块构成一个slice每个slice头在误码时用于重同步误码掩盖主要在slice层，发生误码时，MPEG解码器将前一帧的slice复制到当前帧，解码器可以在一个新slice开头重新同步，slice越短，误码造成的干扰越小。帧：若干slice构成一帧，有I/P/B帧每一帧都有帧头由于B帧，编码顺序和显示顺序不同，帧头和PES头带有时间戳，可以恢复原始帧顺序。GOP：若干I/P/B帧构成一个GOP每一组GOP都有GOP头广播采用短GOP，半秒12帧MPEG解码器只能在GOP的第一个I帧重同步。大容量设备如DVD可以采用长GOP。序列：一个GOP或多个GOP构成一个序列序列有序列头，包括重要视频参数如量化表。,视频ES流结构,.,43,数字电视原理与应用,上述视频PES流结构全部或部分嵌入PES包中，打包方式和PES包的长度由视频编码器决定，PES包也有各自的包头。,视频ES流结构,图6.29视频ES流结构,.,44,数字电视原理与应用,MPEG-2视频编码及其测量,1.数字视频信号ITU-BT.R.601,3.DTV信号的图像质量分析,.,45,数字电视原理与应用,DTV信号图像质量的影响因素,DTV信号图像质量的影响因素与模拟电视信号不同模拟电视信号中的噪声直接表现为图像中的雪花，而在数字电视中只会造成信道误码率的增加，由于信号中的误码保护机制，大部分误码可以被恢复，不会被察觉。如果信道噪声太大，会造成信道突然中断。对数字电视，线性或非线性失真不会对声音和图像有直接影响，在极端情况会造成完全传输中断。数字电视不需要VITS(verticalinsertiontestsignal)来检测线性和非线性失真，不需要黑电平信号来检测噪声，也不需要有关传输连接的测试信号。数字电视图像质量也有好坏之分，但质量好坏评价标准不同，评价方法也有多种。主要有两种因素会影响视频传输，会造成不同类型的干扰：MPEG-2编码器或复用器不同的压缩率对图像质量有直接影响，压缩比太大会造成块效应。调制器到接收机的传输链接传输链接的干扰会造成信道误码，最终表现为大面积块影响，如图像区域冻结或完全传输中断。,.,46,数字电视原理与应用,MPEG-2视频编码对图像质量的影响及分析,视频压缩算法的单位都是块或宏块，图像首先被分成8x8像素块，每块单独压缩，16x16宏块是预测编码单位。如果压缩比过大，块边界可见，出现块效应。亮度和色度信号块边界不连续性可被察觉。压缩比固定的情况下，块效应的大小取决于图像内容和其他因素：,图11.1压缩比过大造成的块效应,运动缓慢细节较少的场景，卡通动画和传统电影胶片相对没有问题，因为两场之间没有运动，而且卡通动画的图像结构较粗。体育节目取决于不同体育项目，问题较大。一级方程式赛车节目比棋类比赛节目压缩难度更大。实际图像质量取决于MPEG-2编码器采用的算法。,.,47,数字电视原理与应用,MPEG-2视频编码对图像质量的影响及分析,除了块效应，压缩比过大还可能显出DCT结构，图像中突然出现图形干扰。干扰影响的决定性因素在于MPEG-2编码器.压缩算法对图像质量的影响较难测量:不可能100测量，总有主观因素。所谓的客观视频质量分析也是测试人员用主观测试来校准的。实际上对压缩视频信号，没有参考信号可以做质量评估。所有视频质量分析的基础ITU-RBT.500标准描述一组测试人员分析图像质量时的主观视频质量分析方法,.,48,数字电视原理与应用,图像质量测量方法,ITU的VQEG(videoqualityexpertsgroup)定义了评估图像质量的方法ITU-RBT.500标准。原理上有两种主观图像质量评估方法：DSCQS(doublestimuluscontinualqualityscale)SSCQE(singlestimuluscontinualqualityevaluation)区别在于是否利用参考视频信号。基本都是一组测试人员的主观图像质量分析，按照特定步骤评估一组图像序列。尝试采用测试仪器，用自适应算法对宏块进行图像分析，力图通过客观方法取代上述主观方法。,.,49,数字电视原理与应用,主观图像质量分析,一组测试人员评估一组图像序列（SSCQE）或相对原始图像比较压缩后的一组图像序列(DSCQS)，用一个滑动控制装置从质量范围0（最差）到100（最好）打分，滑动控制的位置由计算机检测，计算机与测试人员相连，连续（如每隔0.5秒）给出测试人员给出的所有分数的平均值。这样可以得到一个视频序列随时间变化的图像质量值。,.,50,数字电视原理与应用,DSCQS方法,按照ITU-RBT.500标准，一组测试人员对编辑或处理过的视频序列与原始视频序列进行比较，得到的结果是编辑或处理过视频序列的比较性质量评价，随时间变化的质量值曲线（0到100）。总是需要一个参考信号。通过构成差值，可进行纯粹的客观分析。实际上参考信号常常不存在。传输链接测量不能采用这种方法。市场上有该方法的测量仪器（TektronixPQA）,.,51,数字电视原理与应用,SSCQE方法,故意避免参考信号，因此实际使用更广泛。一组测试人员只对处理视频序列进行评估，从0（最差）到100（最好）打分。测试结果也是随时间变化的视频质量曲线。,.,52,数字电视原理与应用,客观图像质量分析,由于压缩视频信号DCT相关的干扰总是表现为块效应，SSCQE类型的数字图像分析可以尝试检验图像中块效应的存在，需要仔细分析图像中的宏块和块。TechnicalUniversityofBraunschweig和Rohde&Schwarz的测试方法：求宏块内相邻像素间的差值。,图11.4求宏块内像素差值DVQ,.,53,数字电视原理与应用,客观图像质量分析-DVQ,即宏块内相邻像素Y分量、CB和CR分量的幅度值相减。对每个宏块，Y分量每行求得16个像素差值，共16行；然后每列求得16个像素差值，共16列；块边界的像素差值有特殊重要性，如果有块效应的情况下，块边界的像素差值特别大。每行内所有宏块的像素差值求和，每行共得到16个值。一帧内每行的16个值再求和，每帧共得到16个值。这16个值最终作为所有宏块水平和垂直方向的0到15的平均像素差值。两个色差分量CB和CR重复上述过程。,图11.4求宏块内像素差值DVQ,.,54,数字电视原理与应用,客观图像质量分析,分析图像质量好坏两种视频序列的像素差值，可以清楚看出这种客观测试方法的意义：图像质量好的视频序列，宏块内16个像素差值互相非常接近，图中均为1012。图像质量差有块效应的视频