数字电视原理课件

数字电视原理与应用 PrincipleandApplicationofDigitalTelevision 主讲 张文军教授上海交通大学电子信息工程学院Email zhangwenjun 2006 2007学年第一学期 MPEG 2视频编码及其测量 class03 2 数字电视原理与应用 课程安排 MPEG 2视频编码及其测量 class03 3 数字电视原理与应用 数字电视基本原理 视频压缩原理 第5章MPEG 2视频编码及其测量 第4 6 11章MPEG 2音频编码部分及其测量 第7章MPEG 2系统部分及其测量 第3 9 10章数字调制基础 第12章数字电视中的纠错编码原理 补充 MPEG 2视频编码及其测量 class03 4 数字电视原理与应用 MPEG 2视频编码及其测量 1 数字视频信号ITU BT R 601 MPEG 2视频编码及其测量 class03 5 数字电视原理与应用 电视演播室中使用了一段时间的无压缩数字视频信号 ITU BT R 601 CCIR601 的获得 视频摄像机得到模拟RGB信号RGB信号在摄像机中通过矩阵变换得到亮度 Y 和色度 色差CB和CR 信号 1 数字视频信号ITU BT R 601 图4 1亮度和色度信号的数字化 MPEG 2视频编码及其测量 class03 6 数字电视原理与应用 RGB信号转换成亮度和色度信号亮度信号色差信号亮度信号的带宽利用低通滤波器限定到5 75MHz两个色差信号带宽限定到2 75MHz色度信号的分辨率比亮度信号分辨率低 人眼视觉特性模拟电视中色度信号限定到1 3MHz 1 数字视频信号ITU BT R 601 MPEG 2视频编码及其测量 class03 7 数字电视原理与应用 带限后的亮度和色度信号通过模数转换器实现采样和数字化亮度分量Y中A D转换器的采样频率是13 5MHz色度分量CB和CR中A D转换器的采样频率是6 75MHz满足采样定理 信号的最高频率不超过采样频率的一半 1 数字视频信号ITU BT R 601 图4 2IUT BT R 601亮度和色度分量的采样 MPEG 2视频编码及其测量 class03 8 数字电视原理与应用 A D转换器的分辨率可达8或10bits10bits对应270Mbit s码率码率高 适合演播室应用 不适合TV传输应用 Y CB CR三个分量的复用顺序 CBYCRYCBY 亮度分量Y与两色度分量CBCR相交替 亮度分量Y的分辨率是CB或CR分辨率的两倍 4 2 2格式 采样前 矩阵变换输出的Y CB和CR的分辨率相同 4 4 4格式 信号接口 25 pinsub D并口75 OhmBNC串口 叫做SDI SerialDigitalInterface 广泛采用传统的75Ohm双绞线 同轴电缆接口 1 数字视频信号ITU BT R 601 MPEG 2视频编码及其测量 class03 9 数字电视原理与应用 码流中视频信号的开始和结束由特殊码字SAV StartofActiveVideo 和EAV EndofActiveVideo 标记 EAV到SAV之间有水平空白间隔 不包含任何视频信号 可传输辅助信息 例如音频信号或数字信号的错误掩盖信息 SAV和EAV码字各自由4个8或10bit码字组成 第一个码字是全1 第二和第三个码字全0 第四个码字包含相应场或相应垂直空白间隔的信息 1 数字视频信号ITU BT R 601 MPEG 2视频编码及其测量 class03 10 数字电视原理与应用 第四个码字用于检测垂直方向一帧 一场图像的开始最高位始终是1 次高位 第8位 10bit 或第6位 8bit 是场标志 如果该位为0 是第一场 如果该位为1 是第二场 第7位 10bit 或第5位 8bit 是垂直方向活动视频区域标志 如果该位为0 表示是可见的视频区域 如果该位为1 是垂直空白间隔 第6位 10bit 或第4位 8bit 标记该码字是SAV还是EAV 如果该位为0 是SAV 如果该位为1 是EAV 第5 2位 10bit 或第3 0位 8bit 用于SAV和EAV码字的误码保护 F Field 0 1stfield 1 2ndfield V Verticalblanking 1 verticalblankinginterval H SAV EAV标记 0 SAV 1 EAV P0 P1 P2 P3 保护位 汉明码 1 数字视频信号ITU BT R 601 MPEG 2视频编码及其测量 class03 11 数字电视原理与应用 Y CB和CR都没有用到全部的动态范围 留有一个禁止区间作为保留净空 同时使得SAV和EAV便于识别 亮度信号Y的范围 16 235 8bits 64 940 10bits 色度信号CB和CR的动态范围 16 240 8bits 64 960 10bits 该范围外的区间作为净空和同步标识 1 数字视频信号ITU BT R 601 图4 4Y CB CR的动态范围 MPEG 2视频编码及其测量 class03 12 数字电视原理与应用 MPEG 2视频编码及其测量 1 数字视频信号ITU BT R 601 2 MPEG 2视频编码 MPEG 2视频编码及其测量 class03 13 数字电视原理与应用 2 MPEG 2视频编码 视频压缩步骤 压缩算法总结 视频ES流结构 MPEG 2视频编码及其测量 class03 14 数字电视原理与应用 数字SDTV视频信号数码率270Mbit s 必须压缩到2 6Mbit s才能用于广播传输 摄像机输出的RGB信号通过矩阵变换得到Y CB和CR信号降低信号带宽 信号通过低通滤波模数转换降低色度分辨率为4 2 2格式按照ITU BT R 601 信号码率270Mbit s通过MPEG视频压缩过程 必须压缩到2 6 15 Mbit s 压缩比高达130 视频压缩 MPEG 2视频编码及其测量 class03 15 数字电视原理与应用 视频压缩 冗余度消除多余信息 码流中多次存在 或没有信息量 或在接收端可通过数学方法无失真恢复 VLC游程编码霍夫曼编码 使用频率高的字母用短码 使用频率低的字母用长码 无损压缩 高压缩比 不相关性消除不必要信息 人眼无法察觉的信息 人眼的彩色视觉细胞远远少于亮度视觉细胞 因此色度分辨率可以降低 色度信号带宽可以减少 人眼不能辨别图像中过于精细结构和粗结构 不能复原的有损过程 MPEG 2视频编码及其测量 class03 16 数字电视原理与应用 MPEG采用的压缩步骤 有损 1 量化从10bits降为8bits 无损 2 省略水平和垂直空白间隔 有损 3 降低垂直方向色度分辨率 4 2 0 无损 4 活动图像的DPCM 有损 5 DCT和量化 无损 6 Z扫描和零序列的游程编码 无损 7 Huffman编码 MPEG 2视频编码及其测量 class03 17 数字电视原理与应用 模拟电视中 视频信号的信噪比大于48dB时 噪声恰好人眼不可见 A D转换器中8bit分辨率的量化噪声已经不可见 因此在演播室以外 对Y CB和CR信号不必要采用10bit分辨率 演播室中最好采用10bit 更容易进行后处理 质量更好 10bit降为8bit可节省20 码率 10 8 10 2 10 20 不相关性消除接收端不能恢复原始信号S N dB 6N 量化噪声增加12dB 1 10bits量化降为8bits量化 MPEG 2视频编码及其测量 class03 18 数字电视原理与应用 ITUBT R601信号的水平和垂直空白间隔不包含任何信息 可以包含辅助数据例如声音信号 但根据MPEG这些辅助数据必须单独编码 因此可以省略 接收端可以轻易恢复 2 省略水平和垂直空白间隔 图6 1水平和垂直空白 PAL信号的625线只有575线可见 如果省略垂直空白间隔可以节省8 的码率 625 575 625 8 一行长64微秒 只有52微秒可见 如果省略水平空白间隔又可以节省19 的码率 64 52 64 19 因为两个节省有部分重叠 总的节省率大约25 Visible activepicture 64 s 52 sActiveline VBlanking 8 575Visiblelines 625lines HBlanking 19 MPEG 2视频编码及其测量 class03 19 数字电视原理与应用 按照ITUBT R601 两个色度分量CB和CR的采样频率是亮度分量Y的一半 Y的带宽5 75MHz CB和CR的带宽降为2 75MHz 4 2 2格式4 2 2色度分辨率只是水平方向降低 人眼无法分辨水平和垂直方向的色度分辨率 垂直方向降低一半色度分辨率的影响人眼不可见 4 2 0信号 四个Y像素对应一个CB和CR值 又节省25 码率 3 降低垂直色度分辨率 4 2 0 图6 24 4 44 2 24 2 0分辨率 MPEG 2视频编码及其测量 class03 20 数字电视原理与应用 MPEG视频压缩步骤 MPEG 2视频编码及其测量 class03 21 数字电视原理与应用 进一步数据压缩 DPCM Z扫描 VLC Huffman编码 进一步数据压缩 DCT 量化 MPEG 2视频编码及其测量 class03 22 数字电视原理与应用 相邻帧之间差别较小 有静止区域不发生变化 有活动区域只改变其位置 还有新增加的对象 如果每帧图像都完全传输 有部分传输的信息完全相同 会导致很高的码率 显然对这些图像区域只传输两帧之间的差值更合适 DPCM 4 DPCM MPEG 2视频编码及其测量 class03 23 数字电视原理与应用 连续模拟信号采样数字化时得到等间隔的离散采样值 相当于等间隔的脉冲 即PCM脉冲编码调制 每个脉冲的高度表示该时刻信号的离散采样值 由于经过了带限预处理 相邻采样值之间的差值不大 如果只传输差值可以节省传输容量 降低码率 即DPCM差分脉冲编码调制 DPCM的问题在于恢复原始信号的延迟较长 可以通过在传输差值时 每隔固定间隔就传输一次完全采样值 来解决该问题 这种方法非常接近MPEG 1 2图像压缩中采用的帧间预测编码 4 DPCM MPEG 2视频编码及其测量 class03 24 数字电视原理与应用 在一帧图像进行静止和运动对象检测之前 首先被分成若干宏块 4 2 0格式每个宏块由一个16x16亮度像素Y和两个8x8的色度像素CB CR 每帧图像水平和垂直像素数目选择为16和8的整数倍 720 x576 每隔一定间隔传输一帧完全参考帧 I帧 Intracoded 两个I帧之间传输差值帧 4 DPCM 图6 20帧分解为宏块 MPEG 2视频编码及其测量 class03 25 数字电视原理与应用 求差值的单位是宏块 当前帧宏块与前一帧的宏块进行比较 首先检测该宏块是否由于图像中的运动在某方向发生位移 只传输运动向量MV 如果当前宏块与前一帧的宏块有差值 还传输残差 或者宏块是否没变化 也没有位移 不需传输任何信息 或者是否是新出现的对象 完全编码 4 DPCM MPEG 2视频编码及其测量 class03 26 数字电视原理与应用 P帧 前向预测帧B帧 双向预测帧 包括前向和后向预测 码率比I P帧低很多 GOP 两个I帧之间P B帧的组织结构 GOP结构灵活 一个GOP通常包括12帧 I B B P B B P B帧介于I和P帧之间 在解码B帧之前 必须先解码重建它的前向和后向参考帧 I帧或P帧 因此 视频帧的传送顺序和原始显示顺序不同 接收端的缓存大小可事先计算出 可以利用PES头中的DTS decodingtimestamp 值 4 DPCM 图6 9GOP结构 MPEG 2视频编码及其测量 class03 27 数字电视原理与应用 运动估计 得到运动向量过程 对当前要编码帧的宏块 在前面的参考帧 P帧 或后面的参考帧 B帧 中搜索最佳匹配宏块 在当前宏块周围的搜索窗内的块匹配找到匹配宏块后就得到所需传输的运动向量 另外还传输匹配宏块的残差 残差单独再经过DCT和量化进一步压缩 4 DPCM 图6 11运动向量 MPEG 2视频编码及其测量 class03 28 数字电视原理与应用 80年代末 静止图象压缩 JPEG标准的核心算法 DCTDCT也是MPEG视频编码的核心算法根据人眼视觉特性 低频图象干扰 相应于粗图象结构 比高频图象 图象细节 干扰更易察觉 因此 信噪比测量时要根据视觉敏感度进行加权 高频方向比低频图象分量可以容许更大噪声 为节省码率 低频信号进行更精细量化 高频信号进行粗量化 如何得到不同频率图象分量 变换编码 DCT是DFT和FFT的特例 将时域图象信号变换到频域 5 DCT和量化 MPEG 2视频编码及其测量 class03 29 数字电视原理与应用 5 DCT和量化 图6 13 14一维DCT及DCT系数量化 MPEG 2视频编码及其测量 class03 30 数字电视原理与应用 5 DCT和量化 对视频帧一行中8个象素的时域电压值进行DCT得到频域的8个系数 依次为直流DC系数 低频 中频和高频系数 视频信号能量 根据人眼视觉特性 DCT系数在频域进行量化 除以某个量化因子 量化因子越大 量化越粗 对较平滑图象 量化因子改变不大或根本不变 而对细节丰富图象 量化因子随着频率增高而变大 量化后很多系数变为0 尤其对高频系数而言 MPEG 2视频编码及其测量 class03 31 数字电视原理与应用 5 DCT和量化 JPEG和MPEG中采用二维变换编码 图象先被分成8x8象素块 再通过二维DCT变换到频域 为得到带符号值 在做二维DCT之前 所有象素值先减去128 DCT后即量化 除以合适的量化步长 8X8象素块f x y 二维DCT 减去128 F v u DCT f x y QF v u F v u Q v u scale factor Q v u Scale factor 2 量化 MPEG 2视频编码及其测量 class03 32 数字电视原理与应用 8x8象素块做二维DCT后得到频域中的8x8数组 第一个系数是DC系数 对应整个块的直流分量 第二个系数对应水平方向最粗图象结构的能量 第一行最后一个系数对应水平方向最精细图象结构的能量 第一列从上到下对应垂直方向最粗到最细图象结构的能量 对角线上系数对应对角线方向从粗到细图象结构的能量 5 DCT和量化 MPEG 2视频编码及其测量 class03 33 数字电视原理与应用 DCT后即量化 除以合适的量化步长MPEG定义了量化表 可以自定义量化后很多系数变为0量化后矩阵关于对角线近似对称量化后矩阵系数通过Z扫描过程使得连续0的个数最大 便于采用游程编码可以大大节省码率 量化是控制基本视频流码率的唯一手段 DCT 量化对宏块中的Y分量和CB CR分量进行 量化在宏块层可以通过量化因子调整来控制码率 量化表只能在视频序列层修改 I帧的宏块即按上述方式编码P帧和B帧的宏块先按运动向量得到参考帧中的预测值 再计算与当前宏块的差值 残差值再经过DCT变换到频域 再进行量化 5 DCT和量化 MPEG 2视频编码及其测量 class03 34 数字电视原理与应用 量化DCT系数进行Z扫描之后 使得连0数目最大 码流中不传这些连续0系数 而是通过游程编码只传连0的个数 Z扫描和游程编码 与DCT和量化相配合 是MPEG 2高压缩比的主要因素 6 Z扫描和游程编码 Z扫描 173 6 2 0 1 1 0 2 1 0 2 6 0 1 13 0 1 34 0 RLC MPEG 2视频编码及其测量 class03 35 数字电视原理与应用 游程编码后的码流再进行霍夫曼编码 出现频率高的码字编码为短码 出现频率低的码字编码为长码 进一步冗余度消除 无损过程 7 霍夫曼编码 MPEG 2视频编码及其测量 class03 36 数字电视原理与应用 2 MPEG 2视频编码 视频压缩步骤 压缩算法总结 视频ES流结构 MPEG 2视频编码及其测量 class03 37 数字电视原理与应用 将IUTBT R601的4 2 2标清电视信号 270Mbit s 压缩到2 6Mbit s 核心压缩算法是运动补偿DPCM与DCT变换编码相结合 MPEG 2的不同应用支持4 2 0和4 2 2不同格式 SD4 2 0 MainProLevelSD4 2 2 HighProLevelHD4 2 0 MainProLevelHD4 2 2 HighProLevel压缩过程都一样 只是质量和码率不同 码率越高质量越好 6Mbit s4 2 0SDTV信号质量与传统模拟电视信号相似 视频基本流的码率可以是固定码率或根据当前图像内容可变码率 码率通过编码器改变量化因子进行控制 压缩算法总结 MPEG 2视频编码及其测量 class03 38 数字电视原理与应用 MPEG 2编码器总体框图 压缩算法总结 MPEG 2视频编码及其测量 class03 39 数字电视原理与应用 I P B帧的宏块有多种编码模式 B帧宏块的编码模式包括 帧内编码 完全编码 前向预测双向预测跳过 不编码 编码模式由编码器根据当前图像内容和信道容量决定 只传输帧不传输场 在接收端由特殊方式恢复场结构 宏块有帧编码和场编码方式 场编码方式在DCT之前先分成两场 压缩算法总结 帧宏块编码 场宏块编码 MPEG 2视频编码及其测量 class03 40 数字电视原理与应用 2 MPEG 2视频编码 视频压缩步骤 压缩算法总结 视频ES流结构 MPEG 2视频编码及其测量 class03 41 数字电视原理与应用 块 视频流的最小单元是8x8像素块 是DCT的单位 宏块 是量化控制的单位 不同宏块可采用不同量化因子 量化因子是实际视频PES流控制码率的调节器 量化表不能在宏块层改变 宏块可以是帧编码或场编码 视频ES流结构 图6 28块 宏块 条 帧 MPEG 2视频编码及其测量 class03 42 数字电视原理与应用 Slice 一行中若干宏块构成一个slice每个slice头在误码时用于重同步误码掩盖主要在slice层 发生误码时 MPEG解码器将前一帧的slice复制到当前帧 解码器可以在一个新slice开头重新同步 slice越短 误码造成的干扰越小 帧 若干slice构成一帧 有I P B帧每一帧都有帧头由于B帧 编码顺序和显示顺序不同 帧头和PES头带有时间戳 可以恢复原始帧顺序 GOP 若干I P B帧构成一个GOP每一组GOP都有GOP头广播采用短GOP 半秒12帧MPEG解码器只能在GOP的第一个I帧重同步 大容量设备如DVD可以采用长GOP 序列 一个GOP或多个GOP构成一个序列序列有序列头 包括重要视频参数如量化表 视频ES流结构 MPEG 2视频编码及其测量 class03 43 数字电视原理与应用 上述视频PES流结构全部或部分嵌入PES包中 打包方式和PES包的长度由视频编码器决定 PES包也有各自的包头 视频ES流结构 图6 29视频ES流结构 MPEG 2视频编码及其测量 class03 44 数字电视原理与应用 MPEG 2视频编码及其测量 1 数字视频信号ITU BT R 601 3 DTV信号的图像质量分析 MPEG 2视频编码及其测量 class03 45 数字电视原理与应用 DTV信号图像质量的影响因素 DTV信号图像质量的影响因素与模拟电视信号不同模拟电视信号中的噪声直接表现为图像中的雪花 而在数字电视中只会造成信道误码率的增加 由于信号中的误码保护机制 大部分误码可以被恢复 不会被察觉 如果信道噪声太大 会造成信道突然中断 对数字电视 线性或非线性失真不会对声音和图像有直接影响 在极端情况会造成完全传输中断 数字电视不需要VITS verticalinsertiontestsignal 来检测线性和非线性失真 不需要黑电平信号来检测噪声 也不需要有关传输连接的测试信号 数字电视图像质量也有好坏之分 但质量好坏评价标准不同 评价方法也有多种 主要有两种因素会影响视频传输 会造成不同类型的干扰 MPEG 2编码器或复用器不同的压缩率对图像质量有直接影响 压缩比太大会造成块效应 调制器到接收机的传输链接传输链接的干扰会造成信道误码 最终表现为大面积块影响 如图像区域冻结或完全传输中断 MPEG 2视频编码及其测量 class03 46 数字电视原理与应用 MPEG 2视频编码对图像质量的影响及分析 视频压缩算法的单位都是块或宏块 图像首先被分成8x8像素块 每块单独压缩 16x16宏块是预测编码单位 如果压缩比过大 块边界可见 出现块效应 亮度和色度信号块边界不连续性可被察觉 压缩比固定的情况下 块效应的大小取决于图像内容和其他因素 图11 1压缩比过大造成的块效应 运动缓慢细节较少的场景 卡通动画和传统电影胶片相对没有问题 因为两场之间没有运动 而且卡通动画的图像结构较粗 体育节目取决于不同体育项目 问题较大 一级方程式赛车节目比棋类比赛节目压缩难度更大 实际图像质量取决于MPEG 2编码器采用的算法 MPEG 2视频编码及其测量 class03 47 数字电视原理与应用 MPEG 2视频编码对图像质量的影响及分析 除了块效应 压缩比过大还可能显出DCT结构 图像中突然出现图形干扰 干扰影响的决定性因素在于MPEG 2编码器 压缩算法对图像质量的影响较难测量 不可能100 测量 总有主观因素 所谓的客观视频质量分析也是测试人员用主观测试来校准的 实际上对压缩视频信号 没有参考信号可以做质量评估 所有视频质量分析的基础 ITU RBT 500标准描述一组测试人员分析图像质量时的主观视频质量分析方法 MPEG 2视频编码及其测量 class03 48 数字电视原理与应用 图像质量测量方法 ITU的VQEG videoqualityexpertsgroup 定义了评估图像质量的方法ITU RBT 500标准 原理上有两种主观图像质量评估方法 DSCQS doublestimuluscontinualqualityscale SSCQE singlestimuluscontinualqualityevaluation 区别在于是否利用参考视频信号 基本都是一组测试人员的主观图像质量分析 按照特定步骤评估一组图像序列 尝试采用测试仪器 用自适应算法对宏块进行图像分析 力图通过客观方法取代上述主观方法 MPEG 2视频编码及其测量 class03 49 数字电视原理与应用 主观图像质量分析 一组测试人员评估一组图像序列 SSCQE 或相对原始图像比较压缩后的一组图像序列 DSCQS 用一个滑动控制装置从质量范围0 最差 到100 最好 打分 滑动控制的位置由计算机检测 计算机与测试人员相连 连续 如每隔0 5秒 给出测试人员给出的所有分数的平均值 这样可以得到一个视频序列随时间变化的图像质量值 MPEG 2视频编码及其测量 class03 50 数字电视原理与应用 DSCQS方法 按照ITU RBT 500标准 一组测试人员对编辑或处理过的视频序列与原始视频序列进行比较 得到的结果是编辑或处理过视频序列的比较性质量评价 随时间变化的质量值曲线 0到100 总是需要一个参考信号 通过构成差值 可进行纯粹的客观分析 实际上参考信号常常不存在 传输链接测量不能采用这种方法 市场上有该方法的测量仪器 TektronixPQA MPEG 2视频编码及其测量 class03 51 数字电视原理与应用 SSCQE方法 故意避免参考信号 因此实际使用更广泛 一组测试人员只对处理视频序列进行评估 从0 最差 到100 最好 打分 测试结果也是随时间变化的视频质量曲线 MPEG 2视频编码及其测量 class03 52 数字电视原理与应用 客观图像质量分析 由于压缩视频信号DCT相关的干扰总是表现为块效应 SSCQE类型的数字图像分析可以尝试检验图像中块效应的存在 需要仔细分析图像中的宏块和块 TechnicalUniversityofBraunschweig和Rohde Schwarz的测试方法 求宏块内相邻像素间的差值 图11 4求宏块内像素差值 DVQ MPEG 2视频编码及其测量 class03 53 数字电视原理与应用 客观图像质量分析 DVQ 即宏块内相邻像素Y分量 CB和CR分量的幅度值相减 对每个宏块 Y分量每行求得16个像素差值 共16行 然后每列求得16个像素差值 共16列 块边界的像素差值有特殊重要性 如果有块效应的情况下 块边界的像素差值特别大 每行内所有宏块的像素差值求和 每行共得到16个值 一帧内每行的16个值再求和 每帧共得到16个值 这16个值最终作为所有宏块水平和垂直方向的0到15的平均像素差值 两个色差分量CB和CR重复上述过程 图11 4求宏块内像素差值 DVQ MPEG 2视频编码及其测量 class03 54 数字电视原理与应用 客观图像质量分析 分析图像质量好坏两种视频序列的像素差值 可以清楚看出这种客观测试方法的意义 图像质量好的视频序列 宏块内16个像素差值互相非常接近 图中均为10 12 图像质量差有块效应的视频序列 宏块边界处的像素差值变得更大