数字电视原理笔记.doc

数字电视原理笔记第一章 彩色电视基础知识1.1 光的特性与光源1.1.1 光的特性光电磁波 波粒二象性1.1.2 标准白光源与色温l 白光l 色温表征各种光源的具体光色l 绝对黑体吸收所有光l 绝对黑体所辐射的光谱成分只与温度有关l 绝对黑体在某一温度下所辐射的光谱成分与某光源所辐射的一致，该温度定义为该光源的色温 白炽灯 绝对黑体l 温度 2800K 2854K 色温l 相关色温，光谱最接近但永不相等l 5种白光标准 A光源 2854K B光源 4800K（相关） C光源 6770K（相关）D65光源 6500K（相关）E光源 等能白光（假想）1.2 光的度量1.2.1 光通量与发光强度 辐射功率相同，波长不同，两度感光不同 光通量能被人眼视觉所感受到的那部分辐射功率大小的度量 光通量的单位是“流明” 发光强度在某指定方向上发出光通量的能力 单位为：坎 德拉1.2.2 照度和亮度 照度照明程度 单位：勒 克斯 亮度单位面积上的发光强度1.3 色度学概要 1.3.1 光的颜色和彩色三要素 光的分类 彩色光宇非彩色光 单色光与复合光 普色光与非普色光 直射光 反射光 透射光（折射光） 衍射光 光的颜色取决于主观和客观两方面：主观视觉；客观功率波谱分析 任何一个彩色光可由亮度、色调、饱和度确定，称为彩色三要素 亮度：明亮程度 色调：颜色类别 饱和度：深浅程度1.3.2 三基色原理及应用方法 自然界当中大部分颜色可由三种相互独立的基色 混色不同颜色混合在一起可以产生新的颜色(1)相加混色光源混合（电视）(2)相减混色颜料混合（印染） 相加混色的方法：时间混色法；空间混色法（显示器、夜光屏）；生理混色法1.3.3 配色方程与亮度公式 1.配色实验 2.配色方程与亮度公式 F=RR+GG+BB RGB基本单位；RGB色系数 亮度公式： Y = 0.30R + 0.59G + 0.11B1.4 人眼的视觉特性 1.4.1 视觉光谱光视效率曲线 如果光的辐射功率相同而波长不同，则引起的视觉效果也不同。随着波长的改变，不仅颜色感觉不同，而且亮度感觉也不同。 1.4.2 人眼色亮度感觉特性 1.明暗视觉 2.亮度感觉 (1)在观察景物时所得到的亮度感觉却并不直接由劲舞的亮度所决定，还与周围环境的背景亮度有关 (2)人眼感觉亮度变化的能力是有限的 (3)亮度感觉是相对的，相同的辐射，亮度感觉不一定相同 3.视觉范围及明暗感觉的相对性 (1)视觉范围是指人眼所感觉到的亮度的范围 (2)在不同的亮度环境下，人眼对于同一实际亮度所产生的相对亮度感觉是不相同的1.4.3 人眼的分辨能力与视觉特性 人眼察觉亮度最小变化的能力是有限的1.人烟的分辨力 (1)图像的清晰度是指人眼对图像细节是否清晰的主观感觉 (2)人眼对被观察物体上刚能分辨的最紧邻两黑点或两白点的视角的倒数称为人眼的分辨力和视觉锐度 (3)人眼对彩色细节的分辨力要低于对黑白细节的分辨力，对不同彩色的细节分辨力也不一样2.视觉惰性与临界闪烁频率 (1)视觉惰性描述主观亮度与光作用时间的关系 (2)人眼亮度感觉变化滞后于实际亮度变化的特性，以及视觉暂留特性，统称视觉惰性 (3)当人眼受到周期性的光脉冲照射时，如果将光脉冲频率提高到某一定值上，由于视觉惰性，眼睛便感觉不到闪烁，感到的是一种均匀的、连续的光刺激，刚好不引起闪烁感觉的最低频率，称为临界闪烁频率，主要与脉冲亮度有关 (4)人眼的高亮度下对闪烁的敏感程度高于在的亮度下的情况1.5 电视图像的传送及基本参量 1.5.1 图像分解与顺序传送 传送一幅图像，将整个画面分解成许多小的单元，这些组成图像的基本单元成为像素1.5.2 电视扫描方式 1.隔行扫描 隔行扫描是将一帧电视图像分成两场进行交错扫描 2.逐行扫描TH=THt+THr fH=1/TH Tv=Tvt+Tvn fv=1/Tv 水平H行 垂直V场（帧） 逐行电视信号的传输带宽太宽 隔行电视信号的传输带宽比逐行少一半 隔行扫描方式 先扫 1 3 5 奇数行 奇数场 后扫 2 4 6 偶数行 偶数场 一幅图像（1帧图像）由奇、偶两场组成逐行 TF=TV=ZTH(TF：帧周期 TV：场周期 Z：扫描行数/帧 ZTH：行周期)隔行扫描 fF=(1/2)fv (TF=2TV) (Z一般为奇数)隔行扫描优点传输宽带下降一半 缺点(1)行间闪烁；(2)并行现象；(3)锯齿化现象3.扫描同步 收发 在电视系统中为扫描同步，在信号中假如同步场同步信号与图像一起称为度数信号。1.5.3 电视图像的基本参量 1.幅型比（宽高比） 人眼清晰范围： 水平20 垂直15 幅型比 4：3 数字电视16：9 2.屏幕尺寸：对角线长度 3.亮度、对比度、灰度 亮度平均背景亮度 对比度最高亮度/最低亮度 灰度亮度层次 4.图像清晰度与电视分辨力 一般人眼视像最小为1.5 约600线 Z=15/ 1 1.5 2Z 900 600 450 最低 M=(1-)Z 最差 M=0 垂直分辨力 M=Ke(1-)Z Ke=0.76 Z=625 =8% M=440线 水平分辨力 N=KM （K：幅型比） 水平与垂直分辨力相当5.图像信号的最高频率 扫描一个像素 fd=THt/N=(1-)/NfFZ fmax=1/2fd逐行 fF = fv fmax=(1/2)KKe(1-)/(1-)fvZ2隔行 fF = （1/2）fv fmax=(1/4)KKe(1-)/(1-)fvZ2 6.场频的确定 fV大于临界间隔频率48Hz fV与电网频率相同=50Hz（我国） 7.扫描行频确定 M取600 Z=800左右 兼顾带宽与清晰度 Z取525行和625行（我国采用625）1.6 兼容制模拟电视制式 1.NTSC制 美国 1953 2.PIR制 德国 1967 3.SECOM制 法国 1967 传输电视基本信号 Y=0.30R+0.58G+0.11B R-Y=0.70R-0.59G-0.11BB-Y=-0.299R-0.587G+0.886B第二章 数字电视的基本概念2.1 数字电视和高清晰度电视l 数字电视是指一个从节目设置、制作、编辑、存储、发射、传输到的信号接收处理、显示等全过程完全数字化的系统。数字化电视不是数字电视。l 数字电视真正意义是数字电视成为一个数字信号传输平台l 高清晰度电视：一个视力正常的观众，在观看距离为显示屏高为3倍处所显示的图像清晰度与观看原景物感觉相同 HDTV 高清 35mml 数字电视 SDTV 标清 DVD LDTV 低清 VCD2.2 数字电视的有点2.3 数字电视系统的关键技术 压缩编码和解码 视频 国际采用 MPEG-2 音频 日、欧 MPEG-2 ； 美 杜比 AC-3 数据加扰和解扰 加密和解密 大屏幕显示 中间件将应用软件与底层操作系统和硬件隔离 条件接收只允许合法用户收看 数据分组（打包） MPEG 信道编码和解码2.4 国外数字电视及其标准化状况欧洲 DVB（我国采用）美国 ATSC 三大制式共存日本 ISDB2.5我国数字电视及其标准化状况DVB第三章 数字电视信号的产生3.1 信号的数字化采样 量化 编码 3.1.1 采样 每隔一定时间（或空间）间隔抽取信号的一个瞬时幅度值（样本值），即将一连续的时间函数（空间函数）变为离散的时间函数（空间函数）。 空间采样垂直方向 ； 时间采样各帧之间采样定理采样频率大于等于信号最高频率2倍时，得到采样信号离散信号完全可以得到原连续信号3.1.2 量化 将采样的得到的模拟量进行离散化的处理量化 处理量化A/D 模拟信号：纵轴取值连续 数字信号：纵轴取值离散 采样值 四舍五入 量化值 采样值与量化值之差量化误差（量化失真、量化噪声） 量化间隔一致均匀量化 最大量化误差=1/2的量化阶距 （量化阶距：量化值最小差） 均匀量化的缺点 小信号时，量化信噪比低 S/N (1/2) S小 S/N小 因材多采用非均匀量化即小信号时量化阶距小，大信号时量化阶距大 数字电视采用非均匀量化3.1.3 编码 用n比特二进制码表示量化值3.2 音频信号的数字化（P40）声音 20Hz20KHz 声波发声 80Hz3400Hz语音 300Hz3000Hz 人耳能感知微小的失真和极大的动态范围，对音频信号的数字化量化彼特数比视频要多 声音采样频率：11.025Hz 22.05Hz 44.1KHz 48KHz 量化比特数：8bit 12bit 16bit声道数：单声道，双声道（立体声），5.1声道（环绕立体声） 存储量=（采样频率比特数声道数）/8 字节声音质量分5个等级：1.电话；2，条幅广播AM；3.调频广播FM；4.CD；5.数字录音带3.3 视频信号的数字化 3.3.1 电视信号分量编码参数的确定 对彩色电视信号的数字化有两种编码方式，即复合编码和分量编码 复合编码将彩色全电视信号直接PCM 分来编码将亮度及两个色差信号（或三基色信号）分别PCM PCM 脉冲编码调制复合编码优点：一般编码率较低；设备简单 缺点：采样频率必须与彩色幅载波频率保持一定关系分量编码优点：所有环节都是数字编码，避免了复合编码时因反复解码所引起的问题，编码与电视制式无关，在节目制作中简单；不会产生串色；亮度和色度带宽不同；分类编码作为电视视频幅空编码的国际标准1. 分量编码采样频率的确定(1) 亮度信号的采样频率要考虑的因素：亮色信号的带宽可以不同 亮度信号的带宽应为5.8MHz采样频率至少应等于12.7613.2MHzfs=mfH 采用同一采样频率使625行/50场及525行/60场这两种扫描制式实现兼容 亮度信号频率：13.5MHz(2)色差信号的采样频率 要考虑的因素：带宽 色度信号的带宽为2.8MHz降低混叠噪声mfH用同一采样频率使625行/50场与525行/60场扫描制式兼容 色度信号的采样频率为6.75是亮度信号采样频率的1/2 Y:B-Y:R-Y=13.5MHz：6.7MHz：6.75MHz=4：2：2 采样格式 色差信号均为 3.375MHz 为4：1：1格式 13.5MHz 为4：4：4格式2.量化比特数的确定和量化级的分配 (1)量化比特数 未经校正的信号进行量化采用10bit (2)亮度信号的量化级分配 在对亮度信号进行8bit均匀量化时，共分为256个等间隔的量化级 量化级16对应消隐电平，量化级235对应峰值白电平(3)色差信号的量化级分配 8bit256级 3.3.2 ITU-R BT.601建议 以分量数字编码4：2：2标准作为演播室彩色电视信号数字编码的国际标准 3.3.3 我国数字电视节目制作及交换用视频参数 GY/T155-2000：方形像素通用格式 扫描制式 1125/6V/2：1 1250/5V/2：1 传统隔行扫描 HDTV 视频格式 像素4：3 方形像素通用HDTV视频格式 像素数纸币与幅型比相同3.5 数字电视扫描制式表示方法i表示隔行扫描p表示逐行扫描国际上没有统一的表示方法 1080/60i 一帧扫描行数1080 一秒钟60行 隔行扫描 1080/50i 我国HDTV 1080/50p 3.6 电影/电视格式转换1080/50i 1080/60i24p电影格式电视 ：25 30电影 ：24把胶片相接的电影转换成电视信号时，需要进行帧频转换 24转60 进行 3-2 下拉变换 24转50 以25格/秒 接收 时间缩短4%1234 3-2下拉 电影 1112233344电视 非线性编辑所用素材的长短和前后顺序可以不按制作的长短和先后顺序进行任意编排和剪辑第4章 视频压缩编码的基本原理和方法4.1视频压缩的必要性和可能性分辨率720576 8bit量化 则码率165.9mb/s25 4：2：2数字化的视频数据量十分巨大，不便于存储和传播，而解决的办法是数据压缩。数字压缩的可能性：在视频数据中存在着极强的相关性即有很大的冗余，清除这样的冗余即可达到压缩数据的目的。（1） 空间冗余（2） 时间冗余（3） 符号冗余 用相同码长来表示不同码长的符号。（4） 结构冗余 图像中某些部分有相同的纹理与机构。（5） 知识冗余 常识（6） 视觉冗余4.2视频压缩编码的发展理论基础信息论（香农）压缩是去掉数据中的冗余，即保留不确定的信息，去除确定的信息。压缩：考虑主观特性 结合事件本身的具体含义，重要程度和引起的后果。数据压缩的图像组织MPEG（活动图像专家组）MPEG-1 1.5Mb/s VCD CD-ROMMPEG-2 DVB HDTV DVDMPEG-4 多媒体H261，H263 会议电视/电视电话发展原理：第一代（基于数据统计，没有考虑接受者的主观特性和具体特征）MPEG-1 MPEG-2 H261 H262第二代（考虑主观因素和事件具体特征）MPEG-4 基于内容的4.3视频压缩编码方法和分类1.按解码重建图像和原始图像是否相同分类。无失真编码 又称信息保持 重建图像与原图像一致 编码熵编码（变码长编码）限失真编码：也称非信息保持编码 熵压缩编码重建图像与原图像不同，有一定失真和信息有关，但失真控制再一定范围内2.按压缩编码算法的原理分类基于图像统计特性基于人眼视觉特性基于内容基于模型3.按绘编图像的不同属性分类4.4视频压缩编码方法4.4.1熵编码熵编码是建立在随即过程的统计特性基础上的图像灰度或彩色信号值统计意义上的分布。图像信源熵表示无失真编码所需的比特率的下限。熵编码输出码字的平均码长只能大于等于信源熵，否则将要丢失信息信源的冗余来自信源本身的相关性和信源概率分布的不均匀性。常用的熵编码有：基于图像概率分布特性：霍夫曼编码 算术编码基于图像相关性：游程编码1. 霍夫曼编码霍夫曼编码是可变长度（VLC）的一种，各符号与码字一一对应，是一种分组码。在变字长编码中，对于出现概率大的符号，编以短字长的码，对于出现概率小的符号编以长字长的码。2. 算术编码霍夫曼编码每个符号至少需要1bit为信源中的某个符号出现的概率很大，其包含的信息是很小，远小于1bit，霍夫曼编码就带来了浪费，此时可采用算术编码。算术编码与霍夫曼编码的最大区别在于算术编码不是使用整数码，再编码时不是按符号编码，而是按符号序列的发展，对序列进行编码，并把序列编码化为一种逆归运算。将被编码的每一个信源符号按其出现概率大小表示成实数轴01之间的一个子区间，概率大占区间大，表示这一子区间所需二进制小数的位数就越小。3. 游程编码如对于二维图像，每一行总有若干段连续的黑像素和连续的白像素，黑（白）像素点连续出现的像素点数称为游程长度，把黑和黑的长度组合构成编码单元，并按其出现的概率分布配以不同的码长 游程编码不局限于二维图像。4.4.2预测编码预测编码是利用图像数据的相关性，用已传输的像素值对当前像素值进行预测，然后对当前像素的实际值与预测值的差值（预测误差）进行编码传输，而不是对当前 像素值本身进行编码传输。当预测比较准确时，预测误差很小。因此，对预测误差进行编码所需的行数要比对原始图像本身进行编码传输要少，从而达到数据压缩的目的。计算预测值的参考像素可以是同一行前几个像素（一维预测）也可以是本行前一行或前几行的像素（二维预测），也可以是前几帧图像的像素（三维预测）。一维预测和二维预测为帧内预测，三维预测为帧间预测。帧内预测 场内预测 帧内预测 静止图像帧内预测有利活动图像帧内预测有利 对编行扫描进行场内预测。帧间预测由前一帧图像推测当前帧图像时，预测误差进行编码，预测编码如果经量化则为有帧压缩，如果不经过量化则为无帧压缩。采用非均匀量化预测误差分布于0值附近，绝对值小的部分出现概率大非均匀量化可得到较小的量化误差预测误差较小的部分分布于图像变化较缓区域，人眼对高度变化平缓的噪音比较敏感。预测误差较大的部分分布于图像边缘 或细节较多区域，人眼对图像边界或细节区域的噪声敏感度较低。因此非均匀量化有利于提高图像质量。提高图像质量预测编码在提高编码效率的同时降低了可靠性，其像素的转移误码会影响后续图像的重组，产生了误码的扩散4.4.3 运动估值和运动补偿预测编码将前一帧作为当前的预测值，对图像中静止背景部分是有效的，但对于运动部分并不理想，如果对当前帧某像素（像素块），进行预测时知道是从前一帧哪个位置移动过来的，则预测的准确值将提高运动估值。运动估值是对物体的位移做出估计，即对运动物体前一帧到当前帧位移的方向和像素数做出估计，也就是求出运动矢量。运动补偿是根据求出的运动矢量找到当前帧的像素（像素块）是从前一帧的哪个位置移动过来的，从而得到当前帧像素（像素块）的预测值。运动估计 递归法：求每个像素的运动矢量，但不传递，再接受端再求运动矢量 接收端比较复制。 块匹配法：将当前帧分割成子块，对子块最优匹配，计算运动矢量 一般送1616为一个子块。运动矢量估值的而应用1.运动补偿帧间预测编码利用视频序列中相邻帧之间的时间关联适用于所有帧间编码2.运动自适应 帧内插通过降低发送端传送的帧频来降低转换频率，未传输的图像帧在接收端，由已传送的位于该帧前和该帧后的两个图像帧的内插恢复。4.4.4变换编码l 变换编码：不直接对空间域图像数据进行编码，而是前先将空间域图像数据映射变换到另一个正交向量空间得到一组变换系数，然后对这些变换数据进行编码传输。为保证平稳性和相关性，减少运算量，在变换编码中，先将一帧图像划分成MXN的子块，然后对每一个子块还一变换编码。l 变换本身不能对数据进行压缩，但变换后变换系数使统计“独立”的相关性下降，图像大部分能量集中在少数几个变换系数上，这样得到一对重建图像。图像重要的系数进行量化编码后存放压缩数据量。信号的主要能量集中再低频部分。人眼对低频部分比较敏感，在频域编码时，低频分量用较多的比特进行细量化，高频分量用较少的比特进行粗量化。实际中常采用离散余弦变换（DTC）子块 1616或88像素块第5章 音频压缩编码原理及标准5.1音频压缩编码的基本原理5.1.1音频压缩编码的必要性和可能性必要性：音频信号数字化数据量很大，储存，传输费用很大可能性：音频信号本身存在着很大的冗余。音频信号中存在的冗余1. 时间冗余：（1） 幅度分布的非均匀性小幅度样值比大幅度样值出现频率大（2） 相值间的相关性 相邻相值间存在很强相关性 （3） 信号周期之间的相关性 短时2ms在周期与周期间存在相关性（3） 长时自关性较长时间间隔也存在相关性 （几十秒）（4） 静音 静音 冗余2.频域冗余（1） 长时功率谱密度的非均匀性长时功率谱密度函数呈现明显的非平坦性（2） 短时功率谱密度的非均匀性短时功率谱在某些频率上出现峰值，而在另一些频率上出现谷值。3.听觉冗余人耳听不到或感知不灵敏的信号都可称为冗余。5.1.2音频压缩编码方法的分类及典型代表音频压缩编码可分为波形编码、参数编码和混合编码。1. 波形编码波形编码是指直接对音频信号时域或频域采样值进行编码，目标是力图使重建后的音频信号的波形与原音频信号波形保持一致。重建声音质量较高，但压缩比不高。（1） 自适应量化编码自适应分组分配按系数的不同变换DCT划分子带的好处：减少子带内信号能量分布不均匀性（或减少动态范围）降低各子带采样频率（成倍下降）2.参数编码参数编码是对音频信号特征参数进行编码，目标是使重建后的音频信号与原音频信号特性保持一致。3.混合编码 混合编码是波形编码和参数编码的结合。5.1.3人耳听觉感知特性1.对响度的感知声音的响度就是声音的强弱当声音弱到人的耳朵刚刚可以听到时，称此时的声音强度为听觉阈值听阈听阈随频率变化而不同，通过实验可以测得听阈频率曲线当声音强到使人耳感觉疼痛的时候，称为痛阈。 痛阈随频率变化而不同。通过实验可以测得痛阈频率曲线。听见范围：听阈和痛阈之间的区域人耳对不同频率的声音的敏感程度不同，其中对24Hz范围的声音最敏感，而低、高频区不敏感，对音频数据进行压缩时，可以将听阈以下的电平去掉。2.对音高的感知人耳能感知的声音频率范围是20Hz20000Hz人耳对音高的感知与频率不是线性关系3.掩蔽效应人在听一个较强声音时会掩蔽另一较弱声音掩蔽效应。强音称为掩蔽音，弱音称为被掩蔽音。被掩蔽音单独存在时的听阈称为绝对听阈，再掩蔽情况下必须加大被掩蔽音的强度才能被人耳再听到，此时的听阈称为掩蔽听阈。（1） 频率掩蔽一个强纯音令掩蔽频率接近弱纯音，称为频率掩蔽。一般情况，弱纯音的频率与强纯音的频率越近则弱纯音就越容易被掩蔽（2） 时域掩蔽再一个强音信号之前或之后的弱音信号也会被掩蔽掉，称为时域掩蔽。时域掩蔽分为超前掩蔽和滞后掩蔽，超前掩蔽520ms 滞后掩蔽50200ms5.1.4心理声学模型再音频编码中的应用听觉系统中存在一个听觉阈值电平低于这个电平的音频信号听不到，把这部分信号忽略掉不影响听觉效果。5.2 MPEG-1音频压缩码标准5.2.1 MPEG-1音频压缩算法的特点MPEG-1音频压缩算法是世界上第一个高保真音频数据压缩标准MPEG-1音频压缩算法的特点（1）编码器输入信号为线性Xcm信号，采样率32KHz 441KHz 或48KHz输入码率 32384Kbit/s（2）压缩后的比特流可以支持单声道或双声道（3）MPEG-1音频压缩标准提供了三个独立的压缩层次，用户对层次的选择存在编码方案的复杂性和压缩质量之间进行权衡。（4）可预先定义压缩后的码率（5）编码后的数据流支持CRC（检错）（6）MPEG-1音频压缩标准还支持再数据流中载带附加信息。5.2.2 MPEG-1音频压缩编码的基本原理MPEG-1使用子带编码来达到既压缩音频数据又尽可能保证音频音质的目的。子带编码的理论依据是听觉系统的掩蔽效应，主要利用频域掩蔽效应。MPEG-1音频编码标准提供了3个独层5.3杜比AC-3 音频压缩算法MPEG-1音频压缩算法是针对最多两声道的音频开发的人们对声音有了更高的要求，即环绕3D立体声，为此杜比公司开发了AC-3压缩标准。5.1声道：即原左右声道增加中置声道后左右声道 0.1（1.5120Hz） 声道杜比AC-3可以把这个独立的全频带和一个超低音声道的信号实行统一编码称为单一的复合数据流。1.分析滤波器组l 分析滤波器组把时域内的PCM样本数据变换到频域，在变换之前要先将音频的样本数据分成许多组，靠窗函数，实现窗函数的形状决定了滤波器组中各滤波器的形状。l 在进行变换编码时，时间分辨率和频率分辨率之间是矛盾的，不能兼顾，对于稳态信号，频率随时间变化缓慢，要求滤波器组有好的频率分辨率，即要求一个长的窗函数对于快速变化的信号要求有好的时间分辨率，即要求一个短的窗函数。AC-3采用基于改进离散余弦变换（MDCT）的自适应变换编码（ATC）算法2.谱包络编码从变换得到的频率变换系数被转换成浮点数，所有变换系数的值都定标为小于1.0，分析滤波器输出的是指数和波量化的尾数，两者被编码后都进入码流。对指数编码的结果是根据频率分辨率的需要选择一种频谱包络。3.比特分配按谱包络编码输出的信息确定尾数编码所需要的比特数，将可分配的比特数按最佳的方式分配给多个尾数。4.尾数量化按比特数分配程序确定的比特数对尾数进行量化5.声道的组合将组合声道中的几个声道的变换多数加以平均，各个被组合的声道有一个特有的组合坐标集合可用来保温原始声道的高频包络。组合对高频包络声音进行定位6.重组矩阵对高度相关的声道的和与差进行编码。7.动态范围控制在广播前先将音频节目动态范围进行压缩AC-3允许每个音频块传送一个，动态控制字，以使解码器还原动态范围8.AC-3的帧格式形成AC-3内一个同步帧的序列组成每个块包含6个编码的音频块5.4 MPEG-2音频压缩编码标准5.4.1 MPEG-2BC与MPEG-1音频压缩编码算法，兼容，与MPEG-1相比较，MPEG-2BC主要做了两大改进，一是增加了声道数，支持5.1声道和7.1声道，而是为某些低码率应用场合增加了16KHz，220KHz和24KHz三种较低的采样频率5.4.2 MPEG-2 AAC主要使用听觉系统的掩蔽特性来压缩声音的数据量并通过把量化噪声分散到各个子带中用全局信号把噪声掩蔽5.5 MPEG-4音频压缩编码标准MPEG-4提供交互式多媒体应用为了实现基于内容的编码引入了音频对象的概念5.5.1自然音频编码MPEG-4采用分组编码的方法提供了3类编码工具1.参数编码器使用参数编码技术提供两种编码工具HVXC 谐波矢量激励编码HTLV 谐波和特征线加噪声编码2.CECP编码器采用码激励线性预测编码技术3.时/频编码器采用时时/频（T/F）编码技术5.5.2合成音频编码MPEG-4提供了有关合成，音视频场景，合成与自然内容的同步和时空联合等方向的描述。结构化音频标准提供了关于合成音乐，声音效果，交换式多媒体场景下合成声音与自然声音的同步等方面的有效的灵活的描述。1.结构化音频交响乐语言SAOL任何目前已知的声音合成方法都可以用SAOL来描述2.结构化音频乐谱语言（SAOL）一种乐谱和控制语言3.结构化音频样本分组格式允许传移再波表合成中使用的分组的音频样本数据，并描述它们使用的简单处理算法4.规范化程度表描述结构化音频编码过程的运行流程5.规范化参考用于MIDI标准5.5.3合成/自然音频混合编码联合了自然和合成音频编码工具，再特定和声音质量上获得满音效果第6章 图像/视频压缩编码标准国际上推出了一系列相应的数字视/音频压缩编码标准用于电视会议及可视电话系统的H.261 H.263 用于静止图像压缩的JPEG,JPEG2000用于VCD的MPEG-1 用于数字电视、DVD、HDTV的MPEG-2以及用于多媒体通信的MPEG-4等6.1 JPEG和JPEG2000标准6.1.1JPEG标准简介JPEG负责制订连续色调静止图像的数据压缩编码标准电视图像的帧内编码也常采用JPEG。 JPEG有两种基本的压缩算法，一种是采用以离散余弦变换（DCT）为基理的有失真压缩算法；另一种是采用以预测编码技术为基础的无失真压缩算法。JPEG2000标准采用小波变换算法JPEG支持两种图像建立模式：顺序性一次完成对图像的编码和转移渐近性分几次完成对图像的编码和转移JPEG4种编码工作模式：基于DCT的顺序型编码模式基于DCT的渐近型编码模式无失真编码模式多分辨率编码模式JPEG系统分为基本系统和扩充系统，基本系统采用基于DCT的顺序型编码和霍夫曼编码。扩充系统有渐近型编码，算术编码，无失真编码，分层编码6.1.2基本编码系统1.直流分量的编码88图像子块经DCT得到DC系统，有两个特点：分组值较大相邻子块系数变化不大，因此，JPEG采用DPCM进行霍夫曼编码2.交流分量的编码再对AC系数进行编码之前，首先将63个AC系数按ZigZag扫描方式排序成一组数组并转换成“0”游长，非“0”值事件进行霍夫曼编码。6.1.3 JPEG2000标准简介JPEG2000在一个统一的集成系统中可以使用不同的成像模型，对不同类型不同性质的静止图像进行压缩。6.1.4 JPEG2000的关键技术JPEG2000以离散小数变换算为主，可多分辨率编码。JPEG2000将图像变换为一系列小波系统，这些系数可被高效压缩和存储小波的粗略边缘清除了DCT方块效应，对图像高频成分采用由粗到细的渐进采相间隔，从而可放大注意细节。6.1.5 JPEG2000的特点高压缩比连续色调图像压缩和二值图像压缩无失真压缩和有失真压缩渐近传输图像比特率，图像尺寸 有限的工作存储器对码流的随即访问和随机处理误码鲁棒性开放的体系结构6.1.6 运动JPEG2000运动JPEG200（MJP2）在一个单独编码器中同时支持无失真和有失真压缩6.2 MPEG-1和MPEG-2标准l MPEG负责制定适用于数字存储媒介电视广播和通信等应用场合的视频和音频压缩。l MPEG-1针对1.5Mbit/s以下数据率的数字存储媒介应用的运动图像及其音频编码标准。l 根据传输率1.416Mbit/s，其中1.1Mbit/s用于视频，128Kbit/s用于音频，其余为系统。 l MPEG-2不是MPEG-1的简单升级 应用于DVD BTV HDTV VOD MVODl MPEG-1是MPEG-2的一个子集6.2.2 MPEG-1/-2 标准中的三种编码类型图像MPEG标准再实现高压缩比例同时又能获得较高的重建图像质量，并且还要满足能够随机存储的要求。MPEG标准将编码图像分为三种类型 分别为I帧、P帧和B帧I帧图像（基础帧）只利用了单帧图像内的空间相关性，而没有利用时间相关性。I帧图像提供了随机存取的插入点，可作为B帧和P帧图像的预测参考帧。P帧图像根据前面靠近的I帧图像或P帧图像，进行前向预测，采用带运动补偿的帧间预测编码方式。B帧图像是双向预测“内插帧”，它既用已转移的再视频序列中处于该帧前的过去帧（I或P）作预测参考帧进行前向运动补偿预测，又用后面的未来帧（I或P）作为预测参考帧进行后向预测补偿预测。B帧不能用来作为对其它帧进行预测补偿预测的参考帧。6.2.3 视频码流的分层结构视频数据经过压缩编码后形成视频基本码流（ES）MPEG用句法规定了一个分层结构共分6层，从高到低依次为：视频序列层，图像组（GOP）层，图像层，密块条层，密块层，像块层除了密块层和像块层之外其它4层的数据都以起始码开头，一旦发生收发失步，可利用起始码作为同步码重新建立同步。1.视频序列层一个宏块包括亮度分量和空间位置上相对应的色度分量MEPG-2定义了 3种宏块结构：4：2：0 4：2：2 4：4：4MPEG-1定义了4：2：0宏块结构三种宏块结构分别对应与三种高度和色度的采样格式视频序列头中包含视频序列参数（尺寸、宽度比，帧频，数码率，缓冲压大小）2图像组层 GOP是由一个视频序列中连续的若干帧图像组成每个GOP由一个I帧和一些P帧 B帧组成GOP的第一帧一定为I帧防止由于帧间预测可能引起的传输误码的长时间扩散I帧出现的频率及I、B、P帧之间如何组合，MPEG未作具体规定。B帧图像采用未来帧做预测参考帧，传输帧不按显示帧顺序进行，再传输B帧前先传它的参考帧。3图像层图像层包括了同编码类型的图像有I、P、B帧图像再图像层头中包含了图像编码的类型和时间参考信息图像是一个独立的显示单元，可作为一个整体被显示一个图像包括亮度分量和色度分量4.宏块条层每个宏块条包括若干连续宏块，其顺序和扫描顺序一致。宏块条是比特流重新同步的基本单元划分成宏块条的主要目的在于防止误码扩散。5.宏块层宏块是运动补偿预测的基本单元，为提高编码性能，MPEG算法除了再I帧中全部宏块都采用帧内编码模式之外，再P帧和B帧中以宏块为单位自适应地选择合适的运动补偿预测模式。6.像块层像块层是MPEG算法中最小的编码单元，它包括88像素像块是DCT的基本单元，像块层的数据包含88个像素的样值经DCT变换后所生成的DCT系数的编码码字。6.2.4 MPEG1. 离散余弦变换（DCT）再MPEG中DCT以88的像块为单位进行，生成的是88的DCT变换系数数据块，DCT变换最大特点是对大部分图像，能将像块的能量集中再少数低频DCT变换系数上。2. 量化器DCT并不能压缩数据，64个样值经DCT变换后仍是64个变换系数，只有通过DCT变换系数进行量化处理后再结合游程编码和熵编码才能达到数据压缩的目的。以某个量化编码去除DCT变换系数既用降低DCT变换系数精度的方法，忽略掉不必要的DCT变换系数降低码率。3.“之”字扫描与游程编码DCT变换产生的二维数组，经之字型扫描转换为一组数字，DCT变换后的系数集中于二维矩阵左上角经之字型扫描非零系数集中于一维数组前部，后面为长串量化为零的DCT系数为游程编码创造了条件4.熵编码DCT后经量化的系数在进行熵编码产生用于传输传输的数字比特流采用霍夫曼编码5运动估计帧间编码要进行运动估计，以宏块为单位计算被压缩当前帧图像与参考帧图像对应位置上宏块间的位置偏移，以运动矢量描述6.运动补偿利用运动矢量将参考图像中的宏块移至水平和垂直方向上的相对应位置，生成被压缩图像的预测。6.2.5 MPEG-2与MPEG-1的区别：1.MPEG-2定义了类与级的概念规定了6个语法子集，即类简单类、主类、4：2：2类，信噪比可分级类，空间可分级类和高级类在同一语法子集中（类）又推出了级的概念按分辨率为4级 高级 1440高级 主级 低级2.MPEG-2有按帧编码和按场编码两种模式在MPEG-1中，没有电视帧的概念只支持逐行扫描，不支持隔行扫描；在MPEG-2中允许隔行扫描和逐行扫描，针对隔行扫描设置了按帧编码和按场编码两种模式。3.MPEG-2增加了可分级层MPEG-2采纳了多级编码条件，将图像的编码码流分为基本层和一个或多个增强层允许解码器对编码比特流的部分或全部码流进行编码，得到不同时间/空间分辨率/和不同质量等级的视频信号6.2.6 MPEG-2的系统传送层视频和音频经编码后生成各自的基本码流ES ，在电视节目传播和交换时将多路节目复用在一起传输，根据节目内容动态分配带宽MPEG-2系统复用/解复用可分两个层次，节目级复用/解复用和系统级复用/解复用节目级复用/解复用指从多ES流到单路节目传送流（TS）的复用/解复用系统级复用/解复用指多路节目TS间的复用/分离1.数字复用/解复用打包：以包为基础对信号进行复用/解复用2.节目流和传送流MPEG-2定义了两种复用信息流，节目流（PS）和传送流（TS）将ES打包成PES将PES及辅助数据再打包进行复用生成TS或PSPS是为相对无误码环境设计的，为本地设计。PS包结构是可变长度的 ，TS是为易发生误码的转移信道环境和有损存储媒质设计的。TS为广播应用的设计，TS的包结构是固定长度的，当传输误码破坏了某一TS包的图像信息时，接收机可在固定位置推测共后续包中的同步信息从而恢复同步。由于PS包长度可变，一旦某一PS包同步信息丢失，接收机无法确定下一个同步位置会造成失真。3.PES包的组成的功能: PES包中包含了数码率，定时及数据描述等信号和数据4.TS包（1）链接头：包同步，包标识，加扰控制，误码控制（2）适配域：1）视频、音频编码器的同步 2）压缩码流随机进入机制 3）本地节目插入机制（3）净荷：1）视频、音频 PES包以及辅助数据 2）描述单路节目复用信息的节目映射表 3）描述多路节目复用的节目关联表5.单路节目 TS流复用的一般流程首先，在PID=0的TS包中PAT表中找出携带PMT表的码流的PID值，然后根据PID值到处描述所需节目结构的PMT码流，从此PMT中找出组成该节目的多ES流的PID，根据这些PID值就可以从TS包中将多ES流的数据复用出来，并重新组成各ES流送给相应的解码器进行解码 查表法 6.3 MPEG-4视频编码标准6.3.1 MPEG-4视频编码功能与特点l MPEG-4标准以音/视频对象的形式对AV场景进行描述，提供了一种崭新的交互方式基于内容的交互l MPEG-4提出了基于内容的存取概念，能对任意形状的视频对象进行有效表示，使用户可与场景进行交互 特点：基于内容的交互；高压缩率；灵活多样的存取6.3.2 MPEG-4视频编码工具箱l MPEG-4视频组通过激活由接收机下载软件解码工具的机制，使MPEG-4标准具有开放、灵活、可扩展的特点.l MPEG-4通过MSDL可以选择若干工具灵活的组合成一个算法，也可以集成若干个工具货算法构成类，以适用于某些特定的应用6.3.3 MPEG-4视频编码技术 MPEG-4采用验证模型法1 视频验证模型的一般结构 MPEG-4视频验证模型引入了视频对象平面的概念，视频验证模型所编码的视频输入将不再只是矩形压缩，可以是任意形状的，视频对象平面图像区域，且该区域的形状和位置可随帧变化2 视频验证模型的数据结构视频验证模型在其语法中使用了4个层次的数据结构：视频会晤；视频对象；视频对象层；视频对象平面3 基于VOP的编码编码主要针对某一时刻VO的形状，运动纹理这类信息进行，验证模型中的主要编码工具，就是对这3类信息进行编码工具，纹理编码，运动估计及补偿类似于MPEG-1/-2真正新增的部分是形状编码6.3.4