音响师培训视频技术原理ppt课件.ppt

音响师培训 音视频技术基本原理概况 1 主要内容 数字音频基础知识数字视频基础知识音频编码技术视频编码技术 2 一 数字音频基础知识 3 音频基本特性 音频特性音频信号由许多频率不同的声波组成 音频信号的两个基本参数是频率和幅度 人发音器官声音频频率范围 80 3400Hz 人耳感知音频频率范围 20 20000Hz 4 音频信号数字化 模拟信号与数字信号处理对比时间上离散 采样幅度上离散 量化语音质量与采样频率Nyquist原理语音质量与采样精度量化噪声与量化比特数语音质量与数据率 5 音频信号数字化 采样频率 Khz 采样精度 bps 数据率 未压缩KBps 频率范围 hz 普通电话888200 3400AM11 02581120 15000FM22 0501688 250 7000CD44 116176 420 20000DAT4816192 020 20000 6 二 数字视频基础知识 7 彩色电视制式 NTSC制式PAL制式SECAM制式HDTV制式 8 彩色视频信号类型 复合视频分量视频RGBYIQYUVS Video 9 电视扫描与同步 逐行扫描与隔行扫描场与帧PAL制式的扫描特性625行 帧 25帧 秒宽高比4 3隔行扫描 10 视频数字化两种方式 1 模拟全彩色信号 分量信号 三个A D2 模拟全彩色信号 A D转换 数字域进行分量分离 11 行同步与场同步 12 HDTV简介 高清晰度电视 HDTV 显示器 16 9帧频 100Hz图像格式 1280 x720p 1920 x1080i码率 20Mbps主要制式 8VSB 北美 COFDM 欧洲 13 多媒体数据压缩技术 空间冗余时间冗余信息熵冗余结构冗余知识冗余视觉冗余其他冗余 14 三 音频编码技术 15 编码器类型 波形编码器脉冲编码调制 PCM 差分脉冲编码调制 DPCM 子带编码 Sub BandCoding 音源编码器混合编码器码激励线性预测 CodeExcitedLinearPredictive 16 音频编码标准 G 711G 721G 722G 728G 729G 723 1MPEG 1layer1 2 3MPEG 2AAC 17 声音的遮蔽现象 18 音频MUSICAM编码 19 四 视频编码技术 20 一 视频编码基础 1 数字电视系统在电视信号的获取 产生 处理 传输 接收和存储的全过程中使用数字电视信号 称为数字电视系统 数字电视系统可分为三大类 l 卫星数字电视广播系统 2 有线数字电视广播系统 3 地面数字电视广播系统 21 2 视频信号的数字化及表示 取样 空间的离散化把时间 幅度连续的模拟信号转变为时间离散 幅度连续的信号 即时间离散化 量化 幅度的离散化把幅度连续信号转换为幅度离散信号 即幅度离散化 三基色原理 任何颜色均由红 R 绿 G 兰 B 三种颜色分量组成 在电视原理里 用亮度 Y 蓝色差 U 红色差 V 三个分量表示 两种方法相互之间的转换 Y 0 3R 0 59G 0 11BU B YV R YR Y VG Y 0 19U 0 51VB Y U 22 3 视频压缩的必要性数据量太大 占用带宽太宽例 1秒钟PAL图像数据720 x576x25x8x3 248 832 000bps 4 视频压缩的可能性空间冗余性相邻像素之间具有很强的相关性时间冗余性相邻帧之间具有很强的相关性视觉冗余性对亮度敏感 对色度不敏感对低频敏感 对高频不敏感 23 图像信号中存在的冗余 24 5 视频压缩的基本方法及关键技术 正交变换去掉空间冗余性 主要采用DCT运动估计 补偿去掉时间冗余性色度下采样去掉视觉冗余性 25 关键技术环节 1 离散余弦变换DCTDCT是一种空间变换 在MPEG 2中DCT以8x8的像块为单位进行 生成的是8x8的DCT系数数据块 DCT变换的最大特点是对于一般的图像都能够将像块的能量集中于少数低频DCT系数上 即生成8x8DCT系数块中 仅左上角的少量低频系数数值较大 其余系数的数值很小 这样就可能只编码和传输少数系数而不严重影响图像质量 变换倾向于把能量集中到低频系数上 而很多其它系数则接近于零 比特率的降低是依靠不传送接近零值的系数 而像后面所说的那样对剩下的系数进行量化和编码 不均匀的系数分布是由于原图像块中存在的空间冗余度 DCT不能直接对图像产生压缩作用 但对图像的能量具有很好的集中效果 为压缩打下了基础 26 离散余弦变换DCT 1TVline 64us 720pixels Luminance 700mV 0mV 1TVline 64us 720pixels Luminance 700mV 0mV 27 2 量化器 量化是针对DCT变换系数进行的 量化过程就是以某个量化步长去除DCT系数 量化步长的大小称为量化精度 量化步长越小 量化精度就越细 包含的信息越多 但所需的传输频带越高 不同的DCT变换系数对人类视觉感应的重要性是不同的 因此编码器根据视觉感应准则 对一个8x8的DCT变换块中的64个DCT变换系数采用不同的量化精度 以保证尽可能多地包含特定的DCT空间频率信息 又使量化精度不超过需要 DCT变换系数中 低频系数对视觉感应的重要性较高 因此分配的量化精度较细 高频系数对视觉感应的重要性较低 分配的量化精度较粗 通常情况下 一个DCT变换块中的大多数高频系数量化后都会变为零 要注意编码器所产生的量化噪波是不能在解码器中逆转的 这就使编码和解码过程 有损 28 3 游程编码与Z扫描Z扫描主要目的是将2维信号转换成1维信号 便于游程编码游程编码一对码字 N L 第一个字节为非零值的电平前面的零的个数非零值的电平 第二个为非零值的电平 为熵编码做好进一步的准备 29 Z字型扫描与游程编码 30 4 熵编码 量化仅生成了DCT系数的一种有效的离散表示 实际传输前 还须对其进行比特流编码 产生用于传输的数字比特流 简单的编码方法是采用定长码 即每个量化值以同样数目的比特表示 但这种方法的效率较低 而采用熵编码可以提高编码效率 熵编码是基于编码信号的统计特性 使得平均比特率下降 游程和非零系数既可独立的 也可联合的作熵编码 熵编码中使用较多的一种是霍夫曼编码 MPEG 2视频压缩系统中采用的就是霍夫曼编码 霍夫曼编码中 在确定了所有编码信号的概率后生产一个码表 对经常发生的大概率信号分配较少的比特表示 对不常发生的小概率信号分配较多的比特表示 使得整个码流的平均长度趋于最短 为使解码器能分辨在什么地方一个码终止和下一个码开始 VLC有这样一个特性 没有一个完整的码是任何其它的码的前头部分 31 5 信道缓存 由于采用了熵编码 产生的比特流的速率是变化的 随着视频图像的统计特性变化 但大多数情况下传输系统分配的频带都是恒定的 因此在编码比特流进入信道前需设置信道缓存 信道缓存是一缓存器 以变比特率从熵编码器向里写入数据 以传输系统标称的恒定比特率向外读出 送入信道 缓存器的大小 或称容量是设定好的 但编码器的瞬时输出比特率常明显高于或低于传输系统的频带 这就有可能造成缓存器的上溢出或下溢出 因此缓存器须带有控制机制 通过反馈控制压缩算法 调整编码器的比特率 使得缓存器的写入数据速率与读出数据速率趋于平衡 缓存器对压缩算法的控制 32 是通过控制量化器的量化步长实现的 当编码器的瞬时输出速率过高 缓存器将要上溢时 就使量化步长增大以降低编码数据速率 当然也相应增大了图像的损失 当编码器的瞬时输出速率过低 缓存器将要下溢出时 就使量化步长减小以提高编码数据速率 33 6 运动估计 运动估计使用于帧间编码方式时 通过参考帧图像产生对被压缩图像的估计 运动估计的准确程度对帧间编码的压缩效果非常重要 如果估计作的好 那么被压缩图像与估计图像相减后只留下很小的值用于传输 运动估计以宏块为单位进行 计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移 这种位置偏移是以运动矢量来描述的 一个运动矢量代表水平和垂直两个方向上的位移 运动估计时 P帧和B帧图像所使用的参考帧图像是不同的 P帧图像使用前面最近解码的I帧或P帧作参考图像 称为前向预测 而B帧图像使用两帧图像作为预测参考 称为双向预测 其中一个参考帧在显示顺序上先于编码帧 前向预测 另一帧在显示顺序上晚于编码帧 后向预测 B帧的参考帧在任何情况下都是I帧或P帧 34 此技术利用了时间冗余度 它试图从前面的 参考 帧来预测要编码的帧 预测不能以源图像为基础 因为这个预测要在解码器中重复 而在解码器中是没有源图像可用的 解码图像与源图像不尽相同 因为码率压缩过程在解码图像中引入了少量失真 因此 编码器含有一个本地解码器 它能重建与解码器中将重建的图像完全相同的图像 由此可进行预测 一种确定待编码块与参考帧之间所发生的运动的方法是 块匹配 搜索 这种方法在编码器中试验大量的试探偏置 根据待编码块与预测块之间的最小误差来选择 最佳 偏置 35 7 运动补偿 利用运动估计算出的运动矢量 将参考帧图像中的宏