第四章多媒体数据压缩编码技术.ppt

2020 2 16 1 第四章多媒体数据压缩编码技术考核目的 考核学生对多媒体数据压缩编码的基本原理和算法 数据压缩编码的分类和方法 多媒体数据压缩编码的国际标准等内容的理解和掌握 考核的知识点 什么是多媒体数据压缩 为什么信息能被压缩 常用的压缩编码和算法 统计编码 预测编码 变换编码 多媒体数据压缩编码的国际标准JPEG MPEG 1等内容 2020 2 16 2 考核要求 掌握 数据压缩编码的方法 常用的压缩编码和算法 JPEG的原理和实现技术 理解 量化的原理和量化器的设计 MPEG 1的原理和实现技术 了解 其它的国际标准等 2020 2 16 3 4 1多媒体数据压缩编码的重要性和分类你想通过可视通信系统与亲朋好友进行 面对面 的通信吗 你想通过利用多媒体教学手段在家上学吗 你想在计算机上亲自体念 海湾战争 吗 你进入过国家图书馆的Internet多媒体阅览室吗 你有过在Internet上看美国 9 11 事件的实时新闻报道吗 你有利用多媒体计算机来控制家中的所有电器的计划吗 无论你是否有这些想法 或经历 它们赖以实现的技术基础是多媒体数据的压缩技术 2020 2 16 4 一 多媒体数据压缩编码的重要性压缩的必要性 海量数据的存储与传输的必然要求存储量 Byte 采样频率 采样精度 声道数 时间 8如未经压缩的1分钟立体CD音乐所需的存储量为 44 1 1000 16 2 60 8 10584000 B 10 1 M 在多媒体系统中图像和动态视频信息数据量非常之巨大 所需要的存储空间是十分巨大和惊人的 如1GB 1分钟的彩色电视信号数据 另外在通信网络上 大多数远程通信网络的速率都在几兆位每秒以下 显然 这样大的数据量不仅超出了计算机的存储和处理能力 更是当前通信信道的传输速率所不及的 因此 为了存储 处理和传输这些数据 为了使多媒体达到实用水平 除采用新技术手段增加存储空间和通信宽带外 对数据进行有效压缩将是多媒体发展中必须要解决的最关键的技术之一 2020 2 16 5 多媒体信息传送面临的最大难题是海量数据存储与传送电视信号数字化后的数据量问题 数据压缩是解决问题的重要途径 数据的压缩一般由两个过程 一是编码过程 原始数据经过编码进行压缩 存储与传输 二是解码过程 还原成可用原始数据 2020 2 16 6 二 多媒体数据压缩的可能性1 空间冗余 2 时间冗余 3 信息熵冗余 1 信息量 指从N个相等的可能事件中选出一个事件所需要的信息度量和含量 2 信息熵 指一团数据所带的信息量 平均信息量就是信息熵 entropy 2020 2 16 7 4 结构冗余图象有非常强的纹理结构 5 知识冗余图像的理解与某些基础知识有关 6 视觉冗余视觉冗余是非均匀 非线性的 2020 2 16 8 三 多媒体数据压缩方法的分类1 按压缩方法分 1 有失真压缩 压缩和解压过程中允许一定的信息损失 2 无失真压缩 2020 2 16 9 2 按编码算法原理分 1 预测编码 PCM DPCM ADPCM等 2 变换编码 傅里叶 DFT 离散余弦 DCT 离散正弦 DST 等 3 统计编码 哈夫曼 算术 香农等 4 静图像编码 方块 逐渐浮现等 5 电视编码 幀内预测 幀间编码等 6 其他编码 矢量量化 子带编码等 2020 2 16 10 4 2量化量化是指模拟信号到数字信号的映射 量化操作实际上是用有限的离散量代替无限的模拟量的多对一的映射操作 2020 2 16 11 一 量化原理量化处理是使数据比特率下降的一个强有力的措施 数据压缩编码中的量化处理 不是指A D变换后的量化 而是指以PCM码作为输入 经正交变换 差分 或预测处理后 熵编码之前 对正交变换系数 差值或预测误差的量化处理 量化输入值的动态范围很大 需要以多的比特数表示一个数值 量化输出只能取有限个整数 称作量化级 希望量化后的数值用较少的比特数便可表示 每个量化输入被强行归一到与其接近的某个输出 即量化到某个级 量化处理总是把一批输入 量化到一个输出级上 所以量化处理是一个多对一的处理过程 是个不可逆过程 量化处理中有信息丢失 或者说 会引起量化误差 量化噪声 2020 2 16 12 二 标量量化器的设计1 量化器的设计要求给定量化分层级数 满足量化误差最小 限定量化误差 确定分层级数 满足以尽量小的平均比特数 表示量化输出 2 量化方法 标量量化 对于PCM数据 一个数一个数地进行量化叫标量量化 分为 均匀量化 非均匀量化和自适应量化 2020 2 16 13 三 矢量量化1 矢量量化概念 对PCM数据分组 每组K个数构成一个K维矢量 然后以矢量为单元 逐个矢量进行量化 称矢量量化 2 矢量量化编码方法 有失真编码方法 2020 2 16 14 4 3统计编码一 统计编码原理 信息量和信息熵基本概念 1 信息 是用不确定性的量度定义的 2 信息量 从N个相等可能事件中选出一个事件所需要的信息度量或含量 3 熵 如果将信源所有可能事件信息量进行平均就得到信息的熵 熵就是平均信息量 4 信源均含有的平均信息量 熵 就是进行无失真编码的理论极限 5 信源中或多或少的含有自然冗余 6 信息源X的熵为H X 式 4 2 2020 2 16 15 二 哈夫曼编码 Huffman 1 变字长编码定理 最佳编码定理在变字长编码中 对于出现概率大的信息符号 编以短字长的码 对于出现概率小的信息符号编以长字长的码 如果码字长度严格按照符号概率的大小的相反顺序排列 则平均码字长一定小于按任何其他符号顺序排列方式得到的码字长度 证明 P123 2020 2 16 16 2 Huffman编码方法用变字长最佳编码定理 1 把信源符号按概率大小顺序排列 设法按逆次序分配码字的长度 2 在分配码字长度时 将出现概率最小的两个符号的概率相加合成一个概率 3 把这个合成概率看成是一个新组合符号地概率 重复上述做法直到最后只剩下两个符号概率为止 4 完成以上概率顺序排列后 再反过来逐步向前进行编码 每一次有三个分支各赋予一个二进制码 对概率大的赋为零 概率小的赋为1 2020 2 16 17 3 Huffman编码步骤 1 信源符号按概率大小顺序排列 按逆次序分配码字的长度 2 出现概率最小的两个符号概率相加合成一个新概率 3 将合成概率看成一个新组合符号概率 重复上述做法 直到最后只剩下两个符号概率为止 4 反过来逐步向前编码 每层有两个分支 分别赋予0和1 构成Huffman码字 2020 2 16 18 总结 Huffman编码构造出的码不唯一 Huffman编码字长参差不齐 Huffman编码在信源编码概率分布不均匀时效率高 效率比较均匀时 效率低 不用Huffman编码 对出现频率较高的码分配短码字 对出现频率较低的码分配长码字 2020 2 16 19 三 算术编码1 原理 算术编码方法是将被编码的信息表示成实数0和1之间的一个间隔 图4 9 信息越长编码表示它的间隙就越小 表示这一间隙所须二进位就越多 大概率符号出现的概率越大对应于区间愈宽 可用长度较短的码字表示 小概率符号出现的概率越小对应于层间愈窄 需要长度较长的码字表示 信息源中连续的符号根据某一模式生成概率的大小来减少间隔 可能出现的符号要比不太可能出现的符号减少范围少 因此只增加了较少的比特位 2020 2 16 20 2 自适应二进制算术编码 1 编码算法举例设编码初始化子区间为 0 1 设大概率MPS Pe小概率LPSQePe 1 Qe编码时 设置两个专用寄存器 C A 初始时 令C寄存器的值为子区域的起始位置A寄存器的值为子区域的宽度 该宽度恰好是已输入符号串的概率 初始化时 C 0A 1随着被编码数据源输入 C和A的内容按以下规律修正 当低概率符号LPS到来时 C CA AQe当高概率符号MPS到来时 C C AQeA APe A 1 Qe 算术编码图4 11 2020 2 16 21 2 解码算法举例解码 按QePe分成两个子区间 判断被解码的码字落在哪个区间 并赋予对应符号 设c 0 0101 b是被解码的值初始值 A 1Qe 0 001当c 落在0 QeA之间 解码符号为D 0 C C A QeA 当c 落在QeA A之间 解码符号为D 1 C C QeA A A 1 Qe 算术解码原理图4 12 2020 2 16 22 算术编码的特点 1 不需要码表 2 当信源概率比较接近时 建议使用算术编码 3 JPEG成员对多幅图进行算术编码效率可以提高5 JPEG扩展系统用算术编码代替Huffman 2020 2 16 23 4 4预测编码一 预测编码的基本概念预测编码是统计冗余数据压缩理论的三个重要分支之一 用预测编码减少数据时间和空间的相关性 1 预测编码基本原理2 预测编码方法分类 2020 2 16 24 线性预测编码 DPCM 非线性预测编码1 DPCM差分脉冲编码调制法DPCM编 解码原理图图4 132 ADPCM自适应预测编码这种编码方法中 量化器的步长和预测器的参数均能根据图象的局部特征作自适应的调整 ADPCM分成两类1 线性自适应预测器2 非线性自适应预测器引进几个和临近象素有关的值 入i和di非线性改变预测的数 所以 叫非线性的自适应预测 采用四点预测 2020 2 16 25 二 帧间预测编码对于序列图象 把几帧的图象存起来 大规模集成电路技术的发展 使用帧间相关性进一步消除图象信号的冗余度 提高压缩比 帧间压缩方法 条件补充法条件次取样法 运动补偿帧间预测 2020 2 16 26 1 条件补充法条件象素补充法规定 若帧间各对应象素的亮度差超过阈值 则把这些象素存到缓存区中 并以恒定传输速度传输 而阈值以下的象素则不传送 在接收端中用上一帧相应的象素代替 在可视电话中用条件补充法传送的象素只占全部象素的6 左右 2 条件次取样法条件补充法和内插法相结合叫条件次取样法 具体做法 在时间轴采用次取样 两个取一个就是次取样 对于未取样的当前场的某点可以采用隔场的四邻点亮度的均值 作为该点亮度的预测值 条件补充 S0 1 4 SA SB SC SD 内插预测值与实际值之差小于阈值后就不传 2020 2 16 27 3 运动补偿运动估计有下述三种方法 1 块匹配法 以象素块为准进行运动估计 将图象分成M N个矩形块 在 M 2Wx N 2Wy 范围内进行搜索以求得最优匹配 从而求得运动矢量估值 dx dy 2 象素递归法 以象素为准进行递归的运动估计 3 傅立叶变换法块匹配法 2020 2 16 28 A 匹配算法归一化相关函数NCCF均方误差MSE帧间绝对差MADB 搜索方法 穷尽搜索法二维对数法 TDL 三步搜索法 TTS 交叉搜索法 CSA 2020 2 16 29 4 帧间预测 采用DPCM Ymn N和 Ymn N 1变化很小 统计结果表明 广播电视节目只有10 以内的象素有变化 Y有2 的变化 UV有千分之十以内的变化 Xmn Xmn emn只传差值 2020 2 16 30 4 5变换编码一 变换编码的特点利用预测编码可以去除图象数据的时间和空间的冗余 它的优点是直观 简捷 易于实现 特别是用于硬件实现 但压缩能力有限 DPCM一般只能压缩到2 4bit 像素 变换编码是进行一种函数变换 映射变换从信号域变换到另一个信号域 例 有两个相邻采样值X1和X2 每一采样值用3bit编码 因此有8个幅度等级 两个为 8 8 64种 变换编码的系统构成 2020 2 16 31 二 变换种类K L变换 离散傅立叶变换 离余弦变换 WALSH变换 Har 4 5 2K L变换它是以统计特性为基础的 也称为特征向量变换 最优的正交变换 特征向量矩阵向量指向数据变化最大的方向 缺点 计算过程复杂 变换速度慢 2020 2 16 32 一 协方差矩阵 P145 二 离散K L变换表达式 P140 特征值和特征向量定义 设A是n阶方矩 如果有数入和n维非零向量x 使得 AX 入x则称 入为A的特征值 x为A对应于特征值入的特征向量 结论 Y向量的平均向量为0 直流分量为0 Y的协方差矩阵 协方差等于0方差对角线按减序排列 2020 2 16 33 4 5 3离散余弦变换 DCT变换 一维离散余弦变换 P147 二维快速离散余弦变换式 4 56 式 4 57 4 6多媒体数据压缩编码的国际标准视频图像压缩编码的国际标准 JPEG标准H 261标准MPEG标准 2020 2 16 34 1 1986年成立了联合图片专家组 JPEG JointPhotographicExpertsGroup主要制定静态图像帧内压缩编码2 CCITT第XV研究所1984年成立了可视电话编码专家组 1988年 提出了H 261标准视频编码器的建议 满足ISDN日益增长的需要可适用于可视电视和视频电话会议 3 1988年成立了MPEG MOVINGPICTUREEXPERTGROUP 2020 2 16 35 4 6 1JPEG标准压缩编码算法及其实现技术JPEG标准定义了两种基本压缩算法 1 基于DCT变换有失真的压缩算法 2 基于空间预测编码DPCM的无失真压缩算法 一 无失真的预测编码无失真编码器 1 预测器 2 熵编码器 2020 2 16 36 二 基于DCT的有失真压缩编码两种不同性能的层次基本系统增强系统1 离散余弦变换 DCT JPEG采用的是8 8大小的子块的二维离散余弦变换DCT 8 8FDCT和IDCT表达式如下 P152 4 58 4 59 2020 2 16 37 2 量化 均衡量化器其量化间隔是等长的非均衡量化器其量化间隔是不等长的自适应量化器其量化间隔是随传送数据而变为了达到压缩的目的 对DCT系数进行量化处理 JPEG利用线性均匀量化器 多到一的映射产生误差 2020 2 16 38 FQ u v IntegerRound F u v Q u v Q u v 是量化器步长 随位量和彩色分量不同 FQ u v FQ u v Q u v 量化特性P137 4 27量度量化表色度量化表 2020 2 16 39 3 熵编码对于DC和AC行程码 再作基于统计特性的熵编码 分两步进行 1 把DC码和AC行程码转换成中间符号序列 2 对这些符号序列赋以变长的码字 1 中间格式由两个符号组成 符号1 行程 尺寸 分组 符号2 幅值 2 可变长熵变码63个AC系数表示符号1符号2零行程长度超过15 有多个符号1块结束EOB只有符号1 00 P155 表4 5 2020 2 16 40 4 6 2MPEG压缩编码标准一 引言1988 1992提出标准化方案 1991年11月提出草案 1992年通过ISO SEC11172JPEG和MPEG同属于一个工作组 1993年11月通过ISO IEC138181995年5月15日正式通过 1 MPEG 1和MPEG 2特点 1 MPEG 1 三百多线X三百多线 适合家庭或终端用 标准不太高 演播级 传输率1 5Mbit s 2020 2 16 41 5教学资源的应用与建设 MPEG 2 最高两千多线 两千多线 可适合HDTV 共有15个标准 我国采用了四个 传输率1 5Mbit s 100Mbit s2 MPEG标准包括四个部分 MPEG系统MPEG视频MPEG音频MPEG测试 检测 2020 2 16 42 二 MPEG数据流结构数据流视频流 运动序列 有 序列头 一组或多组图像序列 序列尾 1 序列头序列头码32bit水平大小12bit垂直大小12bit像素的长宽比4bit图像速率 传输率 4bit位码率4bit结束码32bit 2020 2 16 43 2 一组或多组图像序列图像组 由一系列图像组成 这些图像可以从运动序列中随机抽取 图像 一个图像 静止图像 由三个部分组成一个亮度信号Y两个色差信号UV图像切片 一个或多个宏块组成 切片中宏块的顺序由左到右 由上到下 如果有误差跳到下一个切片位置 使用越多的切片 误差的隐蔽性就越好 宏块 一个宏块由四个亮度块 两个色度块组成 U一个 V一个 一个16 16亮度信息 8 8色度信息 块 8 8亮度 8 8色度 2020 2 16 44 MPEG视频位流分层图结构P157图4 37 2020 2 16 45 三 帧间编码技术MPEG将图像分成三种类型 1 I图像 IntraPicture I图像 I帧 就是静态图像 用JPEG帧内压缩的方法得到 压缩比适度 P图像 PredictedPicture 预测图P图像 P帧 由最近的I帧或P帧经过预测编码得到 称为前向预测 可以作为下一个B或P参照图像 B图像 BidirectionalPicture 双向预测图B图像 B帧 可以使用前一个和后一个图像作参考图像 也可以使用前后两个参考图像 双向预测 帧间编码前向编码后向编码双向预测帧 运动视频流的组成 2020 2 16 46 B图像 BidirectionalPicture 双向预测图B图像 B帧 可以使用前一个和后一个图像作参考图像 也可以使用前后两个参考图像 双向预测 帧间编码前向编码后向编码双向预测帧 运动视频流的组成 2020 2 16 47 四 运动补偿技术主要用于消除P B图像在时间上的冗余 提高压缩效率是在宏块一级 1 四种类型的宏块I块帧内宏块F块前向预测宏块B块后向预测宏块A块平均宏块 内插宏块 双向预测宏块2 三种类型的图像 I图像B图像P图像 2020 2 16 48 3 求运动矢量要解决两个问题1 匹配算法 归一化函数 4 15 均方误差 4 16 帧间绝对差 4 17 2 搜索方法穷尽搜索法MAD二维对数法TDL采用MSE均方误差三步搜索法9个点 步MSE均方误差采用绕参考点逐渐向外生长的方式 2020 2 16 49 五 帧内编码技术帧内编码技术与JPEG相同 4 6 3MPEG 2国际标准1 MPEG 2与MPEG 1的区别 可支持多种采样格式 逐行 隔行 支持恒速率和变速率两种格式 支持对比特流的编辑 MPEG 2是MPEG 1的扩展 丰富 完善 MPEG 2从1 5M 100M分成了很多的Profile 具有可扩充性 Scalable 2020 2 16 50 2 MPEGII视频数据流采用分层编码技术 每个视频节目接不同的空间分辨率和帧速率 MPEG采用可扩展性编码的办法逐步嵌入若干层结构 解码时可以得到不同时间 空间分辨率的视频信号 3 MPEG2提供四种工具 1 空间可扩展性金字塔编码技术低通滤波器基本层比特流STV预测层HDTV2 时间可扩充性可以跨过某些帧 形成基本图象与MPEG 1兼容 隔行15帧 秒逐行60帧 秒 2020 2 16 51 3 信噪比可扩展性量化第一次量化第二次量化4 2 04 2 24 数据划分优先级不同的比特流 1 头信息 运动矢量 量化参数 低频DCT系数放到高优先级 2 将高频DCT级数转到低优先级4 6 4MPEG 4标准介绍1 MPEG 4主要特点 1 MPEG 4的编码是基于对象的 这样就便于操作和控制对象 可以实现许多基于内容的交互性功能 主要用于基于内容的多媒体数据存取 游戏或多媒体家庭编辑 网上购物和电子商店 远程监控 医疗和教学等 2020 2 16 52 2 MPEG 4在扩展性上具有很好的灵活性 可进行时域和空域的扩展 兼容MPEG 2扩展功能 主要用于互联网和无线网等窄带的视频通讯 多质量视频服务和多媒体数据库预览等服务 3 MPEG 4的编码具有鲁棒性和纠错功能 主要用于在