《相关信源编码》PPT课件.ppt

第3章相关信源编码 3 1预测编码3 2变换编码 3 1预测编码 预测编码 PredictiveCoding 是数据压缩三大经典技术 统计编码 预测编码 变换编码 之一 预测编码是建立在信号 语音 图像等 数据的相关性之上 较早用于信源编码的一种技术 它根据某一模型 利用以往的样本值对新样本进行预测 以减少数据在时间和空间上的相关性 达到压缩数据的目的 但实际利用预测器时 并不是利用信源的某种数学模型 而是基于估计理论 现代统计学理论设计预测器 这是因为信源的数学模型的建立是十分困难的 有时无法得到其数学模型 例如 时变随机系统 利用信源输出产生的任何影响 并不直接涉及到信源本身 所以预测器可以独立进行工作 利用现代统计学和控制论的 时间序列分析 理论 可以较好地解决复杂系统的输出状态问题 预测器对样本的预测 通常是利用样值的线性或非线性函数关系预测现时的系统输出 由于非线性的复杂性 大部分预测器均采用线性预测函数 科尔莫戈罗夫 Kolmogorov 维纳 Wiener 卡尔曼 Kalman 等人在20世纪40年代对线性预测理论就作出了杰出贡献 他们建立了以最小均方量化误差为准则的最优预测理论与方法 广泛应用于通信工程和航天航空飞行器的控制等方面 促进了数字技术的迅速发展 形成了用于数据压缩的预测编码理论 3 1 1预测编码的基本原理 对于有记忆信源 信源输出的各个分量之间是有统计关联的 这种统计关联性可以加以充分利用 预测编码就是基于这一思想的技术 它不直接对信源输出的信号进行编码 而是将信源输出信号通过预测变换后再对信源输出与被预测值的差值进行编码 其原理图如图3 1所示 图3 1预测编码原理图 设信源第i瞬间的输出值为ui 而根据信源ui的前k k i 个样值 给出的预测值为 3 1 式中 f 预测函数 f可以是线性也可以是非线性函数 线性预测函数的实现比较简单 这时预测值为 3 2 式中 aj 预测系数 则第i个样值的预测误差值为 3 3 根据信源编码定理 若直接对信源输出ui进行编码 则其平均码长应趋于信源熵 3 4 若对预测变换后的误差值e进行编码 其平均码长应趋于误差信号熵 3 5 显然 从信息论观点 预测编码能压缩信源数码率的必要条件为 3 6 由于信息熵是概率分布的泛函数 故概率分布越均匀 熵越大 概率分布越不均匀 熵就越小 可以证明预测差值的概率分布比原始信号的概率分布要集中 所以H E H U 则式 3 6 成立 信源通过预测以后数据压缩 或连续时的频带压缩 倍数就越大 从预测编码原理可以看出 实现预测编码要进一步考虑三个方面的问题 首先是预测误差准则的选取 这个问题决定预测质量标准 其次是预测函数的选取 最后一个问题是预测器输入数据的选取 后两个问题决定预测质量的好坏 关于预测函数的选取 一般是采用工程上比较容易实现的线性预测 一旦线性方程确定下来以后 预测的精度与k值大小有直接关系 k愈大 预测愈精确 但设备愈复杂 k愈小 精度愈差 但设备愈简化 所以k值大小要根据设计要求和实际效果而确定 关于预测器输入数据的选取 是指选取何处的原始数据作为预测器的输入依据 一般可分为开环 闭环和开环闭环两者的混合三类 开环直接从信源输出选取待测瞬间i的前k位 即i 1 i 2 i k位作为预测器的输入依据 闭环则取误差函数的输出端反馈到预测器中的i位以前的k位作为预测器的主要输入依据 关于预测误差准则的选取 是指预测误差所依据的标准 目前大致可采用四种类型准则 它们分别是最小均方误差 MMSE 准则 功率包络匹配 PSEM 准则 预测系数不变性 PCIV 准则和最大误差 ME 准则 其中最小均方误差准则是最基本 最常用的准则 而预测系数不变性的主要特点是 它预测系数与输入信号统计特性无关 因而能对多种混合信号进行有效的预测 最大误差准则主要用于遥测数据压缩 可以证明 在均方误差准则下 按条件期望值进行预测是最佳预测 然而它必须已知ui的联合概率密度函数 这一般是很困难的 但是对于广义平稳正态过程 只要已知二阶矩相关函数就等效于已知ui的联合概率密度函数 这时 线性预测与最佳预测是等效的 因为对正态信源 线性无关与统计独立是完全等效的 所以 能完全解除线性相关性的信源 即是符合统计独立的无记忆信源 3 1 2预测方法 预测就是从已收到的符号来提取关于未收到的符号信息 从而预测其最可能的值作为预测值 并对它与实际值之差进行编码 达到进一步压缩码率的目的 由此可见 预测编码是利用信源的相关性来压缩码率的 对于独立信源 预测就没有可能 因而预测编码也就无用了 预测的理论基础主要是估计理论 估计就是用实验数据组成一个统计量 作为某一物理量的估值或预测值 最常见的估计是利用某一物理量在干扰下测定的实验值 这些值是随机变量的样值 可根据随机量的概率分布得到一个统计量作为估值 若估值的数学期望等于原来的物理量 就称这种估计为无偏估计 若估值与原物理量之间的均方误差最小 就称之为最佳估计 用来预测时 这种估计就成为最小均方误差的预测 所以也就认为这种预测是最佳的 利用预测值编码的方法可分为两类 一类是对实际值与预测值之差进行编码 在连续信源的情况下 就是对此差值量化或取一组差值进行矢量量化 由于相关性很强的信源可较精确地预测待编码的值 该差值的方差将远小于原来的值 在同样失真要求下 量化级数可明显地减小 从而较显著地压缩码率 对于离散信源也有类似的情况 另一类方法是根据差值的大小 决定是否需传送该信源符号 例如可规定某一可容许值 当差值小于它时可不传送 对于连续函数或相关性很强的信源序列 常有很长一串符号可以不传送而只需传送这串符号的个数 这样 能大量压缩码率 在用外推法预测时 也可根据已知符号 通过预测规定一扇形区 在该扇形区内的实际值都可不传送 这类方法尚可提出一些其他形式 一般是按信宿要求设计的 也就是失真应能满足信宿需求 1 线性预测 若样值和预测值之间呈线性关系 这种预测称为线性预测 否则称为非线性预测 常用的几种线性预测方案有 1 前值预测 即 2 一维预测 即用ur的前面已知的k个已知样值预测ur的值 预测公式如式 3 2 所示 3 二维预测 也称为非线性预测 即预测值与样值之间为非线性关系 在图像数据压缩中 一维预测就是用同一扫描行中的前几个已知的样值预测一个新值 而二维预测就是不但要用ur的同一扫描行以前的几个已知的采样值 还要用ur的前几行中的采样值来预测ur 2 最优预测 最优线性预测就是按照某种准则 选择线性预测系数使得预测误差为最小 最基本 最常用的准则是均方误差 MSE MeanSquareError 换句话说就是使 2e E e2r 为最小 假如信源u是平稳随机过程 预测系数am m 1 2 k就是 2e的变量 求 2e E e2r 对各个am的偏导数 并令其为零 就可求出E e2r 为极小值时的各个线性预测系数am 3 7 于是得 3 8 由式 3 8 得 3 9 式中 E ur jum 为ur j和um的协方差 记作Rr j m m j 1 2 k 由式 3 9 得 Rr m E a1ur 1um a2ur 2um akur kum a1Rr 1 m a2Rr 2 m akRr k m 3 10 3 自适应预测 当信源是一个平稳随机过程 可以使用固定参数预测器进行预测 当信源为非平稳过程 或总体平稳 但局部不平稳时 利用固定参数设计预测器 显然就不合理了 对这种信源应采用自适应预测编码的方法 所谓自适应预测就是预测器的预测系数不固定 随信源特性而有所变化 如果充分利用信源的统计特性及其变化 重新调整预测系数 这样就使得预测器随着输入数据的变化而变化 从而得到较为理想的输出 有些信源的统计特性从整体上看是非平稳过程 但在一定的时间 或范围 内把它看作平稳过程 还是合理的 例如 图像的平坦区 语音信源的基音段 因此 可以把信源看成由多个平稳子过程构成的组合信源 可以证明组合信源模型的熵低于把非平稳信源作为单一平稳信源的熵 这样采用自适应预测可进一步减小预测误差和降低数码率 自适应预测方法很多 一般可分为线性自适应预测和非线性自适应预测两大类 3 1 3预测编码的基本类型 预测编码 特别是线性预测编码已在信息与通信系统的信息处理中被广泛地采用 吴伟陵总结出了其中最常用的四种 1 DPCM型 DPCM即差分脉码调制 其工作原理如图3 2所示 图3 2中 信源输出序列ui即为DPCM输入序列 ui与预测值相减得误差值ei 再将ei量化成数字序列xi 经信道传输后变成yi序列 在接收端将接收到的yi与在接收端形成的预测值相加 可得恢复后的信源序列 同时又将反馈到接收端线性预测器 以求得下一瞬间的预测值 由于预测误差ei的熵 或者方差 远远低于输入序列ui的熵 或者差值 所以经预测后可以很大程度地提高压缩信源的数码率 DPCM型编 译码原理及误差在3 1 4节中介绍 图3 2DPCM型原理图 2 PCM型 PCM的工作原理如图3 3所示 PMC与DPCM主要区别有两点 一是 线性预测器输入的原始数据的选取不一样 PCM直接从输入序列即信源输出ui中选取 而DPCM则从量化器输出的xi中选取 另一个不同点是 量化器的位置不同 PCM在反馈环外 属开环型 DPCM则在环内 属闭环型 若仅从预测角度看 基本原理是一样的 都是由线性预测滤波器构成的 由于它没有DPCM的反馈预测环路 因而其实现比较简单 若将 PCM型中的量化器改成一种霍夫曼编码器 则可更好地完成信源的数据压缩功能 图3 3 PCM型原理图 3 NFC型 噪声反馈编码 NFC 是 PCM的改进型 其原理如图3 4所示 由于 PCM型的量化器位于反馈环外 量化误差不能像DPCM那样进行反馈压减 那就不妨在 PCM型的基础上加以改进 即把xi与ei相减后的量化误差qi 通过一加权滤波器再与di ui 相减 这样通过增加一个反馈闭合环路可以将量化误差 噪声 纳入闭合环路内以达到压减量化误差的目的 所以噪声反馈型实质上是上述DPCM与 PCM的混合型 它采用类似于 PCM的开环线性预测 同时又采用类似于DPCM型的闭环来压减量化误差 图3 4噪声反馈编码原理图 4 预测误差门限型 设信源输出序列为u0u1u2 uiui 1 若使用前值预测 计算预测误差 ei ui ui 1 3 11 若 ei K 则不传送 若 ei K 则传送 其中K为最大误差的门限值 它是误差容限值 即信宿可接受的最大误差值 信号间相关性越强 在一定的误差容限值K之下 传送的数据就越少 反之信号相关性越弱 传送的数据就越多 若选择的预测值不仅仅是前一个样值 而是前N个样值的线性加权和 则可构成高阶预测误差门限型 其原理与上述零阶预测一致 但是由于这样引入了非线性的门限比较器 所以它实质上是一种非线性预测器 3 1 4DPCM编译码原理 在3 1 2节讨论的预测方法 力求从理论上达到预测误差最小或接近最小 这样往往使计算复杂 因而实现起来较困难 而且一般还需有精确的统计特性 所以实际上 常采用差值编码或前值预测编码来解除相关性以压缩码率 这在信源序列相关性很强和邻值间的相关系数接近1时是很有效的 也是最常被应用的方法 此时预测值是相邻两个符号值之差或者就是前一个符号的值 并对此预测值进行编码 这种方法不但可用于连续信源 也可用于离散信源 差分脉码调制和增量调制这两种方法常用于语音编码 当然也能用于图像编码 语言和图像这两种常见的信源 邻值间的相关性一般都是相当强的 因为采样频率必须较高 才能保证质量 从采样定理可知 采样频率必须大于信号频带的两倍 对于语音信号 若频带过小 会丢失高频分量而影响音质 对于图像信号 频带意味着水平清晰度 频带不够就使图像模糊 采样频率足够高 相邻样值的时间间隔就小 相关系数就会接近1 适宜用差值编码 差值编码中的差分脉码调制的工作原理已在3 1 3节中介绍过 下面介绍DPCM的编译码原理 最简单的DPCM是增量调制 又称为 M 这时差值的量化级定为2 也就是当差值为正时 用 1 表示 差值为负时 用 0 代表 每个差值只需1比特 一般地说 要减少量化失真 则必须增加取样频率fm 即不能再采用常用的2fm 其中fm为信源上限频率 在译码时 为相反变换 即规定一个增量值 当收到 1 时在前一个值中加上一个 值作译码输出 收到 0 时 则在前一个值中减去一个 值作为译码输出 其原理图如图3 5所示 编 译码器的输入 输出波形如图3 6所示 如果在信道中不传送预测误差ei 而是传送线性预测器中的各项系数 参量 ai 往往传送参数ai所需的数码率远远低于传送原始信源数据ui的数码率 在接收端可以采用一随机噪声序列代替原来接收到的序列yi 则在一定条件下也可再现原始信源输出序列ui 显然 它也是一种变型线性预测编码 在语音压缩中 称它为线性预测声码器 Vocoder 可见 它是DPCM的一个特例 由于在DPCM型中 量化器位于反馈环内 故又称为闭环型 它可以使环内残存量化误差大为减少 图3 5DPCM增量调制编 译码原理 图3 6DPCM增量调制编 译码器的输入 输出波形 a 编码器输入及编码输出 b 译码器的恢复波形 由上述分析可见 估值和实际值之间存在着两类误差 一类是量化误差 另一类是过载误差 一般情况下 量化误差的绝对值小于 当阶梯曲线跟不上连续曲线的上升斜率 或下降斜率 时而产生的误差称为过载误差 或失真 当所选的级差 小时 易产生过载失真 此时的量化误差可较小 反之 大时 量化误差将增大 而过载误差就减少 过载误差与信号的斜率有关 斜率越大 越容易出现过载 下面讨论量化误差对系统的影响 由式 3 2 可知 线性预测器的响应为 其Z变换为 可见 线性预测器的响应为 3 12 3 13 3 14 式中 aj 第j项加权系数 k 预测阶次 由图3 2中接收部分的框图可知 3 15 3 16 式 3 16 表明 线性预测器为一全极点滤波器 故又称为全极点模型 DPCM预测误差信号为 3 17 3 18 式中 qi 量化误差 或量化噪声 在接收端恢复后的重建信号为 无传输差错时 将式 3 17 3 18 代入式 3 19 得 3 19 3 20 3 2变换编码 众所周知 信源序列往往具有很强的相关性 要提高信源的效率首先要解除信源的相关性 解除相关性可以在时域上进行 这就是上节中介绍的预测编码 也可以在频域 甚至在广义频域内进行 这就是要在本节中介绍的域变换编码 在信号分析中 对连续的模拟信号 如果它是周期性的 则可采用傅氏级数展开 若是非周期性的 则可采用傅氏积分 变换 来表示 但无论是级数还是积分 都属于一类正交变换 是从时域展开成频域的变换 同理 对离散的数据序列信号也可引入同样的离散傅氏变换 而且 还可以进一步将其推广为广义的频域变换 在这一节中 首先从解除相关性的需求入手 寻求最佳的域变换 上一节讨论的在空间和时间域上压缩信源数据冗余量的预测编码的最大特点是直观 简洁 易于实现 特别是容易设计出具有实时性的硬件结构 但是预测编码的不足在于压缩能力有限 具有更高压缩能力的方法和目前最为成熟的方法是变换编码 特别是正交变换编码方法和目前尚处于研究阶段的小波变换编码 这两种方法都具有很强的数据压缩能力 变换编码的基本原理就是将原来在空间域上描述的信号 通过一种数学变换 例如 傅里叶变换 正交变换等 变换到变换域 如频率域 正交矢量空间 中进行描述 简单地讲 即把信号由空间域变换到变换域中 用变换系数来描述 这些变换系数之间的相关性明显下降 并且能量常常集中于低频或低序系数区域中 这样就容易实现码率的压缩 而且还大大降低了实现的难度 3 2 1变换编码的基本原理 设信源输出为一个一维消息U u1 u2 un 经变换后输出为X x1 x2 xn 故有 X PU 3 21 由正交性ATA A 1A I 则有 U P 1X PTX 3 22 式中 P 实正交变换矩阵 PT 矩阵P的转置矩阵 P 1 矩阵P的逆矩阵 I 单位矩阵 如果经正交变换后 只传送M M n 个样值 而将余下的n M个较小的样值丢弃 这时接收端恢复的信号为 3 23 式中 如何选择正交矩阵P 使M值较小 且使被丢弃的n M个取值足够地小 以至于既能得到最大的信源压缩率 同时又使丢弃掉n M个取值以后 所产生的误差不超过允许的失真范围是我们关心的问题 因此 正交变换的主要问题可归结为在一定的误差准则下 寻找最佳或准最佳的正交变换 以达到最大限度地消除原消息源之间的相关性 正交变换为什么能解除相关性呢 下面讨论这个问题 由矩阵代数理论可知 对于任意两个随机变量x y间的相关性可以用x y的协方差 相关距 表示 一个信源U的各分量间的相关性可以用信源各分量间协方差矩阵 U表示 其定义为 3 24 式中 U 信源输出U的协方差矩阵 E 数学期望 ij ui uj协方差 可以证明U的协方差矩阵 U是一个实对称矩阵 它能反映矢量U各分量间的相关性 若各分量之间互不相关 则协方差矩阵 U只在主对角线上有非零元素 主对角线上的非零元素代表各分量间的方差 即自相关性 非对角线上的元素表示各分量之间的协方差 即互相关性 由矩阵代数可知 对于一个实对称矩阵A A AT的矩阵 必存在一个正交矩阵P 使得 3 25 式中 1 2 n 实对称矩阵A的n个特征根 可见正交变换能解除相关性 信源U经正交变换后的输出X协方差矩阵可定义为 X E X E X X E X T E PU E PU PU E PU T PE U E U U E U T PT P UPT 3 26 式中 X 信源U正交变换后的信号X的协方差矩阵 X 信源U经正交变换后的矢量 P 正交变换矩阵 PT 正交变换矩阵P的转置矩阵 为了达到信源压缩的目的 希望通过矩阵P的正交变换后 X只保留主对角线上的部分自相关值 即希望其值随i与j值的增大而迅速减小 从而只需取M M n 个数值 同时希望各互相关分量均为0 即最大限度地消除原来信源间的相关性 这也就是研究正交变换的主要指导思想 下面给出最佳正交变换和准最佳正交变换的概念 所谓最佳是指在一定的条件 即准则 下的最佳 而这些准则有客观的也有主观的 这里是按照客观统计上的最小均方误差准则 MMSE 寻求最佳的正交变换 最佳变换是指变换后的协方差矩阵 X为理想对角线矩阵 这表明经正交交换后完全消除了互相关性 所谓准最佳变换 是指变换后的协方差矩阵 X是近似对角形矩阵 由矩阵代数的相似变换理论可知 任何矩阵都可相似于约旦 Jordan 标准型所构成的矩阵 而约旦标准型就是准对角形矩阵 即矩阵的主对角线上均为特征值 i i 1 2 n 而在对角线下仅有若干个不为0的1值 所谓相似变换 是指总能找到一非奇异矩阵P使得P 1AP B 这时称A与B相似 如果P为正交矩阵 则有 P 1AP PTAP B 3 27 式 3 27 从理论上说明 总能找到对角化或准对角化的正交变换矩阵 根据矩阵代数理论 正交矩阵P不是惟一的 下面介绍几种常用的正交变换方法 3 2 2卡胡南 列夫变换 KLT 设X是一个n 1的随机矢量 则X的每个分量xi都是随机变量 X的平均矢量 均值 可以由L个样本矢量来估计 3 28 MX协方差矩阵估计值为 3 29 协方差矩阵是实对称的 对角元素是单个随机变量的方差 非对角元素是它们的协方差 X向量经线性变换后产生一个新向量 Y P X MX 3 30 式中 P的各行是 X的特征矢量 为了方便起见 以相应的特征值由大到小递减的顺序来排列各行 得到的Y是期望值为零的随机向量 Y的协方差矩阵 因为P的各行是 X的特征矢量 故 Y是一个对角阵 对角元素是 X特征值 也是 Y的特征值 这就是说 随机矢量 Y是由互不相关的随机变量组成的 因此线性变换P起到了消除变量间相关性的作用 换言之 每个特征值都是变换后第i个变量yi的方差 3 31 通过变换向量Y可以重构向量X X P 1Y PTY 3 32 由此可知 要实现KLT变换 首先要求出矢量X的协方差矩阵 X 再求协方差矩阵 X的特征值 i 然后求 i对应的 X的特征向量 用 X特征向量构成正交矩阵P 可见由特征矢量所构成的正交变换是最优的正交变换 又称它为卡胡南 列夫 Karhunan Loeve 变换 简称为KLT变换 KLT变换不但可解除相关性 对正态过程还能使分量独立 以利于信源的压缩 而且还可以忽略一些高阶项 即从M 1到n的项 而不至于过分影响误差 下面讨论这个问题 由于KLT变换前后的向量分量个数是相同的 但变换后的各分量与变换前的各分量的值是不一样的 变换后出现了许多很小的值 若要压缩数据 就必须删除一些能量较小的分量 下面讨论这样做产生的误差 删除一些能量较小的分量后 对剩下的M个分量进行编码 译码也只能恢复M个分量 误差可表示为 其均方误差为 归一化正交得 3 33 3 34 3 35 若求 2e的最小值 令 得 3 36 因正交矩阵 3 37 式 3 36 变为 3 38 代入式 3 35 得 3 39 3 40 所以最小均方误差值为 通过改变 i次序可得 1 M M 1 n 3 41 即丢弃的高阶项 M 1至 n是一些最小的项 故误差值最小 KLT变换在均方误差准则下是最佳的正交变换 但是由于以下两个主要原因 实际很少被采用 首先 在KLT变换中 特征矢量与信源统计特性密切相关 即对不同的信源统计特性 协方差矩阵应该对应不同的特征值才能达到最佳化 这显然是不大现实的 其次 KLT变换运算很复杂 而且目前尚无快速算法 所以很少实际应用 通常仅作为理论上的参考 正因为KLT变换的实现比较困难 实用意义不大 因而人们将眼光逐步转向寻找准最佳的有实用价值的正交变换 目前人们已寻找到不少这类准最佳正交变换 它们分别是离散傅里叶变换 DFT 哈尔变换 HRT Walsh Hadamard变换 WHT 斜变换 SLT 离散余弦变换 DCT 离散正弦变换 DST 等 相比较发现DCT和DST虽然在理论上不是最优 但是它们在去相关与能量集中性上仅次于KLT变换 而且均具有快速算法 3 2 3离散余弦 DCT 变换使用KLT变换需要知道信源的协方差矩阵 再求出协方差矩阵的特征值和特征矢量 然后据此构造正交变换矩阵 但求特征值和特征矢量是相当困难的 特别是在高维信源情况下 甚至求不出来 即使借助于计算机求解 也难于满足实时处理的要求 DCT变换在压缩效率上略逊于KLT变换 但由于其算法的高效性及结构上的规律性 且有快速算法 它已经成为H 261 JPEG及MPEG等国际标准的主要环节 下面介绍一维DCT定义及其算法 以求和形式表示的一维DCT定义为 3 42 式中 3 43 其矢量形式为 式中 离散余弦变换 DCT 形式为 离散余弦的反变换 IDCT 的求和形式为 3 45 式中 其矢量形式为 3 46 离散余弦的反变换 IDCT 的形式为 3 47 3 2 4变换编码方法的特性 下面以图像信源为例 说明变换编码的特性 正交变换方法最重要的特点是能量主要集中分布在信号的低频或低序区域 使大多数变换系数为零或很小的数值 若在信源质量允许的条件下 可以舍弃能量较小的系数 或者分配其很少的比特 这就是正交变换能实现高压缩率的根本原因所在 虽然DPCM方法也能使变换系数出现很多的零或小幅值系数 但是它的这些幅值分布在全空间范围内 对每个系数均需要编码 正交变换方法按统计规律集中分布在一定的区域上 无需对每个系数编码 可以证明二维Passevel定理成立 即对于二维酉变换下式成立 3 48 式中 变换前的信号 变换后的信号 也就是说变换域中的能量与原来空间域中的信号能量保持不变 式 3 48 对于数据压缩的指导意义在于 只有当空间域信号能量全部转换到某个变换域后 有限个空间取样值才能完全由有限个变换系数对基矢量加权来恢复 正交变换可以使相关的空间样值变为不相关或弱相关的变换系数 即正交变换能消除存在相关性中的冗余度 实践已经证明正交变换能使矢量信号的各个分量互不相关 即变换域信号的协方差矩阵为对角线型 在一定条件下甚至可以使这些系数相互独立 这样就使有记忆信源变成了无记忆信源 因为归一化正交变换的雅可比 Jacobin 行列式的值等于1 这说明经过正交变换不丢失信息 因此可以用传输变换系数来达到传输信息的目的 由于归一化正交变换具有熵不变性 因此可得到图像原始数据块的极限熵H 或接近于 这就保证了用正交变换对原图像作霍夫曼编码 DPCM编码将有更大的压缩能力 事实上 DPCM方法由于受到图像扫描因果关系的限制 采用m阶预测器一般得不到Hm 1 这是因为图像并不是理想的马尔可夫链 只会与前几个像素或与周围的部分像素有关 若用正交变换 可对块内的全部数据进行变换 去相关性 因此 可使变换域内的像素出现高阶熵 该高阶熵由数据块内的相关性决定 根据信息熵知识 lbM H0 H1 H2 HM H 可知 高阶熵总是低于一阶熵 根据信息的率失真函数R D 理论 数码率可降低 前面介绍的KLT算法在理论上是最佳的 因此可作为其他离散正交变换好坏的参照点 另外对KLT算法人们一直在寻找其特征值与特征矢量的快速算法 但进展不大 另一方面人们不断地探求一些其他变换方法 虽然它们不是 最佳 的方法 但是也有很好的去相关性与能量集中性 且实现方法方便 快速 下面简单介绍这些方法的优缺点 离散傅里叶变换 DFT 不对信源本身编码 只对变换系数进行编码和传输 具有蝶形快速算法 但是DFT是一种复数变换 运算量大 实用困难大 WHT变换与DFT相比 运算量明显减少 这是因为WHT具有DFT的快速算法结构 且只有加 减运算而无乘法 但是实践证明经WHT变换后 其能量集中程度不如DFT HRT变换具有比WHT更快的运算速度 但其能量集中的程度比WHT更差 DCT DST既具有运算速度较快 具有快速算法 而且经DCT DST后的能量集中性仅次于KLT DCT的变换矩阵的基矢量近似于托伯利兹 Toeplitz 矩阵的特征矢量 由于托伯利兹矩阵能体现人类语音和图像信号的相关特性 因此 对于大多数相关性很强的图像数据 DCT是KLT目前最好的替代 所以称DCT为次最优正交变换 从变换后的能量集中程度的优劣来看 各种正交变换的由优至劣的顺序为 KLT DCT SLT DFT WHT HRT 若从运算量的大小 它们由小到大的顺序依次为 HRT WHT SLT DCT DFT KLT 下面介绍变换矩阵阶数的选择 在图像变换编码中 通常把图像数据分成若干个子数据块 然后对子数据块实施某种正交变换 因为若变换矩阵阶数取小 虽然便于自适应 计算速度快 实现简单 但方块效应严重 严重时会使恢复的图像出现 波纹 若变换矩阵阶数取大 虽然去相关效果好 因为DFT DCT DST等正弦型变换均具有渐近最佳性 即当变换点数趋于无穷大时 其去相关性能将趋于KLT的 可把图像等数据的协方差矩阵对角化 但HRT WHT等除外 但渐趋饱和 若阶数太大 由于图像本身的相关性将很小 反而使其压缩效果不明显 却使运算的复杂性增加 造成变换的实时性差 因此子数据块取4 4 8 8 16 16为好 对变换后的系数 保留哪些用作编码和传输将直接影响信号恢复的质量 变换系数的选择原则是保留能量集中的 方差大的系数 系数选择方法通常有区域法和阈值控制系数选择法两种方法 区域法就是对设定形状区域内的变换系数进行量化编码 区域外的系数就被舍去 一般来说 变换后的系数值较大的都会集中在区域的左上部 低频率分量都集中在此部分 需要保留这一部分 其他部分的系数将被舍去 恢复信号时再对它们补以零 这样 由于保留了大部分信号能量 在恢复信号后 其质量不会产生显著变化 研究表明 以均方误差为准则的最佳区域是所谓的最大方差区域 区域法编码的明显缺陷是高频分量完全丢失 由其恢复的图像的轮廓及细节模糊 克服这一缺陷的方法是 可以预先设定几个区域 根据实际系数分布的情况自动选取能量最大的区域 阈值控制系数选择法根据系数分布的实际情况设定阈值的大小 若变换系数超过该阈值 则保留这些系数进行编码传输 对于小于阈值的则补以零 这样 多数低频成分被编码输出 而且少数超过阈值的高频成分也将被保留下来进行编码输出 这在一定程度上弥补了区域法的不足 但这种选择系数的方法有两个问题需要解决 一个是被保留下来进行编码的系数在矩阵中的位置是不确定的 因此 尚需增加 地址 编码比特数 其码率相对地要高一些 另一个问题是 阈值 需要通过实验来确定 当然也可以根据总比特数 进行自适应阈值选择 但这样做需要一定的技术 并且将增加编码的复杂程度 3 2 5子带编码 子带编码 SBC SubbandCoding 的基本概念是在1976年由R E Crochiere等人作为语音编码算法提出来的 此后 这一方法在中比特率语音编码中得到了广泛的应用 子带编码的基本思想就是将信号的频带划分为不同的子带 对于每一个子带 可以选择适合其统计特性的编码器 子带编码有两个重要的优点 一是 一个子带编码产生的误差仅限于这个子带 而不会轻易地扩展至其他子带 这就避免了误差在整个频带内的扩散 二是 对各个子带可以实现不同编码比特率的分配 这对于实现可变比特率编码和动态分配带宽等都是很重要的 1 子带编码与滤波器组 子带编码的概念可以用图3 7来解释 信号X Z 通过一组分析滤波器Hi Z 由于要减小带宽 各滤波器输出分量用一新的奈奎斯特频率重抽样 产生子带信号 各子带信号经过编码 传输 到达目的地进行译码 为了重构原信号 必须恢复原带宽 各子带信号按X Z 的采样频率插入零值 再通过一组综合滤波器