《限失真信源编码》PPT课件.ppt

第七章限失真信源编码 本章需要掌握的内容 失真测度率失真函数限失真信源编码定理 第一节失真测度 一 失真函数 失真函数 用一个非负函数d xi yj 表示当信源发出信息xi 而信宿收到信息yj的失真度的定量描述 失真矩阵 d 注意 失真函数的形式是依实际情况人为决定的 最常用的失真函数有 矢量失真函数 例7 1假定离散矢量信源N 3 输出矢量序列为X X1X2X3 其中Xi i 1 2 3的取值为 0 1 经信道传输后的输出为Y Y1Y2Y3 其中Yj j 1 2 3的取值为 0 1 定义失真函数为d 0 0 d 1 1 0 d 0 1 d 1 0 1 求矢量失真矩阵 dN 解 由矢量失真函数的定义得 类似可以得到其他失真函数的值 则矢量失真矩阵为 用来估计全体信源发出的信息与接收信息之间的失真程度 二 平均失真函数 定义 失真函数的数学期望定义为平均失真函数 平均失真度 矢量平均失真函数为 表示第i个位置上符号的平均失真函数 例7 2在语音线谱频率参数的矢量量化中 引入失真函数d X Y 该失真函数反映用码字Y代替线谱频率参数X时付出的代价 平均失真测度为失真函数的数学期望值 通常我们采用加权欧氏失真测度 实验证明该方法比均方误差失真每帧节省2个比特以上 第二节信息率失真函数 在采样率为8kHz的语音信号的子带编码中 如果采用小波变换把语音信号分解为4个子带 即2 4kHz 1kHz 2kHz 500 1000Hz 0 500Hz 一 保真度准则 规定平均失真度为D 则信源压缩后的平均失真度的准则为保真度准则 当失真函数及信源给定后 选择适当信道 使其平均失真度满足保真度准则 所有满足保真度准则的信道 称为D失真允许试验信道 记作 在D允许信道中可以寻找一个信道 使得给定的信源经过此信道传输时 其信道传输率达到最小 这个最小值定义为信息率失真函数 记为 二 信息率失真函数R D 含义 率失真函数是在给定信源 规定失真函数后 在满足保真度准则的前提下 为了再现信源信息 信宿从信源必须获取的最小平均信息量 也就是信源必须传输给信宿的最小信息率 解 由信源概率分布可求出信源熵为 此时信源编码器的输出信息率为 按照最大的失真度来进行编码 即平均失真度 也就是说 当收到100个符号 允许其中有50个符号发生错误 设想采用下面的编码方法 用信道表示如下 该信道的平均失真度为 由平均互信息的公式可知 该编码方法相当于一个确定信道 则 信道输出概率分布为 则输出熵为 平均互信息 即采用上面的编码方法后的信息率 比较率失真函数和该信道的信息率有 说明该编码方法不是最好的编码方法 从两个方面应用这个率失真函数 在WI语音压缩编码中 线谱频率的量化采用矢量量化 它是从第二个方面应用率失真函数来指导的 目前 每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量 连续信源 三 率失真函数R D 的定义域 信道传输的信息量等于信源的熵 即 1 离散信源 2 的定义域为 如何求解出呢 此时的平均失真为 四 率失真函数的数学特性 1 下凸性 2 R D 是关于D的单调递减函数 结论 五 R D 函数的计算 设信源的输入序列为 信源编码器的输出序列为 规定失真函数为 的计算是在约束条件 通常情况下 引入拉格朗日乘法 引入乘子s和 将上述条件极值问题转化为无条件极值问题 1 计算 i 1 2 n 2 计算 3 计算 4 计算 1 率失真函数的参量算法 例7 5 设信源输入符号集为 0 1 其中 失真函数定义为 设输出符号集为 0 1 允许的失真度为D 求率失真函数R D 则有 解出 则有 解出 得到平均失真度为 则解出参量s为 2 率失真函数的迭代算法 A 迭代计算公式 B 迭代计算步骤 假定S1为以相当大的负值 选定起始传递概率 可取 将选定的 代入 得到 将 代入 得到 再将 代入 得到 当 和 的差别小于预先给定的值 取 或 作为 的近似值 选略小一些的负数s2 重复上述迭代过程 得到对应于s2的 重复上述过程 直到 逼近零 重复前面的步骤 计算出第k次和第k 1次的 和 第三节限失真信源编码定理 限失真信源编码定理 设离散无记忆信源X的信息率失真函数为R D 当信息率R R D 时 只要信源序列长度L足够长 一定存在一种编码方法 其译码失真小于或等于D 为任意小的正数 反之 若R R D 则无论采用什么样的编码方法 其译码失真必定大于D 定理指出 在失真限度内使信息率任意接近R D 的编码方法存在 然而 要使信息率小于R D 平均失真一定超过失真限度D 说明 R D 且允许平均失真度情况下 信源信息压缩的下限值 第四节常用限失真信源编码方法简介 一 标量量化 设门限为 则 通过量化器传输的信息率 量化带来的平均失真D为 设有信源序列 可令预测值为 二 预测编码 预测是用过去值预测未来值 并对它与实际值之差进行编码 达到进一步压缩码率的目的 预测编码是利用信源的相关性来压缩码率的 对于独立信源 预测就没有可能 线性预测是预测函数为各已知信源符号的线性函数 即 三 变换