第四章-限失真信源编码

第四章限失真信源编码 限失真编码 信源编码经过译码后能保留应用要求的信息 允许信源有一定的失真 为什么要限失真编码1 连续信源的绝对熵为无限大 由于信道的带宽有限 受信道容量的限制 不可能实现完全无失真的信源信息的传输 可能性 2 信道资源和技术经济因素的限制 可实现性 3 实际应用不必要无失真地恢复信源消息 不必要完全无失真的信源信息的传输 必要性 4 数字系统的应用 模拟量的采样 量化也会引入失真 语音信号传输语音 音频 信号的带宽 20 20000HZ实际应用音频范围 电话质量 300 3 4KHZ电话公用网调幅广播质量 50 7KHZ有现场感的语音传输高保真音频信号 20 20KHZ高保真音响图像信号传输一路6MHz的普通电视信号数字化后 其数码率将高达167Mbps 对储存器容量要求很大 占有的带宽将达80MHz左右 表4 1各种图像信号应用的码率 一 连续消息的统计特性 时间连续 取值连续 2 描述 随机过程 1 波形信源 例如 在一个具体的时间点ti x ti 为一个取值连续的随机变量 可用有限维概率密度函数族描述 4 1连续信源的熵和互信息 平稳随机过程 统计特性不随时间平移而变化的随机过程 x t 在时刻t ti的集平均 x t 在某一时刻ti变量x ti 的统计平均 一 波形信源的特性 2 描述 x ti 的时间平均 x ti 某一样本函数x t 的时间平均值 遍历平稳过程 若一平稳随机过程 x t 的集平均以概率1等于其时间平均 则称 x t 为遍历的平稳过程 大部分实际信号可以近似看作遍历平稳过程 二 连续信源的熵 变量X的概率分布与概率密度函数的关系为 1 方法 连续消息离散化 N次扩展信源 时间离散化 幅度分割逼近 量化理论 采样定理 对连续变量X的量化方法如下 将X的取值范围 a b 作n等分 每份 b a n 二 连续信源的熵 则X落在第i区间内的概率为 则连续信源X 此信源合理 二 连续信源的熵 二 连续信源的熵 2 相对熵 三 平均互信息 x t y t 采样后 基本公式 实际应用中 允许信号有一定的失真 当失真超过一定限度后 信息将失去实用价值 因此要规定失真的限度 信息率失真是A D转换 量化 频带压缩和数据压缩的理论基础 4 2 1失真函数1 失真函数定义信源经过信源编码后输出对于每一对 ui vj 指定一个非负函数d ui vj 0i 1 2 nj 1 2 m称d xi yj 为单个符号的失真函数 表示信源发出符号xi 接收端再现yj所引起的误差或失真 d xi yj 0无失真 d xi yj 0有失真 4 2信息率失真函数 2 常用的失真函数1 平方误差失真函数d xi yj xi yj 22 绝对误差失真函数d xi yj xi yj 3 相对误差失真函数d xi yj xi yj xi 4 误码失真函数失真函数1 2 3 用于连续信源 失真函数4 用于离散信源 失真函数4 也称Hanmming失真函数 3 失真矩阵dn m矩阵 4 2 2平均失真xi和yj均为随机变量 所以d xi yj 也为随机变量 d xi yj 的平均失真用其数学期望或统计平均值描述 用符号表示 4 2 3信息率失真函数R D 1 受信道容量的限制 实际应用中必须对信源进行压缩 应1 使其压缩后的信息传输率小于信道容量 2 保证压缩所引入的平均失真不超过预先给定的允许失真度D 3 在满足 D的前提下 使编码后的信息率尽可能小 不等式 D称为保真度准则 2 试验信道1 有失真的信源编码器视作有干扰的信道 假想信道 2 当信源已知 即B U 已知 时 单个符号的失真度给定 选择一类假想信道 使得 D 这类假想信道称为D失真允许信道 或D失真允许试验信道 记为BD p vj ui D i 1 2 n j 1 2 m p vj ui 为信道的传递概率 3 离散信源的信息率失真函数 在允许信道BD中 寻求一个信道p V U 使给定的信源经过此信道后 互信息量I U V 达到最小 该最小互信息量称为信息率失真函数R D 简称率失真函数 N维信源符号序列的信息率失真函数RN D 4 连续信源的信息率失真函数 连续信源平均失真度为 连续信源的信息率失真函数 4 信息率失真函数R D 物理意义1 R D 是信源给定的情况下 在可容忍的失真度内再现信源消息所必须获得的最小平均信息量 2 R D 是反映给定信源可压缩的程度 3 R D 求出后 就与选择的试验信道无关 而只是信源特性的参量 不同的信源 其R D 是不同的 5 信息率失真函数R D 的计算已给定信源概率P X 和失真函数d xi yj 求信息率失真函数R D 的问题 可以归结为在约束条件保真度准则 D下 求极小值的问题 6 限失真信源编码定理 香农第三定理 设离散无记忆信源X的信息率失真函数R D 并选定失真函数 对于任意允许平均失真度D 0和任意小的 0 当信息率R R D 只要信源序列L足够长 则一定存在一种编码方法 使其译码失真 D 反之 若R R D 无论用什么编码方法 其译码失真必 D 存在性定理 任何信源的信息率失真函数R D 是该信源在限失真条件下进行编码的最小信息传输率 4 3标量量化编码 标量量化 零记忆量化每次只量化一个模拟样本值 均匀量化 线性量化最优量化 使量化器的均方误差 e2最小或信噪比SNR最小的量化 概率非均匀分布的最优量化算法 4 3 1均匀量化 量化器输入 x 对应实数值域空间为R 量化器输出 y 对应实数值域空间为Rc 对应取值范围 a0 an y Q x 均匀量化 将区间 a0 an 分割为n个相等距离且互不重叠的子区间 ai ai 1 取每个小区间的中点值作为量化值yi 即ai x ai 1时 yi ai 1 ai 2 均匀量化的量化误差 量化器均方误差 量化器输入方差 量化器的信噪比SNR 量化器的工作区域 1 正常量化区 量化器能得到正常量化 2 限幅区 量化器处于限幅或过载工作状态 产生较大失真 3 空载区 1 当x ai时 量化器输出在两个量化级间往返跳动 形成一个矩形输出 结果将产生点状噪声 2 x在ai之上或之下 量化输出分别为恒定值 4 3 2最优量化 最优量化与p x 有关 区间分割也与p x 有关 N足够大时 近似认为在各个区间 ai ai 1 上的概率分布p x 为一常数 各子区间上被视为均匀分布 对于x的概率分布非均匀的标量量化采用Max Livod算法 对ai取偏导并置零d ai yi 1 d ai yi 对于均方失真和绝对失真 有ai yi yi 1 2可知此时边界点在相邻量化值之中点 e2最小 量化值的选定则与概率密度有关 对于均方失真 yi最佳位置在ai和ai 1区间的概率中心 Max Livod迭代方法 1 任取y0 2 由 计算a1 3 根据公式计算y1 4 重复步骤 2 3 分别计算出a2 y2 a3 y3 直至最后求得yn 15 检验yn是否为 an 1 an 的概率中心 即是否成立 或在允许的一定误差范围内成立 6 若步骤 5 满足 则过程结束 否则 重新选y0 实用化必须考虑的问题代价问题 均匀量化失真测度 符合主观特性量化噪声 均方失真概率特性 近似测定截止幅度 过载失真 动态范围使用环境 带宽 质量要求等 4 4矢量量化编码 把多个信源符号联合起来形成多维矢量 再对矢量进行标量量化 量化级数可进一步减小 码率可进一步压缩 矢量量化LGB算法 最佳标量量化算法的推广 量化器输入集 X X1 X2 XN Xj xj1 xj2 xjk Rk划分为J 2n个互不相交的子空间R1 R2 RJ 子空间的质心Yi 码字或码矢 构成量化器的输出空间Y Y Y1 Y2 YJ 码书矢量量化实质上是判断输入Xj属于哪个子空间Ri 然后输出该子空间代表码字Yi Yi Q Xj 4 5语音压缩编码 语音编码就是将模拟语音信号数字化 数字化之后可以作为数字信号传输 存储或处理 可以充分利用数字信号处理的各种技术 为了减小存储空间或降低传输比特率节省带宽 还需要对数字化之后的语音信号进行压缩编码 这就是语音压缩编码技术 语音的压缩编码方法归纳起来可以分为三大类 波形编码 参数编码和混合编码 波形编码比较简单 失真最小 方法简单 但数码率比较高 参数编码的编码速率可以很低 但音质较差 只能达到合成语音质量 其次是复杂度高 混合编码吸收了波形编码和参数编码的优点 从而在较低的比特率上获得较高的语音质量 当前受到人们较大的关注 语音压缩编码的主要技术 1937年 A H Reeves提出PCM编码方法 1972年 CCITT确定64kb s的PCM语音编码G 711建议 1984年 通过了ADPCM语音编码G 721建议 1992年 公布了G 728建议 LD CELP 1995年 G 729建议 SC ACELP 国际标准 目前 语音压缩编码技术主要有两个努力