数字通信原理4信息论基础

1、2010 Copyright,课件SCUT DT&P Labs,1,数字通信原理 第四章 信息论基础,2010 Copyright,课件SCUT DT&P Labs,2,第四章 信息论基础,1、消息与信息 (1) 消息是由符号、文字、数字、语音或图像组成的序列； (2) 消息是信息的载体，信息是消息的内涵；消息中可能包 含信息，也可能不包含信息； (3) 收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； (4) 通信的目的在与传送信息。,2010 Copyright,课件SCUT DT&P Labs,3,第四章 信息论基础,2、信息度量的概念 (1) 某消息的信息

2、量获得该消息后不确定性的消除量； 不确定性可能性概率问题： 信息量可用概率的某种函数来度量 (2) 不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数。,2010 Copyright,课件SCUT DT&P Labs,4,第四章 信息论基础,3、离散信源信息的度量 离散信源的信息量 离散信源统计特性的描述方法概率场 设离散信源包含N种可能的不同符号，相应的概率场可表述为 概率场满足条件：,2010 Copyright,课件SCUT DT&P Labs,5,第四章 信息论基础,离散信源的信息量(续) 信息量作为概率的函数，具有形式 若 与

3、 统计独立，满足可加性要求 如定义 显然有 同时满足概率函数和可加性两个要求。,2010 Copyright,课件SCUT DT&P Labs,6,第四章 信息论基础,离散信源信的息量(续) 定义 离散消息xi的信息量: 信息量的单位与对数的底有关： log以2为底时，单位为比特：bit log以e为底时，单位为奈特：nit log以10为底时，单位为哈特，hart 一般在缺省时取单位为比特。,2010 Copyright,课件SCUT DT&P Labs,7,第四章 信息论基础,离散信源信的息量(续) 示例：已知某信源的概率场为 输出的各符号统计独立，计算序列S“113200”的信息量,20

4、10 Copyright,课件SCUT DT&P Labs,8,第四章 信息论基础,4、离散信源的平均信息量：信源的熵 离散信源的熵 定义4.2.2 离散信源 的熵 熵是信源在统计意义上每个符号的平均信息量。,2010 Copyright,课件SCUT DT&P Labs,9,第四章 信息论基础,离散信源的熵(续) 示例：求离散信源 的熵。 按照定义：,2010 Copyright,课件SCUT DT&P Labs,10,第四章 信息论基础,离散信源的熵(续) 示例（续）：若上述离散信源发送独立的符号序列： 201 020 130 213 001 203 210 100 321 010 023

5、 102 002 10 312 032 100 120 210 (1)求总的信息量；(2)利用熵估计总的信息量。 (1) (2),2010 Copyright,课件SCUT DT&P Labs,11,第四章 信息论基础,离散信源的最大熵定理 当离散信源X取等概分布时，其熵H(X)取最大值。 当信源取等概分布时，具有最大的不确定性。 示例：两个信源符号的 情形。 P(x1)=p,P(x2)=1-p 当p=1/2时，H(X)=Hmax,2010 Copyright,课件SCUT DT&P Labs,12,第四章 信息论基础,离散信源的联合熵与条件熵 两随机变量 的概率场 满足条件：,2010 Co

6、pyright,课件SCUT DT&P Labs,13,第四章 信息论基础,离散信源的联合熵与条件熵(续) 两随机变量的联合熵 定义4.2.3 两随机变量 的联合熵 如两随机变量统计独立，有,2010 Copyright,课件SCUT DT&P Labs,14,第四章 信息论基础,两随机变量的联合熵(续) 对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。,2010 Copyright,课件SCUT DT&P Labs,15,第四章 信息论基础,第四章 信息论基础,离散信源的联合熵与条件熵(续) 两随机变量的条件熵 定义4.2.4 两随机变量 的条件熵 一般地有 具有某种相关

7、性的两随机变量，一个随机变量的出现总是 有助于降低另一随机变量的不确定性。,2010 Copyright,课件SCUT DT&P Labs,16,第四章 信息论基础,离散信源及容量 信道模型 信道的输入： 信道的输出： 信道模型(特性)可用其转移概率来描述,2010 Copyright,课件SCUT DT&P Labs,17,第四章 信息论基础,离散信源及容量 信道模型 信道模型(特性)可用其转移概率来描述，一般地有 输出不仅与当前的输入有关，而且与之前的若干个输入值 有关，呈现某种“记忆”效应。,2010 Copyright,课件SCUT DT&P Labs,18,第四章 信息论基础,离散信

8、源及容量 离散无记忆信道的转移矩阵 输出仅与当前的输入有关 或,2010 Copyright,课件SCUT DT&P Labs,19,第四章 信息论基础,离散无记忆信道的转移矩阵(续) 示例：二元的离散无记忆信道 发“0”和发“1”时 能正确接收的概率为0.99， 错误的概率为0.01。 即有 转移矩阵,2010 Copyright,课件SCUT DT&P Labs,20,第四章 信息论基础,离散信源及容量 互信息量 转移概率 是一种条件概率，在通信系统中可表示 收到 后，发送端发送的是符号 的概率。 接收端收到 后，关于 的不确定性可表示为 定义4.3.1 互信息量为： 互信息量：收到 后，

9、关于 的不确定性的消除量。,2010 Copyright,课件SCUT DT&P Labs,21,第四章 信息论基础,互信息量(续) 互信息量具有对称性 互信息量的性质 (1) 若 （2）若 (3) 若 (4) 若 ,2010 Copyright,课件SCUT DT&P Labs,22,第四章 信息论基础,离散信源及容量(续) 平均互信息量 定义4.3.2 平均互信息量为： 平均互信息量具有非负性 表明从统计上来说，两相关联的随机变量集，其中一个的出 现总是有利于提供有关另外一个的信息。,2010 Copyright,课件SCUT DT&P Labs,23,第四章 信息论基础,离散信源及容量(

10、续) 熵函数与平均互信息量间的关系,2010 Copyright,课件SCUT DT&P Labs,24,第四章 信息论基础,熵函数与平均互信息量间的关系(续) 两张密切相关图像示例 两张无关的图像示例,2010 Copyright,课件SCUT DT&P Labs,25,第四章 信息论基础,熵函数与平均互信息量间的关系(续) 当信源X与Y统计独立时 (1)两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和； (2)一个符号不能提供有关另一符号的任何信息。,2010 Copyright,课件SCUT DT&P Labs,26,第四章 信息论基础,熵函数与平均互信息量间的关系(续)

11、当两个信源相关时 (1)联合熵小于两个信源的熵的和: (2)平均互信息量等于两信源熵重合的部分； (3)信源的条件熵等于其熵减去平均互信息量：,2010 Copyright,课件SCUT DT&P Labs,27,第四章 信息论基础,离散信道的容量 已知信道的转移矩阵 信源符号集： 符号传输速率： 系统的平均信息速率为：,2010 Copyright,课件SCUT DT&P Labs,28,第四章 信息论基础,离散信道的容量 定义4.3.3 离散信道的最大传输速率为其信道容量 匹配信源 信道特性(转移矩阵)确定之后，其容量由信源的统计特性决 定。 匹配信源：能使单位时间内信道可传输的平均信息量

12、达到信 道容量的信源称之。 已知匹配信源的分布特性： 信道容量：,2010 Copyright,课件SCUT DT&P Labs,29,第四章 信息论基础,匹配信源(续) 已知信道转移概率，匹配信源统计特性的求解： (1)解方程组 求解得 (2)求最大平均互信息量： (3)求相应后验概率： (4)解方程组，确定匹配信源的分布特性,2010 Copyright,课件SCUT DT&P Labs,30,第四章 信息论基础,匹配信源(续) 示例：已知信道转移概率 (1)解方程组的参数： (2)求最大平均互信息量： (3)求相应后验概率：,2010 Copyright,课件SCUT DT&P Labs

13、,31,第四章 信息论基础,匹配信源(续) 示例(续)： (4)获得匹配信源统计特性： (5)信道容量为：,2010 Copyright,课件SCUT DT&P Labs,32,第四章 信息论基础,离散无记忆对称信道的容量(续) 离散无记忆对称信道： 转移矩阵 各行各列均具有相同的元素集的信道称之。 离散无记忆对称信道满足条件： 任意的列元素和 任意的行元素和,2010 Copyright,课件SCUT DT&P Labs,33,第四章 信息论基础,离散无记忆对称信道的容量 离散无记忆对称信道： 离散无记忆对称信道的条件熵满足： 与信源的统计特性无关。 若输入信道的信源符号等概 则信道的输出符

14、号也等概,2010 Copyright,课件SCUT DT&P Labs,34,第四章 信息论基础,离散无记忆对称信道的容量(续) 信道容量： 对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信源的符号等概分布。,2010 Copyright,课件SCUT DT&P Labs,35,第四章 信息论基础,连续信源、信道及容量 连续信源的相对熵 若已知随机信号 幅度取值的概率密度函数： 取值在任意小区间 内的概率 连续信源转变为具有n个随机变量的信源，且有 利用离散随机变量熵的定义，得,2010 Copyright,课件SCUT DT&P Labs,36,第四章 信息论基础,连续信源的

15、相对熵(续) 连续信源的熵应为 可见连续信源的熵无限大。该熵称为连续信源的绝对熵，无 法确切地定义。 通常上式的第一项是有限值，且其具有特定的物理意义。,2010 Copyright,课件SCUT DT&P Labs,37,第四章 信息论基础,连续信源的相对熵(续) 定义4.4.1 连续信源的相对熵为 示例4.4.1 某信号的相对熵为 信号经2倍幅度放大后的相对熵为 信号的简单放大并没有增加任何新的信息，但其相对熵发生 了增大的变化，这说明相对熵已经不再具有信源平均信息量 的内涵。,2010 Copyright,课件SCUT DT&P Labs,38,第四章 信息论基础,连续信源的相对条件熵

16、对于连续随机变量，同样可以导出其条件熵 可见连续信源的条件熵取值无限大。通常上式的第一项是一 个有限取值的量。 连续信源的熵和条件熵均取值无限大，说明要在一个容量有 限的通信系统中传递连续信源的全部信息是不可能的。,2010 Copyright,课件SCUT DT&P Labs,39,第四章 信息论基础,连续信源的相对条件熵 定义4.4.3 连续信源的相对条件熵 容易导出： 说明相对熵和相对条件熵的差值与普通的熵和条件熵的差值 一样，仍然等于平均互信息量。 同理可以导出：,2010 Copyright,课件SCUT DT&P Labs,40,第四章 信息论基础,连续信源相对熵的最大化 (1)峰

17、值功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从均匀分布时，该连续信源有最大的相对熵。 在区间 分布连续信源 的概率密度函数为 其相对熵为 峰值受限信号,2010 Copyright,课件SCUT DT&P Labs,41,第四章 信息论基础,连续信源相对熵的最大化(续) (2)均值受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从指数分布时，该连续信源有最大的相对熵。 均值受限信号 指数分布 相对熵,2010 Copyright,课件SCUT DT&P Labs,42,第四章 信息论基础,连续信源相对熵的最大化(续) (2)平均功率受限情况下的相对

18、熵最大化条件 可以证明：当连续信源的概率密度函数服从高斯分布时，该连续信源有最大的相对熵。 平均功率受限信号 高斯分布 相对熵,2010 Copyright,课件SCUT DT&P Labs,43,第四章 信息论基础,高斯加性噪声信道的容量 加性高斯噪声信道 信道输入： 信道输出： 加性高斯噪声： 已知通过信道后，从 可获得的关于 的平均互信息量 若已知信号 的带宽为： 则无冗余的抽样频率应为： (单位时间的样点数) 单位时间内传输的信息量，即信息速率为,2010 Copyright,课件SCUT DT&P Labs,44,第四章 信息论基础,高斯加性噪声信道的容量(续) 加性高斯噪声信道容量

19、 信号与噪声间的关系可用方程组表示为 或 二维函数概率密度间的关系,2010 Copyright,课件SCUT DT&P Labs,45,第四章 信息论基础,高斯加性噪声信道的容量(续) 加性高斯噪声信道容量(续) 因为 所以有,2010 Copyright,课件SCUT DT&P Labs,46,第四章 信息论基础,高斯加性噪声信道的容量(续) 加性高斯噪声信道容量(续) 可得,2010 Copyright,课件SCUT DT&P Labs,47,第四章 信息论基础,加性高斯噪声信道容量(续) 因为 (1) 在均方受限的条件下，高斯分布的信源有最大的相对熵 (2) 两高斯分布的随机变量之和(

20、 )仍为高斯随机变量 (3) 信号 与噪声 统计独立 因而有,2010 Copyright,课件SCUT DT&P Labs,48,第四章 信息论基础,加性高斯噪声信道容量(续) 信道容量 若记 得香农公式,2010 Copyright,课件SCUT DT&P Labs,49,第四章 信息论基础,加性高斯噪声信道容量(续) 由香农公式(香农定理) 得到的重要结论： (1) 信道容量C随S/N增大而增大； (2) C一定时，W与S/N之间可以彼此互换； (3) N 0, C ：无扰信道的容量为无穷大； (4) 对受高斯噪声干扰的信道，当 W ， 信道容量趋于 一确定值：,2010 Copyrig

21、ht,课件SCUT DT&P Labs,50,第四章 信息论基础,信道容量和带宽的归一化分析 归一化信道容量：单位时间单位频带内可达到的信息速率。,2010 Copyright,课件SCUT DT&P Labs,51,第四章 信息论基础,信道容量和带宽的归一化分析(续) 归一化信道带宽：单位信息速率所需要的最小带宽。,2010 Copyright,课件SCUT DT&P Labs,52,第四章 信息论基础,信道容量和带宽的归一化分析(续) 关于Eb/N0的归一化信道带宽 Eb：比特能量； N0：噪声功率密度谱； 当 Eb/N0 1.59dB 时，无法实现无差 错的传输。,2010 Copyri

22、ght,课件SCUT DT&P Labs,53,第四章 信息论基础,信源编码的基本方法 信源编码的基本方法 （1）去除信息中的冗余度，使传输的符号都是独立的，没有多余的成分； （2）使传输的符号所含的信息最大化。例如，通过使编码后的符号以等概分布的形式出现，使每个符号可能携带的信息量达到最大； （3）采用不等长编码，让出现概率大的符号用较短的码元序列表示，对概率小的符号用较长的码元序列； (4) 在允许一定失真的条件下，如何实现高效率的编码。,2010 Copyright,课件SCUT DT&P Labs,54,第四章 信息论基础,离散无记忆信源 (DMS: Discrete Memoryle

23、ss Source） 输出序列： 各个符号间彼此独立 其中 反之，若输出的各符号间有一定的相关性，则其为一种 有记忆的信源。 有记忆的信源，经过处理后，有可能变为一种无记忆的信 源。如有记忆的信源，经过理想的、完全去除冗余度的 压缩编码后的输出。,2010 Copyright,课件SCUT DT&P Labs,55,第四章 信息论基础,离散无记忆信源的等长编码 等长编码：对信源的每个符号，或每组符号，用长度相等的代码来表示。 码字：由若干码元（码字元素）构成的代码单元。 单个符号独立编码 采用二进制码元编码 若信源符号集有L种符号，要保证译码的惟一性，码字长度应取 表示取 X 的整数部分。,2

24、010 Copyright,课件SCUT DT&P Labs,56,第四章 信息论基础,离散无记忆信源的等长编码(续) 编码效率：对码字承载信息能力的利用程度 其中 由离散信源的最大熵定理，可知 编码效率与信源的统计特性有很大的关系，仅当信源输出 的符号等概分布时，且 为整数时，效率才能达 到100。,2010 Copyright,课件SCUT DT&P Labs,57,第四章 信息论基础,离散无记忆信源的等长编码(续) 扩展编码：将J个信源符号进行联合编码 J 个信源符号可能排列组合个数 平均每个信源符号所需要的码元个数 若 是整数 若 不是整数 J 取值的增大有利于效率的提高。,2010

25、Copyright,课件SCUT DT&P Labs,58,第四章 信息论基础,离散无记忆信源的等长编码(续) 一般的编译码系统译码惟一性的要求 记：编码器输入的符号集： 编码输出的码元集： 扩展编码的符号长度： 编码输出的码字长度为： 则保证译码惟一性要求 平均每个信源符号所需的码元数应满足,2010 Copyright,课件SCUT DT&P Labs,59,第四章 信息论基础,离散无记忆信源的等长编码(续) 若信源等概分布 可以获得较高的编码效率。 若信源非等概分布 则通常编码效率较低。,2010 Copyright,课件SCUT DT&P Labs,60,第四章 信息论基础,离散无记忆

26、信源(DMS)的有损等长编码 对于长度为 J 的DMS码组(或称为一序列): 码组中的每个符号： 由符号间的独立性，有 码组 包含的信息量为： 根据熵的含义，随着 J 的增大，有 或,2010 Copyright,课件SCUT DT&P Labs,61,第四章 信息论基础,离散无记忆信源(DMS)的有损等长编码(续) 典型序列集：满足下列条件的序列 的集合称之。 其中 ，通常是一个很小的数。 非典型序列集：典型序列集的补集称之。 典型序列集和非典型序列集构成了序列 所有组合构成 符号组的空间。,2010 Copyright,课件SCUT DT&P Labs,62,第四章 信息论基础,离散无记忆

27、信源(DMS)的有损等长编码(续) 信源划分定理：任给 ，当 J 足够大时，有 即有： 典型序列出现的概率：若 则 即有： 典型序列趋于等概分布。 典型序列的数目：,2010 Copyright,课件SCUT DT&P Labs,63,第四章 信息论基础,离散无记忆信源(DMS)的有损等长编码(续) 典型序列的出现概率： 即： 典型序列集 为高概率集； 非典型序列集 为低概率集。,2010 Copyright,课件SCUT DT&P Labs,64,第四章 信息论基础,离散无记忆信源(DMS)的有损等长编码(续) 典型序列集在整个序列空间中所占的比例： 通常 取值很小，满足 因此 说明虽然典型

28、序列集是一个高概率集，但在整个序列空间中可能只占很小的比例； 如果容许一定的失真，只对典型序列编码，对非典型序列不予编码传输，则可大大提高传输的效率。,典型序列,非典型序列,2010 Copyright,课件SCUT DT&P Labs,65,第四章 信息论基础,离散无记忆信源(DMS)的有损等长编码(续) 示例：已知二元信源 信源的熵为： 若取 所有的序列构成的集合为,2010 Copyright,课件SCUT DT&P Labs,66,第四章 信息论基础,示例(续)： 由： (1) 若取 平均信息量落在该范围内的序列为 如果要无失真地传输原来的全部序列，采用二进制编码的 话，需要3比特；如

29、仅传输典型序列，只需2比特。,2010 Copyright,课件SCUT DT&P Labs,67,第四章 信息论基础,示例(续)： (1) 若取 平均信息量落在该范围内的序列为 如仅传输典型序列，同样也只需2比特。,2010 Copyright,课件SCUT DT&P Labs,68,第四章 信息论基础,编码速率 假定信源输出按照 J 个符号构成的序列编码 编码输出 可能获得的编码输出的码字数为 相应的比特数为 编码速率 R 定义为： 若采用二进制编码，则有,2010 Copyright,课件SCUT DT&P Labs,69,第四章 信息论基础,编译码传输模型 译码错误概率定义为 定义4.

30、5.4 可达速率 给定信源和编码速率R，对任意的 若存在 和编译码方法： 、 使当 时，有 则该编码速率称为可达的 反之称速率是不可达的。,2010 Copyright,课件SCUT DT&P Labs,70,第四章 信息论基础,定理 4.5.5 若 ，则速率 R 是可达的； 若 ，则速率 R 是不可达的。 该定理说明，若 ，则存在编码方法，当 J 足够 大时，只需对典型序列进行编码，可使编码误差足够地小。,2010 Copyright,课件SCUT DT&P Labs,71,第四章 信息论基础,在满足一定的译码错误概率的条件下，若只对典型序列编 码，编码效率可定义为 若记：编码速率： 自信息

31、方差： 则不能正确译码的概率 满足关系式 根据最后一个等式，可确定编码序列的长度 J 。,2010 Copyright,课件SCUT DT&P Labs,72,第四章 信息论基础,示例： (1)对二元符号进行无差错的二进制编码 此时 、 、 (2) 若要求编码效率 ， 求所需的编码序列长度 J 由 得,2010 Copyright,课件SCUT DT&P Labs,73,第四章 信息论基础,示例(续)： 自信息方差： 最后得所需的符号序列长度 (该取值太大，可见等长编码不易在实际系统中应用),2010 Copyright,课件SCUT DT&P Labs,74,第四章 信息论基础,霍夫曼(Hu

32、ffman)编码 不等长编码的概念： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较大的码字表示。 霍夫曼编码： 定理4.5.17 霍夫曼编码一种最佳的不等长编码。 霍夫曼编码的应用条件： 信源的分布(统计)特性已知。 记 信源符号集为： 编码输出符号集为：,2010 Copyright,课件SCUT DT&P Labs,75,第四章 信息论基础,霍夫曼编码的步骤： (1)将L个信源符号按概率大小，以递减次序，从上到下排成一列； (2)对处于最下面的概率最小的D个信源符号，一一对应地分别赋予码字元素Z1、Z2、ZD，把这D个概率最小的信源符号相应的概率相加

33、，所得的值用一个虚拟的符号代表，与余下的L-D个符号组成含有(L-D)+1=L-(D-1)个符号的第一次缩减信源S(1)； (3)对缩减信源S(1)仍按其概率大小以递减次序从上到下排列，按照步骤(2)的方法处理，得到一个含有(L-D)+1-D+1=L-2(D-1)个符号的第二次缩减信源S(2)； (4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是D-1个；只要缩减后的信源Si符号的个数大于D，缩减就继续进行； (5)当进行第k次缩减后信源S(k)符号个数刚好等于D，即有 则对最后这D个符号分别赋予码字元素Z1、Z2、ZD；,2010 Copyright,课件SCUT DT&P Lab

34、s,76,第四章 信息论基础,霍夫曼编码的步骤(续)： (6)从最后赋予的码符号开始，沿着每一信源符号在各次缩减过程中得到的码字元素进行路线前向返回，达至每一信源符号，按前后次序，把返回路途中所遇到的码元素排成序列，这个序列，就是相应信源符号对应的码字； (7)若进行k次缩减后，当进行第k次缩减后信源S(k)符号个数不等于D，即有 则中止缩减，增加 个概率为0的虚假信源符号 重新编码，使在k次编码后一定有 。,2010 Copyright,课件SCUT DT&P Labs,77,第四章 信息论基础,霍夫曼编码(续) 示例：已知信源符号集 编码输出的码字符号集为 解：已知： 尝试 需要增加虚假符

35、号数为 新构建的信源满足：,2010 Copyright,课件SCUT DT&P Labs,78,第四章 信息论基础,示例(续)：改造后的符号概率场为 编码过程如下,2010 Copyright,课件SCUT DT&P Labs,79,第四章 信息论基础,示例(续)： 平均码字长度：,2010 Copyright,课件SCUT DT&P Labs,80,第四章 信息论基础,示例(续)： 如果不加入虚假符号，直接进行编码，则有 平均码字长度,2010 Copyright,课件SCUT DT&P Labs,81,第四章 信息论基础,霍夫曼编码(续) 码字长度的均匀性和方差 在同样的平均码字长度的情

36、况下，码字长度越均匀，对传输越有利。 定义4.5.16 码字长度的方差 其中 编码过程的排序过程不同会影响码长的方差。,2010 Copyright,课件SCUT DT&P Labs,82,第四章 信息论基础,码字长度的均匀性和方差(续) 示例：信源的符号空间为 编码输出码字集 编码方式1,2010 Copyright,课件SCUT DT&P Labs,83,第四章 信息论基础,示例：编码方式1(续) 平均码长： 方差：,2010 Copyright,课件SCUT DT&P Labs,84,第四章 信息论基础,编码方式2 平均码长： 方差：,2010 Copyright,课件SCUT DT&P

37、 Labs,85,第四章 信息论基础,虽然平均码长一样，但编码方法2使得输出的码长更为均匀。 结论： 在霍夫曼编码过程中，当对缩减信源概率重新排列时，应使合并得到的局部概率和，尽量使其处于最高位置； 这样可以使得合并元素重复编码的次数减少，降低码字长度的方差，使得码字长度比较均匀。,2010 Copyright,课件SCUT DT&P Labs,86,第四章 信息论基础,率失真理论 实际系统中的权衡关系 实际系统通常需要在性能与经济性之间取得某种平衡； 通常采用以某些不可察觉或可察觉但不影响应用的信号失真代价，来换取所需的传输速率、存储空间、运算复杂度和系统实现成本的降低；,2010 Copy

38、right,课件SCUT DT&P Labs,87,第四章 信息论基础,失真的概念 失真是指用某种尺度衡量的实际的信源样值 与信号经过变化后对应值 之差。 失真函数：对由符号 变为符号 引起误差造成影响的大小，人为定义一个非负函数称之： 失真函数的取值通常反映失真产生的代价。,2010 Copyright,课件SCUT DT&P Labs,88,第四章 信息论基础,失真函数的示例： (汉明失真函数),2010 Copyright,课件SCUT DT&P Labs,89,第四章 信息论基础,率失真理论 研究率失真理论的目的 分析在允许一定失真的条件下，要重构一个信号，信源输出的信息率能否减少和应如何处理； 研究限定失真条件下的信源编码方法。,2010