信息论主要内容

1、信息论主要内容第1页，共45页，2022年，5月20日，1点18分，星期一信号信息、消息、信号三者之间的关系消息信息（信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息）第2页，共45页，2022年，5月20日，1点18分，星期一香农信息论的主要内容 第3页，共45页，2022年，5月20日，1点18分，星期一信源分类和描述第4页，共45页，2022年，5月20日，1点18分，星期一信息的定义和特性信息量表示其不确定性程度的大小，事件概率越小，信息量越大比特( bit）、奈特( nat）、铁特( Tet）、哈特( Hart） 信息量具有非负性和可加性联合自信息量等于：第5页，共45

2、页，2022年，5月20日，1点18分，星期一离散信源信息熵和联合熵的定义H(X)表示统计平均的信息量(不确定性的量)，表示平均每个符号(样本事件)所提供的信息量= = H(X) 信息熵也具有非负性和可加性联合熵等于第6页，共45页，2022年，5月20日，1点18分，星期一(1)非负性(对于离散信源，连续信源不同)(3)极值性(熵函数存在一个最大值，等概分布条件)(2)可加性(多信息源的熵，熵值增加)离散熵重要性质和参数定义信息速率：Rt= H(X)/t bit/s定义信息含量效率：= H(X)/ HMAX(X)定义信源冗余度：=1- 第7页，共45页，2022年，5月20日，1点18分，星

3、期一离散二元信源的信息熵第8页，共45页，2022年，5月20日，1点18分，星期一平均互信息量和条件信息量的定义从Y中获取的关于X的信息量，即X不确定性的减少量。条件熵平均的条件概率事件的自信息量= = 第9页，共45页，2022年，5月20日，1点18分，星期一条件熵，互信息量的关系I ( X;Y ) 表示从变量Y中所获得的关于变量X的信息量，是关于消息X 的不确定性的减少量若X=Y； 则I ( X;Y ) = H( X)。从Y中获得了X的全部信息。若X,Y相互独立； I ( X;Y ) =0。从Y中得不到X的信息。H ( X |Y ) 表示变量Y已知的条件下变量X的平均信息量，是关于消息

4、X 的不确定性的量。若X=Y； H( X |Y ) =0。变量Y完全确定了变量X的样值。若X,Y相互独立； H( X |Y ) = H( X)。 X的信息量与Y无关。第10页，共45页，2022年，5月20日，1点18分，星期一I(X;Y)与各个信息熵的关系H ( XY )H ( X )H (Y )H (Y|X )H ( X|Y )第11页，共45页，2022年，5月20日，1点18分，星期一(1)非负性(2)互易性(对称性)平均互信息量 I(X;Y) 的性质不具有非负性(3)凸函数性当 p(y|x) 给定时，I(X;Y) 是 p(x) 的上凸函数。研究信道容量的理论基础当 p(x) 给定时，

5、I(X;Y) 是 p(y|x) 的下凸函数。研究信源的信息率失真函数的理论基础第12页，共45页，2022年，5月20日，1点18分，星期一相对熵（微分熵） 对相对熵的说明非绝对值，而为相对值。定义形式相统一。Hc(X)的取值：可能不存在，可能为负值。连续信源的相对熵第13页，共45页，2022年，5月20日，1点18分，星期一微分熵性质可加性：HC(XY)= HC(X)+ HC(Y|X)= HC(Y)+ HC(X|Y)幅值（峰值）受限时的最大微分熵：随机变量服从均匀分布时获得最大微分熵功率（方差）受限时的最大微分熵：随机变量服从高斯分布时获得最大微分熵（P=2+2）第14页，共45页，202

6、2年，5月20日，1点18分，星期一(随机)信源的分类方法从消息变量取值的连续性分：离散信源和连续信源从连续信源输出时间上的连续性分：连续信源和波形信源从离散信源的消息序列的长度来分：单符号信源和序列（扩展）信源从离散信源序列之间的有无相关性分：无记忆信源(DMS)和有记忆信源从离散有记忆信源序列的相关程度分：平稳信源、M阶Markov信源、第15页，共45页，2022年，5月20日，1点18分，星期一马尔可夫信源：马尔可夫链定义：1) 马氏链的当前状态只与前一个状态有关，2)马氏链是时间离散状态离散的随机过程马尔可夫信源定义：1）信源状态由当前输出符号和前一时刻信源状态唯一确定，2）某一时刻

7、信源符号的输出只与当前的信源状态有关，与以前的状态无关m阶马氏源：是指其输出某一符号的概率只与此前的m个符号有关。马氏源与马氏链的关系：马氏源一般可用马氏链来描述。若是一阶马尔可夫信源，一个符号对应一个状态，若是m阶马尔可夫信源，m个符号对应一个状态。第16页，共45页，2022年，5月20日，1点18分，星期一齐次马氏链(时齐马氏链) ：状态转移概率与时间点无关：Pij(m,n)= Pij(K)齐次马氏链的表示方法转移概率矩阵状态转移图由状态 j 转移到状态 2 的概率；非负=1网格图状态转移图与矩阵有一一对应关系每时刻的网格节点与马氏链的状态一一对应第17页，共45页，2022年，5月20

8、日，1点18分，星期一 定义: 若对任意整数m,n,马氏链的状态分布满足 则称 为平稳分布或稳态分布，J为状态数平稳齐次马氏链： 为平稳状态分布行矢量，k为转移步数平稳齐次马氏链的分布状态的概率分布与时间点无关第18页，共45页，2022年，5月20日，1点18分，星期一离散信道(数字信道)：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。模拟信道(波形信道)：输入输出空间为连续。有记忆信道：输出 Y不仅与当前的输入 X 有关，而与前面的输入有关。无记忆信道：输出 Y 仅与当前的输入 X 有关， 而且与前面的输入无关。信道的数学模型和分类第19页，共45页，2022年，5月20日，1

9、点18分，星期一离散无记忆信道的信道容量定理2：对于离散对称和准对称信道，达到信道容量的输入分布为等概分布。计算：“离散对称”和“准对称信道” “无损信道”和“确定信道” “独立并联信道”和“和信道”。第20页，共45页，2022年，5月20日，1点18分，星期一对称信道：信道转移矩阵P中所有的行都是同一组元素的不同排列，所有的列也是同一组元素的不同排列。准对称信道：设 B 为信道转移矩阵P的列集合，如果将B划分成m个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道第21页，共45页，2022年，5月20日，1点18分，星期一H ( X|Y ) 称为信道的“疑义度”或“损失熵 ” 它表示

10、信息在信道传输过程中的损失，又表示根据输出变量Y不能确定输入变量X的样值，有疑义。H ( Y|X ) 称为信道的“散布度”或“噪声熵” 从信道的输出Y信息中减去噪声干扰值就得到关于输入的信息，即H(Y |X )类似于噪声；它表示根据X不能确定Y的程度，称为散布度。 信道H ( X|Y )和H ( Y|X ) 的物理意义第22页，共45页，2022年，5月20日，1点18分，星期一费诺（Fano）不等式离散无记忆信道信道疑义度H(X|Y)与差错率Pe满足如下不等式： H(X|Y) H(Pe,1-Pe)+ Pelog(n-1)， n是输入符号个数应用1：信道编码逆定理：证当RC时，则不可能找到一种

11、编码方法及译码准则，使信道输出端的平均错误译码概率达到任意小应用2：求信息率失真函数：R(D)R(D)=minI(X,Y)=minH(X)-H(X|Y)R(D)= H(X)-H(Pe,1-Pe)- Pelog(n-1)第23页，共45页，2022年，5月20日，1点18分，星期一无损信道和确定信道损失熵为“0”，称为无损信道噪声熵为“0” ，称为确定信道损失熵和噪声熵都为“0”，无损确定信道第24页，共45页，2022年，5月20日，1点18分，星期一独立并联信道特点：积信道:同时多输入，多输出。 容量：独立并联信道第25页，共45页，2022年，5月20日，1点18分，星期一和信道特点：随机

12、输入N 个信道中的一个，合成一个信道。容量：分信道的使用概率：和信道第26页，共45页，2022年，5月20日，1点18分，星期一结论：（1）带宽一定时，信道的最大传输率 C是信噪比的函数。 此时提高最大信息传输率的方法是提高信噪比。（2）信噪比确定时，信道容量与带宽成正比。 此时提高最大信息传输率的方法是提高带宽。（3）对于有确定信道容量C的信道，可以用带宽 B与信噪比 S/N 的不同组合来传输信息。 如减少带宽，则必须发送较大功率的信号。如增大带宽，则同样的信道容量能够用较小功率的信号传输，即宽带系统具有良好的抗干扰性。香农公式意义第27页，共45页，2022年，5月20日，1点18分，星

13、期一唯一可译码、即时码、异前缀码和非续长码唯一可译码：一个码的任意一串有限长的码符号序列 只能被唯一地译成所对应的信源符号序列。即时码：唯一可译码，译码时无需参考后续的码符号就能立即作出译码判断。异前缀码：码前缀不是任意其他码字（即非续长码）。可以在无延时的情况下解码。存在唯一可译码的充要条件为(克拉夫特Kraft不等式)第28页，共45页，2022年，5月20日，1点18分，星期一N次扩展信源S N= a1, a2, aqN，共有qN个符号序列。设码符号集为X = x1, x2, xr，长度为l 的码符号序列W=W1 , W2 ,WqN，Wi = (xi1 xi2 xil), xi1, xi

14、2, xilX。若要求编得的等长码是唯一可译码则必须满足（理解钥匙：码字的组合数不小于信源符号总数） q Nr l 或 单符号 平均码长满足：等长编码及其无失真编码条件第29页，共45页，2022年，5月20日，1点18分，星期一定理3（单符号信源的变长编码定理） 若有一离散无记忆信源S 具有熵H（S），并有r个码符号的符号集X = x1, x2, xr，则总可以找到一种无失真编码方法，构成唯一可译码，使其平均码长满足定理4 （变长无失真信源编码定理香农第一编码定理）离散无记忆信源S的N次扩展信源SN= a1, a2, aqN ，共有qN个符号序列，具有熵H（SN），并有r个码符号的符号集X

15、= x1, x2, xr。若对信源SN（即信源输出的是N长的符号序列）进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个信源符号所需的码字平均长度满足第30页，共45页，2022年，5月20日，1点18分，星期一霍夫曼码的编码方法二进制霍夫曼码的的编码方法，它的编码步骤如下：（1）将q个信源符号按概率值的大小以递减次序排列起来，设 p1p2pq（2）用0和1码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并一个符号，从而得到包含q1个符号的新信源-缩减信源S 。（3）把缩减信源S的符号仍按概率值大小以递减次序排列，再将其最后二个概率最小的符号合并成一个符号，并

16、分别用0和1码符号表示，这样又得到q2个符号的新缩减信源S。（4）依次继续下去，直至信源最后只剩两个符号为止。将这最后两个信源符号分别用0和1码符号表示。然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即得到对应的码字。第31页，共45页，2022年，5月20日，1点18分，星期一费诺（Fano）码的编码方法（1）将信源符号以概率递减次序排列起来 p1p2pq（2）将排列好的信源符号划分成两大组，使每组的概率和近似相同，并各赋于一个二进码符号“0”和“1”。（3）将每一大组的信源符号再分成两级，使同一组的两个小组的概率和近似相同，并又各赋于一个二进码符号“0”和“1”

17、。（4）如此下去，直至每组只剩下一个信源符号为止。这样，信源符号所对应的码符号序列就为编得的码字。第32页，共45页，2022年，5月20日，1点18分，星期一香农编码（1）将信源符号以概率递减次序排列起来 p1p2pq（2）对第1个符号编码，取log1/P1的整数(不小于该值)为码长，取累积概率P1，=0。将P1转换为二进制数的小数位作为码字（以2乘小数位取整，再乘得第二位，至L位）。（3）取log1/P2的整数为码长，P1，加第1个符号的概率P1所得的累积概率P2，作为对第2个字的编码依据。（4）取log1/Pi的整数为码长， Pi-1，再加第i-1个符号的概率Pi-1 所得的累积概率Pi

18、，作为对第i个字的编码依据，重复第一步。（5）如此下去，直至最后一个信源符号为止。这样，信源符号所对应的码符号序列就为编得的码字。第33页，共45页，2022年，5月20日，1点18分，星期一几种实用的信源编码游程编码用于文件传真（霍夫曼编码）算术编码针对小集合信源（香农编码）基于字典的编码针对无法确知信源的统计特性的自适应编码（LZ和LZW编码）第34页，共45页，2022年，5月20日，1点18分，星期一典型的译码准则： 最佳译码准则可以使平均译码概率达到最小值。当译码准则数量很大时，选择译码准则的运算量大，不简单。“最大后验概率准则”已知后验概率分布时“最大联合概率准则”已知联合概率分布

19、时“最大转移概率准则”已知转移概率分布时，也叫“最大似然准则”最小汉明距离准则等价于似然准则用于卷积译码最小欧氏距离准则用于TCM译码第35页，共45页，2022年，5月20日，1点18分，星期一有噪声信道编码定理（香农第二编码定理）如一个离散有噪声信道有n个输入符号，m个输出符号，信道容量为C。当信道的熵速率RC时，只要码长足够长，总可以找到一种编码方法及译码准则，使信道输出端的平均错误译码概率达到任意小，pe=。当RC时，则不可能找到一种编码方法及译码准则，使信道输出端的平均错误译码概率达到任意小。信源编码定理的讨论第36页，共45页，2022年，5月20日，1点18分，星期一汉明码和最小

20、汉明距离循环码和CRC码BCH码和RS码卷积码及其Viterbi译码TCM映射和译码方法几种实用的信道编码概念第37页，共45页，2022年，5月20日，1点18分，星期一失真（度）函数的定义失真度（失真函数）定义失真矩阵d（失真度的矩阵表示）d (ui , vj)0 （即非负性） i =1，2，n , j =1，2，m 平均失真度定义第38页，共45页，2022年，5月20日，1点18分，星期一信息率失真函数R（D）的定义率失真函数定义（D 为允许信道）信源信道信源编码器（试验信道）p(v|u)无噪信道第39页，共45页，2022年，5月20日，1点18分，星期一R(D)的性质：连续、单调下

21、降、下凸连续信源实际熵无穷大而信道容量有限，故不可能无失真压缩。图b为一般情形第40页，共45页，2022年，5月20日，1点18分，星期一R（D）的定义域（Dmin,Dmax） 率失真函数R(D)的性质DMIN是给定失真矩阵d和输入变量概率分布p(u)条件下的最小平均失真度。某些情况下DMIN=0。等于失真度矩阵每行最小值所构成的列矩阵与输入分布的乘积。DMAX是I(U,V) 0时的最大平均失真度。也是I(U,V)=0时的最小平均失真度，不指D随p(v/u)变化的最大值。等于失真矩阵与输入分布相乘后所构成的行矩阵元素的最小值第41页，共45页，2022年，5月20日，1点18分，星期一上图含义：（已知输入概率分布和失真度矩阵的条件下）1）若给定接收端允许的平均失真度D，则知道实验信道输出的最小信息量I（minI(U,V) =R(D)，I在曲线之上和在H(X)之下）。2）若已知从接收端得到的信息量I，则知道信道可能产生的最小平均失真度D（D(R)=minD(py|x)，如I=0的最小D值为Dmax） 。第42页，共45页，2022年，5月20日，1点18分，星期一限失真信源编码定理(香农第三定理) 设离散无记忆信源的率失真函数为