信息论与编码(姜丹)2章.ppt

信息论与编码,张祖平/ZhangZuping电子信息工程系SchoolofInformationScienceandEngineering,CentralSouthUniversity,zpzhang,InformationTheorybj）互信函数为定量描述信息传输问题，奠定了基础。TIP：“传输概率矩阵，交互信息量矩阵，联合概率矩阵”的区别。,信道的交互信息量,17,2014秋季信息12,InfTheoryY)=H(X)-H(X|Y),信道疑义度（损失熵、归并熵）,2014秋季信息12,InfTheoryY)=H(Y)-H(Y|X)=I（Y;X）,信道噪声熵,2014秋季信息12,InfTheoryY)=H(Y)-H(Y|X)=I(Y;X)从反向信道来说，H(Y),表示传输前信源Y的平均不确定性，而H(Y/X)表示收到X后，对信源X仍然存的平均不确定性，所以二者之差就是信道传递的平均交互信息量，代表平均不确定的消除。从正向信道来说，H(Y),表示传输前对Y的平均不确定性，而H(Y/X)表示发出X后，对Y仍然存的平均不确定性，所以二者之差就是信道传递的平均交互信息量，代表平均不确定的消除。,平均交互信息量的计算,47,2014秋季信息12,InfTheoryY)-H(Y|X)从正向信道来说，H(Y),表示传输前对Y的平均不确定性，I（X；Y）表示信道传递一个符号的平均交互信息量。H(Y|X)为在信道输出端发出X后，对收到Y后对Y仍然存在的平均不确定性。无噪声时，H(Y|X)=0，H（Y)=I（X；Y）=H（X），传递完全正确。当有噪声时，会损失了一部分平均信息量，就是H(Y|X)。故H(Y|X)表示，在已知X条件下，对Y存在的不确定性，反映了信道中噪声源的不确定性。也可以看出是为了惟一地确定信道噪声所需要的平均信息量。所以H(Y|X)又叫做“信道的噪声熵”（散布熵）,平均交互信息量的计算,48,2014秋季信息12,InfTheoryY)=H(X)+H(Y)-H(XY),联合熵共熵,2014秋季信息12,InfTheoryY)=H(X)+H(Y)-H(XY)通信前X和Y相对独立，联合熵H（XY）=H(X)+H(Y）通信后X和Y有了联系，联合熵H（XY）！=H(X)+H(Y）通信前后同时出现X和Y的平均不确定性之差就是I(X;Y)，是通信前后随机变量X和Y同时出现的平均不确定性的消除，也就是通信前后对整个通信系统不确定度减少的量。,平均交互信息量的计算,51,2014秋季信息12,InfTheoryb1)、I(a1;b2)、I(a2;b1)、I(a2;b2)；3、信源X和信宿Y的信息熵；4、信道疑义度H(X/Y)和噪声熵H(Y/X)；5、接收到消息Y后获得的平均互交信息量I(X;Y)。,2014秋季信息12,InfTheoryY)。,2014秋季信息12,InfTheoryY)=H(X)+H(Y)H(XY)=1.257bit/符号H(XY)=H(X)I（X;Y）=0.809bit/符号H(YX)=H(Y)I（X;Y）=0.600bit/符号,2014秋季信息12,InfTheoryY)=I(Y;X)=H(X)=H(Y)非负性I(X；Y)=0通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。当X、Y统计独立时等式成立，I(X；Y)=0极值性I(X;Y)=H(X)I(X；Y)0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)H(X)H(Y),2014秋季信息12,InfTheoryY)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y)H(X)H(Y),2014秋季信息12,InfTheoryY)和I(a5;Y),只有当信道的输入符号是等概率分布时才能达到这个最大值。当输入等概率时，由信道容量定义（每传一个符号带来的平均最大交互信息量），可以得到：,2014秋季信息12,InfTheoryY)=H(Y)-H(Y/X),2014秋季信息12,InfTheoryY)是信源概率分布p(xi)的上凸函数,所以极大值一定存在。I(X;Y)是n个变量p(ai)(i=1,2,n)的多元函数，并满足,所以可以用拉格朗日乘子法计算条件极值:,其中，为拉格朗日乘子,2014秋季信息12,InfTheoryY)=H(Y)-H(Y|X),H(Y),H(Y|X),2014秋季信息12,InfTheoryY)最大值,令则,若m=n,则可求解,2014秋季信息12,InfTheoryY)；求该信道的信道容量及其达到的输入概率分布。,2014秋季信息12,InfTheory&Coding-张祖平,98,2014秋季信息12,InfTheory&Coding-张祖平,本章小结,平均交