信道及互信息学习教案

1、会计学1信道信道(xn do)及互信息及互信息第一页，共37页。第1页/共36页第二页，共37页。第2页/共36页第三页，共37页。载荷消息的媒体不同邮递信道电信道光信道声信道信道的输入和输出的关联无反馈信道反馈信道信道参数与时间的关系固定参数信道时变参数信道传输信号的特点离散信道连续信道半离散或半连续信道 波形信道第3页/共36页第四页，共37页。图3.1 离散(lsn)信道模型第4页/共36页第五页，共37页。第5页/共36页第六页，共37页。)(xfy 1( )( | )0( )yf xP y xyf x （） (3.2)第6页/共36页第七页，共37页。为无记忆信道。第7页/共36页第

2、八页，共37页。NiiiNNxyPxxxyyyPxyP12121)|()|()|(3.3)证明证明 充分性：充分性： 若满足上式则离散信道为无记忆信道，根据若满足上式则离散信道为无记忆信道，根据(gnj)概概率关系，得条件概率率关系，得条件概率)|()|()|()|()|()|()|()|()|()|()|()|()|()|()|(1212122121121213121221121213121221121213121221112122112121NNNNNNNNNNNNNNNNNNNNNyyyxxxyPyyyxxxyPyyxxxyPyxxxyPxxxyPyyxxxyPyxxxyPxxxyPyy

3、xxxyyPyxxxyPxxxyPyxxxyyPxxxyPxxxyyyPxyP (3.4)第8页/共36页第九页，共37页。分别(fnbi)观察式中的各项条件概率 )|()|()|(211212112112121NNNNNNNNxxxyyyPxxxyyyyPyyyxxxyP因为满足(mnz)式，所以由上式得NNyNNNNNiiiyNNNNNiiixyPxyPxyPxyPxyPxxxxyyyyPxyP)|()|()|()|()|()|()|(11221111211211（） 而离散信道有 121)|()|(2121yyyNNYNxxxyyyPxyP第9页/共36页第十页，共37页。 121)|(

4、)|(|(2211yyyNNNxyPxyPxyPNyNNyyxyPxyPxyP1)|(1)|(1)|(212211)|()|()|()|(11112121NNNiiiNiiiNNNxyPxyPxyPyyyxxxyP由式(3.3)得所以(suy)有将代人式3.5,得（）第10页/共36页第十一页，共37页。同理)|()|()|()|()|()|()|()|()|()|()|()|()|()|(1121122121211211111212121121212212112122121111xyPxxxyPxyPyxxxyPxyPxyPxyPxyPxyPxxxyyyPxxxyyyyPxxxyyyPxxx

5、yyyPyyyxxxyPNNNNiiNiiiNiiiyyNiiiyNiNNyyNNNyNNNNNNNNNNNNN第11页/共36页第十二页，共37页。 从上面(shng min)的等式可知，离散信道在i时刻的输出只与i时刻的输入有关，与i时刻以前的输入和输出无关，并与i以后的输入也无关。此信道是离散无记忆信道。)|()|()|()|()|()|(22121122121211211NNNNNNNyyPyyyxxxyPxyPyxxxyPxyPxxxyP必要性：若信道是无记忆必要性：若信道是无记忆(jy)信道则必满足式信道则必满足式，根据离散无记忆，根据离散无记忆(jy)信道的定义，则信道的定义，则

6、第12页/共36页第十三页，共37页。所以(suy)，由式(3.4)|()|()|()|()|()|()|()|()|()|()|(111221112121221211212131212211iiNiNNNNNNNNNNNNNxyPyyPxyPxyPxyPyyyxxxyPyyyxxxyPyyxxxyPyxxxyPxxxyPxyP由此得证，式（）是无记忆(jy)信道的充要条件。第13页/共36页第十四页，共37页。来处理。n方法二是：把P(y|x)看成马科夫链的形式。第14页/共36页第十五页，共37页。,r)1,2,(i1)|aP(bs1jij (3.12) 第15页/共36页第十六页，共37

7、页。图3.2 单符号离散(lsn)信道图3.3 二元对称信道第16页/共36页第十七页，共37页。2121211)|()|(jjjjabPabPpppp111010例例3.1 二元对称信道，简记二元对称信道，简记BSC.其传递概率如图其传递概率如图3.3 所示所示X0，1,Y0，1，传递概率为，传递概率为P(b1|a1)=1-p P(b2|a1)=p P(b1|a2)=p P(b2|a2)=1-p可见可见(kjin)这些传递概率满足式（）这些传递概率满足式（）二元对称(duchn)信道的传递矩阵为 第17页/共36页第十八页，共37页。qqpp100110120例例3.2 二元对称信道，简记二

8、元对称信道，简记BEC.这时这时r=2，s=3。输入信号。输入信号(xnho)X0，1,输出信号输出信号(xnho)Y0，2，1，其传递概率(gil)如图3.4 所示，传递矩阵为:图3.4 二元删除信道第18页/共36页第十九页，共37页。 由此可知，一般离散单符号(fho)信道的传递概率可用矩阵形式表示，即)|()|()|()|()|()|()|()|()|(2122221112112121rsrrssrrabPabPabPabPabPabPabPabPabPaaabbb并满足式（）riabPsjij, 2 , 11)|(1为了表述方便，可以写成P(bj|ai)=Pij第19页/共36页第二

9、十页，共37页。第20页/共36页第二十一页，共37页。), 2 , 1(1)|()()(1sjabPaPbPriijijsraPaPaPPbPbPbPsTr)()()()()()(2121 根据联合(linh)概率可得输出符号的概率也可写成矩阵(j zhn)形式第21页/共36页第二十二页，共37页。), 2 , 1., 2 , 1()|()()|()(0)()()()|(1sjriabPaPabPaPbpbPbaPbaPriijiijijjjiji), 2 , 1(1)|P(a1isjbrij根据贝叶斯公式(gngsh)可得后验概率 且得上式说明，信道输出端接收到任(do rn)一符号bj

10、一定是输入符号a1,a2,ar中的某一个输入信道。第22页/共36页第二十三页，共37页。先验熵先验熵在接收到输出在接收到输出Y以前，关于输入变量以前，关于输入变量(binling)X的先验的先验不确定性的度量。不确定性的度量。riiiaPaPXH1)(1log)()( (3.23)后验熵后验熵在接收到输出在接收到输出bj以前，关于输入以前，关于输入(shr)变量变量X的先验不的先验不确定性的度量。确定性的度量。XjjrijjijbxPbxPbxPbaPbXH)|(1log)|()|(1log)|()|(1 (3.24)第23页/共36页第二十四页，共37页。YXsjrijijisjrijij

11、ijsjrijijijsjjjjyxPxyPbaPbaPbaPbaPbPbaPbaPbPbXHbPbXHEYXH,1111111)|(1log)()|(1log)()|(1log)|()()|(1log)|()()|()()|()|( 这个条件熵称为信道疑义度。它表示在输出端收到输出变量Y符号后，对输入端的变量X尚存在的平均(pngjn)不确定性(存在疑义)，条件熵一般小于无条件熵。 H(X|Y)H(X)(3.25) 后验熵在输出y的取值是个随机量，将后验熵对随机变量Y求期望(qwng)，得条件熵为第24页/共36页第二十五页，共37页。映输入与输出两个随机变量之映输入与输出两个随机变量之间的

12、统计约束程度。间的统计约束程度。第25页/共36页第二十六页，共37页。第26页/共36页第二十七页，共37页。)()|(log)()()(log)()|(log)|()();(yPxyPyPxPxyPxPyxPyxIxIyxIXYXYXYxPyxPxyPyxIxyPyxIEYXI)()|(log)();()(),();(平均互信息I(X;Y)就是绪论(xln)中提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果。互信息I(x;y)是代表接收到某消息y后获得关于某事件x的信息量。即互信息可取正值，也可取负值。对于(duy)平均互信息 （）第27页/共36页第二十八页，共37页。根据

13、熵的定义(dngy)和表达式 I(X;Y)=H(X)-H(X|Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y|X)由此也可求得联合熵H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)XXYXYYXxyPxyPXYHxyPxPXYHyxPxyPYXHyPyPYHxPxPXH)(1log)()()|(1log)()|()|(1log)()|()(1log)()()(1log)()(其中(qzhng)第28页/共36页第二十九页，共37页。1( )( | )0( )yf xP y xyf x它表示(biosh)输入信号传输到其对应的输出信号时，符号的传递概率等于1，根据概率关系)

14、(0)|()(0)(1)|()()|()()|()()|()()()()|(xfyxyPxPxfyxyPxPxyPxPxyPxPxyPxPyPxyPyxPXX第29页/共36页第三十页，共37页。所以(suy)得0)|(1log)()|(0)|(1log)()|(,YXYXxyPxyPXYHyxPxyPYXH此信道的损失熵和噪声熵都等于(dngy)0所以 I(X;Y)=H(X)=H(Y)因为输入输出符号一一对应，所以接收到输出符号Y后对于输入X的不存在任何不确定性。这时，接收到的平均信息量就是输入信源所提供的信息量。在信道中没有任何信息损失， 同时因为输入输出符号一一对应，所以噪声熵也等于(d

15、ngy)零第30页/共36页第三十一页，共37页。第31页/共36页第三十二页，共37页。ZzYZPXZPzPYyXYPYZPyPXxXZPXYPxPXxZzXYZPxzPYyZzXYZPyzPYyXxXYZPxyPXYZPXYXZYZYXZXYZ)()()()()()()()()(,)()(,)()(,)()(1)(第32页/共36页第三十三页，共37页。例例3.3 四个等概率分布的消息四个等概率分布的消息M1，M2，M3，M4被送入一个二元无记忆被送入一个二元无记忆(jy)对称信道对称信道进行传输。通过编码使进行传输。通过编码使M1=00，M2=01，M3=10，M4=11。BSC信道如图

16、所示。试问，信道如图所示。试问，输入是输入是M1和输出符号是和输出符号是0的互信息是多少？如果知道第二个符号也是的互信息是多少？如果知道第二个符号也是0，这时带来多少，这时带来多少附加信息量？附加信息量？2141)1 (4141)1 (41)|0()()|0()()|0()()|0()()|0()()0(4433221141ppppMPMPMPMPMPMPMPMPMPMPPiii解根据题意知P(M1)=P(M2)=P(M3)=P(M4)=1/4,而P(0|M1)=P(0|0)=1- p,所以(suy)输入M1和第一个输出符号0的联合概率 P(M10)=P(M1)P(0|M1)=(1-p)/4输

17、出第一个符号为0的概率第33页/共36页第三十四页，共37页。根据(gnj) )()()(log);(yPxPxyPyxI)1log(1)()0()0(log)0 ;(111pMPPMPMI若输出符号(fho)为00，可得 P(M100)=P(M1)P(00|M1)=(1-p)2/4由于是无记忆信道，所以 P(00|00)=P(0|0)P(0|0)=(1-p)2因此bitppppppMPMPMPMPMPMPMPMPMPMPPiii4141)1 (41)1 (41)1 (41)|00()()|00()()|00()()|00()()|0()()0(224433221141第34页/共36页第三十五页，共37页。同理可得)1log(22)()00()00(log)00;(111pMPPMPMI由此，当第二个也是0时所带来的关于(guny)M1 的附加信息量为 I(M1;0|0) =I(M1;00)-I(M1,0) =1+log(1-p)