信息论期末总结

1、消息中包含信息，消息是信息的载体。信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的过程就是消除不确定性的过程。信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1,那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。某个消息的不确定性（含有的信息量）可以表示为：I区）=log 1 = .log p（x信源的平均不确定性：H（X）=. p （ Xi ） log p （ Xi ）信源发出的消息的统计特性离散信源、连续信源、波形信源有记忆信源和无记忆信源 平稳信源和非平稳信源编码器的功能：将消息变成适合信道传输的信号编

2、码器包括：（1）信源编码器（2）信道编码器（3）调制器 信源编码器：去除信源消息中的冗余度，提高传输的有效性 信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。 调制器：功能：将信道编码后的符号变成适合信道传输的信号目的：提高传输效率信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道有记忆信道和无记忆信道恒参信道（平稳信道）和随参信道（非平稳信道）单用户信道和多用户信道信道传输信息的最高速率：信道容量译码器的功能：从接收到的信号中恢复消息。包括：（1）解调器（2）信道译码器（3）信源译码器提高有效性：（数据压缩）信源编码：无失真信源编码和限失真信源编码提高可靠性：（可

3、靠传输）信道编码香农第一定理：如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。香农第三定理：对于任意的失真度D _0只要码字足够长，那么总可以找到R ( D )，而码的平均失真一种编码方法，使编码后的编码信息率 度|d 3。公理性条件:(1) 如果 p(x1) < p(x2)，则 1(x1) > 1(x2)， l(xi )是p(xi)的单调递减函数；(2

4、) 如果 p(xi)=0，则 l(xi ) t g ;如果 p(xi)=1，则 l(xi ) =0 ;(3) 由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：l(xiyj)=l(xi )+I(yj)自信息可以从两个方面来理解： 自信息是事件发生前，事件发生的不确定性。 自信息表示事件发生后，事件所包含的信息量。先验概率：信源发出消息 Xi的概率 P(Xi)。后验概率：信宿收到消息 yj后推测信源发出的概率，即条件概率p(xi |yj)。XiI (Xi；yj) =l(Xi) -I (Xi 1 yj)-og p(xi) log p(Xi |yj)(i =1,2”. .,n ;j

5、 =1,2, . ,m),p(Xi |yj)=logp(Xi)互信息有两方面的含义：表示事件yj出现前后关于事件xi的不确定性减少的量；事件比 出现以后信宿获得的关于事件人的信息量。观察者站在输出端l(xi;yj)=logp(xi|yj)-ogp(xi)=l (xi) T(xi|yj)观察者站在输入端l(yj； xi)=log p(yj | xi) -ogp(yj)=l (yj) -l(yj | xi)当后验概率大于先验概率时，互信息为正。当后验概率小于先验概率时，互信息为负。当后验概率与先验概率相等时，互信息为零。任何两个事件之间的互信息不可能大于其中任一事件的自信息例6:居住某地区的女孩中

6、有 25%是大学生，在女大学生中有75%是身高1.6m以上 的，而女孩中身高1.6m以上的占总数一半。 假如我们得知 身高1.6m以上的某女孩 是大学生”的消息，问获得多少信息量？治)=p(a)=1。此消息在二进制对称例7:已知信源发出和两种消息，且p(b】|a2)= p(b2|a】)=信道上传输，信道传输特性为p(b1 21) = P(b2 2 2)=1 求互信息量l (ai;b)和丨佝怎)自信息是一个随机变量：自信息是指信源发出的某一消息所含有的信息量。不同的 消息，它们所含有的信息量也就不同。平均自信息(信息熵/信源熵/香农熵/无条件熵/熵函数/熵)H(X) El(x) =ETogp(x

7、)八 p(x)iogp(x)例2 :一信源有 6种输出符号，概率分别为P(A)=0.5 , P(B)=0.25 , P(C)=0.125 ,P(D)=P(E)=0.05,P(F)=0.025。1) 计算 H(X)。2) 求符号序列ABABBA和FDDFDF的信息量，并将之与 6位符号的信息量期望值相比 较。递增性(递推性)H (» P2,|l|, Pniqiq,川，qm)二 H ( P" p2, I Pn ) PnH ( ,一)Pn PnPnnm其中：7 Pi =1) qj 二 Pn i二j 4例4 :利用递推性计算熵函数 H(1/3 ,1/3,1/6 ,1/6)的值极值性

8、(最大离散熵定理)定理：离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即)，熵最大，即Hg'P2 pj兰H(yn罕)T°gn定义2.4随机变量X和Y的联合分布为p(xiyj)，则这两个随机变量的联合熵定义为：n mH(XY)-'、 p(Xiyj)log p(Xiyj)i仝 j 4联合熵表示对于二维随机变量的平均不确定性。定义2.5随机变量X和Y的条件熵定义为：H(X|Y)；二 p(yj)log p(Xi |yj)i jH (Y |X) -P(Xiyj)log p(yj |xji j条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。例

9、6:已知 联合概率分布如下，求：H(XY)，H(X), H(Y), H(Y|X), H(X|Y)。Y1y2y3y4X1-0.25000 _0.25X20.100.30000.40X300.050.1000.15X4000.050.100.15X5-000.050 _0.050.350.350.200.10各种熵之间的关系? H(XY)= H(X)+ H (Y|X)=H(Y)+ H(X|Y)? H(X|Y)_H(X)，H(Y|X)汩(Y)? H(XY)汨(X)+H(Y)若X与Y统计独立，则 H(XY)=H(X)+H(Y) 平均互信息的概念l(X;Y)二H (X) - H(X |Y)= H(Y)

10、-H(Y|X)=H(X) H(Y) _H (XY)平均互信息和各类熵的关系l(X; Y)= H(X)- H (X|Y)= H(Y) _H (Y|X)= H(X)+ H(Y) _H(XY)X, Y互相独立时定义2:随机变量序列中，对前N个随机变量的联合熵求平均称为平均符号熵1Hn(X) H (X1X|Xn)N如果当 N r :时上式极限存在，则|汁HN(X)被称为熵率，或极限熵，记为离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍:H (X ) =H(X N) =NH (X)1H(XiX2) :：:H(X)对于马氏链符号间相关性越大，熵越小。熵的相对率=H:信道的数学模型为P0 X

11、, P(Y|X),Y二元对称信道输入符号集A=0,1,输出符号集B=0,1, r= s= 2 传递概率:P(0|0) = p p(0|1) = pP(1|O) = pp=pp_ppP = P _P SA=0,1，符号输出集 B=0,?,1 , r=2, s=3° 1_q q 一P(1|1) =p二元删除信道输入符号集例3：求二元删除信道的 H(X)、已知Px_43H(Y)、H(X |Y)和 I (X;Y)0123 一信道容量 C =maxfl(X;Y)? 比特/符号例4以二元对称信道。信源的概率空间为X=0ILp( x)：呼 信道矩阵为p = p pl求信道容量？一个输入对应多个输出一个输出对应多个输入a PC = max I (X ;Y) = max H (X) = log rp(x)p(x)C = max I (X ;Y)二 max H (Y) = log sp(x)p(x)输入、输出之间有确定的 对应关系。 C =max I (X;Y) =max H(X) =log rp(x)p(x)定义1 :若信道矩阵p中每行都是第