信息理论与编码

1、思考问题：熵有那些定义?其物理意义是什么?联合熵与信息熵、条件熵的关系是什么？互熵与信息熵、条件熵的关系是什么？1）I（X；Y）= H（X）一）一H（XY ）2) I（X；Y）= H（Y）一）一 H（YX）3） I（X；Y）= I（Y；X）4) I(X;Y)=H(X)+H(Y)-H(XY) H H（XYXY）H H（X X）H H（Y YX X） H H（XYXY）H H（Y Y）H H（X XY Y） 数据处理定理数据处理定理 (1) :当消息通过多级处理器时，随着处理器数目当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互的增多，输人消息与输出消息之间的平均互信息

2、量趋于变小。信息量趋于变小。 三、数据处理中信息的变化若若I(X;Z/Y)=0:则有则有 I(X;Z)=I(X;Y) I(X;Z)=I(Y;Z)数据处理定理数据处理定理(2) :如果想从测量值如果想从测量值Y中获得关于中获得关于X的的信息量，则测量次数越多越好。信息量，则测量次数越多越好。I(X;Y1)=0, I(X;Y)=02、对称性 H(p1,p2,pn)=H(p2,p1,pn)3、确定性 H(1,0,0,0)=04、最大熵定理：对于Xa1,a2,an 当p(ai)=1/n时，Hmax(X)=log2n5、条件熵小于无条件熵 H(X/Y)=H(X) H(X/Y1Y2)=H(x) H(XY)

3、= (X)= H(XH(XL L/X/X1 1X X2 2XXL-1L-1) )（3 3） H HL L(X)(X)是是L L的单调非增函数的单调非增函数H H0 0(X):(X):信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）H H1 1(X):(X):单符号信源熵单符号信源熵H HL L(X):(X):序列长度为序列长度为L L的平均符号熵的平均符号熵H H(X):(X):极限熵极限熵)./(lim)(lim)(121LLLLLXXXXHXHXH信息效率、冗余度的定义信息效率、冗余度的定义 信息效率信息效率冗余度冗余度 为序列长度为无限长时的平均符号信息量与序列长度为m时的平均符号信

4、息量的比值.10 ,)()(XHXHm)()(11XHXHm英文文章：英文文章：2626个字母加空格，共个字母加空格，共2727个符号。个符号。H H0 0(X)=log27=4.75 bit/symbol(X)=log27=4.75 bit/symbolH H1 1(X)=4.03 bit/symbol(X)=4.03 bit/symbolH H2 2(X)=3.32 bit/symbol(X)=3.32 bit/symbolH H(x(x)=1.4 bit/symbol)=1.4 bit/symbol 71. 029. 04.761.4)()(0XHXH由上述例子可看出：由于各个符号出现的

5、概率不均匀 所以：H1H0随着序列增长，字母间的相关性越来越强: 所以：HH3H2正是因为信源符号中存在的这些统计不均匀性和相关性，才使得信源存在冗余度。当英文字母的结构信息已预先充分获得时，可用合理符号来表达英语，例如传送或存储这些符号，可大量压缩，100页的英语，大约只要29页就可以了。 马尔可夫信源分析举例马尔可夫信源分析举例: :m m阶：输出符号与前阶：输出符号与前m m个状态有关。个状态有关。n n元：符号集中符号的数目为元：符号集中符号的数目为n nijiijpspsp)()(:极限分布)/()()(1iiimsXHspHXH例例1 1：有一个三元一阶平稳马尔可夫链：有一个三元一

6、阶平稳马尔可夫链X1,X2,X1,X2,，各各XiXi取于符号集取于符号集A=a1,a2,a3A=a1,a2,a3。已知起始概率为：。已知起始概率为：p1=1/2,p2=p3=1/4,p1=1/2,p2=p3=1/4,转移概率如下示。转移概率如下示。求这个链的极限平均符号熵和它们所对应的冗余度求这个链的极限平均符号熵和它们所对应的冗余度。ijiijpspsp)()(:极限分布)/()()(1iiimsXHspHXHijiijpspsp)()(:极限分布)/()()(iiisXHspXH例例2：由符号集，组成的二元二阶马尔可夫信：由符号集，组成的二元二阶马尔可夫信源，其转移概率为：源，其转移概率

7、为：p(|00)=0.8, p(1|00)=0.2, p(0|11)=0.2,p(1|11)=0.8, p(|01)=0.5,p(1|01)=0.5,p(0|10)=0.5, p(1|10)=0.5。画出状态转移图，并求稳态时的符号熵画出状态转移图，并求稳态时的符号熵 p(sp(s0 0)=p(s)=p(s3 3)=5/14)=5/14p(sp(s1 1)=p(s)=p(s2 2)=2/14 )=2/14 H H=0.801bit/symbol=0.801bit/symbol=0.2=0.2 ijiijpspsp)()(:极限分布)/()()(iiisXHspXH第4节 连续信源的熵和互信息一

8、：熵的定义二:典型连续信源的熵dxxpxpXHXXc)(1log)()(bacabdxababxHabxp)log()log()(1)(1)() 1 (22)(22log21)(21)()2(22eXHexpcmxdxxpxpXHXXc)(1log)()(:定义相对熵meXHmExemxpcxmlog)(,1)() 3 (1 dxdyxypxypXYHc)(1log)()( dxdyxypxypXYHc)/(1log)()/( dxdyxpyxpxypYXI)()/(log)();( Hc(XY)Hc(XY)Hc(X)Hc(X)Hc(YHc(Y/X)/X)Hc(Y)Hc(Y)Hc(XHc(X/

9、Y)/Y) I(X;Y) I(X;Y)I(Y;X)I(Y;X)Hc(X)- Hc(XHc(X)- Hc(X/Y)/Y) Hc(X)Hc(X)Hc(Y)- Hc(XYHc(Y)- Hc(XY) ) Hc(Y)- Hc(YHc(Y)- Hc(Y/X)/X)三、连续信源最大相对熵定理三、连续信源最大相对熵定理 （1 1）如果信源如果信源X X的幅度取值限制在的幅度取值限制在a,ba,b ，则则X X在均匀分布时，熵最大。在均匀分布时，熵最大。H Hc(X)=log(b-a)(2)(2)如果信源如果信源X X的平均功率的平均功率P=P=2 2，则，则X X在在高斯分布时，熵最大。高斯分布时，熵最大。H Hc(X)=log2e2分析举例:对于图示的系统，求：Hc(X),Hc(Y),Hc(Y/X)和I（X；Y）。NSSNSSSExyyxyxxypNSeYHeSXHyxyyxxyx2)1 (21exp121)()(2log21)(2log21)(222222NSSNSSSExyyxyxxypNSeYHeSXHyxyyxxyx2)1 (21exp121)()(2log21)(2log21)(222222)1log(212)(2log);(2log)()()/(2log)(1log)()(2)1(21exp21)(22NSeNNSeYXIeNXHXYHXYHSNedxdyxypxypXY