信息理论与编码

信息理论与编码第1页，课件共25页，创作于2023年2月2-5：居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生的消息，问获得多少信息量。

A=“女孩”，B=“大学生”，C=“身高1.6m以上”

P(B/A)=0.25P(C/AB)=0.75P(C/A)=0.5第2页，课件共25页，创作于2023年2月第一节：单符号离散信源

一：符号的信息量

二：信源的平均信息量1、信息熵信源X中各符号平均信息量。单位bit/symbol第3页，课件共25页，创作于2023年2月定义：在给定Y条件下，X的条件熵

H（X/Y）=2、条件熵相应地，在给定X的条件下，Y的条件熵H(Y/X)定义为H(Y/X)=H(Y/X):噪声对各符号产生的平均信量，称为噪声熵。H(X/Y)：在传输符号时平均损失的信息量，称为疑义度。3、联合熵H（XY）=联合熵H（XY）表示X和Y同时提供的符号平均信息量

第4页，课件共25页，创作于2023年2月4、平均互信息量表示通信系统在传输一个符号时，所传送的平均信息量。各参数的意义总结:

H（X）是符号集合X中每个符号包含的平均信息量.I（X；Y）信道上能传输的平均信息量.H（X／Y）称为疑义度，它是信道中每个符号损失的

信息量。H（Y／X）称为噪声熵。H(XY)联合熵第5页，课件共25页，创作于2023年2月第6页，课件共25页，创作于2023年2月第7页，课件共25页，创作于2023年2月

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

第8页，课件共25页，创作于2023年2月1）I（X；Y）=H（X）一H（X／Y）I（X；Y）=H（Y）一H（Y／X）3）I（X；Y）=I（Y；X）4)I(X;Y)=H(X)+H(Y)-H(XY)第9页，课件共25页，创作于2023年2月例2-9：二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码。设：u0---发出一个0；u1—发出一个1；v0—收到一个0；v1—收到一个1。P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.(1)已知发出一个0，求收到符号后的信息量；(2)已知发出一个符号，求收到符号后的信息量；(3)已知发出的和收到的符号，求能得到的信息量；(4)已知收到的符号，求被告知发出的符号能得到的信息量。求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY)(4)H(X/Y)?I(X;Y)第10页，课件共25页，创作于2023年2月求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY(4)H(X/Y)?I(X;Y)第11页，课件共25页，创作于2023年2月2-10在一个袋中放入5个黑球、10个白球，以摸出一个球为一次实验，摸出的球不再放进去。求：（1）一次实验X包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3)第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度。求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=“白”)(4)H(Y)第12页，课件共25页，创作于2023年2月求:(1)H(X)(2)H(Y/X=“黑”)(3)H(Y/X=“白”)(4)H(Y)(1)H(X)=H(1/3,2/3)=0.92(2)H(Y/X=“黑”)=H(2/7,/5/7)=0.86(3)H(Y/X=“白”)=H(5/14,9/14)=0.94(4)H(Y)P(y=“黑”)=1/3,P(y=“白”)=2/3H(Y)=0.92通过第2次的实验结果能够获得的关于第1次实验的信息量为I(X;Y)=?练习:习题2-11第13页，课件共25页，创作于2023年2月什么叫全损离散信道?

分析:I（X；Y）＝H（X）-H（X／Y）如果X与Y是相互独立的，I（X；Y）=0。信源发出的信息量在信道上全部损失掉了，此时称为全损离散信道什么叫无扰离散信道?

由于没有噪声，X=Y,所以信道不损失信息量，疑义度H（X／Y）为零，噪声熵也为零。此时有：I（X；Y）=H（X）这时的信道叫无扰离散信道。第14页，课件共25页，创作于2023年2月

数据处理定理(1):当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。

三、数据处理中信息的变化I(X;Z)<=I(X;Y)I(X;Z)<=I(Y;Z)数据处理定理(2):如果想从测量值Y中获得关于X的信息量，则测量次数越多越好。I(X;Y1)<=I(X;Y1Y2)第一级处理器第二级处理器XYZ输入第15页，课件共25页，创作于2023年2月四、熵的性质1、非负性H(X)>=0,I(X;Y)>=02、对称性H(p1,p2,…pn)=H(p2,p1,…pn)3、确定性H(1,0,0,…0)=04、最大熵定理：对于X{a1,a2,…an}

当p(ai)=1/n时，Hmax(X)=log2n5、条件熵小于无条件熵H(X/Y)<=H(X)

H(X/Y1Y2)<=H(X/Y1)

在相互独立时取等号。联合熵大于独立熵H(XY)>=H(x)

H(XY)<=H(x)+H(Y)

在X=Y时，取等号。第16页，课件共25页，创作于2023年2月作业:2-12,2-14第17页，课件共25页，创作于2023年2月2.3离散序列信源的熵

设:信源输出的随机序列为X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符号熵:HL(X)=H(XL)/Lbit/symbol一、无记忆离散序列H(XL)=H（X1）+H（X2）+…+H(XL)=LH(X)HL(X)=H(X)第18页，课件共25页，创作于2023年2月设:信源输出的随机序列为X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符号熵:HL(X)=H(XL)/Lbit/symbol二、有记忆离散序列H(XL)=H（X1)+H（X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)HL(X)=H(XL)/L第19页，课件共25页，创作于2023年2月例：2-12已知:离散有记忆信源中各符号的概率空间为:

现信源发出二重符号序列消息（ai,aj），这两个符号的概率关联性用条件概率p(aj/ai)表示，并由下表给出。求离散信源的序列熵和平均每个符号的熵?第20页，课件共25页，创作于2023年2月第21页，课件共25页，创作于2023年2月特点：（1）H(XL/X1X2…XL-1)为L的单调非增函数。有记忆离散序列X=X1X2X3…XLH(XL)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)（2）HL(X)>=H(XL/X1X2…XL-1)（3）HL(X)是L的单调非增函数H0(X):信源等概率时的熵（最大熵）H1(X):单符号信源熵HL(X):序列长度为L的平均符号熵H∞(X):极限熵第22页，课件共25页，创作于2023年2月第4节连续信源的熵和互信息

一：熵的定义第23页，课件共25页，创作于2023年2月第24页，课件共2