离散信源熵ppt课件

1、源和信息熵，第二章，2，2.1源的描述和分类2.2离散源熵和互信息2.3离散源熵和互信息2.5冗馀，内容，3，2.2离散源熵和互信息，4，离散源熵和互信息，问题：什么是不确定度？ 什么是自信息量？什么是平均不确定度？什么是源熵？ 什么是平均自我信息量？什么是条件熵？ 什么是联合熵？联合熵，条件熵和熵的关系是什么？5，离散源熵和互信息，问题：什么是后验概率？ 什么是相互信息量？什么是平均相互信息量？疑义度是什么？ 噪音熵是什么？ 数据处理定理是怎么记述的？ 假设熵的性质是什么？6、自信息量、离散源x，则该概率空间是表示在I(xi )意思：事件xi发生之前，表示发生了事件xi的不确定事件xi之后，

2、事件xi中包含的信息量的信息量、自信息量、条件自信息量、 离散源熵、离散源熵H(X )和源熵具有三个物理意义，该物理意义指示从信息源输出之后各个离散消息所提供的平均信息量。 信息熵H(X )表示在源进行输出之前源的平均不确定性。 信息熵H(X )反映了变量x的随机性。 有、9、源熵、无条件熵、条件熵，联合熵，10，2.2.3互信息，其中两个随机事件x和y，x是来自源的离散消息集合，y是来自宿的离散符号集合，加扰信道，以及在具有互信息且信道无噪声的情况下，在源输出消息xi之后，宿正确地接收该消息，完全消除对xi的不确定度，并且通常所获得的信息量为xi的不确定度I，信道中总是存在噪声和干扰，并且源

3、为消息信宿接收yj，源发出xi的概率p(xi|yj )称为事后概率。 信源发出消息xi的概率p(xi )称为先验概率。12、互信息、互信息是xi的后验概率和前验概率比的对数、互信息I(xi； yj )表示接收某个消息yj而得到的与事件xi相关的信息量。13，例某某月的天气构成的起源，知道“今天不是晴天”，就把这个词作为接收消息y1接收到y1后，各种天气发生的概率为事后概率p(x1|y1)=0，p(x2|y1)=1/2，p (x3|y1 ) 消息y1使x2x3x4的不确定度分别减少1比特。15，例2-8:一个二进制资源x发出符号集合0，1，通过离散的无记忆信道传输，信道输出用y表示，信道中存在噪

4、声，因此接收端接收0和1符号，此外，还接收不确定符号“2” p(x1)=1/3，符号转换概率： p (y0| x0)=3/4p (y2| x0)=1/4p (y1| x1)=1/2，x，y，0，1，0，1，2，3/4，1/2，1/2 16联立概率： p (x0y0)=p (x0) p (y0| x0)=2/33/4=1/2p (x0y1)=p (x0) p (y1| x0)=0p (y2| x0)=2/31/4=1/6p (x1y0)=p (x1) p (x1)=p(x1)p(y2|x1)=1/31/2=1/6条件熵被变更为17，联合熵H(X， y ) h (x ) h (y|x )=1. 8

5、位/码p (y0 )=p (Xi y0 )=p (x0 y0 ) p (x1 y0 )=1/20=1/2p (y1 )=p (x0y1 )=p (x0y1 )=0/6=1/6p (y2 )=p (Xi y2 )=p (Xi y2 ) p(x1|y1)=1p(x0|y2)=1/2； p(x1|y2)=1/2、19、H(X ) :表示接收输出符号y之前输入变量x的平均不确定度。 H(X|Y ) :表示接收输出符号y后输入变量x的平均不确定度。存在于对x中的平均不确定度由于干扰(噪声)，导致20、平均互信息、平均互信息定义、信息=先验不确定性后验不确定性=不确定性减少量、y未知、x的不确定度是H(X

6、)Y已知，x的不确定度是H(X|Y )、21、平均互信息、加扰信道、 如果通信系统接收到始发者符号是x，接收者符号是y，则对于x的不确定性完全消除了： H(X|Y)=0一般情况： H(X|Y)H(X )，即如果知道y，对于x的不确定性减小，并且通过信道传输不确定、22、平均互信息、平均互信息的另一种定义方法：23，例如，如果在电线上串联连接有8个灯泡x1、x2、x8，则这8个灯泡破损的概率等于p(xi)=1/8，目前，假定只有一个灯泡已破损，则串联的灯泡被损坏。 未测量前，8个灯泡可能损坏，它们损坏的先验概率：p(xi)=1/8，当时存在的不确定性： 24、第一次测定后，知道4个灯泡很好，另外

7、4个灯泡中的一个不好，此时的后验概率p(xi|y)=1/4中存在的不确定性，得到的信息量为测定前后的不确定性减少的量，第一次测定中得到的信息量：25，第二次测定后此时，事后概率为，p(xi|yz)=1/2存在的不确定性：第二次测定得到的信息量：第三次测定中不确定性完全消除，可以知道哪个灯泡破损了。 还存在的不确定性等于零。 为了从第三次测定得到的信息量：26，8个等可能坏的串联灯泡中确定哪个灯泡坏了，至少需要得到3比特的信息量。 27、方法2 :一个一个地检查第一次的：x1的损坏，得到信息量=3比特，可能性小于1/8的x1通，剩下的7只中1只差，不良灯泡的不确定性： log 27=2.8073

8、比特取得信息量=3- 2.8073=0.1927比特当存在第八次获取的平均信息量：“对半开”的第一次获取的平均信息量：28、互信息量、3个变量时，以相同的方式定义了符号xi和符号yj zk之间的互信息量，29，条件互信息在已知事件zk的条件下接收到yj后， 被定义为获得关于给定事件xi的条件互信息，30，平均互信息与各种熵的关系，熵仅仅是平均不确定性的描述，并且不确定性的消除(两个熵的差)等于接收侧所获得的信息量。 得到的信息量不能和不确定性混淆。 31、维拉图、H(X|Y )、H(X )、H(Y )、H(XY )、H(Y|X )、I(X； y )，32，条件熵，H(X|Y ) :信道疑义度，

9、损失熵源符号通过噪声信道传输引起的信息量损失。 源x的熵等于所接收的信息量加上损失的信息量。 H(Y|X ) :噪声熵，散布熵反映了通道中噪声源的不确定性。 输出源y的熵H(Y )是关于x的信息量I(X； 如果y )加H(Y|X )，那完全是由于信道中的噪声引起的。 如果信道是无噪声的一对一对应信道，则计算信道传递概率：33、发送和接收两端的熵关系、34，并且如果信道输入端x和输出端y在统计上是完全独立的，则计算信道传递概率：35。36，2.2.4假定在数据处理期间信息的改变，并且当数据处理定理：消息通过多级处理器时，输入消息和输出消息之间的平均互信息量趋于随着处理器数量的增加而变小，则x和z是彼此独立的信号、数据或消息的多级处理允许每次处理时丢失一些信息，即，数据处理是所谓的不增加信息的原理，其使信号、数据或消息变得更有用但并不创建新信息。38，三维联合集XYZ上的平均互信息量，39，2.2.5熵的性质，1 .非负型H(X)H(p1，p2，pn)0式中号只在pi=1时成立。 2 .对称性H(p1，p2，pn)=H(p2，p1，pn )例如，以下源的熵全部相等：40，熵的性质，3