信息论各种熵之间的关系ppt课件.ppt_第1页
信息论各种熵之间的关系ppt课件.ppt_第2页
信息论各种熵之间的关系ppt课件.ppt_第3页
信息论各种熵之间的关系ppt课件.ppt_第4页
信息论各种熵之间的关系ppt课件.ppt_第5页
已阅读5页,还剩23页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、2.1.5 各种熵之间的关系,1,2,3,4,5,6,2.2.1 无记忆扩展信源的熵,2.2.2 离散平稳信源的熵,2.2.3 马尔可夫信源,2.2.4 信源的冗余度,2.2 扩展信源,7,无记忆的离散信源序列,离散有记忆序列信源,离散平稳信源,马尔可夫信源,无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息,而且所发出的各个符号是相互独立的,各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。,离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。,8,1、离散无记忆二进制信源X的二次扩展信源,每两个二进制数字构成一组,则新的等效信源X的输出符号为00

2、,01,10,11。 若单符号离散信源的数学模型为 二次扩展信源的数学模型为 其中,X2表示二次扩展信源。这里,a1=00,a2=01,a3=10,a4=11。且有,2.2.1 无记忆扩展信源的熵,9,2、 离散无记忆信源X的N次扩展信源 (1)数学模型 设单符号离散信源的数学模型为 满足 则其N次扩展信源用XN来表示,其数学模型为 满足 每个符号ai对应于某个有N个xi组成的序列。 在N次扩展信源XN中,符号序列构成的矢量其各分量之间是彼此统计独立的,即,10,(2)熵 N次扩展信源的熵按信息熵的定义为 其单位为比特/符号序列。 H(XN)=H(X1X2XN)=H(X1)+H(X2/X1)+

3、H(X3/X1X2)+ H(XN/X1X2XN-1) 由于无记忆扩展信源的各Xi之间是彼此独立的,且各个 H(Xi)=H(X),所以 H(XN)=H(X1 X2 XN)= H(X1)+H(X2)+H(X3)+ H(XN)=NH(X),11,单符号信源如下,求二次扩展信源熵,扩展信源:,12,13,各维联合概率均与时间起点无关的完全平稳信源。,对于随机变量序列X=X1X2XN,若任意两个不同时刻i和j(大于2的任意整数),信源发出消息的概率分布完全相同,即 一维平稳信源 P(Xi=x1)=P(Xj= x1)=p(x1) P(Xi=x2)=P(Xj= x2)=p(x2) P(Xi=xn)=P(Xj

4、= xn)=p(xn),2.2.2 离散平稳信源的熵,1. 定义,14,二维平稳信源 P(Xi=x)=P(Xj= x)=p(x) P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2) 其中x1,x2X=(x1,x2,xn),离散平稳信源 P(Xi)=P(Xj) P(Xi Xi+1)=P(Xj Xj+1) P(Xi Xi+1 Xi+2Xi+N)=P(Xj Xj+1 Xj+2 Xj+N),15,反映信源记忆特性的两方法:,用联合概率反映信源记忆特性,用条件概率反映信源记忆特性,1,2,2. 二维信源,16,每组中的后一个符号与前一个符号有统计关联关系,而这种概率性的关

5、联与时间的起点无关。假定符号序列的组与组之间是统计独立的。,17,18,一般地,19,例,原始信源:,条件概率:,20,H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号),21,3. N维离散平稳有记忆信源,(1) 熵,22,23,平均符号熵:,极限熵:,(2) 极限熵,24,(3)性质,条件熵H(XN|X1X2XN-1)随着N的增加而递减 证明: H(XN|X1X2XN-1)H(XN|X2XN-1)(条件熵小于等于无条件熵) = H(XN-1|X1X2XN-2)(序列的平稳性),25,若N一定,则平均符号熵大于等于条件熵 HN(X)H(XN|X

6、1X2XN-1) 证明: NHN(X)=H(X1X2XN) =H(X1)+H(X2|X1)+H(XN|X1X2XN-1) . = H(XN)+H(XN|XN-1)+H(XN|X1X2XN-1) (序列平稳性) NH(XN|X1X2XN-1) (条件熵小于等于无条件熵) 所以 HN(X)H(XN|X1X2XN-1),平均符号熵也随N的增加而递减 证明: NHN(X)= H(X1X2XN)= H(XN|X1X2XN-1)+ H(X1X2XN-1) = H(XN|X1X2XN-1)+(N-1) HN-1(X)HN(X)+ (N-1) HN-1(X) 所以HN(X)HN-1(X), 即序列的统计约束关系增加时,由于符号间的相关性,平均每个符号所携带的信息量减少。,26,如果H(X),则存在 ,并且,27,作业:2.17 2.18,2.17 某一无记忆信源的符号集为0, 1,已知P(0) = 1/4,P(1) = 3/4。 (1) 求符号的平均熵; (2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; (3) 计算(2)中序列的熵。,2.18 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按P(

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论