二信息地度量修改(最终)_第1页
二信息地度量修改(最终)_第2页
二信息地度量修改(最终)_第3页
二信息地度量修改(最终)_第4页
二信息地度量修改(最终)_第5页
已阅读5页,还剩73页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

信息论基础

信息的度量HowtomeasureInformation?本章内容•

信息及其度量•

平均信息量-熵•

通过信道的平均信息量-互信息量•

信息不增原理•

各种信息量之间的关系•

连续随机变量的信息度量参考书:沈振元等,“通信系统原理”,第11章(PP412-437)

戴善荣,“信息论与编码基础”,第2章§1信息及其度量消息、信息与信号信息蕴含于消息之中,信号是消息的外在表现形式。信息的定义[信息]事件本身所含有的不肯定性,或者说获得某事件发生时所排除的不肯定性。信息量与什么因素有关?•

不确定性的大小(发生的概率)•

主观因素(不考虑)信息的度量概率p越小,信息量越大•

信息量是概率的单调递减函数•

具有可加性例1-1将一个棋子随机地落入一个8x8的棋盘,分别用两种方法猜,看落到哪一个格子里:一是直接猜,二是先猜行,后猜列。[定义](自)信息量定义为

I=log1/p=-logpp是事件发生的概率。单位:•

以2为底-比特(bit)

以e为底-奈特(Nat)

以10为底-哈特莱(Hartley)关系:log2P=1.443lnPlog2P=3.322log10P例1-2从26个英文字母中,随机地取一个字母,则选取一个字母的自信息量为从0,1…9十个数字中,随机地取一个数字的自信息量为例1-3随机地选取一个包括m位的二进数。由于每一位有“0”或“1”两种可能,共有2中等可能的方式。于是§2平均信息量-熵,最大熵,冗余度1平均信息量-熵(Entropy):(信源熵)一个离散信源S由K个符号组成withprobabilitiesSsssK={},,...,12各符号出现的概率分别为则其平均信息量为:称之为信源熵。则其熵为

例2-4某信源输出四个符号,其符号集合系统为可以直观地看出,此例中当四个符号出现的概率相等,即

时,其平均信息量或熵值将会最大,且为一般言之,当一个消息序列中m个消息出现的概率相等时,则具有最大的信息量,记为H0称为信息的最大含量(德文为Entscheidungsgehalt)它与实际平均信息量之差称为剩余度ΔH,即例2-5根据统计,英文,德文和俄文字母及空格在文献书籍中出现的概率如表2-2所以,试计算它们的平均信息量和最大信息含量。英文字母:H(X)=4.03比特/字母H0=log27=4.75比特/字母德文字母:H(X)=4.037比特/字母H0=log27=4.75比特/字母俄文字母:

H(X)=4.35比特/字母

H0=log32=5比特/字母2熵的性质:(1)连续性:某事件的概率稍微变化时,H也只做连续的、非突变性的变化;(2)对称性:Pi交换位置后,H值位置不变;(3)非负性:H的值一定大于或等于零;(4)确定性:当事件集中某个事件出现的概率为1,其余事件的概率为0时,H的值一定为0;(5)可加性:设有一个事件的集合{E1,E2,…,En},各事件出现的概率分别为{P1,P2,…,Pn},其中某一事件En又划分为由m个小事件,概率分别为q1,q2,…,qm,且qi/Pn

=1,则三个熵函数H1=H(P1,P2,…,Pn)H2=H(P1,P2,…,Pn-1;q1,q2,…,qm)H3=H(q1/Pn,q2/Pn,…,qm/Pn)

之间具有相加关系:

H2=H1+PnH3含义:集合的进一步细分会使不确定性增加,即平均信息量增加。(6)极值性:3最大熵:(1)离散信源在所有符号等概出现时具有最大

的平均信息量,即最大熵。证明:①预备知识:信息论不等式②以下再证明例2-7一个二进制信元X,两个符号出现的概率分别为p和1-p,其熵曲线如下图所示,(2)在平均功率受限条件下连续信源的最大熵(最大微分熵):若信源输出的平均功率限定为S,则当信号的幅度的概率密度分布为高斯分布时有最大熵(参看课本p24).高斯分布:

最大熵:

Hmax(x)=1/2log2eS4冗余度:冗余度=(最大熵-实际熵)/最大熵即思考(1)在一个二进制系统中,两个符号A、B分别用0、1来表示,此时无冗余,若将其编码成000和111,问此时的冗余度是多少?(2)冗余度是否有用?信源编码、信道编码的作用是什么?作业:戴书:p.25#12§3信道特性、条件平均信息量与互信息量

1问题:信源发出的信息量有多少能通过信道?有多少信息量受干扰而损失掉?

2信道的描述:(1)信道模型:发端符号集:X={x1,x2,…,xn}收端符号集:Y={y1,y2,…,ym}转移慨率(xiyj

的概率):

p(yj

/xi)(2)信道噪声的干扰特性:用转移概率矩阵来描述(3)基本概率公式:3联合自信息量和条件自信息量

设输入和输出都可以用离散概率空间来表示:

X={A,P},其中A={ai};Y={B,Q},其中B={bj}A和B的联合空间定义为:AB={aibj;ai∈A,bj∈B,i=1,2,…,K;j=1,2,…,J},并设每组aibj∈AB出现的概率为P(aibj),满足关系

•联合自信息量上式第一式表示只要系统工作,则至少有一组aibj,(i=1,2,…,K;j=1,2,…,J)会出现;第二式表示任一变量ai的出现概率是B集合中元素能与ai组合出现的所有概率之和;第三式的意义与第二式类同。应用概率空间概念,可定义XY={AB,P(ab)}为联合概率空间,其中任一事件ab,ai∈A、bj∈B的自信息量称为联合自信息量,并有表达式例3-8设在一正方形棋盘上共有64个方格,如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置:将方格按顺序编号,令乙猜测棋子所在方格的顺序号;解:

•条件自信息量例3-9设在一正方形棋盘上共有64个方格,如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置:将方格按行和列编号,甲将棋子所在方格的行(或列)编号告诉乙之后,再令乙猜测棋子所在列(或行)的位置。可以定义:事件ai在事件bj给定条件下的条件自信息量为它反映了在事件bj发生条件下(比如接收到bj)关于事件ai尚存有的不确定性。如果能提供这些信息量消除不确定性,则事件bj的出现,就意味着ai的出现。同样可定义事件bj在事件ai给定条件下的条件自信息量为解:互信息量设有两个离散的符号消息集合XY,X表示信源发出的符号消息集合Y表示信宿接收的符号消息集合每个符号消息相当于一个随机事件信源发出符号消息通过信道传递给信宿X信道的输入消息;Y信道的输出消息信源信道信宿XY信源X的概率空间为:这里p(xi)(i=1,2,3等)是集合X中各个消息x1,x2,x3…的概率分布,它又称为先验概率。信宿Y的概率空间为:这里p(yj)(j=1,2,3等)是集合Y中各个消息y1,y2,y3…出现的概率。收信者获得的信息量当信宿接到集合Y中的一个消息符号后,接收者重新估计关于信源的各个消息发生的概率就变成条件概率,这种条件概率又称为后验概率。收信者收到一个消息后,所获得的信息量等于收到消息前后不确定程度的减少量。不确定程度减少的原因,是由于收到消息前后概率空间的概率分布改变所致。不确定程度的减少量当接收到yj后,重新估计xi的发生。收信者从不确定到比较确定或完全确定,依赖于所获得的信息量。可以直观地将它定义为:I(信息量)=不确定程度的减少量那么,当接收者收到yj后,所获得的信息量为收信者所获得的信息量随先验概率的增加而减小,随后验概率的增加而增加。

事件之间的互信息量互信息量的性质1.互信息量的互易性2.互信息量可为零3.互信息量可正可负4.任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量(有限性)互信息量的性质:1、互易性互信息量的互易性可表示为:此性质的意义是:事件

1提供的有关于事件2的信息量等于由事件2提供的关于事件1的信息量证明:互信息量的性质:2、可为零当事件,统计独立时,互信息量为零。这表示不能从观测获得关于另一个事件的任何信息。反之亦然。证明此性质的意义是:当两个事件统计独立时,其相互信息量为零,这也就是说不能从观测一个事件中获得有关另一个事件的任何信息。在给定观测数据yj的条件下,事件xi出现的概率称为后验概率p(xi│yj)当后验概率p(xi│yj)大于先验概率p(xi)时,互信息量I(xi;yj)大于零,为正值;互信息量为正,意味着事件yj的出现有助于肯定xi事件的出现;当后验概率小于先验概率时,互信息量为负值。互信息量为负是不利的。造成不利的原因是由于信道干扰引起的。由于干扰,使估计变得更加困难,即,不确定性增加了。互信息量的性质:3、可正可负互信息量的性质:4.任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量某人A预先知道他的三位朋友B、C、D中必定将有一人晚上到他家来,并且这三人来的可能性均相同其先验概率为:p(B)=p(C)=p(D)=1/3但是上午A接到D的电话不能来了把这次电话作为事件E,那么有后验概率p(D/E)=0,p(B/E)=p(C/E)=1/2下午A又接到C的电话,说晚上开会不能来把这次电话作为事件F,那么有后验概率p(C/EF)=p(D/EF)=0,p(B/EF)=1互信息量举例事件E(上午的电话)发生后,A获得关于B,C,D的互信息为:事件EF(两次电话)发生后,A获得关于B,C,D的互信息为:由此例可以看出,由于I(B;EF)=1.585bit,I(B;E)=0.585bit,因此事件EF的出现有助于肯定事件B的出现。4通过离散有扰信道的平均信息量-平均互信息量․收信者收到一个消息时获得的信息量就等于收到消息前后不肯定程度减少的量。․不肯定程度减少的原因-收到消息前后的概率空间的概率分布发生了改变:收到前为先验概率分布收到y后,不肯定度由此时的概率空间来描述,后验概率分布为•收信者收到消息后仍存在对于信源的不肯定度-即损失的信息量上式又称为条件熵、条件平均信息量,或损失熵,在数量上等于通过信道传输过程中所丢失的信息量。•通过信道的平均信息量-平均互信息量

I(X,Y)=H(X)-H(X/Y)平均互信息量也可写成以下形式:平均互信息量的性质

1、I(X;Y)≥0。2、对称性:I(X;Y)=I(Y;X)。3、信息处理定理:对于如下的系统串联有I(X;Y)≤I(X;Z)。讨论:․若H(X/Y)=0,则I(X,Y)=H(X),为有扰无损信道;․若H(X/Y)=H(X),则I(X,Y)=0,为有扰全损信道;․若0<H(X/Y)<H(X),则0<I(X,Y)<H(X),为有扰有损信道5.信息传输速率(传信率)其中,Rb为单位时间内发出的符号数。例3-9一个有扰有损信道,发端符号集为(0,1),其出现概率均为1/2。设信源每秒发出的符号数为1000,由于干扰的作用,收到的每100个符号中有一个符号出错,求此信道的信息传输速率。解:(1)先求信源发出的平均信息因为P(x1)=p(x2)=1/2代入熵公式,得H(x)=1bit/符号

信源的信息速率为(2)求损失熵因p(x1)=p(x2)=1/2,p(y2/x1)=p(y1/x2)=0.01p(y1/x1)=p(y2/x2)=0.99根据信道模型,知p(y1)=p(y2)=1/2由概率公式可求得同理可求得故损失熵为(3)求互信息量及传信率思考题:二元对称信道的损失熵等于多少?例3-10一个二元系统,以等概输入到一个二元对称信道,若信道误码率为1/8,求输出的平均信息量。解:因等概输入,故信源的平均信息量为

H(X)=1bit/符号

又因为H(X/Y)=-[plogp+(1-p)log(1-p)]=0.55bit/符号

所以,

I(X,Y)=H(X)-H(X/Y)=0.45bit/符号即输出的平均信息量为0.45bit/符号。

§4信息量的基本公式及其物理含义基本公式(1)信源熵:

信源发出的消息符号所含有的平均信息量(2)信宿熵:接收机输出的消息符号的平均信息量(不肯定度)(3)条件熵(条件平均信息量)

A.损失熵(疑义度):

由于噪声干扰在信道中损失的平均信息量B.噪声熵(散布度):

由于噪声干扰,收端误判产生的平均错误信息量C.互信息量:(4)联合熵:

表示整个系统的不肯定度2文氏图与信息流图表示文氏图信道中的信息流图:例4-11图2-11表示传送二进符号序列的对称信道。已知发送符号“0”和“1”的概率为为p(0)=p(1)=0.5,又产生误码的条件概率p(1|0)=0.2,p(0|1)=0.4,求各概率矩阵和熵。解:用符号x1、x2表示发送的“0”和“1”,用y1和y2表示接收的“0”和“1”,则有p(x1)=p(x2)=0.5,p(y2|x1)=0.2,p(y1|x2)=0.4,从而

p(y1|x1)=1−0.2=0.8,p(y2|x2)=1−0.4=0.6,各概率矩阵为最后,传信率可以求得为本节要点

如何表示一个离散信道的信道模型?什么是损失熵?如何计算?什么是互信息量?如何计算?信息传输速率与互信息量有何关系?解释什么是信源熵、信宿熵、损失熵、噪声熵和联合熵。试用信息流图和文氏图表示各种信息量之间的关系,并用公式表示它们之间的关系。信息不增原理问题:经过信息处理后,信息量是否会增加?1.平均条件互信息量:可以将两个概率空间事件之间的互信息概念推广到三个概率空间中事件之间的互信息。Z中某事件Cm发生条件下,X与Y集合元素间提供的互信息量为:并定义I(ai;bj│cm)为在事件cm∈C发生条件下,事件ai∈A与bj∈B之间的条件互信息量。仿照平均互信息量公式对上式求平均条件互信息量为I(A;B│C)表述了在集C给定条件下;集A与集B之间的平均条件互信息量。①②考察在事件bj,cm发生条件下共同给ai提供信息量。为此,根据互信息量定义式写出联合事件bjcm与ai的互信息量,再对分子分母都乘以P(ai│bj),得:式中第二项由式①的cm与bj互换所得。③式②再一次证明了互信息量可加性,即有bjcm联合给出关于ai的信息量等于bj给出的关于ai的信息量与bj已知条件下的cm给出的关于ai的信息量之和。此结论还被推广到更多的系统之间的互信息量情况,在多用户信息论中有用。2.信息不增原理(信息处理定理)

若对图2-5所示的级连系统,用Z=T(Y)表示Z为Y经处理的输出,且该输出只与处理器的输入Y有关或者说cm与ai

统计独立,则符合空间A,B,C之间的条件熵与互信息有如下的不等式关系(即信息处理定理):

该定理说明,经过信息处理后,信息量不会增加,而只会减少,即处理中可能会丢失一些信息.只有当每个bj∈B有唯一的cm∈C

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论