平均互信息量和各种熵关系

第2章信源熵2.1单符号离散信源2.1.1单符号离散信源的数学模型2.1.2自信息和信源熵2.1.3信源熵的基本性质和定理2.1.4加权熵的概念及基本性质2.1.5平均互信息量一、平均互信息量定义二、平均互信息量物理意义二、平均互信息量性质2.1.6各种熵之间的关系1离散集的平均互信息量不同概率空间集合之间的平均互信息量对于通信问题的探讨十分重要。通信的目的是在接收端准确地或以尽可能小的失真复现发送的消息。一般通信系统的输入和输出存在一定的概率关系。令X和Y分别表示一个通信系统的输入事件集和输出事件集。讨论输入X、输出Y均为离散的情况。研究离散集X和Y的平均互信息量。这时输入和输出均可用离散概率空间描述。P(Y/X)XY2互信息量—信道中信息流通的测度？互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它只能定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。“输入xi，输出yj”是一个概率为p(xiyj)的随机事件，相应的I(xi;yj)也是随xi和yj变化而变化的随机量。互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。作为一个测度，它不能是随机量，而是一个确定的量。3输入X、输出Y的离散概率空间描述4输入X、输出Y的联合空间XY5平均条件互信息量定义：

在联合集XY上，由提供的关于集X的平均条件互信息量等于由所提供的互信息量在整个X中以后验概率加权的平均值，其定义式为由于互信息是表示观测到后获得的关于事件的信息量，即故平均条件互信息量又可以表示为6定理定理：

联合集XY上的平均条件互信息量有

等号成立当且仅当X集中的各个都与事件相互独立。平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。I(X;yj)仍然是一个随机变量，随yj的变化而变化，因此，不能作为信道中流通信息量的整体测度。7定理I(X;yj)≥0的证明8平均互信息量定义：平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值称I(X;Y)是Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量，因此，可以作为信道中流通信息量的整体测度。9平均互信息量的其它定义平均互信息量I(X;Y)也可定义为10平均互信息的性质

平均互信息量有以下基本性质：1、互易性（对称性）2、非负性3、极值性4、凸函数性5、数据处理定理平均互信息和各类熵的关系11平均互信息的性质1、互易性（对称性）I(X;Y)=I(Y;X)该性质表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。当集X和集Y统计独立时，有I(X;Y)=I(Y;X)=0它意味着不能从一个集获得关于另一个集的任何信息2、非负性I(X;Y)≥0当且仅当X与Y相互独立时，等号成立。即如果X与Y相互独立，它们之间相互不能提供任何信息。12性质1：非负性I(X;Y)≥0的证明13性质2：对称性I(X;Y)=I(Y;X)的证明证明：按定义14平均互信息的性质（续）3、极值性I(X;Y)≤H(X)；I(X;Y)≤H(Y)证明：因为I(X;Y)=H(X)-H(X/Y)，条件熵H(X/Y)为非负，故两个不等式成立。4、凸函数性平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数；该性质是研究信道容量的理论基础平均互信息量I(X;Y)是信道传递概率p(yj/xi)的下凸函数。该性质是研究率失真函数的理论基础15平均涉互信蔽息量I(滋X;添Y)的凸穷函数染性－盏例题0011qq1-q1-q二元对称信道16求平准均互抱信息I(版X;届Y)－例斗题17离散慢无记辱忆信蝇源熵码－例元题18第2章括信源奔熵2.挥1单符绘号离蚊散信咱源2.挽1.判1单符昏号离蕉散信直源的茄数学津模型2.祸1.雷2自信灭息和拿信源那熵2.桥1.六3信源准熵的瞧基本符性质西和定刻理2.为1.抵4加权革熵的勒概念数及基雹本性雅质2.中1.福5平均遵互信唯息量2.司1.厨6各种英熵之姑间的誉关系19平均关互信喷息和墨各类身熵的爪关系平均术互信废息和政各类巡寿熵的拍关系I(孤X;搬Y)按=H涨(X重)-智H(丘X/馅Y)I(顾X;谁Y)河=H揭(Y就)-飘H(猛Y/咱X)I(腥X;经Y)浑=H头(X鉴)+押H(蒜Y)匀-H余(X源Y)20几个智关系罚式的证蜻明21维拉简图平均蜜互信摇息量I(限X;根Y)和各骡类熵踩的关颠系可挽用维衬拉图龟表示塔。当集X和Y统计播独立冬时，I(雅X;尽Y)火=0，得湖到H(窄X,奇Y)ma雾x=H蛛(X撤)+殖H(猪Y)H(Y)H(X)H(X,Y)I(X;Y)H(X/Y)H(Y/X)22损失绒熵H(辆X/暑Y)条件爆熵H(植X/沟Y)表示醉在已煎知输有出Y的条龄件下南输入X的剩荡余不汗确定碰性，拌即信岔道损退失。根据绵互信央息量I(南X;渴Y)与条朗件熵H(壤X/铲Y)的关职系可兰看出练，I(总X;刃Y)等于把输入写平均喂信息屿量H(耀X)减去设信道蜻损失区，它铁反映痒了信钩道传衡输信摊息的慢能力值。最铜大平始均互咸信息凯量就民是信档道容尾量。23小结为了瞎介绍狸两个狂离散尖集之左间的跌平均顶互信吩息量智，首很先定它义了碑在一开个事怜件发喘生条姿件下但，给离出的尚另一暑个离煮散事达件集次的平均讯条件瞎互信重息量困。在平康均条瓣件互铃信息先量的布基础巡寿上，轻定义幸了一以个离准散集感合