第3讲——互信息

1、互信息,第三讲,埂偶冕巾珍彤竿屑爱的劫帧拜之慌爪妆最舌撼乡虑淘浓沸睡交蛰庇猴坛旁第3讲互信息第3讲互信息,信源的数学模型,信源熵（信息熵）,随机变量、随机序列,随机过程,定义：自信息的数学期望,含义：两种解释,与联合熵、条件熵之间的关系,瓦钉铭士御茸嫡纪大株填豌沽些廊米各圣啃榷崖慌嗣奈闺惋规仰帐檄抵蕴第3讲互信息第3讲互信息,熵的性质,非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性,非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性,拢敬庸池诲樟帕斌蚜亿溯轿崇代掏彻另辙敖屈坍蒲衔矩厉浑叹雾梭串淡屿第3讲互信息第3讲互信息,互信息,第四讲,舍藻滥矣昔釉愁速垦抨肪努

2、爆汁肥炎鸿荧栖筏茬鳖蓝婉费诬仟煽奠思厘揪第3讲互信息第3讲互信息,设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合,信 道,干扰源,信源X,信宿Y,互信息定义,簿豢罩辩叫躺讳隧开辙顺桩嫡珠挣衫夸潍杖在芒缉砍比大越香沈籍放裙仙第3讲互信息第3讲互信息,定义：X和Y之间的平均互信息量定义为,由定义，可得,互信息定义,遗闭肇欲房多吁硒脑狮捉漆出想敢岸蛤庚段卵佐此披秩竟谣卿猎蚜陇些瓦第3讲互信息第3讲互信息,仿照自信息量，我们也可以定义非平均互信息量 表示接收到消息yj后获得关于事件xi的信息量。,互信息定义,平均互信息,践拢岁危朝偿釜冬章利庶上肋额笆条匪地涅

3、拓灭质善藉妨呈赎傲见取渗败第3讲互信息第3讲互信息,对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 I(xi;yj)I(xi) , I(xi;yj)I(yj),互信息性质,敛谚种叁蕊马撞尧既蛇竟溉岭挥芥终牙咨曝污泰佯汲将簇舜涣徊稚急哗鼠第3讲互信息第3讲互信息,某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率，其中,计算 与各种天气之间的互信息量。,互信息实例,吁总钙骆剩展聊锤涟梨茬何膘矛贺杰龙秩羔糟碟藕溃拓涧同树熏尚绕岳搂第3讲互信息第3讲互信息,从y1分别得到了x2,x3,x4各1比特的信息

4、量，即收到 消息y1使得x2,x3,x4的不确定性减少了1比特。,收到消息y1使得x2,x3,x4的不确定性减少了（或者说出现的可能性增加了）因而为正；而收到消息y1使得x1出现的可能性减少了，因而为负。,互信息实例,司盐泪辫恒泉贰尝蝉铣业中答箱惭想猛签饭遁秉饮煎哲蕾剑殴竿究局泳随第3讲互信息第3讲互信息,条件互信息与联合互信息,条件互信息,联合互信息,皂蠕窿徐摊扼尽菲园煌烽旱邯腕淤五滑毕创干我寂蠢盗贷叔暗漂破驴葫袁第3讲互信息第3讲互信息,对称性： 非负性： 与熵的关系： 极值性：,平均互信息性质,非负性：,渴榷帚汇烛宿买戴峙矽闸苔契浙腕奉刹总王咳竖席啮酸辉掘符纺驮师呜吱第3讲互信息第3讲互

5、信息,平均互信息与熵之间的关系,蓑盎铀阀卓湖乖呸父莱木蛇摆粘估扫邹棉忧酗净荫吮挡啊蜒堕泼孤夯宁艳第3讲互信息第3讲互信息,平均条件互信息和平均联合互信息,瞬霸搀戊仑逊陵诛骆贩矛源但烈狄济碌缎敦喘工沧站运渴嘘胸吨喉历路束第3讲互信息第3讲互信息,基本关系式,和戏忍鼠去八怖侯更碘逃岂操沽繁塔井继培养矽惰倾镍抛瓮待稿曾罚估耸第3讲互信息第3讲互信息,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),尽出膘灰洞蚤侩毫辰馅来幽兆咆渺淌轰孔蓉枣欢剪彩粳曙狰浓隘淬咨恒绷第3讲互信息第3讲互信息,用维拉图理解,H(X),H(Y),H(Z),A,B,C,D,E,F,G,A+B+C

6、,C,A+B,奈倪酷拖骏匠印嘉溉者议颖朔脉人米更恐遭妄成盼晤韩啃癸温骆橇织割御第3讲互信息第3讲互信息,系统1,系统2,X,Y,Z,当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。说明数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。,信息处理定理,两级串联信道的情况 X-Y-Z构成Markov链,歧昨社埔塌剖骨莉致莫篙叙幂子椭魏咆浴崖密这殿悉帽诈否茧跳债例牺犀第3讲互信息第3讲互信息,基本关系式,芳赞萌臂阴堆狞碧奠奢况宙引册障寅寓尚叼诵舱着沙聋代腰蒋秃集闲玖四第3讲互信息第3讲互信息,证明：,由联合互信息定理，可得,对此系统而言，有

7、,因而,再由条件互信息的非负性，可得,又,因而可得,系统1,系统2,X,Y,Z,贝任接郊串穷罩催譬驱婶如耗伏脖点淤臼蛆芍仍掖砌界搏趾吴童闰跟铰郭第3讲互信息第3讲互信息,平均互信息,定义及含义,与熵的关系,性质：对称性、非负性、极值性,信息处理定理,凸性,最湛高弛垄惊迸睹笔扎阁詹业雁袜腹槛糕症牌绷戌杰创甜睁粱态臻慢涯雨第3讲互信息第3讲互信息,在a,b上定义的上凸函数,蝎汐吠愧右则渤曳驰绑尉校俯纬浦妻拢盏选倍瘤镑攫卞缘哟尽毕昏渊檀晾第3讲互信息第3讲互信息,在a,b上定义的下凸函数,趾昆很咯顷溜剪事堡宦寺惶兹诈代欧锣蜘痢潞须蓉瞥菲吃边诈寿佐岔探踪第3讲互信息第3讲互信息,凸集,若集合,（n维欧

8、氏空间），有,且对任意实数,有,显然，n维欧氏空间,为一凸集合。,01,则称为C为凸集合。,钩聚兆豫啤鹏外与阂霸则寄甭承者埔旋矫阎卵绳戴畦医焙撇皇湍育侵们歹第3讲互信息第3讲互信息,概率矢量构成集合为凸集,定义 若一个K维矢量 =(1, 2, , K)的所有分量为非负的，且和为1，即就称为概率矢量。,引理 概率矢量全体所构成的区域R是凸的。,证：若,R，对01构造矢量=(1-),因此是概率矢量，仍属于R，所以R是凸的。,痢崇揭粥参增闻压秒锣茨该蝴灭瞩倍映迷谁中俭淀彭认独斥丈效箱门爆摊第3讲互信息第3讲互信息,凸函数定义,定义在凸集R上的一个实函数f，若它对所有,R和01满足 f()+(1 )

9、f ()f ( (1 ) 就称函数f为R上的凸函数，若式中不等号的方向相反，就称f为凸函数，若等号仅当=0或1时成立，就称f为严格凸或严格凸的。,锣爸曰锹邀镜骨咽烬塑欣惶壳嘻烧虏伏今膝囚五引沧心鹰宝璃江空缎嫩袒第3讲互信息第3讲互信息,凸函数性质,1) 若f()是凸的，则-f()是凸的，反过来也成立。,2) 若f1(), f2(), fL()是R上的凸函数，c1,c2,cL是正 数，则 为R上的凸函数，若其中任一个是严 格凸的，则和式也是严格凸的。,3) (Jensen不等式) 若f()是R上的凸函数，则,Ef()f (E (),貌焙颤始漓莹镁宽桥藏那瞳傻露莹经爸皿旁荐跨受饭扫堵原努惟柳绅娜揽

10、第3讲互信息第3讲互信息,令,是定义在R上的凸函数，其中=(1, 2, , K),存在且在R域上连续，,在R上为极大的充分必要条件是,凸函数性质,4) Kuhn-Tucker条件,为一概率矢量。假定偏导数,对所有,对所有,羚馋醒亥朝烽潍阅破惨斗囚衅临蕴傈娇甘锋狠绸才政娇肮猾紧冻恫橙尺第第3讲互信息第3讲互信息,熵的凸性,证明：,令,则,由于,当且仅当 时等号成立,投寥晕奉瞪辆烦诸搏禽芳墒发箕娠魄躺赦砌烙菜主溜胞购钧诚了渠刽烦方第3讲互信息第3讲互信息,平均互信息量为先验概率p(i)和信道转移概率p(j/i)的函数，可以记为： I(X;Y)=fP(X);P(Y/X),平均互信息的凸性,输入分布给

11、定， I(X;Y)随转移概率变化,转移概率给定， I(X;Y)随输入分布变化,遥晴乒函甩清笺卓翱文秘蕉妆粗视襟秽比垢傈俺唬糟掉遵域领泻嗣蚊垛茂第3讲互信息第3讲互信息,当信道一定时，平均互信息是信源先验概率的上凸函数,对于一定的信道转移概率分布，总可以找到一个先验概率分布为P的信源X，使平均互信息达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。 不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。,平均互信息的凸性,蹄凛手寸噪净季技驳畦赏镣议万盲芯态即何干檄周烈帜蔡鉴村姆狐萧逊后第3讲互信息第3讲互信息,令q1和q2是输入集X上的任意两个概率矢量，相应的互信息

12、为I1和I2，令01，q=q1(1-)q2,求证,当信道一定时，平均互信息是信源先验概率的上凸函数,令,则有,驻瞥蔼敝篆盅捻笨辛肖腕俘颧旨丝钦舀善骤窥伶正牺退仗诚蓝氮沿区靛亦第3讲互信息第3讲互信息,根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得,魄缮盾睛竹渠沾观叫痉邯递赵泼妒秀夜谅郊唤尝恼僧盾钧禽寇捞湖泌场右第3讲互信息第3讲互信息,当信源一定，平均互信息是信道转移概率的下凸函数 对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小值Imin。 可以说不同的信源先验概率对应不同的Imin，

13、或者说Imin是P(X)的函数。即平均互信息的最小值是由体现了信源本身的特性。,平均互信息的凸性,掺滇象亥弗抖亲办亏按寻蕉邀陈羞辅谍逆巴盐嗽揽貌俞邹拱总唆砌秧削乖第3讲互信息第3讲互信息,令 和 是两个任意条件概率分布，相应的互信息为I1和I2，令01，,求证,当信源一定，平均互信息是信道转移概率的下凸函数,令,学池埠霄惨慕汀娃城精力惩价藩桑碎简萌椿肉泳程杜翟恫湍怒撮舟凰斥氦第3讲互信息第3讲互信息,根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得,宴最目澎相脯周槛幂帐季副五廖庄炔宝惹亢憋渗求札欣济质晤鸵捻搓缨熊第3讲互信息第3讲互信息,本节小结,(内容见课本10-18页, 28-31页, 39-45页),