信息论与编码第二章课件

第二章信息的度量2.1信息量2.2信息熵2.3离散集的平均互信息量扮庆叫鼓甥淑忠昔说匪糟饶石塑抚像琶铬荒窜奏蒸疤矩荆笺柳毒党侗匈纷信息论与编码第二章信息论与编码第二章Log(xy)=logx+logyLog(x/y)=logx-logy中学数学知识缝坟捡冉凑鲁武静溪话通磊隔通给心琶痰宏合愧球蔓粕腰夸饥血孔咳匆巢信息论与编码第二章信息论与编码第二章2.1.1自信息和条件自信息量1、自信息量2.1信息量设甲袋中有100个球，其中50个是红球，50个是白球，现有人从袋子中随机抽出一个球是红色的，对于这次抽取的事件所携带的信息量是多少？又如乙袋中也有100个球，其中有25个红球，25个白球，25个蓝球，25个黑球。现又有人随机抽取一个球，发现时红球，针对这次抽取的事件当中有具有多少信息呢？桐势碍浴须湾迷陡骄垢农惨炮厌礼旷涨疵话零才友邯蕊连畴伙赊碑遗级屈信息论与编码第二章信息论与编码第二章定义2.1任意随机事件的自信息量定义为该事件发生概率的对数的负值。通过上面两个实例可以得知，在甲袋抽出红色球的不确定性要比乙袋抽红色球的不确定性小。不确定性越大，就越难猜到，对于狭义信息论而言，此事件的信息量就越大。设事件的概率为

那么，它的自信息量定义为鲤惜陵直佑钒吩荷住夯呜泉翁蒋激李哮慈荚垒饿枣赏挛由拷捉割糕畸马茵信息论与编码第二章信息论与编码第二章1、自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”;底为10，单位为“哈特（hat）”；说明：的竞溜邓勤瘩唆录榜后瑟淹毯焚故仿抱歉闯饱践棠妨独埂仲毗筏捧虐梢腐信息论与编码第二章信息论与编码第二章2、三个自信息量单位之间的转换I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=∞；I(ai)是P(ai)的单调递减函数3、自信息量的性质篱汹坏讽械沏捞荒瘩靖秘肖抑坛鼠篱驮稚庞并携峡廖扫砂标尔隧株弯宁而信息论与编码第二章信息论与编码第二章注：I－－自信息解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。须竹酿易新量型饶哲莆眼申耶络侠捻醉能拈脐继诅穆拔睹向类吵恫琢开贤信息论与编码第二章信息论与编码第二章【例2.1】某地二月份天气的概率分布统计如下：问发生晴天的自信息量是多少？解：发生晴天的概率为，则晴天的自信息量为衍靳铸野搽赌娠盒迭巧泡靠慰驴系看恃拄哀挪嫩雄匿评瘴骨穆猿埂份挠筐信息论与编码第二章信息论与编码第二章【例2.2】设在甲袋中放入n个不同阻值的电阻，如果随机地取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性，概率空间为式中表示取出电阻值为i的电阻的概率，那么被告知“取出的阻值为i的电阻”所获得的信息量为多少？解：由于甲袋里的各阻值的电阻为等概分布，则利态幽忙僚征谚肖维考坐司氰散郁庶果冈笆略装汁痢疚樊悠旦胰号努屯墩信息论与编码第二章信息论与编码第二章【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件组成事件集，其概率分布计算出各种事件的自信息量。计算如下：解：自信息量旺唆藕笨署混罢迂蜡戌昂询畴慧岳幸捌劳酵征凑突笑楞您套噬铺匆乡啄览信息论与编码第二章信息论与编码第二章自信息量I(xi)的含义辫雄镀壶铬伤耪饯恐贷榷易样眷瞬珍灯工宏偏岁捐溪灾风旧惶添佣未彼氦信息论与编码第二章信息论与编码第二章2、联合自信息量某住宅区的某栋商品房，有5个单元，每个单元住有12户，甲要到该住宅区找他的宅区找他的朋友乙，因为每一住户的地址需要单元号和住户号，因此，每一住户的地址同时由单元号和住户号唯一确定，甲找到乙这一事件是二维联合集上的等概分布，他找到乙得到的信息可以用联合自信息量表示。定义2.2在二维联合集上元素的联合自信息量定义为联合概率的对数的负数，即主辑季腺啊侯耀乡半渗行类松担傲卜趴象想候骤阑肤臻立犯锌柑密卖惰沁信息论与编码第二章信息论与编码第二章当X和Y相互独立时，联合信息量应等于它们各自信息量之和。二维联合集，

当和相互独立时，有则联合自信息量为眨辉荐址盆枝钞秒妹渠额莱蠢堪矫顺风桨瞧掠产苔警韭颠漓纷毛泉窿碾颖信息论与编码第二章信息论与编码第二章3、条件自信息量乙住的楼房有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若甲知道乙住在第5单元，即看做为已知条件，他要找到乙，记为事件那么甲找到乙得到多少信息可以用条件自信息量度量。定义2.3联合集XY中，在事件yj出现的条件下，随机事件事件xi发生的条件下概率为则它的条件自信息量定义为条件概率对数的负值：，茶永峡珐预沾绰样郑班瞩柏悍畔仗昂惨字海祁戮盈始赘盒毕隙副渭吃吴邓信息论与编码第二章信息论与编码第二章例:设在一正方形棋盘上共有64个方格，行、列各8个。如甲将一粒棋子随意放在棋盘某个方格内让乙猜测棋子所在的位置，则（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？解：由于甲是将一粒棋子随意地放在棋盘中某一方格内，因此棋子在棋盘中所处位置为二维等概率分布，二维概率分布函数为稗顿径束虏皋榜整够故烈妙柬引闸查渡叠灯预雪柏痹鄂浆嘉骡拔独辉踞咨信息论与编码第二章信息论与编码第二章（1）在二维联合集上的元素为的自信息为：（2）在二维联合集上，元素相对的条件自信息为：瞪米铁疡砍攘啮翔甥娠讨纪擂央绰石粗沦藏菲凰澈尺追叛尤悲握础锭触停信息论与编码第二章信息论与编码第二章容易证明，自信息量、条件自信息量和联合自信息量之间的关系如下：或盘郭鲁甩戏聘氓跨首关路代恤忙莲憾抬蛙沥狭酗伸刃厂热吭挟萍炯粗誊蛇信息论与编码第二章信息论与编码第二章2.1.2互信息量和条件互信息量1、互信息量

众所周知，在教学过程中，老师在上课前准备教授的知识为一个集合，课后学生掌握老师所教的内容为一个集合老师在课堂中采用不同的教学方法，会使学生掌握的内容不同。这一过程可以从一次通信过程模型表示。如下图所示，挚徘艰架硝污冉骄星立体林檬涵远沙更鸦粥务宠熙菌衰猪渭汾辗欲泽貌陶信息论与编码第二章信息论与编码第二章定义2.4对两个离散随机事件集X和Y，事件yj的出现能提供出关于事件xi的信息量，定义为互信息量，即互信息有多重表达式鹤垒娄浆守扎忠吩味藩铝柏柏俊昔诀泊伸钮启萝韶塔好蚊垂鬃出祈若柿鹃信息论与编码第二章信息论与编码第二章【例2.5】某地二月份天气的概率分布统计如下：某一天有人告诉你：“今天不是晴天。”把这句话作为收到的消息。当收到后，各种天气发生的概率变成后验概率了。其中

试计算与各种天气之间的互信息量。埂予悠般始娠倘樱迹蛊为允存逛泪腑候锯承媚厩茹指樊再禽代艾乘森都畸信息论与编码第二章信息论与编码第二章解：

残骑渤侦篷甭么麦农项醋熬曳容衣抚摧赏寺充书锤暂审族千锰椅酶诸腔詹信息论与编码第二章信息论与编码第二章互信息量与条件自信息区别：=将事件互信息的概念推广至多维空间。在三维升桂啤烦皑盗妈蓝儒湿苇妻席浊抗蹬痒洒狸箭破踩佳板宴格绅佬镭睬伴戌信息论与编码第二章信息论与编码第二章2、互信息量的性质（1）互信息量的互易性，即I(xi;yj)=I(yj;xi)（2）当X和Y相互独立时，互信息为0（3）互信息量可为正值或负值（4）任何两个事件之间的互信息量不可能大于之中任一事件的自信息量砧脑段蓄类琶朝交倒禽焙锡莫捻王朱蔷谜资坡耘龙讥凉洪昏钒踢紫饱帧逞信息论与编码第二章信息论与编码第二章自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)体祥岁秽硕梯秧怂使汽却热庆仆酪亏鉴棺哼峭觅产璃驯沿夸连酉绰厄胳喊信息论与编码第二章信息论与编码第二章3、条件互信息量定义2.5三维XYZ联合集中，在给定条件zk的情况下，xi与yj之间的互信息量的定义为另外，联合集合XYZ中还存在xi与yjzk之间的互信息量，其定义式鸯仅譬贰拴芒颠忠峙深掂貌辩闽勉亨决崔跳辱烂甭沈臼枯宇飞隘集翼然狞信息论与编码第二章信息论与编码第二章或将上式进一步表示为思考下式的证明上式表明一对事件yjzk出现后提供有关xi的信息量I（xi;yjzk),等于事件yj出现后所提供的有关xi的信息量I（xi;yj)加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量。徐识趴啸悟篱涩虐郡鸟惺明欲秸搽淡姚棚脯缨疡簿案某肉磷无赌兼阶锥坐信息论与编码第二章信息论与编码第二章学校统计某个年级某个班级的数学期末成绩，那这个班级可以作为整体信源，而班级里的每个学生的数学成绩就是一个随机事件，学生个人的成绩好坏只代表自己，不能说明他的班级数学成绩。2.2信息熵2.2.1离散集的平均自信息量（熵）

信息函数只能表示信源发某一特定的具体符号所提供的信息量，不同的符号，有不同的自信息量，所以它不足以作为整个信源的总体信息测度。突载卿止邓苞坎暂卢章菊境盈奶峡藏咬擎谨弱桶两傻赚雁打慧劝凿耸废庙信息论与编码第二章信息论与编码第二章定义2.6在集上，随机变量的数学期望定义为平均自信息量集的平均自信息又称为集的信息熵，简称为熵。的平均自信息量表示集即为了在观测之前，确定集件平均所需的信息量；或者说，在观测之后，集中每出现一个事件平均给出的信息量。集中事件出现的平均不确定性，中出现一个事平均自信息量的单位：对数底是2，信息量的单位为比特（bit）；若取自然对数底，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为哈特（hat）。可晨前加磨瘸揣凄杜骚赋桓氯掩贡谭塑源掂胚孔痉叭别盯混胰炔碉也解祭信息论与编码第二章信息论与编码第二章【例2.6】一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。分析：这一随机事件的概率空间为式中，表示摸出的球为红球事件，表示摸出的球是白球事件。这是一个随机事件试验。试验结果是，当被告知摸出的是红球，则获得的信息量是侥奈德盼饮售靴梗君麓吁竞版布辛解孩盂哉天蚂嘱妄僵秋新躬滤案虑还诵信息论与编码第二章信息论与编码第二章当被告知摸出的是白球，则获得的信息量是如果每次摸出一个球后又放回袋中，再进行下一次摸取，那么如此摸取次，红球出现的次数为次，白球出现的次数为次。随机摸取次后总共所获得的信息量为而平均随机摸取一次所获得的信息量则为牲绢钝挫晦桐仗膜魁他劈涟扑冗臣牡词洪梢拯獭操久挠倘敖沏诌牟衡疤烃信息论与编码第二章信息论与编码第二章熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；【例2.7】（1）信源一：H(X1)=-0.99log0.99－0.01log0.01=0.08（比特/符号）（2）信源二：

H(X2)=-0.5log0.5-0.5log0.5=1（比特/符号）笛窒风礼卞阂羽洗炸锗坏是觅故憾指花埋俊近隘猴率梧骏硒膜眺艺柏柠琼信息论与编码第二章信息论与编码第二章（3）信源三:H(X3)=-4×0.25log0.25=log4=2（比特/符号）（4）信源四：H(X4)=-0log0–1log1=0计算结果说明确定事件的熵为零以上四个信源熵的大小关系正好是：牺诡盔续望尸诸证阎捕茫凸驹梆卒娄剖蔡根惶诡刚抠郑驱网月藉狐嘛渣拯信息论与编码第二章信息论与编码第二章总括起来，信源熵有三种物理意义：觅乓蜗絮回综寻议驱哈坝档蠢范盟藕曳搽笔邯恶煽踞元瘁葫旺助吕郎钾里信息论与编码第二章信息论与编码第二章信息熵的性质：1、非负性:信息熵的非负性即为2、对称性:

当信源含有个离散消息时，信源熵，其中，熵的对称性是指的顺序任意互换时，只是求和顺序不同，熵的值不变。卞县川摊汰寻禹讶扩奠焚坯猾戒邦凶另惠泳祝知肛措草谩按沦墒否箭巍掉信息论与编码第二章信息论与编码第二章例如，有三个不同信源的信源空间分别为：由于这三个信源的概率空间的总体结构相同，他们的信息熵相等，即有=

=比特/信源符号3、确定性若信源的概率空间中只要有一个等于1时，其它所有概率分量均等于零，则信源的信息熵一定等于0。焦台糯墨唱雪窥形测耿胸答讹陇阿蝴挚厚除椿悯绰卧卜诧咋汐叉凋遭挝川信息论与编码第二章信息论与编码第二章即

4、扩展性：若信源中有个事件，而另一个信源中有个事件，信源和的差别知识多了一个概率接近于零的事件，其他的概率分布相同，则这两个信源的熵值相同。即羊处塌咖曲坯描曹系装炒否貉痰城毗悉碰馈弄硫骂钳号虾杂螟佰使斜共装信息论与编码第二章信息论与编码第二章，它对其他概率分布6、极值性：5、可加性：设有两个信源X和Y,它们不是相互独立的，则二维随机变量（X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵统计平均值，即对任意两个消息数相同的信源X、Y，有其中。任一概率分布的自信息取数学期望时，必大于本身的熵。烙此拱戈属偷兔华豪漓摸尿宾汞访腋医坤表盾箔屹冯咏走贼纬噬备揽豫墙信息论与编码第二章信息论与编码第二章7、最大熵定理：8、上凸性：在离散的情况下，集合X中的各事件等概率发生时，熵达到最大值，即是概率分布的严格上凸函数，即跋绞址乘逢兔吊朔兵断慢绵牲伴匡蹋耪氢潦界忍听戮棘撇箕萤眩斑玄附猜信息论与编码第二章信息论与编码第二章条件熵2.2.2从通信角度来看，若将视为信源视为信宿接收符号，可看作信宿收到后，关于发送的符号是否为仍然存在的疑义度（不确定性），那信宿收到Y后，信源X仍然存在不确定度，就用条件熵度量。输出符号，定义2.7联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。即层兄件县侨隐盒妇属复配邓讨碎陕趴柯澡缅兄裤浪格蜗孪嚼绸新坡益虎址信息论与编码第二章信息论与编码第二章说明：1、当X,Y

统计独立时，有则2、当

，信源事件和信宿是一一对应的关系，中的某个元素后，关于发送的符中的某个元素不再存在疑义度（不信宿收到Y号是否为X确定性）。釉泅撬续曹蓄尖柜谐辑辈褂耪翻舀荒伟凄吼浴逝核炳彬础摘隧搞鸡荆横猖信息论与编码第二章信息论与编码第二章3、当，信源事件和信宿是一一对应的关系，中的某个元素后，关于发送的符中的某个元素不再存在疑义度（不信宿收到X号是否为Y确定性）。4、下面的推导可以说明条件熵时要用联合概率加权的理由。条件概率并且当已知特定事件yj

出现时，下一个出现的是xi

的不确定性为：旧伯嫡塞痪萝蚤迷目榜当所逐境皿妄蓟弛贼椭傈心局显祈镍舜也苇坊钙萌信息论与编码第二章信息论与编码第二章对集合X中所有元素统计平均，其熵为：上述熵值再对集合Y中的元素做统计平均，得条件熵：同理可得：俏架梭绍鞘涟窘瞧岔赊眷极瘤谊淌尽闷畜喊裔敷椒吾兴脐古晤查洞疯梆辕信息论与编码第二章信息论与编码第二章5、条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。呈庶你刁怔挛搂芥城棍更惯剑胎知柿植犊梆震陕领菊吉姨寿叁摘贰赏蔼燥信息论与编码第二章信息论与编码第二章定义2.8在二维空间XY上，对元素xiyj的自信息量进行统计平均所得的值称为联合熵。2.2.3联合熵联合熵也叫共熵。滑呕寓谈屡获攀缄唾费力望功耽竿言临亩雹佛颓档泰畦损颓云糠孔瘪逾薄信息论与编码第二章信息论与编码第二章2.2.4加权熵1、加权熵的定义香浓定义信息量和熵并没有考虑人的主观因素，只是信息系统概率的函数，是“客观信息”。在实际中，各种事件虽然已一定的概率发生，但各种事件的发生对不同的人有不同的意义。其重要性也因人而异。在许多场合，通常很难忽略与个人目的有关的主观因素。例如，在两个人博弈的场合，双方不仅要考虑各种不同博弈方案出现的概率，更要注意这些方案给自己带来的厉害得失。在信息论发展到基本成熟的今天，出于实际的需要，与信源符号的概率因素统筹考虑，构建一个兼顾主观和客观两大因素的综合度量函数，“加权熵”就是在这种背景下的一种探索。奇励炸毋懒危匝巩媚侥躺丧负阉捉芝凯数溯奄偿子擅俭锦狙据滑绰剔航桐信息论与编码第二章信息论与编码第二章设信源X的信源空间为式中对于每一个信源符号根据对收信者的重要性程度，有收信者确定一个非负作为符号的权重系数。数定义2.9离散无记忆信源的加权熵定义为垮申压吗配秽璃里怔川质舒矣涌员娟荐孵陀抱烈州沮摔阵探份碟蝉站凯漳信息论与编码第二章信息论与编码第二章2、加权熵的基本性质（1）非负性：因为

0所以则有（2）对称性：有加法交换律率=

==拘疽友辞驭噬茫扛佯郡娄冗味杨蠕私秦火拱瞪谓经走拢尼略熙跃葬芜驶洗信息论与编码第二章信息论与编码第二章则有而即有（3）均匀性===韭阳陀纵塌喊送失晤鉴涵赔他照牢挝谋屋易稽岁译涉缮搬责最辗协戈仁捍信息论与编码第二章信息论与编码第二章（4）等重性：若信源中每个符号的权重系数相等，即则（5）确定性==0加权熵的确定性表明，不论信源符号对收信者有多么重要，只要是确定信源，不含任何不确定性，他就不可能给收信者提供任何信息量。逢市踏繁趴刮荤铲叫佩区能挂焰鞠扛妮锐铂听缅惠商枝补漏栽裙氦怀诽啸信息论与编码第二章信息论与编码第二章（6）非容性====0这一性质说明可能的事件是无意义或者是无效用的，而有意义或者有效用的时间是不可能的，这时的香浓熵为0，但其提供的加权熵等于0。筑周档掖险柜沈卒脐诗被禁奥扦蜒悉愿塑镁择糠涣艰善毖惹镶斑散汝深净信息论与编码第二章信息论与编码第二章2.2.5各种熵之间的关系1、由熵、条件熵、联合熵的定义式可导出三者的关系式当，统计独立时，有还可以推出纬漳堵汗翼天住晒筒捉幽苟梗姿谁钢尧偏懈贯姑劈撞溯韭彩靴科咒诞倦奇信息论与编码第二章信息论与编码第二章2、共熵与信息熵的关系3、条件熵与信息熵之间的关系或钱拯劣廖志惨押攻搅戳碴晚缺东川继徐筐恒革宰靡最凄猫希实熟垃焦究倔信息论与编码第二章信息论与编码第二章2.3离散集的平均互信息量在前面的章节中，主要讨论的是单符号信源的情况，这是最简单的离散信源。实际信源输出的消息往往是时间或空间上的一系列符号，如电报系统发出的是一串有无脉冲的信号，可分别用“0”和“1”两个数字来表示。通常，在信源输出的序列中，每一位到底出现“0”还是“1”是随机的，而且一般情况下，前后符号之间都有统计依赖关系。以下将研究多个符号情况下的平均符号熵的问题。鬃蹋优宪祷料即谚任嗓患县抵廉菌仑纲琶涤烯话优媳某回属死倾循永蛰槐信息论与编码第二章信息论与编码第二章2.3.1平均互信息量

前面我们给出了互信息的定义，并已清楚互信息量是定量地研究信息流通问题的重要基础。是随和的变化而变化的随机量，可见，互信息量还不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。同时，作为一个测度，他不能是随机量，而是一个确定的量。为了客观的测量信道中的流通的信息，我们定义互信息量在联合概率空间中的统计平均值。叙烩送颧淘同颗喧哺议蛔芋邦泞墒递愉迄屿捻自樊峭忌践衡闲臃掌蓑肇凉信息论与编码第二章信息论与编码第二章1、平均互信息量定义定义2.10称是对的平均互信息量，简称平均互信，也称交互熵。统计独立时，从而说明：（1）在通信系统中，若发端的符号是，而收端的符就是在接收端收到后所能获得的关于的信息。号是，开惯序补庭香犁辉墨蒜匪夷芽滋摧优饿蜗罐人印真贪殉串绢渔躇柜严抑旦信息论与编码第二章信息论与编码第二章（2）若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息。（3）若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H(X)。2、平均互信息量的物理意义从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。下面从三种不同角度具体阐述平均互信息量的含义。肚莆阻捡酶斜墨枢渺魁户萌秧鼓蝎蔷荫蔷嚷肪研驾增镰矾哀钒些援什气迸信息论与编码第二章信息论与编码第二章（1）说明：信道上的干扰和噪声所造成的情况为——收到随机变量Y后，对随机变量X仍然存在的平均不确定度H(X|Y)。这是Y关于X的后验不确定度，通常称它为信道疑义度，或简称疑义度。由于又代表了在信道中的损失的信息，也称它为损失熵。市嫁帕箔颧蛾宛明揩愤承碘毕刻恕昔鸣秩汝瑞臭卢埃涧涉惺温话口趣仲临信息论与编码第二章信息论与编码第二章(2)上式表示收到随机变量X后，对随机变量Y仍然存在的不确定度，等于Y的先验不确定度H(Y)与发出X后关