第二章基本信息论1_信源不确定性ppt课件

1、第第2 2章章 根本信息论根本信息论本章学习内容本章学习内容信源不确定度和信息度量，离散信源的信源不确定度和信息度量，离散信源的熵及其性质，加权熵熵及其性质，加权熵平均互信息量的定义、计算方法、物理平均互信息量的定义、计算方法、物理意义和性质意义和性质二元结合信源的共熵、条件熵及两者之二元结合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵间的关系，平稳信源的信源熵和极限熵马尔可夫信源的概念及其信源熵的计算马尔可夫信源的概念及其信源熵的计算信源冗余度的定义信源冗余度的定义延续信源的相对熵，三种延续信源的最延续信源的相对熵，三种延续信源的最大熵，熵功率大熵，熵功率信息速率和信道容量的

2、概念，离散有噪信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物了解释，延信道的熵速率，可疑度的物了解释，延续有噪信道的信道容量续有噪信道的信道容量三种多用户信道模型及其信道容量三种多用户信道模型及其信道容量信源编码原理，等长编码和变长编码信源编码原理，等长编码和变长编码常用的信源编码：山农费诺编码、哈夫常用的信源编码：山农费诺编码、哈夫曼编码和曼编码和L-D编码编码本章作业本章作业 P113： 1-9，11，15，17，20，212.1 信源及信源的不确定性信源及信源的不确定性实践有用的信源应具有不确定性实践有用的信源应具有不确定性信源的不确定性：信宿对信源某时辰发信源的不确定性：信

3、宿对信源某时辰发送哪个音讯不能确定。送哪个音讯不能确定。例1某二元信源发送1的概率为0.99，而发送0的概率为0.01。 猜错率：1%，信源的不确定性很小。例2 二元信源发1和发0的概率相等，均为0.5。 猜错率：50%，信源发什么音讯相当不确定。例3假设信源具有更多的音讯，例如发10个阿拉伯数字0，19，而且假定这10个音讯是等概率分布的，均为非常之一。 猜错率更大，信源发什么音讯更不确定了。例4假设信源只发送一种音讯，即永远只发送1或者永远只发送0。 猜错率：0，信源的不确定性为零。一、不确定性的概念对于信源X，其概率空间为：1212,(),(),(),()()ininxxxxXp xp

4、xp xp xp X12,inxxxx其中： ，为信源的消息12(), (), (), ()inp xp xp xp x为各消息出现的概率1()()1()1niiiip xp xp x满足：0， 101()0.990.01Xp X例 ： 102()0.50.5Xp X例 ： 01234567893()0.10.10.10.10.10.10.10.10.10.1Xp X例 ： 104()1.0()1.0XXp Xp X例 ： 或信源不确定度：0=例4例1例2例3 信源的不确定程度与其概率空间的音讯信源的不确定程度与其概率空间的音讯数及其概率分布有关数及其概率分布有关 信源的音讯为等概率分布时，不

5、确定度信源的音讯为等概率分布时，不确定度最大最大 信源的音讯为等概率分布且其数目越多，信源的音讯为等概率分布且其数目越多，其不确定度也越大其不确定度也越大 只发送一个确定的音讯的信源，其不确只发送一个确定的音讯的信源，其不确定度为零定度为零二、信源不确定度的定义Hartley定义了信源不确定度：概率空间的概率的倒数的对数。()log(1/ )logH Xpp 等概率分布时，信源的平均不确定度：不等概率分布时，信源的非平均不确定度：()log ()iiI xp x 表示事件发生前，某事件 发生的不确定性。ix某事件必然发生，不确定性为零()iI x 的性质()1()log10iip xI x 1

6、）当，某事件几乎不发生，不确定性趋向无穷大()0()log0iip xI x 2）当，发生概率小的事件不确定性大，发生概率大的事件不确定性小()()iiI xp x3）是的单调递减函数4两个独立事件的结合信息量应等于它们分别信息量之和三、信息度量()log ()iiI xp x 也表示通讯发生前，信源发送音讯 的不确定度。即信源的非平均不确定度ix表示信源发出一个音讯 所含有或所提供的非平均自信息量ixix信源音讯 的自信息量：条件自信息量(/)log (/)ijijI xyp xy jiyx已知的条件下，发生 所带来的信息量信宿接纳到音讯 后，对信源发送音讯 尚存的不确定度。ixjy从信宿端

7、看，信息量的定义： I信息量=不一定程度的减少量即信宿收到音讯后获得的信息量 =收到音讯前后对信源不一定程度的减少量交互信息量( ;)()(/)ijiijI x yI xI xylog ()log (/)iijp xp xy (/)log()ijip xyp xlog后验概率先验概率信宿收到音讯yj后所获得的关于xi的信息量=收到音讯yj后关于xi的不确定性减少的程度=关于xi的先验不确定度收到音讯yj后对xi尚存的不确定度信息量的单位量纲取2为底：比特bit取e为底：奈特nat取10为底：哈特莱Hartley1ln20.6931bitnat1lg20.3010bitHartley四、离散信源

8、的熵离散信源：仅输出有限个音讯的信源离散信源的熵：() ()log ()iiH XE I xEp x1()log ()niiip xp x 物理意义：-概率空间中每个事件音讯所含有的自信息量的数学期望-信源的平均不确定度输出音讯前-信源输出一个音讯所提供的平均信息量输出音讯后假设信源的N个音讯等概率分布：p=1 / N，那么信源熵：1()log(1/)NiH Xpplog(1/)logNppN11(/ ) (/)() (/)mnijijijjiH X YE I xyp x yI xy11()log (/)mnijijjip x yp xy 条件熵-结合概率空间XY上的条件自信息量的数学期望-信

9、宿收到音讯集Y后对信源X尚存的平均不确定度例一个口袋内有100个球，其中90个红球，10个黄球，每次摸出一个球然后放回，求：1摸到一个红球获得的信息量；2摸到一个黄球获得的信息量；3摸一次球获得的平均信息量。解：信源的概率空间：1212()0.90.1Xxxxp Xx-摸到红球， -摸到黄球1摸到一个红球获得的信息量：11()log()log0.90.1520I xp x 比特2摸到一个黄球获得的信息量：22()log()log0.13.3219I xp x 比特3摸一个球获得的平均信息量：1122()()log ()()log ()H Xp xp xp xp x 0.9log0.90.1lo

10、g0.10.4690/ 比特 消息例计算分析某二元数字通讯系统中输出1，0两个音讯的信源的信源熵。解：1假设信源音讯等概率p(0)=p(1)=0.5 ，那么：2假设p(0)=1，p(1)=0，那么：3假设p(0)=0，p(1)=1，那么：21()()lb ()lb(1/ )lb21/iiiH Xp xp xp 比特 消息()(0)lb (0)(1)lb (1)0H Xpppp ()(0)lb (0)(1)lb (1)0H Xpppp p(0)=1-p(1)1100.50.5H(X)例例 计算能输出计算能输出26个英文字母的信源的信源熵。个英文字母的信源的信源熵。假设各字母等概率分布，且相互独立

11、。假设各字母等概率分布，且相互独立。解：解：26111()lblb264.701/2626iH X 比特 字母五、熵函数H(X)的性质1、非负性、非负性()( )log ( )0 xH Xp xp x 2、确定性、确定性(1,0)(1,0,0)(0,1,0)0HHH3、熵函数、熵函数H(X)是是p(x)的延续函数的延续函数只需有一个音讯出现的概率为1，那么信源的不确定度为0，信源熵为0 。4、熵函数H(X)具有极值性最大离散熵定理设信源X中包含n个不同离散音讯，对信源熵H(X)，有：()lbH Xn当且仅当信源X中各音讯为等概率分布时，上式取等号。证明：自然对数具有性质：ln1,0 xxx当且

12、仅当x=1时，上式取等号11()lb()lb ()()lbnniiiiiH Xnp xp xp xn 11()lb()niiip xnp x1()ixnp x令1()lbniip xxlbln lbxxe1()ln lbniip xxeln1,0 xxx1()1lbniip xxe11()1 lb()niiip xenp x111() lb0nniiip xen()lbH Xn111()()iixp xnp xn当且仅当，即时取等号5、当p(x)为等概率，且p(x)=1/n，那么熵函数H(X)为n的单调增函数()lb()H XnnH X，6、条件熵小于等于无条件熵(/)()H X YH X知Y

13、时即完成通讯，对X的不确定度对Y一无所知时即通讯前，对X的不确定度(/)()H X YH X证明：(/)() (/)lb (/)jijijijH X Yp yp xyp xy ()(/)lb (/)jijijjip yp xyp xy ()(/)lb ()jijijip yp xyp x () (/) lb ()jijiijp yp xyp x () lb ()ijiijp x yp x ()lb ()iiip xp x ()H X7、对称性123()1/61/21/3Xxxxp X123( )1/3 1/61/2Yyyyp Y123( )1/21/3 1/6Zzzzp Z111111()( )( )lblblb332266H XH YH Z 8、扩展性112120lim(, )(,)nnnnHp ppHp pp 9、可加性统计独立的两信源结合熵：()()( )H XYH XH Y相互关联的两信源结合熵：()()(/)H XYH XH YX10、上凸性：1122121212(,)(,)01(1)()(1)()nnP