信息论基础精品课件

1、信息论基础第1页，共25页，2022年，5月20日，1点19分，星期一互信息量设有两个随机变量X和Y，X取值于信源发出的离散消息集合，Y取值于信宿收到的离散消息集合。信源的数学模型为：信宿的数学模型为：第2页，共25页，2022年，5月20日，1点19分，星期一互信息量第3页，共25页，2022年，5月20日，1点19分，星期一互信息量可以推得：第4页，共25页，2022年，5月20日，1点19分，星期一互信息量的性质(1)互信息有对称性，即(2) 当X和Y相互独立时，互信息为零。(3) 互信息量可为正值，也可为负值。 当后验概率小于先验概率时，互信息量为负值，说明信宿收到yj后，不仅没有使x

2、i的不确定度减少，反而更大，这是通信受到干扰或错误所造成。第5页，共25页，2022年，5月20日，1点19分，星期一条件互信息量第6页，共25页，2022年，5月20日，1点19分，星期一可以推的如下结果：第7页，共25页，2022年，5月20日，1点19分，星期一证明：第8页，共25页，2022年，5月20日，1点19分，星期一第9页，共25页，2022年，5月20日，1点19分，星期一第10页，共25页，2022年，5月20日，1点19分，星期一第11页，共25页，2022年，5月20日，1点19分，星期一第12页，共25页，2022年，5月20日，1点19分，星期一第13页，共25页，

3、2022年，5月20日，1点19分，星期一第14页，共25页，2022年，5月20日，1点19分，星期一已知单符号离散信源的数学模型：信源熵我们定义信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信源熵，或信息熵，香农熵，无条件熵。简称为熵，记为： 信息熵，它的实质上是对无记忆信源平均不确定度的度量。第15页，共25页，2022年，5月20日，1点19分，星期一注意： 信源熵和平均自信息量两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源的不确定度所需要的信息的度量 信源熵有三种物理含义：（1）信源熵H(X)表

4、示信源输出后，每个离散消息所提供的平均信息量。（2）信源熵H(X)表示信源输出前，信源的平均不确定度。（3）信源熵H(X)反映了变量X的随机性。第16页，共25页，2022年，5月20日，1点19分，星期一第17页，共25页，2022年，5月20日，1点19分，星期一第18页，共25页，2022年，5月20日，1点19分，星期一 当二元信源符号0和1以等概率出现时，信源熵达到极大值，等于1bit信息量。第19页，共25页，2022年，5月20日，1点19分，星期一条件熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y取yj的条件下，随机变量X的条件熵H(X/yj)的定义为：上式是仅知某一个Y的yj取值时X的条件熵，它随着yj的变化而变化，仍然是一个随机变量。已知所有的yj(j=1,2,m)时，X任然存在不确定度。第20页，共25页，2022年，5月20日，1点19分，星期一条件熵 在已知随机变量Y的条件下，随机变量X的条件熵H(X/Y)的定义为： 相应地，在已知随机变量X的条件下，随机变量Y的条件熵H(Y/X)的定义为：第21页，共25页，2022年，5月20日，1点19分，星期一第22页，共25页，2022年，5月20日，1点19分，星期一Bit/符号第23页，共25页，2022年，5月20日，1