信息论与编码民大02-信源与信源熵

1、2020/7/3,1/45,信息与信息熵 Information and Entropy,信源的统计特性和数学模型 各类信源的信息测度-信息熵及其性质。,2020/7/3,2/45,信源的统计特性,在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。,2020/7/3,3/45,首先讨论离散单个消息(符号)信源（单符号离散信源）。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单

2、个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列（多符号离散信源） ；对连续信源而言则是一随机过程（连续信源） 。,信源的分类讨论,2020/7/3,4/45,在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 有3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。,2020/7/3,5/45,单符号离散信源数学模型,单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体

3、 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大,2020/7/3,6/45,不确定性与发生概率,事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 用函数f p(xi)来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。,2020/7/3,7/45,1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际

4、是等概率)信源进行了研究，并给出了最早的信息度量公式, 定义为可能消息量的对数: I=log(1/p(xi)=logNm=mlogN p(xi)=1/Nm,2020/7/3,8/45,用概率测度定义信息量： 设离散信源X，其概率空间为 如果知道事件xi已发生，则该事件所含有的自信息定义为,自信息,2020/7/3,9/45,自信息含义,当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获

5、得这么大小的信息量。,2020/7/3,10/45,联合自信息量,信源模型为 其中0p(xiyj)1 (i=1,2,n; j=1,2, ,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj) 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。,2020/7/3,11/45,条件自信息量,设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 自信息量、条件自信息量和联合自信息量之间的关系,2020/7/3,12/45,最简单的通信系统模型： X信源发出的离散消息集合； Y信宿收到的离散消息集合； 信源X、信

6、宿Y的数学模型为,互信息量和条件互信息量,P(yj|xk),Y,X,2020/7/3,13/45,互信息量(mutual information),yj对xi的互信息量定义为后验概率与先验概率比值的对数。 先验概率：信源发出消息xi的概率p(xi )。 后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。 转移概率：信源发出xi后信宿收到yj的概率p(yj / xi )。,2020/7/3,14/45,条件互信息量,消息xi与消息对yj zk之间的互信息量为 条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。,2020/7/3,15/45,信息熵(Entropy)

7、平均信息量,平均信息量信源熵：自信息的数学期望。 信息熵的单位：一般以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。,2020/7/3,16/45,信源熵的三种物理含义,信源熵有以下三种物理含义。 信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量； 信源熵H(X)是表示信源输出前，信源的平均不确定性； 用信源熵H(X)来表征变量X的随机性(如下例),2020/7/3,17/45,举 例,有两个信源，其概率空间分别为 信息熵分别为 H(X)=-

8、0.99log0.99-0.01log0.01=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(y)H(x) 本例结论 信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大； 信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小； 信息熵反映的就是信源输出前平均不确定程度的大小。,2020/7/3,18/45,条件熵,定义：条件熵是在联合符号集合XY上的条件自信息的数学期望。 在已知Y时，X的条件熵为 已知X时，Y的条件熵为 条件熵是一个确定

9、的值 H(X|Y)H(X) ; H(Y|X)H(Y),2020/7/3,19/45,熵的基本性质和定理,熵函数H(X)：熵H是p(x1),p(x2),p(xn)的n元函数（实际上，因p(xi)=1，独立变量只有n-1个，H是(n-1)元函数）: (1) 非负性 (2) 对称性 (3) 最大离散熵定理 (4) 扩展性 (5) 确定性 (6) 可加性 (7) 极值性 (8) 上凸性,2020/7/3,20/45,(1) 非负性,H(X)0 因为随机变量X的所有取值的概率分布满足0p(xi)1； 当取对数的底大于1时log p(xi)0，而- p(xi) log p(xi)0，所以熵H(X)0；,2

10、020/7/3,21/45,(2) 对称性, 定义：当变量p(x1),p(x2),p(xn) 的顺序任意互换时，熵函数的值不变，即 含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。,2020/7/3,22/45,(3) 最大离散熵定理(极值性),定理： 离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。 Hp(x1),p(x2),p(xn) H(1/n,1/n,1/n)=log2n 出现任何符号的可能性相等时，不确定性最大。,2020/7

11、/3,23/45,(4) 扩展性,因为 所以上式成立。 本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。,2020/7/3,24/45,(5) 确定性,H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0,2020/7/3,25/45,(6) 可加性,H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y) H(X1X2XN-1XN) = H(X1)+

12、H(X2/X1)+ H(X3/X1X2)+ H(XN/X1X2XN-1) H(X1XN)H(X1)+H(XN),2020/7/3,26/45,(7) 极值性/香农辅助定理,对任意两个消息数相同的信源 有 上式含义：任一概率分布p(xi)，它对其它概率分布p(yi)的自信息 取数学期望时，必大于p(xi)本身的熵。,2020/7/3,27/45,(8) 上凸性,设有一个多元矢量函数 f(x1,x2,xn)=f(X )，对任一小于1的正数(01)及f 的定义域中任意两个矢量X ,Y， 若fX +(1-)Y f(X )+(1-)f(Y )，则称f 为严格上凸函数。 设P ,Q为两组归一的概率矢量：

13、P =p(x1),p(x2), ,p(xn)，Q=p(y1),p(y2), ,p(yn) 0p(xi)1，0p(yi)1， 有：HP +(1-)Q H(P )+(1-)H(Q ),2020/7/3,28/45,平均互信息量,如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。 互信息量I(xi;yj)是是一个随机变量，不能从整体上作为信道中信息流通的测度。,2020/7/3,29/45,平均互信息量,平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 称I(X;Y)是Y对X的平均互信息量（

14、简称平均互信息/交互熵）。 X对Y的平均互信息定义为 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。,2020/7/3,30/45,平均互信息量的物理含义, 观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上,2020/7/3,31/45, 观察者站在输出端,I(X;Y)收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。,2020/7/3,32/45, 观察者站在输入端,I(Y;X) 发出X前、后关于Y的先验不确定度减少的量。,2020/7/3,33/45, 观察者站在通信系统总体立场上,I(X;Y) 通信前、后整个系统不确定度

15、减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的熵值和H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。,2020/7/3,34/45,平均互信息量的性质, 对称性 非负性 极值性 凸函数性 数据处理定理,2020/7/3,35/45, 对称性,I(X;Y)= I(Y;X) 根据互信息量的对称性I(xi;yj)= I(yj;xi) 结论：由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。I(X;Y)和 I(Y;X)只是观察者的立足

16、点不同。,2020/7/3,36/45,即 I(X;Y)0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： 从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。, 非负性,2020/7/3,37/45, 极值性,I(X;Y)H(X) I(Y;X)H(Y) 从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。,2020/7/3,38/45, 凸函数性(convex),平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数 平均互信息量I

17、(X;Y)是转移概率分布p(yj /xi)的下凸函数 (具体描述见下页),2020/7/3,39/45,平均互信息量的数学特性,平均互信息量是p(xi)和p(yj /xi)的函数， 即I(X;Y)=f p(xi), p(yj /xi)； 若固定转移概率，调整信源，则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f p(xi)-上凸函数； 若固定信源，调整转移概率， 则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f p (yj /xi)-下凸函数。,2020/7/3,40/45,举 例,例 设二进制对称信道的信源输出概率空间为 信道转移概率p(yj /xi)如图所示。,2020/7/3,41/45,由信道决定的条件熵,2020/7/3,42/45,当q不变/固定信道特性时，可得I(X;Y)随输入概率分布p变化的曲线； I(X;Y)是 p(xi)的上凸函数 二进制对称信道特性固定后，输入呈等概率分布p=1/2时，平均而言在接收端可获得最大信息量。,2020/7/3,43/45,当固定信源特性p时，I(X;Y)就是信道特性q的函数； I(X;Y)是 p(yj/xi)的下凸函数 当二进制对称信道特性q=1/2时，信道输出端获得信息量最小，即等于