讲义22 - 第一章引论.doc

信息论研究生课程讲义2-5 平均交互信息量的特性平均交互信息量I(X,Y)在统计平均的意义上，描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论I(X,Y)的数学特性，重点介绍其特性的结论和其物理意义。2-5-1 I(X,Y)的非负性当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数，可以证明若f(x)为上凸函数，则有：fpixipif(xi)，如f(x)=logx，则有：logpixipilogxi根据这个关系，考虑平均交互信息量，I(X,Y)= p(xi,yj)logp(xi,yj)/p(xi)p(yj)则：-I(X,Y)= p(xi,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=logp(xi) p(yj)=0所以有：I(X,Y) 0只有当P(X,Y)=P(X)P(Y),即对于所有的i=1,2,n, j=1,2,m。都有：p(xi,yj)=p(xi)p(yj)，才有：I(X,Y)=0 交互信息量可能出现负值，但平均交互信息量不可能出现负值。 接收者收到一个Y的符号，总能从中获取道关于信源X的信息量，只有当XY相互独立时，平均交互信息量才为0。 由I(X,Y)=H(X)-H(X/Y)，可知，在信息传输过程中，后验熵不可能大于先验熵，这种特性称为后熵不增加原理。当XY相互独立时，p(xi,yj)=p(xi)p(yj)可得：H(X,Y)=H(X)+H(Y)当XY相互独立时，p(yj/xi)=p(yj)可得：H(Y/X)=H(Y)当XY相互独立时，p(xi/yj)=p(xi)可得：H(X/Y)=H(X)由交互信息量的定义可知：I(X,Y)=H(X)+H(Y)-H(X,Y) =H(X)-H(X/Y) =H(Y)-H(Y/X)=02-5-2 平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)则：I(X,Y)=I(Y,X) 交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。 两个园相交的部分为平均交互信息量，可见，平均交互信息量的大小体现了X和Y的相关程度。X和Y相互独立，交互性最小，I=0； X和Y完全相关，交互性最大，I=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。例 下列为X和Y完全相关的例子。 x1 1 y1 x1 1 y1 x2 1 y2 x2 1 y2 x3 1 y3 y3 1 y3 x1 1 y1 x1 1 y1 x2 1 y2 x2 1 y2 x3 1 y3 x3 1 y3其相应的信道转移矩阵分别为：P1=100P2=100010001001010P3=010P4=001100010001100这种信道的特点是：n=m，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。这时有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2-5-3 平均交互信息量的极值性平均交互信息量I(X,Y)不可能超过信源熵H(X)，证明：因为H(X/Y) 0 所以有I(X,Y)=H(X)-H(X/Y)H(X) (作业)同样可以证明：H(Y/X) 0 所以有I(X,Y)=H(Y)-H(Y/X)H(Y) (作业) 疑义度、噪声熵总是大于等于0，平均交互信息量总是小于信源熵或信宿熵。 在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。 例2-9 扩展性无噪声信道。当信道输入一个X值，相应有几个Y值输出，且互不重合，这时条件熵（疑义度）H(X/Y)=0，且H(Y)H(X)。看三种这样的信道： x1 1/3 y1 x1 1/3 y1 x1 1 1/3 y1 x2 2/3 y2 x2 1 y2 x2 y2 x3 1 y3 x3 2/3 y3 x3 2/3 y3 (a) (b) (c)信道转移矩阵分别为：1/32/301/302/3010P=000P=010P=1/302/3001000000由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0即：这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲，这种信道可以把信源的信息全部传递道信宿。这种每列只有一个非0元素的信道也是一种无噪声信道，称为具有扩展性能的无噪声信道。这是在考察噪声熵H(Y/X)，设先验概率为p(x1),p(x2),p(x3)。 =H(Y)-H(X)考虑到：p(y1)=p(x1)(1/3); p(y2)=p(x1)(2/3); p(y3)=p(x3);所以：H(Y/X)=H(Y)-H(X)由于H(Y/X)为大于等于0，所以H(Y)H(X)；得到的结论为：这时的信宿熵将大于信源熵。因此称为扩展信道。熵函数的性质（补充）性质6：熵函数的强可加性设有两个相互关联的信源，X，Y，信源空间分别为：X.P=x1x2xnp(x1)p(x2)p(xn)Y.P=y1y2ymp(y1)p(y2)p(ym)其条件概率为：p(yj/xi), p(yj/xi)=1 (i=1,2n)，再有XY的完备空间条件，可以证明：H(X,Y)=H(X)+H(Y/X) 这个关系称为熵函数的强可加性。（作业）性质7：熵函数的可加性当信源X，Y相互独立时，有H(X,Y)=H(X)+H(Y)，这个关系称为熵函数的可加性。（作业）。例2-10并归性无噪声信道，当Y是X的确定函数，但不一一对应，不同的X，可以同一个Y值输出，且不同的Y对应的X 不同，这时H(Y/X)=0, H(X)H(Y)。如： x1 1 y1 x1 1 y1 x2 1 y2 x2 1 1 y2 x3 1 y3 x3 y3 相应的信道转移矩阵分别为：P=100P=010100001010010这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)这时可以证明，其疑义度H(X/Y)=H(X)-H(Y),并且H(X)H(Y)，（作业）。 通过这两个例题可以进一步理解条件熵的概念，疑义度和噪声熵都是由于信道噪声引起的，当信道转移概率是一一对应的确定关系时，疑义度和噪声熵等于0。 一个X产生多个Y，称为扩展信道，在扩展信道中若P中每列只有一个非0元素，H(X/Y)=0，即疑义度=0，称为扩展性无噪声信道，否则称为扩展噪声信道。 多个X产生一个Y，称为归并信道，在归并信道中若P中元素为0或1，H(Y/X)=0，即噪声熵=0，称为归并性无噪声信道，否则称为归并噪声信道。2-5-4 平均交互信息量的凸函数性已知平均交互信息量为它只是先验概率p(xi)和信道转移概率p(yj/xi)的函数，可以记为：I(X,Y)=Ip(xi),p(yj/xi)即：如果信道固定，I(X,Y)就是先验概率的函数，如果信源固定，I(X,Y)就是信道转移概率的函数。可以进一步证明： 当信道一定时，平均交互信息量是信源先验概率的上凸函数；（证明略）这就是说，对于一定的信道转移概率分布，总可以找到一个先验概率分布为pm(xi)的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。或者说Imax是P(Y/X)的函数。 例2-11 设二元对称信道的信源空间为：X=0,1; P(X)=, 1-; 0 1-p 0 p p 1 1-p 1平均交互信息量为：I(X,Y)=H(Y)-H(Y/X)；因为已知转移概率，所以利用这一个公式。其中： H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi) =p(xi)-plogp+(1-p)log(1-p) =H(p) 其中：H(p)= -plogp+(1-p)log(1-p) 另外：为了求H(Y)，利用p(yj)= p(xi)p(yj/xi)；可得： p(y=0)=(1-p)+(1-)p p(y=1)=p+(1-)(1-p)所以：H(Y)=-(1-p)+(1-)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1-)(1-p) =H(1-p)+(1-)p)可得平均交互信息量为： I(X,Y)=H(1-p)+(1-)p)-H(p)根据这个关系，当p值一定，即固定信道，可知I(X,Y)是的上凸函数，其曲线如图： I(X,Y) 1-H(p) 0 1/2 1 从图中可知，当BSC信道的信道矩阵固定后，若输入符号集X的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入为等概分布时即，p(0)=p(1)=1/2时，接收端的信息量才为最大值1-H(p)。这就是平均交互信息量的上凸函数性质。 当信源一定时，平均交互信息量时信道转移概率的下凸函数；（证明略）这就是说，对于一个已知先验概率为批P(X)的离散信源，总可以找到一个转移概率分布为pm(Y/X)的信道，使平均交互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。例2-11：在例2-11中，I(X,Y)=H(1-p)+(1-)p)-H(p)，当固定信源先验概率分布时，I(X,Y)是信道转移概率p的下凸函数，如图所示。 I(X,Y) H() 0 1/2 1 p从图中可知，当信源固定后，存在一种BSC信道，p=(1-p)=1/2，使在信道输出端获得信息量最小，即等于0。也就是说，信源的信息全部损失在信道中了。这是最差的信道，这个性质说明，每个信源都存在一种最差的信道，此信道的干扰最大。2-5-5 平均交互信息量的不增性在一些实际信道中，常常出现串联信道的情况。结论是串联信道输出端获得的信息量不会大于信源发出的信息量。（略）2-6 离散信道的信道容量信道容量是表征信道最大传信能力的信道参量。2-6-1 熵速率与信道容量平均交互信息量I(X,Y)是信道X, P(Y/X), Y输出一个符号传输的信息量，当符号速率为n符号/秒时，其熵速率为：R=nI(X,Y)=nH(X)-H(X/Y)=nH(Y)-H(Y/X) bit/s对于一个无噪声信道来说：R=nI(X,Y)=nH(X) bit/s由于参数n与信道和信源无关，因此一般在分析中可以表示为：R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) bit/符号熵速率既是先验概率的函数，也是信道转移概率的函数，为了专门描述一个信道的特性，这里定义信道容量。信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能的信源先验概率的最大熵速率。它表示为：当符号速率为n符号/秒时，信道容量也可以表示为： 信道容量C与信源无关，只是信道转移概率的函数，不同的信道就由不同的信道容量。它反映了信道本身的传信能力。2-6-2 信道容量的计算方法由信道容量的定义，信道容量就是在固定的信道条件下，对所有可能的先验概率求平均交互信息量的最大值。作辅助函数由于对p(xi)求导，所以p(x)-1中的-1没有关系。求辅助函数对p(xi)的偏导，置为0，得下列方程组。由此方程组可以解得使I(X,Y)达到最大值的信源先验概率分布和待定系数，然后求出信道容量C。可以得到通式： (i= 1,2,.n)这时n个方程组为： (i= 1,2,.n) 假设使I(X,Y)为最大值时的先验概率为p(x1),p(x2),.p(xn)，将它们分别乘到上面n个方程组的两边，然后n个求和。可得：可见如果p(x1),p(x2),.p(xn)为最佳先验概率分布，则上式左边就是信道容量，因此：C=+loge再将这个关系代入方程组，得到n个方程变为：即： (i=1,2,n)移项后得： (i=1,2,n) 令 将其代入上式得： (i=1,2,n)这是一个含有m个未知数，n个方程的非齐次方程组。如果n=m，信道转移矩阵为非奇异矩阵，则方程组有解。由 可以解出j;由约束条件： 由此式可得信道容量：由这个C值，根据上面关系求p(yj)，再由p(yj) 和p(yj/xi)求信源先验概率分布p(xi)。即解方程组：解这个方程组后就可以得到最佳信源先验概率分布。当nm时，求解这个非齐次线性方程组就比较困难。2-6-3 离散无噪声信道的信道容量这里讨论三种无噪声信道的信道容量。(1) 具有一一对应关系的无噪声信道其信道转移概率图及矩阵如下：x1 1 y1 x1 1 y1x2 1 y2 x2 1 y2x3 1 y3 x3 1 y3x4 1 y4 x4 1 y4x5 1 y5 x5 1 y5P=0000100010001000100010000 因为信道转移矩阵的元素均为0或1，所以其噪声熵H(Y/X)=0。 又因为P矩阵中每列只有一个非0元素1，所以其疑义度H(X/Y)=0。所以有：I(X,Y)=H(X)=H(Y)根据信道容量的定义，这种信道的特点是：n=m。(2) 具有扩展性的无噪声信道其信道转移概率图及矩阵如下： p(y1/x1) y1x1 y2 y3x2 y4 y5P=p(y1/x1)p(y2/x1)p(y2/x1)00000p(y4/x2)p(y5/x2) 因为P矩阵中每列只有一个非0元素，所以其疑义度H(X/Y)=0。有： I(X,Y)=H(X)，则： 具有扩展性的无噪声信道的信道容量等于信源的最大熵。(3) 具有归并性的无噪声信道其信道转移概率图及矩阵如下： x1 1 x2 1 y1 x3 1 x4 1 y2 x5 1P=1010100101由于信道转移矩阵中的元素均为1和0，所以这个信道的噪声熵H(Y/X)=0。有：I(X,Y)=H(Y)根据信道容量的定义：这表明当随机变量Y为等概分布时，才能达到这个信道容量。由p(yj)与p(xi)和p(yj/xi)的关系可知： p(y1)=p(x1).1+p(x2).1+p(x3).1 p(y2)=p(x4).1+p(x5).1只要当p(y1)=p(y2)时，这是p(xi)的分布是不唯一的。通过以上三个例子可知；无噪声信道的信道容量只决定于信道的输入符号数n，或输出符号m（它们都是信道本身的特征参数），与信源无关，信道容量C是表征信道本身特性的一个参量。2-6-4 强对称离散信道的信道容量如果离散信道的输入/输出符号空间及信道转移矩阵如下：X=x1,x2,xn PX=p(x1),p(x2),p(xn)Y=y1,y2,yn PY=p(y1),p(y2),p(yn) n=mP=1-/(n-1)/(n-1)/(n-1)1-/(n-1)/(n-1)/(n-1)1-这种信道X, P(X/Y), Y称为强对称信道。为了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X);H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)由于熵函数的对称性，有： =-(1-)log(1-)+log-log(n-1) =H()+ log(n-1)上式说明，强对称信道的噪声熵H(Y/X)就是信道转移矩阵中任一行n个元素组成的熵函数值，它决定于信道的错误概率和符号个数n。根据信道容量的定义： 由最大熵定理可知 C=logn-H()- log(n-1)下面分析当p(xi)为何时，才能达到上述信道容量。已知p(yj)=1/n,和信道转移概率，可以得到以下线性方程组。p(yj)=p(xi)p(yj/xi) (j=1,2,n)从这个方程组可得，只有当p(xi)=1/n时，才能使p(yj)=1/n。 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。 对于强对称信道，可以证明H(X)=H(Y)=logn, 对于强对称信道，还可以证明H(Y/X)=H(X/Y)例2-11: BSC的信道矩阵如下：0 1- 0 1 1- 1可得信道容量为C=logn-H()- log(n-1)=1-H()当然只有当p(x1)=p(x2)=1/2时，才能达到这个信道容量。2-6-5 对称信道的信道容量如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道。例如P=1/31/31/61/61/61/61/31/3P=1/21/31/61/61/21/31/31/61/2对称矩阵与强对称信道的区别在于： 强对称信道要求n=m，对称信道不要求； 强对称信道每行之和及每列之和都等于1，对称信道每行之和等于1，而每列之和不一定等于1； 强对称信道的矩阵为对称矩阵，对称信道的矩阵不一定是对称矩阵；利用I(X,Y)=H(Y)-H(Y/X), 考虑到P每行都由同一元素集合构成，利用熵函数的对称性：所以，这种对称信道的条件熵H(Y/X)就等于信道矩阵中任何一行m个元素的熵函数。因此，其信道容量为：下面的问题是当p(xi)为何种分布时，p(yj)才能为等概分布。根据对称信道的P每一行元素相同的特点，由p(yj)=p(xi)p(yj/xi)的关系可知，只有当xi为等概时，yj才会等概。因此有：p(x1)=p(x2)=p(xn)=1/n 时，p(y1)=p(y2)=p(ym)=1/m。2-6-6 准对称信道的信道容量（略）2-7 平稳随机序列信源前面讨论的是单符号离散信源和单符号离散信道的信息特性。这一节开始讨论随机矢量或随机序列信源的情况。通常这种信源是很复杂的，通常要进行简化分析。X=X1，X2，X3， 为平稳随机序列，即统计特性不随时间改变； 随机序列为有限等长度，每个信源消息由N个符号序列组成，2-7-1 离散无记忆信源的扩展信源A.假设条件这里对离散平稳随机序列信源做进一步假设。(1) 我们假设多符号离散平稳信源X=X1，X2，XN中，符号的随机变量Xi都取值于同一个信源空间，Xi,P=x1x2x3xnp(x1)p(x2)p(x3)p(xn)(2) 我们假设多符号离散平稳信源X=X1，X2，XN中，各变量Xi(i=1,2,N)之间统计独立，即P(X)=P(X1,X2,XN)=P(X1)P(X2)P(X3)P(N)到目前为止，我们介绍的离散无记忆信源包括两层意思： 单符号离散无记忆信源，p(x1,x2,xn)=p(x1)p(x2)p(xn) 多符号离散无记忆信源，P(X1,X2,XN)= P(X1)P(X2)P(X3)P(N)在这种假设前提下，可以把多符号离散平稳信源看作单符号离散平稳信源的N次扩展信源。通常N次扩展信源，记为XN。B. N次扩展信源的信源空间因为信源XN的每一个消息Xi=Xi1,Xi2,XiN均由信源X的符号集X:x1,x2,xn中的N个符号组成，所以，XN 的某一个具体符号Xi可以表示为Xi=(xi1,xi2,xiN)xijX:x1,x2,xn，这个关系表明扩展信源的每个符号取值于同一个单符号信源空间，X: x1,x2,xn。因此扩展信源XN 就有rN 种不同的符号，可以表示为XN : X1,X2,Xi,XnN; (i=1,2, nN) 例如n=2, N=2, X=X1,X2 XN : X1,X2,X3,X4 X:x1=0,x2=1 X1=00; X2=01; X3=10; X4=11;所以平稳离散无记忆信源X，P的N次扩展信源的信源空间为：XN,P:XNX1X2XnNP(XN)p(X1)p(X2)p(XnN)并且有： 表明该信源概率空间也是一个完备空间。C. N次扩展信源的熵根据熵函数的定义：利用p(Xi)=p(xi1,xi2,xiN)的关系和p(xi1,xi2,xiN)=p(xi1)p(xi2)p(xiN)无记忆信源，可以得到： 再考虑到无记忆信源，H(X1)=H(X2)=H(XN)，可以得到：H(XN)=N.H(X)多符号平稳离散无记忆信源的N次扩展信源是一种最简单的多符号信源。如果多符号平稳离散无记忆信源X=X1,X2,XN中的各变量Xi取值于不同的单符号离散无记忆信源Xi,P。Xi,P:Xixi1xi2xinP(Xi)p(xi1)p(xi2)p(xin)(i=1,2, N)这种信源称为多符号离散无记忆信源，可以证明这种信源的熵为：其中H(Xi)为单符号离散信源Xi,P的熵。例2-12: 离散无记忆信源的N次扩展信源单符号离散无记忆信源为：X:x1,x2,x3; P(X):1/4, 1/2, 1/4信源X的N=2次扩展信源，X=X1,X2X2:X1,X2,X3,.X9 因为：nN=9。这个2次扩展信源的9个消息符号分别为：X1=x1,x1X4=x2,x1X7=x3,x1X2=x1,x2X5=x2,x2X8=x3,x2X3=x1,x3X6=x2,x3X9=x3,x3其概率关系为：p(Xi)=p(xi,xj)=p(xi)p(xj)，（无记忆信源）。可以得到扩展信源空间：X2,P=X1X2X3X4X5X6X7X8X91/161/81/161/81/41/81/161/81/16计算可知：H(X2)=3 bit/2符号；并可计算原来的单符号离散无记忆信源的熵为：H(X)=1.5 bit/符号。可见：H(X2)=2 H(X) 2-7-2 二维离散平稳有记忆信源的信源熵这里介绍最简单的离散平稳有记忆信源，即二维信源。X=X1，X2所谓有记忆信源就是一种相关信源，每个消息由两个符号组成，后一个符号与前一个符号有一个概率表明相关性，（这是一种近似处理方法，只考虑消息组内的相关性）。设离散平稳信源的信源空间为：X,P=x1x2x3xnp(x1)p(x2)p(x3)p(xn)且有p(xi)=1，同时有一维条件概率为“PX2=xj/X1=xi=PX2+T=xj/X1+T=xi=p(xj/xi) ，表明为平稳序列。(i=1,2,n; j=1,2,n)X=X1，X2 的符号集中的一个Xi=(xi1,xi2) xi1,xi2X:x1,x2,xn; i1,i2=1,2,ni=1,2,3,n2且有：p(Xi)=p(xi1,xi2)=p(xi1)p(xi2/xi1)这时可得二维信源X=X1,X2的信源空间： X,P=X1X2X3Xn2p(X1)p(X2)p(X3)p(Xn2)即信源空间为完备空间。可得二维信源的一个消息（两个符号）所提供的平均信息量为： 其中：H(X1)表示信源发出第一个符号所能提供的平均信息量，H(X2/X1)表示在第一个符号已知的前提下，第二个符号所提供的平均信息量。 二维离散平稳有记忆信源每发一个消息所能提供的平均信息量是一种联合熵，这种信源的熵等于第一个随机变量的熵加上第一变量已知的条件下第二个变量的条件熵。其中： 当随机变量X1X2相互独立时，有H(X)=H(X1,X2)=H(X1)+H(X2)。可以证明：二维离散平稳有记忆信源的熵满足：H(X1,X2)H(X1)+H(X2)，（作业）例2-15 设某二维离散信源的原始信源的信源空间X=x1,x2,x3; P(X)=1/4, 1/4, 1/2, 一维条件概率PX2=xi/X1=xj为：p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0;p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8;p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4;原始信源的熵为：H(X)=1.5 bit/符号条件熵：H(X2/X1)=1.4 bit/符号可见：H(X2/X1)1 ，对于一切ij=1,2,n 都有pij(n0)0 （矩阵P中的所有元素）对于每个 j=1,2,.,n都存在不依赖i的极限（每个状态都以一定的概率出现）则称这个马氏链是各态历经的。其中的极限概率pj=p1,p2,pn是方程组 满足条件 的唯一解。为：Pj=P1,P2,Pn; PjT=P(1)T.PjT马氏链的各态历经定理说明： 只有在转移了一定步数后各状态之间可相通的条件下，当转移步数足够大时，处于某一状态的概率才能稳定在某一极限值； 各状态相通，均可经历； 每个由各状态经历过程产生的序列都有同样的统计特性，即统计均匀性；例2-16: 设一个马氏链有三个状态，X:0,1,2,其一步转移概率为：P(1)=ij012=0120p00p01p020qp01p10p11p121q0p2p20p21p2220qp这时pij0不满足，不能判断是否具有各态历经性，看二步转移矩阵。P(2)=P(1)P(1)=0120q2+pqqpp21q22qpp22q2qpqp+p2这时pij0满足，可以判断具有各态历经性，其状态极限概率（稳态概率）可以由方程得到：p0qq0p0p0=qp0+qp1 由这四个方程求解p1=pp0+qp2p2=pp1+pp2; p0+p1+p2=1p1=p0qp1p20ppp2由一步状态转移矩阵求极限概率的基本关系为：PT=P(1)T.PT T表示矩阵的转置。(3) 状态转移图有限齐次马氏链除了用转移矩阵描述外还可以用状态转移图来表示。例如上面的例题对应的状态图为： q p q 0 1 2 p p q 齐次马氏链为一个不可约闭集，即对马氏链中的任意两个状态，总可以从一个状态经过有限步数转移到另一个状态； 齐次马氏链具有非周期性，从一个状态到另一个状态的步数不能具有周期性；(4) 马尔柯夫信源 m阶马尔可夫信源：如果一个离散平稳有记忆信源X=X1，X2，,Xm,Xm+1,Xm+2,中，任一时刻(m+1)的随机变量Xm+1只依赖于它前面的m个随机变量，与更前面的变量无关，称为记忆长度为m的离散平稳有记忆信源，也称为m 阶马尔柯夫信源。这时把(X1,X2,Xm)某一个取值Si=(xk1,xk2,xkm) 称为一个状态。xkjX:x1,x2,xn为原始信源状态空间; kj=1,2,n j=1,2,.mi=1,2,nm 马尔柯夫信源状态：同时把随机变量(X2,X3,Xm+1)的某一取值Sj称为另一个状态，Si为Sj的前一状态。m 阶马尔柯夫信源的状态空间为S:S1,S2,Srm，马尔柯夫信源的一个状态由m个符号组成，当信源再输出一个符号时，信源变为另一个状态，所以从Si到Sj的一步转移概率为：p(Sj/Si)=p(xkm+1/xk1xk2xkm) 为一个条件概率；其中：(k1,k2,km=1,2,n; km+1=1,2,n)(i,j=1,2,.nm) m 阶马尔柯夫信源空间：X: x1 x2 xnP: p(xkm+1/xk1 xk2 xkm)且有： m 阶马尔柯夫信源的极限熵：根据 m 阶马尔柯夫信源的定义，及平稳性，有： p(xkN/xk1 xk2 xkm xkm+1,xkN-1)=p(xkN/xkN-m xkN-m+1,xkN-1) =p(xkm+1/xk1 xk2 .xkm), 这样，可以得到m 阶马尔柯夫信源的极限熵： =H(Xm+1/X1X2Xm)这表明，m 阶马尔柯夫信源的极限熵就等于m阶条件熵，记为：Hm+1。 用状态转移概率表示极限熵：p(Sj/Si)=p(xk/Si)=p(xkm+1/xk1xk2xkm) 或p(xk+1/Si)这时极限熵可以表示为：从以上分析可以看到，m 阶马尔柯夫信源的分析是实际信源的一种简化，把一个无限的问题转化为有限量的计算问题。已知m 阶马尔柯夫信源的状态一步转移概率后，求极限熵的问题就在于得到概率p(Si)，(i=1,2, nm)，而p(Si)就是马尔柯夫信源在稳定状态时的各状态的极限概率。所以，首先要判断信源是否具有各态历经性，如果有，则可以有一步转移概率求出极限概率。例2-17: 一个二进制二阶马尔柯夫信源的原始信源为X：0，1，m=2，这时的状态空间为：S: S1=00, S2=01, S3=10, S4=11，共有nm=22=4个不同的状态。已知其一步转移概率为：0/0000p(0/00)p(0/S1)p(S1/S1)=0.81/0001p(1/00)p(1/S1)p(S2/S1)=0.20/0110p(0/01)p(0/S2)p(S3/S2)=0.51/0111p(1/01)p(1/S2)p(S4/S2)=0.50/1000p(0/10)p(0/S3)p(S1/S3)=0.51/1001p(1/10)p(1/S3)p(S2/S3)=0.50/1110p(0/11)p(0/S4)p(S3/S4)=0.21/1111p(1/11)p(1/S4)p(S4/S4)=0.8信源空间S:S1,S2,S3,S4 p(Sj/Si) (i=1,2,3,4)可得到信源状态转移图为： 0.8 S1 0.2 0.5 0.5 S2 S3 0.5 0.5 0.2 S4 0.8由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，存在状态极限概率。有：p(S1)=0.800.50p(S1)p(S2)0.200.50p(S2)p(S3)00.500.5p(S3)p(S4)