信息论基础——随机过程的信息度量和渐近等分性

1、2.2 随机过程的信息度量随机过程的信息度量半可加数列及其性质半可加数列及其性质平稳信源序列的熵率平稳信源序列的熵率冗余度冗余度平稳信源序列的熵率的求解问题平稳信源序列的熵率的求解问题2.2 随机过程的信息度量随机过程的信息度量例例1：一个马尔可夫过程的基本符号为0，1，2，这3个符号等概率出现，开且具有相同的转移概率。 请画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵和信源剩余度.解：一阶马尔可夫过程 的状态转移图2.2 随机过程的信息度量随机过程的信息度量设状态的平稳分布为 ，根据123(,)WW W W112321233123123111333111333111331

2、1 1( , )3 3331WWWWWWWWWWWWWWWW一阶马尔科夫信源熵：11 1 1()3( , )1.585/33 3 3HXH 比特 符号信源冗余度：log3()0RHX2.2 随机过程的信息度量随机过程的信息度量例例2：一阶马尔可夫信源的状态转移图如下图所示，信源 的符号集为 (1)求平稳后的信源的概率分布； (2)求信源熵 X0,1,2H解：设状态的平稳分布为012(,)WW W W根据：2.2 随机过程的信息度量随机过程的信息度量0011122020121 1 10( , )3 3 301WpWpWWpWpWWpWpWppWWWWW时，时，为任意分布（2）103( )( );

3、3pHH pH p 时，0,0pH时2.3 渐近等分性质渐近等分性质渐近等分性渐近等分性（AEP）弱典型序列弱典型序列弱典型序列的数值实例弱典型序列的数值实例2.3 渐近等分性质渐近等分性质渐近等分性渐近等分性（AEP）弱典型序列弱典型序列弱典型序列的数值实例弱典型序列的数值实例2.3 渐近等分性质渐近等分性质 是随机变量长序列的一种重要特性，是编码定理的理论基础，简称AEP。 当随机变量的序列足够长时,其中一部分序列就显现出一种典型的性质：这些序列中各个符号的出现频数非常接近于各自的出现概率，而这些序列的概率则趋近于相等，且它们的和非常接近于1,这些序列就称为典型序列。 其余的非典型序列的出

4、现概率之和接近于零。序列的长度越长，典型序列的总概率越接近于1,它的各个序列的出现概率越趋于相等。渐近等分性即因此得名。 2.3 渐近等分性质渐近等分性质 渐近等分性有许多不同的具体形式，但一般地可以表述如下： 若X是一个符号表，共有M个不同的符号x1,x2，,xM ,它们的出现概率分别是p1，p2，pM 。对X进行N次独立的选择,于是得到一个长度为N的符号序列;总共有MN个长度为N的不同序列。可以证明,对于给定的两个任意小的数0和0，一定可以找到一个正整数N0(它是X,和的某种函数)，使所有长度为NN0的序列可划分为以下两组： 2.3 渐近等分性质渐近等分性质第一组包含WMN个序列，其中各个

5、序列都具有几乎相等的出现概率p，且有 实际上,当N充分大时,W=2NH ,式中H是X的符号熵。第二组包含其余的MN-W个序列，它们的出现概率之和小于。显然第一组包含的是典型序列,第二组包含的是非典型序列。在各个符号的概率不相等的情况下，序列长度N越大,则W与MN的差别越大,而pW与1的差别越小，-logp/N与H的差别也越小。 2.3 渐近等分性质渐近等分性质渐近等分性的意义在于： 对于任意取有限个值的随机变量X,当用N次独立选择的方法来形成编码序列时,只要N 取得足够大，就可以只考虑其中W个典型序列，而其余所有的非典型序列均可以忽略。 2.3 渐近等分性质渐近等分性质信息论中，渐近等分性是弱

6、大数定理的直接推论.大数定理指出：对于统计独立、有等同分布的随机变量 ，只要n足够大， 就接近数学期望渐近等分性指，对于统计独立、有等同分布的随机变量 ，只要n足够大，联合概率就接近信源熵12,nXXX11niiXnE X12,nXXX()H X2.3 渐近等分性质渐近等分性质定理定理 对无记忆信源 有,1kXk 1log()np Xn以概率收敛到 . 其中，()H X12(,).nnXXXXXi是统计独立，且服从分布p(x);视为一个扩展信源视为一个扩展信源12()() ()()nnp Xp Xp Xp X简证：111log()log()nnkkp Xp Xnn 由于相互独立随机变量的函数也

7、是随机变量及弱大数定理log()()Ep XH X2.3 渐近等分性质渐近等分性质渐近等分性渐近等分性（AEP）弱典型序列弱典型序列弱典型序列的数值实例弱典型序列的数值实例2.3 渐近等分性质渐近等分性质定义定义 称满足性质的n长序列为弱典型序列，或 -典型序列. 记所有集为1|log()()|1nrPp XH Xn ( ).nW定义式等价于：( )( ):1nnnnrrP WPXXW 2.3 渐近等分性质渐近等分性质利用AEP可得到弱典型序列的如下性质：定理定理 ，当n足够大时，有 （1） （2）0 ()()2()2;n H Xnn H Xp X()( )()(1)2|.| 2n H Xnn

8、 H XW( )( )()()( )|22()1nnnnn H Xn H XnnrXWXWP Wp X2.3 渐近等分性质渐近等分性质渐近等分性渐近等分性（AEP）弱典型序列弱典型序列弱典型序列的数值实例弱典型序列的数值实例2.3 渐近等分性质渐近等分性质2.3 渐近等分性质渐近等分性质作业：作业：P42: 3), 4)-(b)2.3 渐近等分性质渐近等分性质定义定义 称满足性质的n长序列为弱典型序列，或 -典型序列. 记所有集为1|log()()|1nrPp XH Xn ( ).nW定义式等价于：( ):1nnnrnrPXXPWW 2.3 渐近等分性质渐近等分性质利用AEP可得到弱典型序列的

9、如下性质：定理定理 ，当n足够大时，有 （1） （2）0 ()()2()2;n H Xnn H Xp X( )()| 2nn XW( )( )()()( )|22()1nnnnn H Xn H XnnrXWXWP Wp X()( )()(1)2|.| 2n H Xnn H XW2.3 渐近等分性质渐近等分性质弱典型序列集占n长序列Xn总数的比例：( )()(log| |()log| |(|220|2)nnH XnH XnnnW弱典型序列只占全体序列的一小部分！2.4 渐近等分性在数据压缩中的应用渐近等分性在数据压缩中的应用2.4 渐近等分性在数据压缩中的应用渐近等分性在数据压缩中的应用任何一个

10、离散随机序列信源当序列长度n时,信源序列会产生两极分化：大概率事件集合 与小概率事件集合 .由此可见，信源编码只需对信源中由此可见，信源编码只需对信源中少数少数落入典型大概率事件的集合落入典型大概率事件的集合的符号进行编码即可；而对的符号进行编码即可；而对大多数大多数属于非典型小概率事件集合中的属于非典型小概率事件集合中的信源符号无需编码信源符号无需编码.码字总数减少码字总数减少，所需码长可以减少2.4 渐近等分性在数据压缩中的应用渐近等分性在数据压缩中的应用记上述编码的误差概率为：记上述编码的误差概率为：由弱渐进等分性由弱渐进等分性该编码的码率满足：该编码的码率满足：误差概率：误差概率：(

11、)nnerPPXW()( )()(1)2| 2n H Xnn H XMW11log(1)()log()H XMH Xnn( )nnerPPXW当n充分大时，码码率接近率接近H(X)！误差概率误差概率趋于趋于0.信源编码信源编码正定理正定理在该码率的任意邻域内存在符合某种条件的编码器与解码器 2.5 Shannon-McMillan-Breiman定理 在通信的数学理论中，Shannon首先运用典型序列的思想给出了离散无记忆信源下的可达码率区间；而后，Shannon又进一步推广到有限状态的遍历Markov信源； 2.5 Shannon-McMillan-Breiman定理 1953年，McMil

12、lan将统计力学中的术语渐近等分性质（AEP）引入信息论，并且还进一步运用概率论中的遍历定理推广了Shannon关于典型序列的结果，得出了每一个有限字符集的平稳遍历过程都满足AEP性质的结论.一般的教科书通常将之称为Shannon-McMillan定理；运用Shannon-McMillan定理，平稳遍历过程的可达码率区问题就可以非常容易地运用AEP性质解决. 2.5 Shannon-McMillan-Breiman定理 然而，对于非平稳或者非遍历的信源，并不一定满足Shannon-McMillan定理，所以需要更一般的理论来研究这些信源. 1993年，Breiman提出了信息谱的方法，运用该方

13、法可以计算任意一般信源的可达码率. 从而形成了Shannon-McMillan-Breiman定理定理 .2.5 Shannon-McMillan-Breiman定理 定理（强渐近等分性）定理（强渐近等分性） 设设X1，X2为取值于有限字母集为取值于有限字母集的平稳遍历马氏链，的平稳遍历马氏链，则则12211limlog(,)(|)rnnP XXXH XXn2.5 Shannon-McMillan-Breiman定理 证明：设马氏链的一步转移概率矩阵为 P=(pij)，其pij=P(Xn+1=j|Xn=i)马氏链的初始分布服从平稳分布PrX1=i=(i) ,则 H(Xn+1|X1,Xn) =H

14、(Xn+1|Xn)=H(X2|X1) =- (i) pij log pij ;2.5 Shannon-McMillan-Breiman定理 -logPr(X1,Xn)/n =-log(X1) Pr(X2|X1)Pr(Xn|Xn-1) /n =(-log Pr(Xi+1|Xi) )/n- log(X1)/n ;记Wi=-log Pr(Xi+1|Xi)； 由于马氏链是平稳遍历的，得 lim -logPr(X1,Xn)/n = lim -(n-1)/nWi/(n-1)- log(X1)/n =EW1=H(X2|X1).2.5 Shannon-McMillan-Breiman定理 定理（强渐近等分性）

15、定理（强渐近等分性） 设设X1，X2为取值于有限字母集为取值于有限字母集的平稳遍历马氏链，的平稳遍历马氏链，则则 设设X1，X2为独立同分布为独立同分布p(x)随机过程，则随机过程，则12211limlog(,)(|)rnnP XXXH XXn1211limlog(,)()( )rnnP XXXH XH Pn2.5 Shannon-McMillan-Breiman定理 定理（强渐近等分性）定理（强渐近等分性）设设X1，X2为取值于有限字母集为取值于有限字母集的平稳遍历马氏链的平稳遍历马氏链,则则 （一般平稳遍历信源的强渐近等分性）（一般平稳遍历信源的强渐近等分性）设设X1，X2为取值于有限字母集为取值于有限字母集的平稳遍历过程，则的平稳遍历过程，则12211limlog(,)(|)rnnP XXXH XXn121limlog(,)()rnnP XXXHXn2.5 Shannon-McMillan-Breiman定理 定理定理 （信源编码定理）（信源编码定理）设设X1，X2为为平稳遍历信源，熵率为平稳遍历信源，熵率为H(X) .当当n充分大时，充分大时，使得使