信息论基础复习ppt课件

1、上一页上一页下一页下一页中心极限定律告诉我们,大量随机小干扰引起的噪声,其概率分布接近于高斯分布,因此研究高斯信道至为重要6.4.1 有加性噪声的信道模型和信道容量6.4 高斯信道( )( )X tY t连续信道的输入和输出为随机过程和，( )Z t设为随机噪声，则简单的加性噪声信道模型可表示为( )( )( )Y tX tZ t( )( )X tY t ( )Z t上一页上一页下一页下一页则加性噪声信道可表示如下iiXY iZ根据随机信号的采样定理，可将随机信号离散化。因此，对时间离散信道的输入和输出序列可分别表示为1212X(Y( ,)X XY Y, ,)和12Z(ZZ随机噪声可表示为,，

2、 )上一页上一页下一页下一页12,12,XXY Y其输入序列为输出序列为iiiYXZ1212(,.)(,.)ZZ ZXXX其中与相互独立.Z当 是平稳过程时,称平该信道为稳信道;12,Z Z 当独立同分布时,无记忆加性噪称信道为声信道.NN特别地,如果它们的公共分布是正态分布 (0, )时,无记忆高斯信道该信道称为,这样的噪声称白噪声.:输入和输出序列有以下关系上一页上一页下一页下一页iZ如果噪声 的方差为0,则可以实现无干扰传输,iXR由于取值于实数 ,因此,信道容量为无穷.因此通常对信道输入应有某种约束，最常用的输入代价的约束是能量（或功率）的约束为：21ixPnni=1上一页上一页下一页

3、下一页P 有输入功率约束 的高斯信定义6道容.4.1量定义为(; )f xPCI X Y2( ):EX=max这个信道容量的计算并不是困难,事实上,取约束,EXP2条件为则:(; )( )()( )()I X Yh Yh Y Xh Yh XZ X1( )()( )( )( )log22h Yh Z Xh Yh Zh YeN上一页上一页下一页下一页( )h Y于是计算信道容量的问题就转化为求的极大值问题.,ZXEZEZNY X +Z2注意到 与 独立,且=0,而 =,所以()EY = E X +Z = EX +EZ=0222EY = EX +EZPNPN由定理6.2.6知,有方差为的连续随机变量

4、的最大熵NPN在正态分布 (0,)时到达,所以1log2()2h Ye PN( )上一页上一页下一页下一页YNPN其中等号成立当且仅当(0,),从而11(; )log2()log222I X Ye PNeN1log(1)2PN1max (; )log(1)2PCI X YNYNPN由于达到信道容量当且仅当(0,),ZNNX =Y -ZXNP又因为(0, ),所以由,可得,(0, ).NP即达到信道容量的输入分布为正态分布 (0, )上一页上一页下一页下一页一般无记忆加性噪声信道信道容量也可定义为：(; )f xPCI X Y2( ):EX=max或等价地表示为：( ( )( )f xPCh Y

5、h Z2( ):EX=max由于有相同功率约束高斯信道是其特例，所以22EZNEXP当加性噪声功率为= ,输入功率约束为时1log(1)2XPCCN下界上一页上一页下一页下一页Y X +Z另方面，由于 =，222EY = EX +EZPN1log2()( )2Ce PNh Z所以上界2EZN进一步，因为与= 有相同方差的分布中(0,)NN正态分布有最大熵，所以1log(2)2h ZeN( )定义212h ZePee( )( )h Z为具有可微熵的熵功率-它就是具有可微熵的高斯随机变量的功率()EY = E X +Z = EX +EZ=0上一页上一页下一页下一页1log2()( )2Ce PNh

6、 Z所以就变为11log2()log(2)22eCe PNeP1log2ePNP一般无记忆加性噪声信道容量的上、下界：11loglog22ePNPNCNP上一页上一页下一页下一页复习提要序论序论一、信息论的构成及历史 Claude Shannon及其主要奉献二、通讯系统的模型 信源、信道、信宿及相互关系三、信息论的根本研讨内容上一页上一页下一页下一页第一章第一章 随机变量的信息度量随机变量的信息度量一、信源的分类及数学模型连续信源单符号无记忆信源符号序列信源离散信源符号序列记忆无限有记忆信源马尔科夫信源上一页上一页下一页下一页二、自信息二、自信息定义)(log)(1log)(xpxpxI性质、

7、单位、随机事件的不确定性上一页上一页下一页下一页三、信源的信息熵三、信源的信息熵定义：()( )log ( ) xH Xp xp x单位bit、nat、hart、N进信息单位信息含义物理意义结合熵：(,)( , )log ( , ) xyH X Yp x yp x y12(,)nH X XX上一页上一页下一页下一页条件熵：( |)( | )log ( | )yH Y Xxp y xp y xY(|)( )(|)( ,) log(|)xxyH YXp x H YXxp x yp yx XXY熵的简单性质：1( )0,H x 、等号成立的充要条件是X有退化分布2、极值性()log|H X X等号成

8、立的充分必要条件是X服从均匀分布上一页上一页下一页下一页),()|()()|()(),(XYHYXHYHXYHXHYXH3、链法那么：12111(,)(|,)nniiiH XXXH XXX( )log(1)log(1) h ppppp二进熵函数：上一页上一页下一页下一页四、相对熵和互信息相对熵：( )( )(| )( )loglog( )( )pxp xp xD p qp xEq xq xX(|)0Dpq相对熵的非负性：等号成立的充要条件是( )( )X cp xq xx对所有 成立上一页上一页下一页下一页互信息、条件互信息(; )( ( , )|( )( )I X YD p x yp xp

9、y( , )( , )log( )( )xyp x yp x yp xp y XY(;|)I X Y Z互信息的简单性质：1、非负性2、链法那么3、数据处置不等式上一页上一页下一页下一页各种熵及互信息的相互关系：(|)H X Y(|)H Y X(, )H X Y( )H Y()H X(; )I X YXY注：此图表示了一些等式和不等式的关系，可以写出并从信息的角度来解释它们。上一页上一页下一页下一页五、信息量的一些性质1、凸函数的定义2、Jensen不等式，对数和不等式3、D(p|q)是概率分布对(p,q)的凸函数(证明4、熵 H (p) 是概率分布p的凹函数(证明)( | ),(; )p y

10、 xI X Yp x5、对任给的是 ( )的凹函数(证明)；( ),(; )p xI X Yp y x对任给的是 ( | )的凸函数(证明)。6、法诺不等式上一页上一页下一页下一页第二章 随机过程的信息度量一、信源和随机过程的根本概念各种信源的数学模型：无记忆信源马尔科夫信源： 平稳分布、转移概率矩阵、香农线图 相互关系平稳信源大数定理上一页上一页下一页下一页二、随机过程的信息度量平稳信源的极限熵(熵率):L121( )(,)l i mdefnnHXH XXXn=121(|,)l i mnnnH XXXX-=L121inf(,)nnH XXXn)()(1XHXH特别1、无记忆信源：2、k阶平稳

11、马氏信源：),|()(211kkXXXXHXH k1时：)|()(12XXHXH注：会计算平稳马氏信源的平稳分布及熵率注：会计算平稳马氏信源的平稳分布及熵率上一页上一页下一页下一页三、渐近等分性1、对无记忆信源：1lognp Xn()H X依概率收敛到2、弱典型序列：( )121(,)log()()= nnnnWXXXXp XH X()( )()-+ )-)- )（1） 22，若n H Xnn H Xnnp XXW( )1（2） ，若 充分大nrP Wn ()( )()1)- )+ )（3） (22，若 充分大n H Xnn H XWn上一页上一页下一页下一页四、信源编码定理了解信源编码定理的

12、内容(定理2.4.1)上一页上一页下一页下一页第三章 数据紧缩和信源编码一、等长码等长码的概念码率:l og2kR =Dn比特/信源字母NoImagef j编码方案( , )的错误概率：上一页上一页下一页下一页二、变长码变长码的定义、有限扩张码、独一可译码、平均码长即时码及存在的充要条件Kraft不等式：1imliD-=1码树、用树图法进展编码最优码长定理上一页上一页下一页下一页三、编码方法1、Huffman码熟练掌握编码方法、了解该方法的特点、优势和缺乏 (特别留意补虚元的问题)2、算术码掌握香农法诺编码方法3、通用信源编码了解LZ算法、LZW算法的根本原理和详细方法上一页上一页下一页下一页

13、第四章 数据可靠传输和信道编码一、离散无记忆信道和信道容量()Q y x，XY离散信道的数学模型：信道编码的定义、编码速率、错误概率()()p xp xCI X;YI p;Q( )( )=max =max离散无记忆信道容量的定义：几种特殊的信道容量的计算：二进无噪信道、二进对称信道、普通对称信道、弱对称信道、准对称信道上一页上一页下一页下一页二、信道容量的计算会用拉格朗日乘数法求信道容量信道容量 的性质：CC1) 0；; C 2)log XlogC 3) ；Y了解信道容量的迭代算法的根本思想上一页上一页下一页下一页三、线性分组码信道的译码规那么最大后验概率译码规则:极大似然译码规那么：平均错误

14、概率：( )F y = x选择译码函数,使之满足条件( |) ()( | ) ( )p y xp xp y x p xx 对X ( )F y = x选择译码函数,使之满足条件(| )( | )p xyp x yx 对X,( ) ( | )exxypp x p y x X上一页上一页下一页下一页生成矩阵、校验矩阵、相互关系线性分组码的汉明间隔、汉明分量检纠才干与最小间隔最小分量的关系，与校验矩阵的关系(两个定理TT00HGGH或系统码最小间隔译码规那么汉明码注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求一切码字、最小间隔(最小分量)、检纠才干、求给出输出序列的译码。上一页上一页下一页

15、下一页第五章 限失真信源编码和率失真函数一、限失真信源编码模型和率失真函数2、失真测度、平均失真、失真矩阵1、限失真信源模型3、限失真信源编码、码率4、信息率失真函数(,)( , ) ( , )xxDEd X Xp x x d x xXX ( , )xxp x Q x x d x xXX;,;minIQ x x Ed X XDRDI X X上一页上一页下一页下一页5、信息率失真函数的性质(定理5.1.1) maxmin,xxDp x d x x XX6、平稳信源的率失真函数11(,)( ,)nnniiid xxd x xn( )inf (,)InnnRDI XX1()lim()IInnRDRDn特别对无记忆信源1IInRDnRD（ ）=（ ）1() =(IIRDR D上一页上一页下一页下一页二、率失真函数的计算简单信源的信息率函数的计算用拉格朗日乘子法计算了解迭代算法的根本思想三、限失真信源编码定理了解限失真信源编码定理的根本内容上一页上一页下一页下一页第六章 延续信源和信道编码实际一、可微熵1、延续信源可微熵的定义:( )log( )Rh Xh pp xp x dx( )= ( )=-简单的信源的熵的计算(均匀分布、指数分布、正态分布)XN 2( ,)21(