信息论复习笔记-精选

1、1.绪论信息论回答了通信的两个最基本问题：(1)数据压缩的极限；(2)信道传输速率的极限；信息、消息和信号消息：信息的戴醴(能被感知和理解、暹行停遮和掩取)信息：事物犬熊或存在方式的不碓定性的描述(香晨)先瞬概率：P(at)自信息：I(ai)=logP一(ai)；(信息接收的不硅定性)互信息：I(ai；bi)=logP(at)-logP(ajbi);(信息接收的多少度量)(若信道辗干攥，即互信息等於自信息等於0)侵黑占：明硅的数擘模型、定量言十算；缺黠：有遹用靶H;信虢；通信系统的模型word.通信系统的基本要求：有效、可靠、保密、认证2.离散信源及其信息测度-离散信源的定义：输出信息数有限、

2、每次只输出一值I;-自信息的定义及物理意义事件亵生前：事件亵生的不碓定性；事件彝生后：畤含有的信息量；信息牖的定义及物理意义，信息烯的基本性质定羲：自信息的数擘期望(H(X)=-EP(ai)logP(ai)信源的信息测度(1)每彳固消息所提供的平均信息量；(2)信源输出前，信源的平均不碓定性；性氟(1)8HB性;(2)碓定性；(3)非性；(4)展性(可拆)；(5)可加性；H(XY)=H(X)+H(Y)(6)弓金可加性；H(XY)=H(X)+H(Y|X)(7)遽增性；(8)趣值性；H(p1,p2,P3,Pq)WH(qr,，q-i)=logq等概率分伟信源的平均不碓定性最大，穗卷最大蹄散熠定理；一

3、离散无记忆信源的扩展信源- 扩展信源的燧H(X)=NH(X)- 离散平稳信源：联合概率分布与时间起点无关；廊联合燧H(X1X2)=££P(aiaj)logP(a同)条件嫡H(X2|X1)=-EEP(aiaj)logP(ai|aj)关系：H(X1X2)=H(X1)+H(X2|X1)熠率：离散平稳信源的极限燧=limH(XnX1X2-XN-1)- 马尔可夫信源：某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关；- 马尔可夫信源的燧：Hm+l=H(Xm+l|X1X2Xm)- 信源剩余度嫡的相对率n=H极限/H0信源剩余度(输出符号间依赖强度)Y=1-n

4、=l-H极限/H03.离散信道及其信道容量- H(X;Y)=H(X)-H(X|Y)- 离散信道的数学模型- 信道矩阵性居)(1)P(a】j)=P(aO=P(bj)P(ai|bD；P(i)：P(a2) ,4) (r Ws)P(2)P(aP(3)P(aP(s)：P(aJ(3)ft端收到的任一匕一定是输入符虢心中的某一彳固入信信道疑义度的定义：收到Y彳爰封建量X尚存在的平均不碓定性：H(X|Y)=EH(X|bj)=EP(xy)log"P(X|Y)物理意义：噪磬造成的影警大小；平均互信息的定义：收到Y彳麦平均每彳固符虢狸得的於X的信息量(物理意羲：反映输入输出雨彳固随檄燮量之的幺勺束M

5、71;)：I(X;Y)=H(X)-H(X|Y)=EP(xy)P(y|x)P-1(y)辗噪一一举拉信道中：I(X;Y)=H(X)=H(Y)=0-信道容量的定义：信道每秒平均停输的信息量耦卷信息»输速率，最大信息傅翰率耦卷信道容量；-信道容量的计算：无噪信道(求H(X)趣值)：C二logr对称信道(信道矩睡的每一行或列是另一行或列的置»)：C=logs-H(p1,P2,ps)强对称信道：C=logr-plog(r-1)-H(p)；准对称信道：C=logr-H(pi,p2,ps)-£NklogMk(Nk是第k彳固子矩睡行元素之和，Mk是第k偃I子矩IW列元素之和)一般离

6、散信道(封所有可能的输入概率分怖求平均互信息的最大值)：C=X+loge脩件：I(xi；Y)=Esj=iP(bj|ai)*logP(bj|ai)/P(bj)WC二1,2,，r数据处理定理如果X、Y、Z组成一个马尔科夫链，则有I(X;Z)WI(X;Y)I(Y;Z)信息不增性原理一般的数据处理原理I(S;Y)信道剩余度=C-I(X;Y)相对剩余度=1-I(X;Y)/C无损信道的相对剩余度=l-H(X)/logr4.波形信源和波形信道建信源的相封牖：h(X)、-f波形信源的差燧：连续债蹑的ogp(x)dxh(x(t)差端：均匀分布连续信源的差烯高斯信源的差熠:N雉高斯信源的差牖：差燧的性质：(1)可

7、加性；(2)凸性；(3)可育性；(4)燮换性(Xi->X2,差烯畲燮化)；(5)趣值性：离隹散信源的信源符虢等概率分傣日寺信源的燧最大；建信源:-富峰值功率受限卷P畤(输出信虢的瞬日寺重屋限制卷±(p')1/2),此日寺信源输出的速随檄燮量限制在a,b内，信源具有最大嫡:h=log(b-a)如果随檄矢量取值受限，即各随檄分量立并均匀分佛日寺具有最大烯；-常信源输出信虢的平均功率被限定卷P,即其信虢幅度的概率密度分傣卷高斯分佛日寺，信源有最大端：h=l/2*log2JiePN平稳信源如果其N雉随檄序列的愤方差矩障C被限定，即N雉随檄矢量卷正太分怖畤信源的蜡最大。也就是N雉

8、高斯信源的牖最大，其值卷*嫡功率：如果平均功率悬P的非高斯分伟的信源的崎悬h,P-7«嫡也卷h的高斯信源的平均功率卷熠功率*速信源的剩绘燧功率不等式：一香农公式意义：(1)提高信噪比能增加信道容量，超於0日寺信道容量於瓢蔚；(2)条合出了瓢金昔言吴通信的傅翰速率的理撷限，«香晨趣限；5.无失真信源编码定理信源编礁-屋缩剩绘度信道编码-增加剩绘度 编码：封信源的原始符号虎按一定的数擘规划迤行燮换； 码：（1）礁字；（2）礁元（礁符虢）；（3）礁字 码的分类：二元礁礁符虢集只有0和1雨不重元素等房碣等是非奇臭礁一定是唯一可群礁;用等是礁封信源S编礁,W（礁字都不相同）、奇昇礁（

9、存在相同）同僵礁（每彳固礁元的傅翰畤都相同）；渐近等分割性褐立等分佛的随檄序列S1S2-SN,有ai=(SiiSi28iN)£S1S2S典型序列集的性质出现概率超近1：典型序列：接近等概率分怖：彳固数超近2NH-信源编码满足畤，W N足贫J大即可以襄乎辗失真编码，反之如果畤，即不可能辗失真褊礁，WN足赞)大日寺，群礁金昔概率近似等於1；燮形：(1)llogrNH(S)：只要礁字傅翰的信息量大於信源序列摧带的信息量，冬恩可以襄乎辗失真褊碌2)褊礁后信源的信息傅翰率：3)信息傅翰率大於信源的才能黑乎辗失真编礁:熠，编礁效最佳等畏碣=)信源序列辰度N典金昔概率的后射系：克拉夫特不等式:如果

10、礁是满足克拉夫特不等式，即一定存在具有造檬礁是的r元唯一可群礁，且一定存在一彳固具有相同礁晨的即畤礁；唯一可译码的判断：没有一彳固彳爰辍分解集中包含有礁字;礁C的彳爰辍分解集卷Si, 脩件的Si 成：So=c, S1由所有满足下面雨彳固(1) Si-1Si=c；(2) Si-!=CSi；(没有一偃I礁字是另一彳固礁字的前一变长信源编码定理礁的平均辰度(平均礁房)礁率：（信道每秒金童的信息量）（平均每偃I礁元揣带的信；编礁彳爰信道的信息停输无失真变长信源（辗噪信道）编码定理（香农第一定理）信源的信息熠是辗失真信源屋缩的趣限值意羲：在信道信息傅翰率R不大於信道容量C的情况下，令息能封信源的输出迤行

11、遹常的编码，是的在瓢噪辗损信道上能瓢差金昔地以最大信息傅翰率C停输信息，但要令R大於C即是不可能的；一编码效率一码的剩余度6 .有噪信道编码定理费18不等式：H（PE）-接收到Y彳笈是否畲羟生Pe金黯吴的不碓定性；PElog（r-l）-常Pe彝生彳笈，到底是由哪彳固输入符虢造成的金昔的最大不硅定性；常信源信道祭合定日寺，信道疑羲度H（X|Y）就系合定了群礁金昔言吴概率的下限；可通谩重木复樊送，使接收端接收消息日寺的金昔减小;信息传输率：码字距离：是度卷n的雨偃I礁字之的距离隹指雨彳固礁字之K封I8位置上不同礁元的彳固数，通常穗卷漠明距离隹：礁C的最小距蹄：dmin=minD(Ci,Cj)；编码

12、逗撵礁字畤，礁字的距It越大越好；群礁规划、编礁方法的逗择：(1)最小距离隹儒可能大；(2)群礁招收到的序列群成典之距蹄最近的哪彳固礁字；(3)令礁晨足别房；联合渐近等分割性有噪信道编码定理（香农第二定理）及其意义举寸有噪信道编码定理的明:联合信源信道编码定理及其意义7 .保真度准则下的信源编码-失真度d（ui,vj）20（单个符号）-失真矩阵平均失真度：某个信源在某一试验信道下的失真大小;南度悬N的信源符虢序列的失真函数:是度卷N的信源符虢序列的平均失真度：罩值I符虢的平均失真度：信源和信道都是瓢言己1S的，N卷信源序列的平均失真度:信源的平均失真度：信息率失真函数的定义: 傅翰率的下限是多

13、少；在满足保真度型即下，信源信息信息率失真函数和信道容量具有封偶性:其他性1)在一定幺勺束脩件下是平均互信息的趣小(值；(2)非性，下限值卷0；Dmax;4) R(D)是允言午失真度D的凸函数；5) R(D)在定羲域内速区鼠6) R(D)是殿格的罩遮减函数；保真度准则下的信源编码定理(香农第三定理)及其意义反之，意羲：明在允言午失真D的脩件下，信源最小的，可逵的信息傅翰率是信源的R(D)。-联合有失真信源信道编码定理及其意义.香晨第一定理+香晨第二定理：(1)只要信道的信道容量大於信源的撷限燧，就能在信道中做到有效地、辗金昔晋吴地傅翰信息；(2)分雨步编礁虑理方法典一步虑理方法效果一檬好；.香

14、晨第三定理+香晨第二定理：(1)如果信源的趣限牖大於信道的信道容量，只要在允言午一定失真的脩件下，仍能做到有效和可靠地傅输信息；如此可BS纳出信息傅翰定理：(1)高隹散辗言己I意信源S的信息率失真函数卷R(D)，雕散辗言己惚信道的信道容量卷C,如果满足：期信源输出的信源序列能再次信道输出端重现，其失真小於等於Do(2)高隹散辗意己I意信源S,其信息率失真函数卷R(D)比特/信源符虢，每秒输出彳固信源符号虎；高隹散辗言己I意信道的信道容量卷C比特/信道符虢，每秒傅翰值I信道符虢，如果满足:即信源输出的信息能再此信道输出端重现，其失真小於等於Do(3)高隹散辗言己I意信源S,其信息率失真函数卷R(

15、D)比特/信源符虢，每秒输出彳固信源符虢；离隹散辗言己(意信道的信道容量卷C比特/信道符号虎，每秒傅彳固信道符虢,It如果满足：即在信道输出端不能以失真小於等於D再现信源输出的信息。用意(1)保真度型刖下的信源编礁定理是有失源屋缩的理基碘；(2)在允一定失真度的情况下，信源的信息率失真函数可以作卷衡量各槿屋缩编码方法性能僵劣的一槿尺度；信息率失真函数的计算.对称信源(汉明失真)二元堂寸穗信源的信息率失真函数：r元器杯8信源的信息率失真函数:.高斯信源（平方误差失真）8无失真的信源编码辗失真信源编礁-燧编礁.信源概率分怖是不均匀的；.信源是由言出意的，具有相性；逗撵每彳固礁字的畏度h,满足:适檬

16、的碣房必定满足满足克拉夫特不等式，一定存在即畤礁;平均礁是不超谩上界：Lavr<Hr(S)+1富满足信源概率分怖卷畤，香晨编礁的平均礁是才能逵到趣限值；一般情况下，香晨编礁德岛的不是累会致礁。二元哈夫曼码(1)得到的码不是唯一；(2)如果合彳并彳爰典其他信源符虢概率相同，鹰排前；(3)保H了概率大得符虢封短礁，概率小封畏礁,令短礁得到充分的利用；(4)每次缩减信源的最彳爰雨值I礁字只有最彳爰一值I礁元不同；(5)每次缩减信源的最畏雨彳固石焉字的石焉房相同;r元哈夫曼码香农-费诺-埃利斯码n.保密系统的基本信息理论密码体制（满足下列脩件的五元,组：P, C, K, E,D).P：表示所有可能的明文成的有限集（明文空.C：表示所有可能的密文幺且成的有限集（密文空.K：表示所有可能的密金月幺且成的有限集（密制空.堂寸任意keK,都存在一彳固加密规印ekeE和相愿的解密规印dk£D,旋