信息论与编码复习

1、信息论与编码信息论与编码复习复习2022-4-30考试题型考试题型o简答题（简答题（30分，（分，（7分、分、8分分/题）题）*2）o计算题（计算题（10分分/题题*7）o卷面成绩卷面成绩70%,平时成绩平时成绩30分分第1章 概论o掌握通信系统的基本模型；掌握通信系统的基本模型；o掌握信息论的研究内容。掌握信息论的研究内容。第2章 信源熵o概念：概念：n自信息量自信息量n平均互信息量平均互信息量n熵功率熵功率n信源冗余度信源冗余度n极限熵极限熵n平均符号熵：见例题平均符号熵：见例题第2章 信源熵o定理定理n离散信源的最大熵定理离散信源的最大熵定理n限平均功率的连续信源的最大熵定理限平均功率的

2、连续信源的最大熵定理n离散信源的无失真定长编码定理离散信源的无失真定长编码定理n离散信源的最佳变长编码定理离散信源的最佳变长编码定理第二章续o计算：计算：n某个事件发生后对外提供的自信息量某个事件发生后对外提供的自信息量o例如作业（例如作业（2.1，2.4（1），），2.15（2），），2.18（自信息量的综合应用）（自信息量的综合应用）n某个单符号信源的熵某个单符号信源的熵o例如作业：例如作业：（2.5（3）（）（4），），2.17（1）n序列信源的熵序列信源的熵o例如作业：（例如作业：（2.15（3）第二章续o计算：计算：n对于一阶和二阶马尔可夫信源：对于一阶和二阶马尔可夫信源：o会计算达

3、到稳态时的状态概率分布（作业会计算达到稳态时的状态概率分布（作业2.16（1）和极限熵（作业）和极限熵（作业2.16（2），），2.17（2）和）和p48 例例2.2.4）；）；o给定状态转移概率，会画状态转移图，反给定状态转移概率，会画状态转移图，反之亦要求。之亦要求。第二章第二章续续o计算：计算：n信源冗余度的计算（作业信源冗余度的计算（作业2.172.17（3 3）n根据给出的离散信源，能够进行定长编码，根据给出的离散信源，能够进行定长编码，求出码字（作业求出码字（作业5.15.1）。）。n掌握信源编码器的性能指标（编码效率掌握信源编码器的性能指标（编码效率）及其与码长（及其与码长（k

4、k）之间的关系。）之间的关系。第二章续o计算：计算：n已知一个非高斯信源的熵已知一个非高斯信源的熵H H，o能够求出高斯信源达到此熵所需的功能够求出高斯信源达到此熵所需的功率率o求出此高斯信源的概率密度函数求出此高斯信源的概率密度函数PxePxp2221)(HeeP221第3章 信道容量o概念与定理：概念与定理：n掌握信道容量的概念和用途掌握信道容量的概念和用途n掌握什么是信道编码定理掌握什么是信道编码定理n掌握连续信源的信道容量掌握连续信源的信道容量第3章 信道容量o计算：计算：n对称离散无记忆信道的容量的求解和应用对称离散无记忆信道的容量的求解和应用o如课后作业如课后作业4.6n准对称信道

5、的容量的求解和应用。准对称信道的容量的求解和应用。rkkkmiMNHnC122loglog准对称maxmax2)(HlogRXItCRHmCmi消息的长度符号速率对称第3章 信道容量o计算：计算：n均匀信道容量的求解：已知一个信源有均匀信道容量的求解：已知一个信源有n n个符号，个符号，传输的正确概率为传输的正确概率为p p，错误概率均匀的分配给其，错误概率均匀的分配给其余的符号，求余的符号，求o该信道的转移概率矩阵该信道的转移概率矩阵o求该信道的信道容量求该信道的信道容量miHnC2log对称nnpnpnpnpnpnpnppnpnpnppXYP111111111)/(第3章 信道容量o掌握离

6、散无记忆信道的掌握离散无记忆信道的N N次扩展信道的容量的次扩展信道的容量的求解求解o无噪信道的容量：见作业无噪信道的容量：见作业3.143.14o应用连续信道的信道容量公式进行解题应用连续信道的信道容量公式进行解题n连续信道的容量连续信道的容量)1 (log2NSBC连续单符号无记忆信道次扩展NCCN第3章 信道容量o应用连续信道的信道容量公式进行解题应用连续信道的信道容量公式进行解题n所需的信号功率所需的信号功率o如作业如作业3.193.19o注意：注意：nC C就是信号的传输速率就是信号的传输速率ndBdB表示的信噪比在代入时要进行转换表示的信噪比在代入时要进行转换第3章 信道容量o计算

7、计算o带宽无穷大时连续信道的容量带宽无穷大时连续信道的容量o带宽无穷大时，连续信号传输所需的信号功率带宽无穷大时，连续信号传输所需的信号功率n如作业如作业3.203.20：n注意：注意：噪声功率有时并不直接给出，而是给出噪声功率有时并不直接给出，而是给出噪声功率谱密度噪声功率谱密度N N0 0和带宽和带宽B,B,则则N= NN= N0 0B BenSCB20log第4章 信息率失真函数o概念和定理：概念和定理：n掌握保真度准则下的信源编码定理掌握保真度准则下的信源编码定理n掌握信息率失真函数的概念、哪些应用掌握信息率失真函数的概念、哪些应用n信息率失真函数与信道容量的区别与联系信息率失真函数与

8、信道容量的区别与联系o计算：计算：n对于离散信源对于离散信源( (如作业如作业4.1(1)4.1(1)：oD Dmaxmax,R(D,R(Dmaxmax) )，及达到，及达到D Dmaxmax时对应的信道转移概率分时对应的信道转移概率分布布010010)/(XYP*121211111max)(),(minminjnnnnnjjjDddddddxpxpDD0)(maxDR第j*列(1)(2)(3)第4章 信息率失真函数o计算：计算：n对于离散信源对于离散信源( (如作业如作业4.1(2)4.1(2)：oD Dminmin,R(D,R(Dminmin) )，及达到，及达到D Dminmin时对应的

9、信道转移概率分布时对应的信道转移概率分布ijijiyxdxpDD),(min)(minmin)50. 2 . 4( ,120),()()0()(, 0minminpDRXHRDRD详见为对称时的种等概信源，失真函数否则，只要求大家会一则若P(Y/X):P(Y/X):失真矩阵每行最小的元素对应的位置的转失真矩阵每行最小的元素对应的位置的转移概率才为移概率才为1 1，其它为，其它为0 0(1)(2)(3)第4章 信息率失真函数o计算：计算：n对于离散信源对于离散信源( (如作业如作业4.1(3)4.1(3)：oR(D)R(D)的计算、的计算、R(D)R(D)与与D D的关系图的关系图o只要求等概信

10、源，对称失真的只要求等概信源，对称失真的R(D),R(D),见见P120 P120 (4.2.50(4.2.50式式) )o关系图见关系图见P109 P109 图图4.1.14.1.1（注意区分离散和连续（注意区分离散和连续信源），所取的点的纵坐标根据信源），所取的点的纵坐标根据R(D)R(D)的计算式的计算式求得求得第4章 信息率失真函数o计算：计算：n对于连续信源（例：课堂上讲的两个例子）对于连续信源（例：课堂上讲的两个例子）o失真函数为均方失真时，给定的连续信源的失真函数为均方失真时，给定的连续信源的D Dmaxmax和和R(D)R(D)的计算。的计算。o失真函数是绝对失真时，给定的指数

11、分布信源的失真函数是绝对失真时，给定的指数分布信源的D Dmaxmax和和R(D)R(D)的计算。的计算。DDDRdxyxdxpDymaxmaxln21)(),()(minDDRD1ln)(1max第4章 信息率失真函数o计算：计算：n信息率价值（课后作业：信息率价值（课后作业：4.94.9）)/()()()/()/()();()()(maxXYPXPYPDXYPXYHYHYXIDRDRDDv 移概率分布时选择的试验信道的转是达到其中，第4章 信息率失真函数第5章 信源编码o掌握最佳变长信源编码定理。掌握最佳变长信源编码定理。o计算：计算：n给定一个离散信源：给定一个离散信源：o能进行二进制香

12、农编码能进行二进制香农编码o二二/ /三进制费诺编码三进制费诺编码o二二/ /三进制哈夫曼编码三进制哈夫曼编码o等长编码等长编码o平均码长、编码速率和编码效率。平均码长、编码速率和编码效率。n给定一个采样信号值，会计算：给定一个采样信号值，会计算：oA A率率1313折线非均匀量化编码折线非均匀量化编码o量化噪声量化噪声第6章 信道编码o概念和定理：概念和定理：n信道编码的作用信道编码的作用; ;n信道编码器的性能指标及其与码长之间的关系信道编码器的性能指标及其与码长之间的关系第6章 信道编码o计算：计算：n对于线性分组码对于线性分组码o已知已知G,G,会求码字；或已知编码规则，会求会求码字；

13、或已知编码规则，会求G G：例例p176 6.2.2p176 6.2.2o已知已知G G，会求，会求G GS S和和H HS S: :例：例：p177 6.2.3p177 6.2.3o能够进行伴随式译码能够进行伴随式译码: :例：步骤见例：步骤见p178p178，课，课件中有具体的例子件中有具体的例子o计算：n对于循环码，已知（对于循环码，已知（n,kn,k）循环码）循环码o且已知且已知m,m,求生成的一般循环码。求生成的一般循环码。n方法方法1 1：c(x)=m(x)g(x)c(x)=m(x)g(x)n方法方法2 2：求：求g(x),g(x),并根据并根据g(x)g(x)求求G G，最后：，

14、最后： c=mGc=mGo 例例p191-192 6.3.3,p193 6.3.4p191-192 6.3.3,p193 6.3.4第6章 信道编码o计算：计算：n对于循环码，已知（对于循环码，已知（n,kn,k）循环码）循环码o会求系统循环码码字会求系统循环码码字: :n方法方法1 1：由：由G G经过初等行变换得经过初等行变换得G Gs s, ,再通过再通过C=mGC=mGS S得系统循环码码字：变换方法见得系统循环码码字：变换方法见p177 6.2.3p177 6.2.3n方法方法2 2：)(mod)()()()(xgxmxxpxpxmxcrr其中，系统循环码第6章 信道编码o计算：计算

15、：n对于循环码，已知（对于循环码，已知（n,kn,k）循环码）循环码o会使用伴随式进行校验，即根据接收的向量会使用伴随式进行校验，即根据接收的向量r r进进行判断行判断n方法方法1 1：s=rHs=rHT T, ,看看s s是否为是否为0 0，非零则说明有差，非零则说明有差错错H H的求法：先求的求法：先求h(x)=(xh(x)=(xn n+1)/g(x),+1)/g(x),再由再由h(x)h(x)得得H H 例例p193 6.3.4p193 6.3.4n方法方法2 2：s(x)=r(x)mod g(x)s(x)=r(x)mod g(x)，看是否有余数，看是否有余数，有则说明有差错：例有则说明有差错：例p200 (6.3.16p200 (6.3.16式式) )第6章 信道编码n能画出一般循环码的数字编码电路图：例能画出一般循环码的数字编码电路图：例p196 p19