信息论与编码(万方)复习

1、信息论与编码复习2022年2月21日星期一考试题型简答题（8分/题*5）计算题（10分/题*6）卷面成绩70%,平时成绩30分第1章 概论掌握通信系统的基本模型；掌握信息论的研究内容。第2章 信源熵概念：自信息量平均互信息量熵功率信源冗余度定理离散信源的最大熵定理限平均功率的连续信源的最大熵定理离散信源的无失真定长编码定理离散信源的最佳变长编码定理第二章续计算：某个事件发生后对外提供的自信息量（例如作业：2.1，2.4（1），2.15（2），2.18（自信息量的综合应用）某个单符号信源的熵（例如作业：2.5（3）（4），2.17（1）序列信源的熵（例如作业：2.15（3）对于一阶和二阶马尔可夫

2、信源：会计算达到稳态时的状态概率分布（作业2.16（1）和极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）；给定状态转移概率，会画状态转移图，反之亦要求。第二章续计算：信源冗余度的计算（作业2.17（3）根据给出的离散信源，能够进行定长编码，求出码字。掌握信源编码器的性能指标（编码效率）及其与码长（k）之间的关系。已知一个非高斯信源的熵H，能够求出高斯信源达到此熵所需的功率求出此高斯信源的概率密度函数PxePxp2221)(HeeP221第3章 信道容量概念与定理：掌握信道容量的概念和用途掌握什么是信道编码定理。掌握限带的连续信源的信道容量第3章 信道容量计算：对称离散无记忆

3、信道的容量的求解和应用如课后作业4.6准对称信道的容量的求解和应用。rkkkmiMNHnC122loglog准对称maxmax2)(HlogRXItCRHmCmi消息的长度符号速率对称第3章 信道容量计算：计算：均匀信道容量的求解：已知一个信源有均匀信道容量的求解：已知一个信源有n n个符号，个符号，传输的正确概率为传输的正确概率为p p，错误概率均匀的分配给其余，错误概率均匀的分配给其余的符号，求的符号，求该信道的转移概率矩阵该信道的转移概率矩阵求该信道的信道容量求该信道的信道容量miHnC2log对称nnpnpnpnpnpnpnppnpnpnppXYP111111111)/(第3章 信道容

4、量掌握离散无记忆信道的掌握离散无记忆信道的N N次扩展信道的容量的求解次扩展信道的容量的求解无噪信道的容量：见作业无噪信道的容量：见作业3.143.14应用连续信道的信道容量公式进行解题应用连续信道的信道容量公式进行解题连续信道的容量连续信道的容量所需的信号功率所需的信号功率如作业如作业3.19,3.19,使用公式使用公式注意：注意：C C就是信号的传输速率就是信号的传输速率dBdB表示的信噪比在代入时要进行转换表示的信噪比在代入时要进行转换)1 (log2NSBC连续单符号无记忆信道次扩展NCCN第3章 信道容量计算计算带宽无穷大时连续信道的容量带宽无穷大时连续信道的容量带宽无穷大时，连续信

5、号传输所需的信号功率带宽无穷大时，连续信号传输所需的信号功率如作业如作业3.203.20：注意：注意：噪声功率有时并不直接给出，而是给出噪声噪声功率有时并不直接给出，而是给出噪声功率谱密度功率谱密度N N0 0和带宽和带宽B,B,则则N= NN= N0 0B BenSCB20log第4章 信息率失真函数概念和定理：掌握保真度准则下的信源编码定理掌握信息率失真函数的概念、是信源的特性、有哪些应用计算：计算：对于离散信源对于离散信源( (如作业如作业4.1(1)4.1(1)：D Dmaxmax,R(D,R(Dmaxmax) )，及达到，及达到D Dmaxmax时对应的信道转移概率分布时对应的信道转

6、移概率分布010010)/(XYP*121211111max)(),(minminjnnnnnjjjDddddddxpxpDD0)(maxDR第j*列(1)(2)(3)第4章 信息率失真函数计算：计算：对于离散信源对于离散信源( (如作业如作业4.1(2)4.1(2)：D Dminmin,R(D,R(Dminmin) )，及达到，及达到D Dminmin时对应的信道转移概率分布时对应的信道转移概率分布ijiiiyxdxpDD),(min)(minmin)50. 2 . 4( ,120),()()0()(, 0minminpDRXHRDRD详见为对称时的种等概信源，失真函数否则，只要求大家会一则

7、若P(Y/X):失真矩阵每行最小的元素对应的位置的转移概率才为1，其它为0(1)(2)(3)第4章 信息率失真函数计算：计算：对于离散信源对于离散信源( (如作业如作业4.1(3)4.1(3)：R(D)R(D)的计算、的计算、R(D)R(D)与与D D的关系图的关系图只要求等概信源，对称失真的只要求等概信源，对称失真的R(D),R(D),见见P120 (4.2.50P120 (4.2.50式式) )关系图见关系图见P109 P109 图图4.1.14.1.1（注意区分离散和连续信源），（注意区分离散和连续信源），所取的点的纵坐标根据所取的点的纵坐标根据R(D)R(D)的计算式求得的计算式求得第

8、4章 信息率失真函数计算：计算：对于连续信源（例：课堂上讲的两个例子）对于连续信源（例：课堂上讲的两个例子）失真函数为均方失真时，给定的连续信源的失真函数为均方失真时，给定的连续信源的D Dmaxmax和和R(D)R(D)的计算。的计算。失真函数是绝对失真时，给定的指数分布信源的失真函数是绝对失真时，给定的指数分布信源的D Dmaxmax和和R(D)R(D)的计算。的计算。DDDRdxyxdxpDymaxmaxln21)(),()(minDDRD1ln21)(1max第4章 信息率失真函数第5章 信源编码掌握最佳变长信源编码定理。计算：给定一个离散信源：能进行二进制香农编码二/三进制费诺编码二

9、/三哈夫曼编码等长编码平均码长、编码速率和编码效率。第6章 信道编码概念和定理：信道编码的作用计算：对于线性分组码已知G,会求码字：例p176 6.2.2已知G，会求GS和HS:例：p177 6.2.3能够进行伴随式译码:例：步骤见p178，课件中有具体的例子计算：对于循环码，已知（n,k）循环码会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4会求系统循环码码字:由G经过初等行变换得Gs,再通过C=mGS得系统循环码码字 变换方法见p177 6.2.3第6章 信道编码计算：对于循环码，已知（n,k）循环码会使用伴随式进行校验，即根据接收的向量r进行