信息论与编码(万方)复习.ppt

信息论与编码 复习 * 考试题型 o简答题（8分/题*5） o计算题（10分/题*6） o卷面成绩70%,平时成绩30分 第1章 概论 o掌握通信系统的基本模型； o掌握信息论的研究内容。 第2章 信源熵 o概念： n自信息量 n平均互信息量 n熵功率 n信源冗余度 o定理 n离散信源的最大熵定理 n限平均功率的连续信源的最大熵定理 n离散信源的无失真定长编码定理 n离散信源的最佳变长编码定理 第二章 续 o计算： n某个事件发生后对外提供的自信息量（例如作业：2.1，2.4（ 1），2.15（2），2.18（自信息量的综合应用） n某个单符号信源的熵（例如作业：2.5（3）（4），2.17（1 ） n序列信源的熵（例如作业：2.15（3） n对于一阶和二阶马尔可夫信源： o会计算达到稳态时的状态概率分布（作业2.16（1）和 极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）； o给定状态转移概率，会画状态转移图，反之亦要求。 第二章 续 o计算： n信源冗余度的计算（作业2.17（3） n根据给出的离散信源，能够进行定长编码，求出码字 。 n掌握信源编码器的性能指标（编码效率）及其与码 长（k）之间的关系。 n已知一个非高斯信源的熵H， o能够求出高斯信源达到此熵所需的功率 o求出此高斯信源的概率密度函数 第3章 信道容量 o概念与定理： n掌握信道容量的概念和用途 n掌握什么是信道编码定理。 n掌握限带的连续信源的信道容量 第3章 信道容量 o计算： n对称离散无记忆信道的容量的求解和应用 o如课后作业4.6 n准对称信道的容量的求解和应用。 第3章 信道容量 o计算： n均匀信道容量的求解：已知一个信源有n个符号， 传输的正确概率为p，错误概率均匀的分配给其余 的符号，求 o该信道的转移概率矩阵 o求该信道的信道容量 第3章 信道容量 o掌握离散无记忆信道的N次扩展信道的容量的求解 o无噪信道的容量：见作业3.14 o应用连续信道的信道容量公式进行解题 n连续信道的容量 n所需的信号功率 o如作业3.19,使用公式 o注意： nC就是信号的传输速率 ndB表示的信噪比在代入时要进行转换 第3章 信道容量 o计算 o带宽无穷大时连续信道的容量 o带宽无穷大时，连续信号传输所需的信号功率 n如作业3.20： n注意： 噪声功率有时并不直接给出，而是给出噪声 功率谱密度N0和带宽B,则N= N0B 第4章 信息率失真函数 o概念和定理： n掌握保真度准则下的信源编码定理 n掌握信息率失真函数的概念、是信源的特性、有哪 些应用 o计算： n对于离散信源(如作业4.1(1)： oDmax,R(Dmax)，及达到Dmax时对应的信道转移概率分布 第j*列 (1 ) (2 ) (3 ) 第4章 信息率失真函数 o计算： n对于离散信源(如作业4.1(2)： oDmin,R(Dmin)，及达到Dmin时对应的信道转移概率分布 P(Y/X):失真矩阵每行最小的元素对应的位置的转 移概率才为1，其它为0 (1 ) (2 ) (3 ) 第4章 信息率失真函数 o计算： n对于离散信源(如作业4.1(3)： oR(D)的计算、R(D)与D的关系图 o只要求等概信源，对称失真的R(D),见P120 (4.2.50式) o关系图见P109 图4.1.1（注意区分离散和连续信源）， 所取的点的纵坐标根据R(D)的计算式求得 第4章 信息率失真函数 o计算： n对于连续信源（例：课堂上讲的两个例子） o失真函数为均方失真时，给定的连续信源的Dmax和R(D) 的计算。 o失真函数是绝对失真时，给定的指数分布信源的Dmax和 R(D)的计算。 第4章 信息率失真函数 第5章 信源编码 o掌握最佳变长信源编码定理。 o计算： n给定一个离散信源： o能进行二进制香农编码 o二/三进制费诺编码 o二/三哈夫曼编码 o等长编码 o平均码长、编码速率和编码效率。 第6章 信道编码 o概念和定理： n信道编码的作用 o计算： n对于线性分组码 o已知G,会求码字：例p176 6.2.2 o已知G，会求GS和HS:例：p177 6.2.3 o能够进行伴随式译码:例：步骤见p178，课件中有具 体的例子 o计算： n对于循环码，已知（n,k）循环码 o会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4 o会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4 o会求系统循环码码字:由G经过初等行变换得Gs, 再通过C=mGS得系统循环码码字 变换方法见p177 6.2.3 第6章 信道编码 o计算： n对于循环码，已知（n,k）循环码 o会使用伴随式进行校验，即根据接收的向量r进行判 断 n方法1：s=rHT,看s是否为0，非零则说明有差错 n方法2：s(x)=r(x)mod