信息论北理工复习2013

1、信息论复习1消息、信号、信息的含义、定义及区别。信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言，文字和图像等。信号是消息的物理体现。消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息信息是可以量度的，信息量有多少的差别。4信息论的起源、历史与发展。n 1948年，Shannon提出信息论，“通信中的数学理论”现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。6通信的目的？要解决的最基本问

2、题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。提高可靠性：信道编码。增加冗余。7随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在

3、不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：不确定度是信源符号固有的，不管符号是否发出；自信息量是信源符号发出后给予收信者的；为了消除该符号的不确定度，接受者需要获得信息量。自信息量条件自信息量：联合自信息量：8信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。自信息量指的是该符号出现后，提供给收信者的信息量。9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。信源熵：条件熵：疑义度： 噪声熵：联合熵：10. 信源熵的基本性质与定理及其理解？熵的性质􀂋对称性􀂋非负

4、性􀂋确定性􀂋香农辅助定理􀂋最大熵定理􀂋条件熵小于无条件熵信源熵是在平均意义上来表征信源的总体特性，它是信源X的函数，而X是指随机变量的整体（包括概率空间）。信源给定，概率空间就给定，信源熵就是一个确定值。信源熵H(X)的三种物理含义：􀁺表示信源输出后，每个离散消息所提供的平均信息量。􀁺表示信源输出前，信源的平均不确定度。􀁺反映了变量X的随机性。11. 平均互信息量的定义及物理意义？疑义度及噪声熵？12. 平均互信息量的性质及理解？13. 平均互信息量关于信源概率和信道转

5、移概率的凸性定理。14. 最大离散熵定理及理解。 16. 数据处理定理及其含义。17. 信源的种类按时间和幅度分类： 离散信源 单符号离散信源文字，数字，数据等 离散序列信源连续信源 连续幅度信源话音，图像，图形等 随机波形信源按符号之间的关系： 无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源18. 离散平稳信源的定义，平均符号熵，极限熵的定义，含义与理解。信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。19. 马尔可夫信源的定义，含义及其极限熵？当信源的记忆长度为m+1时，该时该

6、发出的符号与前m个符号有关联性，而与更前面的符号无关。马尔可夫链极限熵：为了使马尔可夫链最后达到稳定，成功之路遍历的马尔可夫链，还必须满足两个条件：平稳信源的概率分布特性具有时间推移不变性，而齐次马氏链只要求转移概率具有推移不变性，因此一般情况下平稳包含齐次，但齐次不包含平稳。20. 信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的计算。冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性.21. 连续信源的熵的定义？连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。22. 几

7、种特殊连续信源的熵。幅度连续的单个符号信源熵波形信源熵24. 信源输出值受限的最大连续熵定理。限峰功率最大熵定理：对于定义域为有限的随机变量X，当它是均匀分布时，具有最大熵。25. 信源输出的平均功率受限的最大连续熵定理。限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵。Hc(X) = 1/2 log()28. Shannon第一定理离散无失真信源编码定理（定长和变长）及含义？克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。30. 信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散无噪信道的C？31. 强对称，对称，准

8、对称信道的含义及其C？式中，m为信道输出符号集中符号的数目。强对称信道：33. 连续信道，连续信道的C的定义。连续单符号加性信道：34. 香农公式的含义？由香农公式得到的值是其信道的下限值。35 Shannon第二定理（信道编码定理）及其含义？ 35. 对信源编码器有些什么基本要求？编码效率的定义？如何提高编码效率？36. 什么是最佳编码？说出Shannon、 Fano和Huffman编码的基本方法和主要特点。40.简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。41.信源与信道达到匹配的含义以及如何实现？信道剩余度的概念及计算？42.失真函数、平均失真度的定义及其含义？失真函数定义：推广-L长序列：平均失真度：43.信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较？对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R（D）。如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但是一旦超过最小互信息这个极限值，就是R(D)的数值，那么失真就要超过失真限度。如果需要压缩的信息率更大，