信息论期中考试复习.pdf

信息论期中考试复习信息论期中考试复习 第一章第一章 绪论绪论 多学科结合逐步发展而 形成的一门新兴科学 本章内容 本章内容 基本概念基本概念 数字通信系统模型数字通信系统模型 信息论与编码理论研究的主要内容信息论与编码理论研究的主要内容 及意义及意义 奠基人 美国数学家香农 奠基人 美国数学家香农 C E Shannon 1948年年 通信的数学理论 通信的数学理论 信息论信息论 通信技术通信技术 概率论概率论 随机过程随机过程 数理统计数理统计 第二章第二章 信源及其熵信源及其熵 信源的分类及其数学模型 自信息自信息 信息熵信息熵 q i iri i rr apap ap EXH 1 log 1 log 1 log iir i I af p a p a 熵函数性质熵函数性质 1 1 对称性 对称性 2 2 确定性 确定性 3 3 非负性 非负性 4 4 扩展性 扩展性 5 5 可加性 可加性 6 6 极值性 极值性 离散平稳无记忆离散平稳无记忆N次扩展信源的熵次扩展信源的熵 H X H XN N H X 平稳信源 平稳信源 二维平稳信源 二维平稳信源 12 11 log qq ijij ij H X Xp aap aa 二维平稳信源的平均符号熵二维平稳信源的平均符号熵 2 1 212 XXHXH 21 11 log qq ijiji ij H XXp a p aap aa 熵之间的相互关系小结熵之间的相互关系小结 H XY H X H Y X H XY H Y H X Y H X H X Y H Y H Y X H XY H X H Y 对通信系统而言对通信系统而言 H X 表示信源中每个符号的平均信息量 表示信源中每个符号的平均信息量 信源熵信源熵 H Y 表示信宿中每个符号的平均信息量 表示信宿中每个符号的平均信息量 信宿熵信宿熵 H X Y 表示在输出端接收到表示在输出端接收到Y的全部符号后 发送端的全部符号后 发送端 X尚存的平均不确定性 这个对尚存的平均不确定性 这个对X尚存的不确定性是由于尚存的不确定性是由于 信道干扰引起的 称信道干扰引起的 称信道疑义度信道疑义度 损失熵损失熵 含糊度含糊度 H Y X 表示在已知表示在已知X的全部符号后 对于输出的全部符号后 对于输出Y尚存尚存 的平均不确定性 称的平均不确定性 称信道散布度信道散布度 噪声熵噪声熵 H XY 表示整个信息传输系统的平均不确定性 表示整个信息传输系统的平均不确定性 联合联合 熵 熵 通信系统通信系统 X Y 连续信源的信息熵连续信源的信息熵 差熵 差熵 单符号连续信源的熵单符号连续信源的熵 dxxpxpXh R log dxdyxypxypXYh R log log R h Y Xp xyp y x dxdy 连续信源差熵的性质连续信源差熵的性质p36 log h Xba 2 2log 2 1 eXh 最大熵定理最大熵定理 峰值功率受限条件下信源的最大熵 峰值功率受限条件下信源的最大熵 h X log b a 平均功率受限条件下信源的最大熵 平均功率受限条件下信源的最大熵 h X 0 5log 2 eP 定义 定义 信源效率信源效率 一个信源实际的信息熵与具有同样一个信源实际的信息熵与具有同样 符号集的最大熵的比值 符号集的最大熵的比值 0 H H 0 11 H H 式中 式中 H0为熵的最大值 为熵的最大值 H 为熵的实际值为熵的实际值 信源冗余度信源冗余度 针对最大熵而言 信源中无用信针对最大熵而言 信源中无用信 息所占的比例息所占的比例 艾塔 无失真变长信源编码定理无失真变长信源编码定理 香农第一定理香农第一定理 说明 说明 要做到无失真的信源编码要做到无失真的信源编码 每个信源符号平均所需最 每个信源符号平均所需最 少的少的r元码元数为信源的熵元码元数为信源的熵 Hr S 即即Hr S 是无失真信源压缩的是无失真信源压缩的极限值极限值 若编码的平均码长小于信源的熵值若编码的平均码长小于信源的熵值Hr S 则惟一可译 则惟一可译 码不存在 在译码或反变换时必然要带来失真或差错码不存在 在译码或反变换时必然要带来失真或差错 通过对扩展信源进行变长编码 当通过对扩展信源进行变长编码 当N 时 平均码长时 平均码长 Hr S 即减少平均码长所付出的代价是增加了编码 即减少平均码长所付出的代价是增加了编码 的复杂性 的复杂性 第三章 信道及其容量 信道是传送信息的载体 信号通过的通道 研究信道中能够传送或存储的最大信息量 即信道 容量 本章内容 本章内容 信道的分类及离散信道的数学模型信道的分类及离散信道的数学模型 平均互信息及其性质平均互信息及其性质 信道容量的概念及几种典型信道的信道容量计算信道容量的概念及几种典型信道的信道容量计算 信源与信道的匹配信源与信道的匹配 信道编码定理信道编码定理 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源 调制器 实际信道 编码信道 图3 1 1 通信系统的一般模型 离散信道的数学模型 p y x 描述了输入信号和输出信号之间统计依 赖关系 它反映了信道的统计特性 称为信道转移概率 i i p y x 1 p y x 二元对称信道二元对称信道 BSC 二元删除信道二元删除信道 BEC 1 p a1 0 0 b1 1 p a2 1 1 b2 p p p 0 0 1 p 1 1 q 1 q 2 信道疑义度 j H X YE H X b 1 log X Y p xy p x y 平均互信息 log ij ij ji i p xy I X Yp x y p x I X Y H X H X Y I X Y H Y H Y X I X Y H X H Y H XY 平均互信息的特性 非负性非负性 极值性极值性 交互性 对称性 交互性 对称性 凸状性凸状性 离散无记忆信道的扩展信道 INI X Y X Y 离散信道的信道容量 max YXIC XP 比特 比特 符号 符号 对称离散信道的信道容量 12 12 max log s P x s CH YH ppp sH pppbit symbol 离散无记忆N次扩展信道的信道容量 1 max N N i p X i CI X YCNC 连续信道的信道容量 连续单符号加性高斯噪声信道的信道容量连续单符号加性高斯噪声信道的信道容量 2 1 log 1 2 S C 限频限时限功率高斯白噪声加性信道限频限时限功率高斯白噪声加性信道 这种信道是经常假设的一种波形信道 此这种信道是经常假设的一种波形信道 此信道的输入和信道的输入和 输出信号是随机过程输出信号是随机过程 x t 和和 y t 而加入信道的噪声是加 而加入信道的噪声是加 性高斯白噪声性高斯白噪声 n t 其均值为零 功率谱密度为其均值为零 功率谱密度为N0 2 输出 输出 信号满足 信号满足 y t x t n t 又称为可加波形信道又称为可加波形信道 高斯白噪声加性信道高斯白噪声加性信道单位时间的单位时间的 信道容量 信道容量 WN P W T C C s T t 0 1loglim 2 2 W2 2 00 2 N WTT N P i n 高斯白噪声的每个样本值的方差高斯白噪声的每个样本值的方差 2 22 sss i PTPTP PLWT LWTW 设每个信号样本值的平均功率为设每个信号样本值的平均功率为 0 0 log 1 2 log 1 s s PL N W P WT N W 1 1 log 1 2 i i L i n P C P 定理3 7