第10章-信息论基础.ppt

第10章 信息论基础 海南大学信息科学技术学院1/66 第10章 信息论基础 运用概率论与数理统计方法研究信息的度量、传递、 变换等规律 基本概念： 1) 熵度量消息中的不确定性； 2) 互信息度量传递信息的多少。 基本结论结论 ： 1) 通信的效率可以借助信源压缩编码来提高压缩 信源的极限是信源的熵； 2) 噪声信道中可以借助信道编码来实现无差错的通信 无差错通信的速率上限是信道的容 量。 海南大学信息科学技术学院2/66 第10章 信息论基础 本章目录录： 10.1 熵与互信息 10.2 离散信道与信道容量 10.3 相对熵与高斯信道容量 10.4 离散信源编码与压缩算法 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院3/66 10.1 熵与互信息 海南大学信息科学技术学院4/66 10.1 熵与互信息 海南大学信息科学技术学院5/66 10.1 熵与互信息 海南大学信息科学技术学院6/66 10.1 熵与互信息 海南大学信息科学技术学院7/66 10.1 熵与互信息 海南大学信息科学技术学院8/66 10.1 熵与互信息 海南大学信息科学技术学院9/66 10.1 熵与互信息 海南大学信息科学技术学院10/66 10.1 熵与互信息 海南大学信息科学技术学院11/66 10.1 熵与互信息 海南大学信息科学技术学院12/66 10.1 熵与互信息 海南大学信息科学技术学院13/66 10.1 熵与互信息 海南大学信息科学技术学院14/66 10.1 熵与互信息 海南大学信息科学技术学院15/66 10.1 熵与互信息 海南大学信息科学技术学院16/66 10.1 熵与互信息 海南大学信息科学技术学院17/66 10.1 熵与互信息 海南大学信息科学技术学院18/66 10.2 离散信道与信道 容量 海南大学信息科学技术学院19/66 10.2 离散信道与信道容量 海南大学信息科学技术学院20/66 10.2 离散信道与信道容量 海南大学信息科学技术学院21/66 10.2 离散信道与信道容量 海南大学信息科学技术学院22/66 10.2 离散信道与信道容量 海南大学信息科学技术学院23/66 10.2 离散信道与信道容量 海南大学信息科学技术学院24/66 10.2 离散信道与信道容量 海南大学信息科学技术学院25/66 10.2 离散信道与信道容量 海南大学信息科学技术学院26/66 10.2 离散信道与信道容量 海南大学信息科学技术学院27/66 10.2 离散信道与信道容量 海南大学信息科学技术学院28/66 10.2 离散信道与信道容量 海南大学信息科学技术学院29/66 10.2 离散信道与信道容量 海南大学信息科学技术学院30/66 10.3 相对熵与高斯 信道容量 海南大学信息科学技术学院31/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院32/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院33/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院34/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院35/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院36/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院37/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院38/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院39/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院40/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院41/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院42/66 10.3 相对熵与高斯信道容量 海南大学信息科学技术学院43/66 10.4 离散信源编码与压 缩算法 海南大学信息科学技术学院44/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院45/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院46/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院47/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院48/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院49/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院50/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院51/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院52/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院53/66 10.4 离散信源编码与压缩算 法 海南大学信息科学技术学院54/66 10.5 *率失真函数与限 失真编码定理 海南大学信息科学技术学院55/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院56/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院57/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院58/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院59/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院60/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院61/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技术学院62/66 10.5 *率失真函数与限失真编码定理 海南大学信息科学技