信息论与编码[第四章波形信源和波形信道]山东大学期末考试知识点复习

1、精选优质文档-倾情为你奉上第四章 波形信源和波形信道411连续信源的差熵差熵(有称为相对熵或称微分熵)已不具有信息熵的物理含义。但在任何包含有两个信息熵的“熵差”问题中，它能替代信息熵H(X)而具有信息的特征。其单位是：对数以2为底，是比特自由度；以e为底，是奈特自由度；以10为底，是哈特自由度。412 多维连续平稳信源的信息熵则各连续型随机变量彼此统计独立，称为连续平稳无记忆信源。否则，为平稳有记忆信源。 N维连续平稳信源可用下列一些差熵进行信息测度： 1联合差熵 (1)二维联合差熵2条件差熵(1)二维连续随机序列X=X1X2的条件差熵 3各种差熵之间的关系413 波形信源的差熵414 差熵

2、的性质 与离散信源的信息熵比较，连续信源的差熵具有以下一些性质： 1可加性 任意两个相互关联的连续信源X和Y，有3差熵可为负值不存在非负性。4极值性即最大差熵定理。 5变换性 连续信源输出的随机变量(或随机矢量)通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。415 最大差熵定理 1峰值功率受限(取值幅度受限) (1)连续随机变量X，其取值幅度限于区间a，b内，则其概率密度函数是均匀分布时，差熵具最大值。最大值为 3协方差矩阵受限 N维随机矢量X=X1X2XN，其N维协方差矩阵C受限(即各随机变量Xi的均值限定为mi(i=1，2，N)，随机变量Xi与Xj之间的二阶

3、中心矩限定为ij(i，j=1，2，N)，则N维高斯信源(即XN(mi，C)的差熵最大，最大值为416 连续信源熵的变换 1连续随机变量418 波形信道和连续信道的分类和数学模型 1波形信道(模拟信道) 信道的输入输出信号都是平稳随机过程x(t)和y(t)，则称之为波形信道。波形信道在限频、限时条件下，根据取样定理，可离散化成多维连续信道。2多维连续信道4加性信道 信道中噪声对信号的作用： 5高斯白噪声信道 若信道的噪声是高斯噪声，即噪声是平稳随机过程，其瞬时值的概率密度函数服从正态分布(高斯分布)，则此信道称为高斯信道。 若信道的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频

4、域，则此信道称为白噪声信道。 若信道的噪声是高斯分布的白噪声，则此信道称为高斯白噪声信道。419 连续信道和波形信道的平均互信息及其特性 1基本连续信道4110 连续信道和波形信道的信道容量 连续信道和波形信道的信道容量基本同于离散信道，是对输入信号概率密度函数求平均互信息的极大值。不同的是，还需考虑输入信号和信道噪声所受的不同限制条件。一般情况，只研究平均功率受限的加性噪声信道。 1单符号高斯加性信道4111 香农公式的重要实际指导意义 香农公式将信息传输率(信道的统计信息参量)与信道的实际物理量(带宽W、传输时间T，以及信噪功率比PsPn)联系了起来。一旦这三个物理量确定，理想通信系统的极限信息传输率也就确定了。香农公式有以下几个重要结论： (1)信道容量一定时，在理想情况下，连续信道与信息传输有以下三种匹配方式： 在固定传输时间T下，以带宽换取信噪比； 在固定信噪比PsPn下，以频带换取时间； 在固定频带W下，以时间换取信噪比。 (2)无干扰连续信道的信道容量为无穷大。 (3)提高信道的信噪功率比，能增加信道的信道容量。 (4)