信息论 第5章(波形信源和波形信道)(benke)1

05-06学年上ElementsofInformationTheory1信息论

Elementsof

InformationTheory05-06学年上ElementsofInformationTheory25、波形信源和波形信道5.1波形信源的统计特性和离散化5.2连续信源和波形信源的信息测度5.3具有最大熵的连续信源5.4熵功率5.5连续信源熵的变换5.6连续信道和波形信道的分类5.7连续信道和波形信道的信息传输率5.8连续信道和波形信道的信道容量5.9连续信道编码定理05-06学年上ElementsofInformationTheory35.1波形信源的统计特性和离散化随机变量随机过程随机矢量05-06学年上ElementsofInformationTheory4表5.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discretesource)/数字信源(Digitalsource)连续连续波形信源Waveformsource/模拟信源(Analogsource)连续离散连续信源(Continuoussource)离散连续05-06学年上ElementsofInformationTheory55.2连续信源和波形信源的信息测度连续信源的数学模型并满足05-06学年上ElementsofInformationTheory6一维概率密度函数一维概率分布函数条件概率密度函数联合概率密度函数05-06学年上ElementsofInformationTheory7假定连续信源X的概率密度函数p(x)如右图所示。我们把取值区间分割成n个等宽的小区间。X处于第i区间的概率为05-06学年上ElementsofInformationTheory8其中xi是之间的某一值。当p(x)是x的连续函数时，由积分中值定理可知，必存在一个xi值使上式成立。05-06学年上ElementsofInformationTheory9这样，连续变量X就可用取值为xi的离散变量Xn来近似。连续信源X被量化成离散信源。05-06学年上ElementsofInformationTheory10这时离散信源Xn的熵是当n∞,△0，离散随机变量Xn趋于连续随机变量X，而离散信源的熵H(Xn)的极限值就是连续信源的信息熵：05-06学年上ElementsofInformationTheory11一般情况下，上式的第一项是定值。而当△0时，第二项趋于无限大的常数。一般丢开第二项，分析连续信源的熵（差熵）。05-06学年上ElementsofInformationTheory12定义连续信源的熵为：又称为差熵、微分熵、相对熵。连续信源的差熵特性：上式定义的连续信源的熵并不是实际信源输出的绝对熵。连续信源的绝对熵还有一项正的无限大量。这一点也容易理解，因为连续信源的可能取值数有无限多，若假定等概率，不确定度将为无限大，确知其输出值后所的信息量也将为无限大。可见H（X）已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。05-06学年上ElementsofInformationTheory13之所以这样定义可以与离散信源熵在形式上统一起来；另一方面，在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。05-06学年上ElementsofInformationTheory14两随机变量的联合熵和条件熵：05-06学年上ElementsofInformationTheory15连续信源差熵的性质可加性：凸状性和极值性：差熵H(X)是输入概率密度函数p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。05-06学年上ElementsofInformationTheory16差熵可为负值。例如，若概率密度函数为则05-06学年上ElementsofInformationTheory17例：设有一连续随机变量，其概率密度函数为又有

试求这随机变量的熵。

05-06学年上ElementsofInformationTheory18连续信源的平均互信息两个连续随机变量X、Y的互信息定义为：

单位为比特/自由度或奈特/自由度05-06学年上ElementsofInformationTheory19三种特殊连续信源的差熵1、均匀分布连续信源的熵值

一维连续随机变量X在区间内均匀分布时

比特/自由度05-06学年上ElementsofInformationTheory20推广：均匀分布N维连续信源的差熵为

05-06学年上ElementsofInformationTheory212、高斯信源的熵值高斯信源是指信源输出的一维随机变量X的概率密度分布是正态分布，即：

该连续信源的熵为：

05-06学年上ElementsofInformationTheory22

其中m是X的均值，是X的方差

当m=0时，方差就等于信源输出的平均功率P，即则05-06学年上ElementsofInformationTheory23对于N维高斯信源，C为协方差矩阵。当各维变量之间统计独立时，则，N维无记忆高斯信号的熵即N维统计独立的正态分布随机矢量的差熵为05-06学年上ElementsofInformationTheory243、指数分布连续信源的熵值指数分布的一维连续信源X的概率密度函数为：其中常数a是一维连续信源X的均值，该连续信源的熵为：

05-06学年上ElementsofInformationTheory255.3具有最大熵的连续信源离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。05-06学年上ElementsofInformationTheory26在什么条件下，连续信源的熵最大？05-06学年上ElementsofInformationTheory27一般来说，连续信源X要受到约束条件在不同的条件下，信源的最大熵也不同。05-06学年上ElementsofInformationTheory28通常有三种情况是我们感兴趣的：一种是信源输出值受限的情况，另一种是信源输出的平均功率受限的情况，还有一种是均值受限的情况。下面分别讨论。05-06学年上ElementsofInformationTheory29峰值功率受限条件下信源的最大熵（取值幅度受限）

定理：若信源输出的幅度被限定在区域内，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵。证明：书235页最大熵为：05-06学年上ElementsofInformationTheory30当N维随机矢量取值受限时，也只有各随机分量统计独立时，并均匀分布时具有最大熵。

最大熵为：

05-06学年上ElementsofInformationTheory31平均功率受限条件下信源的最大熵（方差受限）定理：若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。其最大熵为：

05-06学年上ElementsofInformationTheory32对于N维连续平稳信源来说，若其输出的N维随即序列的协方差矩阵C被限定，则N维随即矢量为正态分布时信源的熵最大，也就是N维高斯信源的熵最大，其最大熵为：

05-06学年上ElementsofInformationTheory33若随机序列中各分量的均值均为零，而平均功率受限为，则得N维无记忆高斯信源的熵最大，其最大熵为：

05-06学年上ElementsofInformationTheory34均值受限条件下的最大连续熵定理（均值受限）

若连续信源X输出非负信号的均值受限，则其输出信号呈指数分布时，连续信源X具有最大熵值。

最大熵为：

其中常数a是一维连续信源X的均值05-06学年上ElementsofInformationTheory355.4熵功率当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为P，则其熵为：若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即：05-06学年上ElementsofInformationTheory36熵功率：若平均功率为P的非高斯分布的信源具有熵为,称熵也为的高斯信源的平均功率为熵功率.

由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P，即

05-06学年上ElementsofInformationTheory37连续信源的剩余度：熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。连续信源的剩余度=

05-06学年上ElementsofInformationTheory385.5连续信源熵的变换从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以认为这是一种坐标变换。

05-06学年上ElementsofInformationTheory39在离散信源中，若有确定的对应变换关系，变换后信源

熵是不变的。问：在连续信源中，输出的消息经过变换后，其熵（差熵）会不会发生改变？下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。05-06学年上ElementsofInformationTheory40一维连续信源坐标变换以及相对熵变化的分析05-06学年上ElementsofInformationTheory41N维连续信源坐标变换设连续平稳信源输出的是N维连续型随机矢量,将它送入信息处理网络，其输出为另一个N维随机矢量

Y和X之间的变换关系如下：

05-06学年上ElementsofInformationTheory42坐标变换后概率密度函数的变化

已知Y和X之间有一一对应关系,则X也可以表示位Y的单值连续函数。05-06学年上ElementsofInformationTheory43引入雅可比行列式

定义：

证明可得05-06学年上ElementsofInformationTheory44经分析可得坐标变化后新旧概率密度函数的关系为：

结论：除非雅可比行列式等于1，否则，在一般情况下，连续型随机变量通过变化后其概率密度函数会发生变化。05-06学年上ElementsofInformationTheory45坐标变换后差熵的变化

经过计算可得变换后连续信源的差熵为：

结论：通过信息处理网络后连续信源的熵（差熵）发生了变化。它说明连续信源的差熵不具有变换的不变性。05-06学年上ElementsofInformationTheory46书241页例6.1、例6.205-06学年上ElementsofInformationTheory475.6连续信道和波形信道的分类5.6.1按噪声统计特性分类1、高斯信道2、白噪声信道3、高斯白噪声信道4、有色噪声信道5.6.2按噪声对信号的作用功能分类1、乘性信道2、加性信道05-06学年上ElementsofInformationTheory485.6.3连续信道的分类连续信道：所谓连续信道是指输入和输出随机变量、随机序列的取值都是连续的信道。它在时间上是离散的，幅度上是连续的。

一般用条件转移概率密度函数来表示信道的传输特性。1、单维连续信道定义：输入和输出都是单个连续型随机变量的信道称为单维连续信道。05-06学年上ElementsofInformationTheory492、多维连续信道定义：多维连续信道的输入是N维连续型随机序列，输出也是N维连续型随机序列，信道转移概率密度函数为：并满足

所以，可用来描述多维连续信道。05-06学年上ElementsofInformationTheory50即

多维连续信道的转移概率密度函数满足连续无记忆信道：若连续信源在任意时刻输出的随机变量只与对应时刻的输入随机变量有关，而与以前时刻的输入、输出随机变量无关。也与以后的输入随机变量无关，则此信道为连续无记忆信道。否则为连续有记忆信道。则称此信道为连续无记忆信道。05-06学年上ElementsofInformationTheory515.7连续信道的信息传输速率5.7.1、单维连续信道的平均互信息

单维连续信道的数学模型为。

输入X和输出Y之间的平均互信息为05-06学年上ElementsofInformationTheory52单维连续信道的信息传输速率为：05-06学年上ElementsofInformationTheory535.7.2多维连续信道的平均互信息多维连续信道的信息传输速率为：05-06学年上ElementsofInformationTheory545.8连续信道的信道容量连续信道的信道容量：是指信道的最大信息传输率。即对输入信号概率密度函数求平均互信息的极大值。对于不同的连续信道，由于它们存在的噪声形式不同，信道带宽以及对信号的各种限制不同，所以具有不同的信道容量。一般只研究平均功率受限的加性噪声信道。05-06学年上ElementsofInformationTheory