波形信源和波形信道

波形信源和波形信道第1页，课件共52页，创作于2023年2月4.1波形信源的统计特性和离散化实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。随机过程{x(t)}可以看成由一族时间函数组成称为样本函数。每个样本函数是随机过程的一个实现。图4.1一个随机过程第2页，课件共52页，创作于2023年2月连续信源：信源输出的消息是在时间上离散，而取值上连续的、随机的。如遥控系统中有关电压、温度、压力等测得的连续数据。随机波形信源：信源输出的消息不仅在时间上是连续的而且在取值上也是连续的、随机的。于是定义随机波形信源的特点：（1）随机波形信源中消息数是无限的。每一个可能的消息是随机过程的一个样本函数。每个样本函数是随机过程的一个实现。第3页，课件共52页，创作于2023年2月（2）随机波形信源可用有限维概率密度函数族以及与各维概率密度函数有关的统计量来描述。平稳随机过程：统计特性不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。第4页，课件共52页，创作于2023年2月随机过程时间离散的随机序列取样定理时间连续函数f(t)的频带受限（上限频率为F）取样间隔为这样，通过取样，随即过程就成为可数的无限维的随机序列。如果随机过程又是限时的，时间间隔为T，则就第5页，课件共52页，创作于2023年2月成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。第6页，课件共52页，创作于2023年2月4.2.1连续信源的差熵

先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。4.2连续/波形信源的信息测度变量的一维概率密度函数为第7页，课件共52页，创作于2023年2月

联合概率密度函数为一维概率分布函数为条件概率密度函数为它们之间的关系为第8页，课件共52页，创作于2023年2月图4.2概率密度分布

并满足

基本连续信源的数学模型为第9页，课件共52页，创作于2023年2月于是，连续信源的熵定义为无限大常数单位为：奈特/自由度第10页，课件共52页，创作于2023年2月

同理，两个连续随机变量X、Y的联合熵和条件熵可以定义为4.2.2连续平稳信源和波形信源的差熵

连续平稳信源输出的消息是连续型的平稳随机序列。其数字模型是概率空间[X,p(x)],第11页，课件共52页，创作于2023年2月连续平稳无记忆信源1.N维联合差熵2.N维条件差熵第12页，课件共52页，创作于2023年2月且当随机序列中各变量统计独立时等式成立。所以得，波形信源的差熵由于波形信源输出的消息是平稳的随机过程，它通过取样分解成取值连续的无穷维随机序列对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机序列来表示。这样，一个频带和时间都为有限的波形信源就转化为多维连续平稳信源来处理。第13页，课件共52页，创作于2023年2月4.2.3两种特殊连续信源的差熵

1.均匀分布连续信源的差熵

第14页，课件共52页，创作于2023年2月若限频（F）、限时（T）均匀分布的波形信源的熵率第15页，课件共52页，创作于2023年2月2.高斯信源的熵值一维高斯连续信源第16页，课件共52页，创作于2023年2月可见，正态分布的连续信源的熵与数学期望m无关，只与其方差有关。当均值m=0时，X的方差就等于信源输出的平均功率P：如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源。若各随机变量之间统计独立，可得N维统计独立的正态分布随机矢量的差熵为第17页，课件共52页，创作于2023年2月4.3连续信源熵的性质及最大差熵定理连续信源的差熵只具有熵的部分含义和性质。1.可加性并当且仅当X与Y统计独立时所以可得2.凸状性和极值性4.3.1差熵的性质第18页，课件共52页，创作于2023年2月3.差熵可为负值在[a,b]区间内均匀分布的连续信源其差熵为第19页，课件共52页，创作于2023年2月图4.3空间A一一对应地映射成空间B

4.变换性连续信源输出的随机变量（或随机矢量）通过一一对应变换，其差熵会发生变化。第20页，课件共52页，创作于2023年2月结论：连续信源的差熵不具有变换的不变性。第21页，课件共52页，创作于2023年2月图4.4信息处理网络

例4.1P154增加熵值第22页，课件共52页，创作于2023年2月4.3.2具有最大差熵的连续信源

1.峰值功率受限条件下信源的最大差熵

第23页，课件共52页，创作于2023年2月图4.5输出幅度受限的信源当熵为最大时的概率密度分布

若当N维随机矢量受限时，也只有各随机分量统计独立，并均匀分布时具有最大熵。第24页，课件共52页，创作于2023年2月2.平均功率受限条件下信源的最大差熵第25页，课件共52页，创作于2023年2月4.5熵功率

第26页，课件共52页，创作于2023年2月图4.7波形信道转化成多维连续信道

当信道的输入和输出都是随机过程和4.6连续信道和波形信道的分类

4.6.1按信道输入和输出的统计特性分类时，这个信道称之为波形信道或模拟信道第27页，课件共52页，创作于2023年2月

多维连续信道的输入是N维连续型随机序列输出也是N维连续型随机序列，而信道转移概率密度函数是第28页，课件共52页，创作于2023年2月图4.8基本连续信道

基本连续信道就是输入和输出都是单个连续型随机变量的信道。4.6.2按噪声统计特性分类高斯信道、白噪声信道、高斯白噪声信道和有色噪声信道第29页，课件共52页，创作于2023年2月高斯白噪声信道：信道中的噪声是高斯白噪声。

低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得。传递函数的频率响应为低频限带高斯白噪声的功率谱密度为按噪声对信号的作用功能分类加性和乘性信道第30页，课件共52页，创作于2023年2月加性信道：信道中噪声对信号的干扰作用表现为与信号相加的关系。图4.8加性信道

在加性连续信道中，信道的转移概率密度函数等于噪声的转移概率密度函数。在加性信道中，条件熵为第31页，课件共52页，创作于2023年2月第32页，课件共52页，创作于2023年2月4.7连续信道和波形信道的信息传输率

4.7.1基本连续信道的平均互信息

输入信源X为输出信源Y为信道的转移概率密度函数满足第33页，课件共52页，创作于2023年2月

基本连续信道的信息传输率为比特/自由度第34页，课件共52页，创作于2023年2月4.7.2多维连续信道的平均互信息

信道的转移概率密度函数多维连续信道的平均互信息第35页，课件共52页，创作于2023年2月多维连续信道的信息传输率为

比特/N个自由度

比特/自由度

平均每个自由度的信息传输率为4.7.3波形信道的信息传输率

比特/秒

第36页，课件共52页，创作于2023年2月2、对称性3、凸状性4、信息不增性图4.10两个串接连续信道

与离散信道的证明类似4.7.4连续信道平均互信息的特性

1、非负性第37页，课件共52页，创作于2023年2月5、坐标变换平均互信息的不变性图4.11一般通信系统的信号变换

变换前后概率密度函数有第38页，课件共52页，创作于2023年2月第39页，课件共52页，创作于2023年2月结论：在一一变换条件下，平均互信息保持不变。信源无记忆信道无记忆信源信道皆无记忆第40页，课件共52页，创作于2023年2月4.8连续信道和波形信道的信道容量一般加性波形信道的信道容量为：

比特/秒

在实际信道中，输入信号和噪声的平均功率总是有限的。现在平均功率受限的条件下，讨论各种连续信道和波形信道的信道容量。4.8.1单符号高斯加性信道第41页，课件共52页，创作于2023年2月平均功率受限高斯信道的信道容量单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。设信道迭加的噪声n是均值为零，方差为的一维高斯噪声，噪声信源的熵为单符号高斯加性信道的信道容量第42页，课件共52页，创作于2023年2月只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。4.8.5限带高斯白噪声加性波形信道

而加入信道的噪声是加性高斯白噪声（均值为零、功率谱密度为），所以输出信号满足此信道称为高斯白噪声加性波形信道。信道的输入和输出信号都是随机过程第43页，课件共52页，创作于2023年2月

图4.14限带高斯白噪声加性信道变换成N个独立并联高斯加性信道

第44页，课件共52页，创作于2023年2月在[0，T]高斯白噪声加性信道的信道容量为第45页，课件共52页，创作于2023年2月高斯白噪声加性信道单元时间的信道容量为

比特/秒

其中Ps是信号的平均功率，为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。第46页，课件共52页，创作于2023年2月把信道的统计参量（信道容量）和物理量（频带宽W、T、信噪功率比），联系了起来。4.8.7香农公式的重要实际指导意义由香农公式得出的几个重要结论：1.提高信号与噪声功率之比能增加信道的信道容量。第47页，课件共52页，创作于2023年2月例4.4（p181）

比特/秒

2.当噪声功率时，信道容量，这意味着无干扰连续信道的信道容量为无穷大。3.增加信道带宽（也就是信号的带宽）w，并不能无限制地使信道容量增大。第48页，课件共52页，创作于2023年2月令，可得由于当时，，所以比特/秒

由香农公式可以看出，当带宽W增大时，信道容量也开始增大，当时，趋于一极限值。第49页，课件共52页，创作于2023年2月4.信道容量一定时，带宽W、传输时间T和信噪功率比三者之间可以相互转换。

（1）若传输时间T固定，则扩展信道的带宽W就可以降低信噪比的要求；反之，带变窄，就要增加信噪功率比。例4.5（p181）注：带宽与信噪功率比互换的过程并不是自然而然地实现的，可以采用调制解调方法。第50页，课件共52页，创作于2023年2月图4.16理想