信息论)第8章连续信源和波形信道.ppt

第 8 章 连续信源与波形信道,8.1 连续信源的特征,在实际的通信系统中，所传输的消息可分为离散消息和连续消息。前面几章已经较详细地介绍了离散信源的有关特性。本章基本上采用相同的方法重点介绍连续信源及相关问题。,8.1.1 连续信源,连续信源：信源输出是时间的连续函数，其取值既是连续的又是随机的，且信源输出的消息可以用随机过程描述，这种信源称为连续信源。,8.1.2 连续信源的熵,连续随机变量的引出,将最简单的连续信源用一维随机变量描述。随机变量 存在非负函数 ，且,并且,则称 为具有连续型分布，或称 为连续随机变量。 为概率密度函数， 为概率分布函数。,(8.1),(8.2),连续随机变量 满足如下性质：,(1) (2) (3) 为单调非降函数； (4) 为左连续，即 (5),简单连续信源的模型为：,(8.3),连续信源熵的推导：,假设 令 则连续信源模型可改写成离散信源模型,由积分中值定理不难得到,根据离散信源熵的定义，则,(8.4),(8.5),当 ，即 时，由积分定义，则有,上式中第一项具有离散信源熵的形式，第二项为无穷项。,(8.6),(8.7),定义 8.1.1 对于连续信源 X，若其概率密度为 ，则连续信源的熵为,连续信源熵与离散信源熵的区别：,连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大。由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信道容量和率失真函数。需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。,(8.8),8.1.3 连续信源的最大熵,定理 8.1.1 对于服从均匀分布的随机变量X，具有最大输出熵。,定理 8.1.1表明当输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵。该结论与离散信源在以等概率出现达到最大输出熵的结论相似。,定理 8.1.2 对于服从均值为 ，方差为 的高斯分布的随机变量具有最大输出熵。,定理 8.1.2 讨论了平均功率受限条件下的最大熵。表明高斯分布的连续信源的熵最大，且随平均功率的增加而增加。,8.1.4 联合熵、条件熵和平均交互信息量,定义 8.1.2 设有两个连续随机变量X和Y，其联合熵为,式中 为二维联合概率密度。,定义 8.1.3 设有两个连续随机变量X和Y，其条件熵为,或,式中 和 为条件概率密度。,(8.9),(8.11),(8.10),定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为,连续信源的平均交互信息量的性质：,(1) (2) 当信源 X 和信源 Y 相互独立时，1 和2 中的等号成立,(8.14),(8.13),(8.12),(3) 对于多元联合信源，若其联合概率密度为 ，则其共熵为 并且存在 当信源彼此独立时，等号成立。,由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和极值性。所以连续信源的平均交互信息熵具有非负性。,8.1.5 连续信源的熵速率和熵功率,基本概念,熵速率：信源在单位时间内输出的熵称为信源的熵速率。,连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。如果信源是时间连续、信号带宽为 B的连续信源，根据随机信号的采样定理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为,因为高斯信源具有最大熵(取e为底的对数),(8.15),(8.16),对于其它分布的信源，当平均功率P一定时，其熵必定小于高斯信源的熵。因此，为了衡量某一信源的熵与同样平均功率限制下的高斯信源的熵的不一致程度，定义熵功率为,式中 为某一信源的熵。,显然，任何一个信源的熵功率 小于或等于其平均功率，当且仅当信源为高斯信源时，熵功率与平均功率相等。,(8.17),例题：求均值为 、方差为 的高斯分布的熵,解：高斯随机变量的概率密度为,则有,取e为底的对数,8.2 连续信道的信道容量,8.2.1 时间离散信道容量,对于连续信道，其输入和输出均为连续的，但从时间关系上来看，可以分为时间离散和时间连续两大类型。当信道的输入和输出只能在特定的时刻变化，即时间是离散时，称信道为离散时间信道。当信道的输入和输出的取值是随时间变化的，即时间为连续值时，称信道为连续信道或波形信道。,简单的加性噪声信道模型,连续信道的输入和输出为随机过程 和 ， 为随机噪声。则信道模型为,(8.18),定义 8.2.1 对于输入信号平均功率不大于S的时间离散信道容量定义为,式中上限是对所有的n和所有的概率分布 上求的。在无记忆平稳条件下，时间离散信道容量为,对于平均功率受限的时间离散平稳可加高斯噪声信道的交互信息量为,(8.19),(8.20),(8.21),当输入信源为均值为0、方差一定的情况下，信源 Y满足高斯分布时，其信源 Y 的熵 最大。由概率论可知，只有当 X 满足均值为 0，方差为 的高斯分布时，才能使得 满足高斯分布，且均值为 0、方差为 。,由于高斯噪声的熵为,且,故信道容量为,(8.22),(8.23),(8.24),定理 8.2.1 假设输入信源的平均功率小于 ，信道加性噪声平均功率为 ，可加噪声信道容量 C 满足,式中 为噪声的熵功率。,非高斯型加性噪声信道容量的计算相当复杂，只能给出其上、下限，故此，对于平均功率受限情况下，即输入平均功率 ，加性噪声平均功率为 条件下，则有上述定理存在。 上述定理表明，当噪声功率 给定后，高斯型干扰是最坏的干扰，此时其信道容量 C 最小。因此，在实际应用中，往往把干扰视为高斯分布，这样分析最坏的情况是比较安全的。,(8.25),8.2.2 时间连续信道容量,时间连续的信道也称作波形信道。同样时间连续信道可用随机过程描述。由于信道的带宽总是有限的，根据随机信号采样定理，我们可以把一个时间连续的信道变换成时间离散的随机序列进行处理。 由于信道是无记忆信道，那么 n 维随机序列的平均交互信息量满足,因此时间连续信道的信道容量为,(8.27),(8.26),若信道为高斯信道，则时间连续的高斯信道容量为,达到该信道容量则要求 n 维输入随机序列中的每一分量都必须是零均值、方差为 且相互独立的高斯变量。,窄带高斯信道,对于窄带高斯信道，即 为零均值的高斯过程，信道带宽为B。若时间变化范围为 ，由采样定理可知，可用 n=2BT 个样本近似表示 和 。对于时间连续信源，常常采用单位时间的信道容量，把 n=2BT 代入信道容量表示式，则,(8.28),单位时间的信道容量为,当噪声功率是谱密度为 的高斯白噪声时，上式可以表示为,上式就是Shannon公式，该公式适用于加性高斯白噪声信道。只有输入信号为功率受限的高斯信号时，其信道容量才能达到该极限值。一般情况下，实际信道是非高斯信道，但由于高斯白噪声信道是平均功率受限情况下最差信道，所以Shannon公式可用于确定非高斯信道容量的下限值。Shannon公式对实际通信系统有非常重要的意义，因为它给出了理想通信系统的极限信息传输率。,(8.30),(8.29),(8.31),8.3 连续信道的信道编码定理,定理 8.3.1 （离散时间高斯信道编码定理） 对于带限加性高斯白噪声信道，设噪声功率为 ，带宽为B，信号平均功率为 ，对于给定的信息率 R ，若R 小于信道容量 C 时，则存在以信息率R速率通过信道的二元码，并且错误概率任意小；当 时，则以 R 通过信道的二元码的错误概率不可能任意小。,8.4 连续信道的信息率失真函数,连续信源的信息率失真函数具有离散信源的信息率失真函数的性质。由于 的求解是一个求极值问题，并且 是一个二元函数，所以计算 非常复杂。为了不失一般的讨论 ，我们仅讨论均方误差失真准则下高斯信源的 。,定义 8.4.1 设连续信源(随机变量) X ，其概率密度为 ，设另一变量Y，且 X 和 Y 之间失真函数是某一非负的二元函数 ，则平均失真度定义为,式中 为信道特征，满足,(8.32),(8.33),定义 8.4.2 设所有试验信道的集合为 ，在满足一定失真度 时，连续信源的信息率失真函数为,式中inf 表示下界，试验集合为 。,率失真函数的求解,设高斯信源X的均值为 、方差为 ，则其概率密度为,(8.