信息论与编码（第3版） 课件 ch03离散信道及其信道容量

第3章离散信道及其信道容量普通高等教育“十一五”国家级规划教材信息论与编码（第3版）01信道的数学模型及分类信道的分类实际的通信系统中，信道的种类很多，包含的设备也各式各样。根据载荷消息的媒体不同，有邮递信道、电信道、光信道、声信道等。从信息传输的角度来考虑，信道可以根据输入和输岀信号的形式、信道的统计特性及信道的用户多少等方法来进行分类。®根据信道的用户多少，可以分为：(1)两端(单用户)信道。它只有一个输入端和一个输出端的单向通信的信道，如图1.2所示。它是多端信道的基础。(2)多端(多用户)信道。它在输入端或输出端中至少有一端有两个以上的用户，并且还可以双向通信的信道。实际通信系统，如计算机通信、卫星通信、广播通信、移动通信等，这些系统中的信道都属于多用户信道。信道的分类®根据信道输入端和输出端的关联，可以分为：(1)无反馈信道。信道输岀端无信号反馈到输入端，即输出端信号对输入端信号无影响、无作用。(2)反馈信道。信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。®根据信道的参数(统计特性)与时间的关系，信道又可以分为：(1)固定参数信道。信道的参数(统计特性)不随时间变化而改变。(2)时变参数信道。信道的参数(统计特性)随时间变化而变化。信道的分类®根据输入和输岀信号的统计特性，信道可以分为：(1)离散信道。它是指输入和输出的随机序列的取值都是离散的信道。(2)连续信道。它是指输入和输出的随机序列的取值都是连续的信道。(3)半离散或半连续信道。输入序列是离散的但相应的输出序列是连续的信道，或者相反。(4)波形信道。信道的输入和输岀都是一些时间上连续的随机信号和。即信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。也就是信道的输入和输出都是随机的模拟信号，所以又称为模拟信道。离散信道的数学模型1.无干扰（无噪）信道

信道中没有随机性的干扰或者干扰很小,输出―信号F与输入信号x之间有确定的一一对应的关系，即y=f（x)（3.1）离散信道的数学模型并且2.有干扰无记忆信道

实际信道中常有干扰（噪声），即输出符号与输入符号之间无确定的对应关系。这时信道输入和输出之间的条件概率不同于式（3.2）,而是一般的概率分布。若信道任一时刻输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。离散信道的数学模型也就是无记忆信道任意时刻的输出符号只与对应时刻的输入符号有关，而与以前时刻的输入符号、输出符号无关，另外也与以后的输入符号无关。满足离散无记忆信道的充要条件是对任意N值和任意x,y的取值，式（3.3）都成立。离散信道的数学模型3.有干扰有记忆信道这是更一般的情况，即有干扰（噪声）又有记忆。实际信道往往是这种类型的。例如在数字信道中，由于信道滤波使频率特性不理想时，会造成码字之间的干扰。在这一类信道中，某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。这时信道的条件概率P（y|x）不再满足式（3.3）。处理这类有记忆信道时，最直观的方法是,把记忆较强的N个符号当作一个矢量符号来处理，而各矢量符号之间被认为是无记忆的，这样就转化成无记忆信道的问题。当然，这样处理一般会引入误差，因为实际上第一个矢量的最末几个符号与第二个矢量的最前面几个符号是有关联的。N取得越大,误差将越小。另一种处理方法是把P(y|x)看成马尔可夫链的形式,这是有限记忆信道的问题。把信道某时刻的输入和输岀序列看成信道的状态，那么，信道的统计特性可用在已知现时刻的输入符号和前时刻信道所处的状态的条件下，信道的输岀符号和所处的状态的联合条件概率来描述，即用来描述。然而,在一般情况下这种方法仍很复杂。只有在每一个输出符号只与前一个输入符号有关的简单情况下,才可得到比较简单的结果。单符号离散信道的数学模型02平均互信息及平均条件互信息20%3050%根据熵的概念，可以得到信道输入信源X的熵第二个等号右边是简明写法，求和号是对变量X的所有取值求和，而P(x)是表示随机变量X取任意值的概率。今后我们将根据情况，选用不同的表示方式。H(X)是在接收到输出Y以前,关于输入变量X的先验不确定性的度量，所以称为先验熵。如果信道中无干扰(噪声)，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有干扰(噪声)存在，接收到输出丫后对发送的是什么符号仍有不确定性。那么，怎样来度量接收到Y后关于X的不确定性呢？当没有接收到输出Y时，已知输入变量X的概率分布为P(x）；而当接收到输出符号y=bj后，输入符号的概率分布发生了变化,变成后验概率分布为P(X|bj)，则关于X的平均不确定性为信道疑义度20%30这是接收到输出符号bj后关于X的后验炳，可见先验痛变成了后验熵。所以后验蝸是当信道接收端接收到输出符号bj后,关于输入符号的信息测度。后验熵在输出y的取值范围内是个随机量,将后验熵对随机变量Y求期望，得条件熵为信道疑义度这个条件熵称为信道疑义度。它表示在输出端收到输出变量F的符号后，对于输入端的变量X尚存在的平均不确定性(存在疑义)。这个对X尚存在的不确定性是由于干扰(噪声)引起的。如果是一一对应信道，那么接收到输出K后，对X的不确定性将完全消除，则信道疑义度H(X|Y)=0。由于一般情况下条件熵小于无条件熵，即有H(X\Y)<H（x)。这说明接收到变量丫的所有符号后，关于输入变量X的平均不确定性将减小，即总能消除一些关于输入端X的不确定性，从而获得了一些信息。平均互信息根据上述，我们已知H(X)代表接收到输出符号以前关于输入变量X的平均不确定性，而H(X\Y)代表接收到输出符号后关于输入变量X的平均不确定性。可见，通过信道传输消除了一些不溢定性,获得了一定的信息。所以定义I(X；Y)=H(X)-H(X|y) (3.17)I(X；Y)称为x和y之间的平均互信息。它代表接收到输岀符号后平均每个符号获得的关于x的信息量。它也表明,输入与输出两个随机变量之间的统计约束程度。20%3050%根据式(3.14)和式(3.16)得式中,X是输入随机变量,x∈X；Y是输出随机变量,y∈Y。平均互信息I(X；y)就是绪论中提到的互信息I(x;y)在两个概率空间X和Y中求统计平均的结果。互信息I(x;y)代表收到某消息y后获得关于某事件x的信息量。即平均互信息平均互信息互信息可取正值，也可取负值，如果互信息I(x;y)取负值，说明收信者在未收到消息y以前对消息x是否出现的猜测的难易程度较小。但由于噪声的存在，接收到消息y后,反而使收信者对消息x是否出现的猜测难易程度增加了。也就是收信者接收到消息y后反而对x出现的不确定性增加了,所以获得的信息量为负值。平均互信息平均互信息平均互信息平均互信息平均互信息在此信道中，因为输入和输岀符号一一对应,所以接收到输出符号Y后对于输入X不存在任何不确定性。这时，接收到的平均信息量就是输入信源所提供的信息量。在信道中没有任何信息损失。同时,因为输入和输岀符号一一对应，所以噪声熵也等于零。因此，输出端信源Y的炳就等于接收到的平均互信息，如图3.7(a)所示。平均互信息

第二种极端情况。信道输入端X与输出端Y完全统计独立，即平均条件互信息

平均条件互信息

平均条件互信息

平均条件互信息

03平均互信息的特性平均互信息的特性平均互信息的特性平均互信息的特性平均互信息的特性平均互信息的特性定理3.1平均互信息I（X；Y）是输入信源的概率分布P（x）的∏形凸函数（又称上凸函数）。定理3.1意味着，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接,在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源［某一种概率分布P（x）］，使输出端获得的平均信息量为最大（因为∏形凸函数存在极大值）。平均互信息的特性定理3.2平均互信息I（X；Y）是信道传递概率P（y|x）的U形凸函数（又称下凸函数）。现在，我们固定信源即固定输入变量X的概率分布P（x），调整与信源相连接的信道，就可得出这个结论。固定信源的平均互信息I（X；Y）只与信道统计特性有关，只是信道传递概率P（y|x）的函数，可简写成I［P（y|x）］。因些，定理3.2可用下式表达定理3.2说明当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得的关于信源的信息量是不同的，这时信息量是信道传递概率的U形凸函数。也就是说,对每一种信源都存在一种最差的信道,此信道的干扰（噪声）最大，而输出端获得的信息量最小。04信道容量及其一般计算方法我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率R。由前已知，平均互信息I（x；y）就是接收到符号Y后平均每个符号获得的关于x的信息量。因此信道的信息传输率就是平均互信息。即R=I（X；Y）=H（X）-H（X|Y）（比特/符号） （3.56a）有时我们所关心的是信道在单位时间内（一般以秒为单位）平均传输的信息量。若平均传输一个符号需要t秒，则信道每秒平均传输的信息量为离散无噪信道的信道容量离散无噪无损信道的输入和输岀符号之间有确定的一一对应关系，即y=f（x），其信道传递概率为例如图3.13（a）的信道中，输入符号X和输出符号Y一一对应，即它的信道矩阵是单位矩阵，即在离散无噪一一对应的信道中，因为信道的疑义度即损失熵H(X|Y)和信道的噪声熵H/(Y|X)都等于零，所以这类信道的平均互信息为I(X；Y)=H(X)=H(Y)1无噪无损信道离散无噪信道的信道容量它表示接收到符号Y后，平均获得的信息量就是信源发出每个符号所含有的平均信息量,信道中无信息损失。因噪声熵等于零,输出端Y的不确定性也没有增加。其信道容量式中假设输入信源X的符号共有r个。此类信道输入和输出是确定的一一对应关系，所以r=s(s为输出端信源-的符号数)。并且，只有当输入信源为等概率分布时，此类信道的信息传输率才达到这个极大值。1无噪无损信道离散无噪信道的信道容量离散无噪信道的信道容量可见，若信道的传递矩阵中每一列有一个也仅有一个非零元素时，该信道一定是有噪无损信道。在这类信道中其损失熵等于零，而噪声熵大于零。 因此这类信道的平均互信息为I(X；Y)=H(X)<H(Y)(3.62) 对于无损信道，其信息传输率R就是输入信源X输出每个符号携带的信息量(H(X))，其信道容量为式中假设输入信源X共有r个符号,并且仅当输入信源等概率分布时信息熵H(X)最大。离散无噪信道的信道容量另一类信道是，其前向概率P(y\x)等于0或1,即输出Y是输入X的确定函数,但不是一一对应，而是多对一的关系。因而，后向概率P(x\y)不等于0或1。这类信道如图3.14所示。这类信道的噪声熵H（Y\X）=0,而信道疑义度即损失炳H（X\F）≠0在这类信道中接收到符号Y后不能完全消除对X的不确定性，信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。所以这类信道称为无噪有损信道也称确定信道。3无噪有损信道离散无噪信道的信道容量它的平均互信息是I（X；Y）=H（Y）<H（X）其信道容量为并假设输出信源Y的符号集有s个符号，其等概率分布时H（Y）最大。而且一定能找到一种最佳输入分布使输岀符号Y达到等概率分布。我们可以进一步用维拉图来描述有噪无损信道和无噪有损信道中平均互信息、损失熵、噪声熵及信源熵之间的关系，如图3.15所示。3无噪有损信道离散无噪信道的信道容量综合上述三种情况，若严格区分的话,凡损失熵等于零的信道称为无损信道;凡噪声熵等于零的信道称为无噪信道。而一一对应的无噪信道则为无噪无损信道。求这三类信道的信道容量C的问题，已经从求互信息I(X；Y）的极值问题退化为求信息熵H（X）或H（Y）的极值问题。3无噪有损信道对称离散信道的信道容量对称离散信道的信道容量若输入符号和输出符号个数相同,都等于r,且信道矩阵为对称离散信道的信道容量对称离散信道的信道容量对称离散信道的信道容量准对称信道的信道容量准对称信道的信道容量一般离散信道的信道容量根据定义，求信道容量就是在固定信道的条件下,对所有可能的输入概率分布P(x)求平均互信息的极大值。由定理3.1知,I(X；Y)是输入概率分布p(x)的⨅形凸函数，所以极大值一定存在。而I(X；Y)是r个变量{P(a1),P(a2),....,P(ar)}的多元函数,并满足所以可以运用拉格朗日乘子法来计算这个条件极值。引进一个新函数式中，⋋为拉格朗日乘子(待定常数)。解方程组一般离散信道的信道容量可先求出达到极值的概率分布上拉格朗日乘子⋋的值,然后再求出信道容量C。因为而所以由式（3.78）中的第一个方程式，得一般离散信道的信道容量一般离散信道的信道容量一般离散信道的信道容量需要注意的在式（3.79）至式（3.85）中对数可取任意大于1的数为底。而式（3.86）中的对数以2为底，求和号内是2的幕次项,此时式（3.85）的对数必须取2为底，信道容量的单位为比特/符号。若式（3.84）或式（3.85）中的对数选取其他单位，则式（3.86）和式（3.87）应做相应改变。若式（3.84）和式（3.85）取自然对数,则由式（3.84）得一般离散信道的信道容量一般离散信道的信道容量05离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量在离散无记忆信道中，为了便于研究传递消息序列所能获得的信息量，我们从离散无记忆信道的N次扩展信道入手，因为它与前一章讨论的无记忆信源的N次扩展信源相类似。离散无记忆扩展信道及其信道容量06独立并联信道及其信道容量独立并联信道及其信道容量独立并联信道又称并用信道，也等价于时变的N次无记忆扩展信道。设有N个信道，如图3.22所示，它们的输入分别是X1，X2，…XN，输出分别是Y1，Y2，…，YN,传递概率分别是P（y1丨x1），P（y2丨x2）,....,P（YN丨XN）。在这N个独立并联信道中，每一个信道的输出Yi只与本信道的输入Xi有关，与其他信道的输入、输出都无关。那么，这N个信道的联合传递概率满足相当于信道是无记忆时应满足的条件。因此,我们可以把式（3.96）推广应用到N个独立并联信道中来。故推广得即联合平均互信息不大于各自信道的平均互信息之和。因此得独立并联信道的信道容量独立并联信道及其信道容量式中，Ci是各个独立信道的信道容量，即所以，独立并联信道的信道容量不大于各个信道的信道容量之和。只有当输入符号Xi相互独立,且羌的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于各信道容量之和。即07串联信道的互信息和数据处理定理串联信道的互信息和数据处理定理在一些实际通信系统中常常出现串联信道的情况，如微波中继接力通信就是一种串联信道。另外，我们常常需要在信道输出端对接收到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可看成一种信道，它与前面传输数据的信道是串接的关系。串联信道的互信息和数据处理定理串联信道的互信息和数据处理定理串联信道的互信息和数据处理定理现在，我们来考虑一般的通信系统模型，如图3.29所示。图3.29中随机矢量S是由N个信源符号组成的信源序列，把随机矢量S送入编码器（包括信源和信道编码）。通过编码器输出的是长度为乙的随机矢量X,并把X送入信道，而信道输出的是随机矢量Y它是X受噪声干扰后的矢量。把Y送入译码器,译成相应的由N个接收符号组成的随机矢量Z,然后传送给信宿。Z既可能是发送的随机矢量S的重现，也可能是S的近似值。串联信道的互信息和数据处理定理串联信道的互信息和数据处理定理这个结论就是一般的数据处理定理。它说明信息处理（例如编码、译码所完成的信息处理）只能丢失信息，不能增加或创造信息。若进行一一对应的变换处理时，式（3.142）的等号成立，它说明了一一对应的数据处理不会增加信息的损失。式（3.140）也告诉我们，在一般通信系统中，噪声信道的输出矢量Y中所包含信源序列S的平均信息量，大于数据处理后所估算的矢量Z中所包含信源序列S的平均信息量。这一点在理论上是正确的,但并不说明我们不需要进行数据处理了。往往为了获得更有用的和更有效的信息,还是需要进行适当的数据处理的。08信源与信道的匹配信源与信道的匹配信源发出的消息（符号）一定要通过信道来传输。对于某一信道其信道容量是一定的。而且只有当输入符号的概率分布PS）满足一定条件时才能达到信道容量C。这就是说只有一定的信源才能使某一信道的信息传输率达到最大。一般信源与信道连接时,其信息传输率R=I(x;y）并未达到最大。这样,信道的信息传输率还有提高的可能，即信道