信道及信道容量.ppt

第四章 离散信道及其信道容量,信道 信息传输的通道 信息论中与信源并列的另一个主要研究对象,研究的主要内容: 信道的建模 信道容量 不同条件下充分利用信道容量的方法,一.数学模型,第一节 信道模型及其分类,信道的数学模型： X，p(y|x)，Y,1.按其输入/输出信号在幅度和时间上的取值是离散或连续来分：,二.分类,2.按其输入/输出之间关系的记忆性划分：,3.按其输入/输出信号之间是否是确定关系来分：,在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻的信道输入无关,在任一时刻信道的输出不仅与当前输 入有关，而且还与以前时刻输入有关,存在噪声，不存在确定关系 实用价 值大，研究的理想对象,不存在噪声，存在确定关系 实用价 值小,4.按其输入/输出信号个数来分：,两端信道(两用户信道):只有一个输入端和一个输出端的单向通信的信道,又称为单路信道.,多端信道(多用户信道):信道的输入输出至少有一个具有两个或两个以上的信号.,5.按信道的统计特性分：,恒参信道 变参信道,一.定义 1.定义输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。 2.数学模型： 离散信道对任意N长的输入、输出序列有,第二节 离散无记忆信道DMC,1.定义：,2.传输概率,p(y|x)可描述信道中干扰影响的大小，干扰存在，传输时可能发生错误。,二.单符号离散无记忆信道,完全反映信道的特性,3.信道矩阵P,4.信道输出与输入之间的关系,二元对称信道(BSC)(二进制对称信道),其中：p、q表示正确传输的概率,二元删除信道 (二进制删除信道),1.信道疑义度(损失熵),表示：由于信道的干扰，导致信道输出端收到Y后，对输入X仍然存在的平均不确定度。 也可表示：由于信道干扰导致信息量的损失。,三.信道疑义度和平均互信息,表示：接收端收到Y后获得的关于X的信息量(即接收到的信息量),I(X;Y)=H(X)-H(X|Y),定理1： 对于固定信道，I(X;Y)是信源概率分布p(x)的上凸函数。,2.平均互信息,定理2: 对于固定的信源分布，I(X;Y)是信道传递概率P(y|x)的下凸函数。,考虑二元对称信道，其信源概率空间为,求其平均互信息,解:,应用全概率公式,则有：,则平均互信息：,当信道固定，即p为一个固定常数时，可得到I(X;Y)是信源输出分布的上凸函数。,当信源固定，即 是一个常数时,可得到I(X;Y)是信道传递概率p的下凸函数。,当p=0.5时，I(X;Y)=0，在接收端未获得信息量。,当=1/2 时， 即取极大值.,例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷色子的信息量。,四.离散无记忆信道的N次扩展信道,例4-4：求二元无记忆对称信道的二次扩展信道。,定理1:若信道的输入、输出分别为N长序列X和Y，且信道是无记忆的，即：,用两个定理回答这个问题,定理2：若信道的输入、输出分别为N长序列X和Y，且信源是无记忆的，即：,当每个序列中的分量Xi取值于同一信源符号集，且具有同一种概率分布，则输出Y的分量Yi也取值同一符号集，则各I（Xi；Yi）是相等的。即：,对于N次扩展，则有,一.级联信道（串联信道）,第三节 信道组合,消息依次通过几个信道串行传输：,级联信道的平均互信息存在两个定理:,定理1:级联信道中的平均互信息满足以下关系,Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.,定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有,可得：在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦丢失信息，以后系统不管如何处理，如果不涉及到该信道过程的输入端，都不能恢复已丢失的信息信息不增性原理。,当信道不断级联时，信道的最终传输信息量趋于0串联信道的总信道矩阵,定理2表明：通过串联信道的传输只会丢失信息，至多保持原来的信息量。,例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信道矩阵。,多个信道联合起来使用,当待发送的消息比较多时，可用多个信道并行传送，香农称之为平行信道 有各自的输入和输出，最后总和。,二.并联信道,一个输入多个输出，且为相同的输入。 缺点是信道的利用率低，但可提高信息传输的可靠性。,传输信息时，每次只使用其中一个信道，它的信道矩阵：,一. 基本概念： 1.信道容量C：信道能无错误地传送的最大信息率,第四节 信道容量,2.信道的信息传输率R ：信道中平均每符号所能传送的信息量,3.信道的信息传输速率：信道在单位时间内平均传输信息量,信道在单位时间内传输的最大信息量为,例4-6：,考虑二元对称信道，其信源概率空间为,求该信道的信道容量。,1.无损信道：一个输入对应多个互不相交的输出,二.几种特殊信道的信道容量,H(Y|X)0 (称噪声熵),则：,信道容量：,2.确定信道：一个输出对应多个不相交的输入,信道疑义度H(X|Y)0,单位：比特/符号,3.无损确定信道：输入与输出一一对应,H(Y|X)=0 H(X|Y)=0 则 I(X;Y)=H(X)=H(Y)信道中没有损失,单位：比特/符号,可知：对于无噪信道求C的问题已从求 I(X;Y)极值问题退化成求H(X)或H(Y)极值问题。,如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。 如果信道矩阵的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩阵的列将信道矩阵划分成或干对称的子矩阵，则称该信道为准对称信道。 若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。,对称信道,准对称信道,三.离散对称信道,对称信道,1.定义：,则称此信道为均匀信道。（对称信道的特例）,注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为1,2.离散对称信道的C,证明：,则有：,结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。,例4-7：求具有以下信道矩阵的信道的信道容量,解：分析可知这是一个对称信道，则信道容量为,结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit 。,对于二元对称信道：r=2，则信道容量C：,解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则,引理：对于一个离散对称信道，只有当信道输入分布p(x)为等概率分布时，输出分布才能为等概率分布。,证明：设该信道有r个输入符号，当输入等概分布时，有,根据全概率公式，输出为,由对称信道可知，每列元素之和相等，设为,则该矩阵所有元素之和为,从矩阵的行可知所有元素之和为r，则,所以有：,表明：对于一个离散对称信道，当信道输入分布p(x)为等概率分布时，输出分布为等概率分布。,3.准对称信道的C,例4-9：求二元对称删除信道的信道容量。,为拉格朗日乘子，待定常数,根据高数知识,首先构造函数：,四.一般离散无记忆信道的C,对p(ai) 求偏导，并令偏导等于0，即：,例4-10：设有扰离散信道的传输情况如图所示，求C以及达到C时的输入概率分布 .,利用对称信道的信道容量公式求得：,解：I(X;Y)=H(Y)-H(Y|X),则有：,达到C时的输入分布：,解：N个二元对称信道级联后的总信道矩阵为,五. 组合信道的C,1.级联信道,此时C=0,2.输入并接信道,C大于任意一个组成信道的信道容量。上界为,3.并用信道(独立并联信道),4.和信道,即C为各组成信道的信道容量之和,六.N次扩展离散无记忆信道的信道容量,表示某时刻通过离散无记忆信道传输的最大信息量。,则：,对于离散无记忆信道有：,对于N次扩展信道，任何时刻 是相同的。,七.香农信道容量公式,限带、 加性白色高斯噪声的信道容量,著名的信道容量的 香农公式,在这种信道中，输入输出信号和噪声都被限制在一定的频带中，一般设此频带为，B。信道传输的费用就是信号的功率。又设信道的噪声为加性的、高斯的且具有平坦的功率谱，均值为。,例4-12: 已知信道的带宽B为3kHz,信号在信道传输中受到单边功率谱密度 为 的加性白高斯噪声的干扰,信号的平均功率S为9W. (1)求信道的容量; (2)若信道带宽增加到原来的10倍,并保持信道容量不变,那么信号平均功率要改变多少dB?,无损信道的剩余度,第五节 信源与信道匹配,一.信道剩余度,=C-I(X;Y)=C-R,二.相对剩余度,=1-R/C,对于无损信道,C=log r,无损信道的相对剩余度,信源的剩余度,对于无损信道，可通过信源编码，减小信源的剩余度，提高信道的信息传输率使之达到C。,例4-13： 有一个二元对称信道，其信道矩阵如图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(1)=p(0)=1/2。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真传送完。,解： 分析得消息信源的熵为H（X）=1比特 则这个消息序列含有信息量 14000*1=14000比特。,由图可知，信道矩阵为：,由信道矩阵可知，此信道为二元对称信道，所以其信道容量（最大信息传输率）为：,信道的最大信息传输速率：,信道在10秒钟内能无失真传输的最大信