信息论第2章-信道模型及信道容量资料.ppt

信息论InformationTheory,哈尔滨工程大学2013,王逸林,Tel:82519503E-mail:wangyilin,第2章信道模型及信道容量,2.1信道的数学模型及分类2.2信道传输的平均互信息1.3平均信息量1.4消息序列的熵1.5连续信源的信息度量1.6信源的相关性和剩余度,2.1信道的数学模型及分类,什么是信道？是传送信息的载体信号所通过的通道。,信道的输入输出信号之间一般不是确定的函数关系，而是统计依赖的关系！,输出信号产生错误和失真,信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。,研究：在什么条件下，通过信道的信息量最大？多少？,工程物理背景传输媒介类型；数学描述方式信号与干扰描述方式；信道本身的参数类型恒参与变参；用户类型单用户与多用户；输入、输出随机变量的个数单符号信道与多符号信道。,2.1.1信道的分类,以太？,工程物理背景传输媒介类型；数学描述方式信号与干扰描述方式；信道本身的参数类型恒参与变参；用户类型单用户与多用户；输入、输出随机变量的个数单符号信道与多符号信道。,信道的分类,根据输入、输出随机信号特点：离散信道输入、输出随机变量均离散取值连续信道输入、输出随机变量均连续取值半离散(连续)信道一为离散，另一为连续,C1狭义的传输信道连续信道；C2广义的传输信道离散信道；C3离散半连续信道C4连续半离散信道,工程物理背景传输媒介类型；数学描述方式信号与干扰描述方式；信道本身的参数类型恒参与变参；用户类型单用户与多用户；输入、输出随机变量的个数单符号信道与多符号信道。,信道的分类,单符号信道输入、输出均用随机变量表示多符号信道输入、输出用随机矢量表示,2.1.2离散信道的数学模型,涉及输入和输出两个随机过程，其之间统计依赖关系由条件概率来描述.,包含了信道噪声与干扰的影响反映了信道的统计特性,单维离散信道的数学模型,输入信号与输出信号间是基于信道的统计依赖关系这种统计依赖关系是通过条件概率来描述的。,信道转移概率/传递概率：,当输入为ai时，输出一定是bj中的一个,单维离散信道的数学模型,信道转移矩阵：,单符号信道的数学模型：,单维离散信道的数学模型,输入输出的联合概率为：,称作输入概率/先验概率,称作后向概率/后验概率,称作前向概率,称作输出概率,单维离散信道的数学模型,后验概率：,输出符号概率：,当输出为bj时，输入一定是ai中的一个,2.2信道传输的平均互信息,平均互信息量,互信息量：先验的不确定性减去尚存在的不确定性。就是收信者收到的信息量，称为互信息量。得到信息消除了不确定性，不确定性减少就是所获得的信息量。,平均互信息量,当信宿Y收到某一具体符号bj(Y=bj)后，推测信源X发符号ai的概率，已由先验概率p(ai)转变为后验概率p(ai/bj)，从bj中获取关于输入符号的信息量，应是互信息量I(ai;bj)在两个概率空间X和Y中的统计平均值：,（j=1,2,s),由互信息量的三种表示方式，可得到平均互信息量相对应的三种表达形式：,称为信源熵或先验熵,H(X/Y)称为信道疑义度，损失熵。表示信息在有噪信道中传输所引起的信息量的减少。,H(Y/X)散布度，噪声熵。表示由噪声引起的不确定性的增加。,称为信宿熵,熵的关系,损失熵,噪声熵,熵的关系,损失熵,噪声熵,熵的关系,损失熵,噪声熵,平均互信息I(X；Y)的特征：平均互信息量的非负性平均互信息量的极值性平均互信息量的交互性（对称性）平均互信息量的凸函数性,1.平均互信息量的非负性,虽然互信息量可能为负，但平均互信息量一定为正，除非信道输入和输出完全统计独立，所有的信息都损失在信道里了。,2.平均互信息量的极值性,信道的疑义度总大于零，所以平均互信息量总小于熵。也就是说当信道的信息传输没损失时，接收信息量等于信源输出符号平均信息量。,3.平均交互信息量的交互性,证明：,结论,平均互信息量的非负性平均互信息量的极值性（凸函数）平均互信息量的交互性（对称性）,平均互信息特性：,2.3离散信道的信道容量,信息传输率：表征平均每个符号通过信道所传输的信息量。由于平均互信息代表了信道传输过去的那部分信源信息，因此传信率数值上就应该等于信道的平均互信息。,有时需要了解信道在单位时间内平均传输的信息量，记作：,信道容量,信道对于一切可能的概率分布而言能够传送的最大熵速率。,理论上能传输的最大(有用)信息量最大信息传输率,定理2.1在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。,因此总存在某种信源分布P（x）能使得传信率最大。,信道容量与输入信源的概率分布无关只是信道转移概率的函数，只与信道统计特性有关,信道容量是确定的，不随输入信源的概率分布而变化，其大小直接反映了信道质量的高低。,信道编码定理,信道编码定理（有噪信道编码定理）即香农第二定理：设有一离散无记忆平稳信道，其信道容量为C，输入序列长度为L，只要待传送的信息传输率RC时，任何编码的Pe大于零。,信息传输率R就是平均户信息,求信道容量C的方法：信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。不同的信道，其容量C是不同的。,2.3.2简单离散信道的信道容量,1、无噪无损信道,简单离散信道：输入输出之间为确定关系或简单的统计依赖关系,2、有噪无损信道,3、无噪有损信道,1、无噪无损信道容量,平均互信息量：,损失熵和噪声熵：,无噪无损信道容量等于信源的最大熵速率,信道转移矩阵单位阵：元素为0、1,信源X共有r个符号等概率分布时信源熵H(X)最大,一对一,2、有噪无损信道容量,有噪无损信道容量（有噪声但噪声比较小，不能造成熵的损失）等于信源的最大熵速率,损失熵和噪声熵：,平均互信息量：,一对多,信道转移矩阵每列只有一个非0元素；元素不全是0、1,无损信道,平均互信息量：,损失熵和噪声熵：,无损信道容量等于信源的最大熵速率,一对一,1、无噪无损信道2、有噪无损信道,一对多,信道转移矩阵中每一列有且仅有一个非零元素。,3、无噪有损信道容量,无噪有损信道容量（信道没有噪声，但发生损失）等于信宿的最大熵速率,损失熵和噪声熵：,多对一,平均互信息量：,信道转移矩阵每行只有一个非0元素；元素为0、1,信宿Y共有s个符号,无损信道,信道转移矩阵中每一列有且仅有一个非零元素。,无噪信道,信道转移矩阵中每一行有且仅有一个非零元素。,收到Y后，能确定X,无损信道,无噪信道,收到X后，能确定Y,有噪有损信道,信道转移矩阵中至少有一行存在一个以上的非零元素；同时至少有一列存在一个以上非零元素。,有噪有损信道,信道转移矩阵中至少有一行存在一个以上的非零元素；同时至少有一列存在一个以上非零元素。,术语：行可排列矩阵每行各元素都来自同一集合PPp1,p2,pm(排列可不同)列可排列矩阵每列各元素都来自同一集合QQq1,q2,qn(排列可不同)矩阵可排列矩阵的行、列皆可排列,对称离散信道的信道容量,信道转移矩阵中所有行都是第一行的一种排列，就称信道输入为对称的。这种信道称为输入对称离散信道。,输入对称离散信道,行可排列,行矢量：,输入对称离散信道性质：,信道转移矩阵中所有列都是第一列的一种排列，就称信道输出为对称的。这种信道称为输出对称离散信道。,输出对称离散信道：,列可排列,列矢量：,输出对称离散信道性质：,若信道输出为对称的，当输入信源的概率分布等概时，则输出概率分布也等概。,列可排列：,输入概率分布等概：,若信道转移矩阵对于输入和输出都是对称的.这种信道称为对称离散信道。,对称离散信道：,行、列皆可排列,对称离散信道的信道容量,所以,信道容量,将转移阵中的任一行看作一个信源集H(s)熵,根据性质，输入等概率情况下，输出概率也相等，所以输入等概分布时的信息传输量即是信道容量。,例:求下列信道的信道容量,信道转移矩阵切分成几个子集，而每个子集所对应的信道转移矩阵满足：(1)每一行都是第一行的一种排列；(2)每一列都是第一列的一种排列.这种信道称为准对称离散信道。,准对称离散信道,准对称离散信道的信道容量,准对称离散信道的信道容量为,其中r是输入符号集的个数；设矩阵可划分成n个互不相交的子集；是第k个子矩阵中行元素之和，是第k个子矩阵中列元素之和。,当信道输入概率分布为等概的情况下达到信道容量：,例：某信道的信道矩阵为,求信道容量。,解：N1=1-q,M1=1-q,N2=q,M2=2q,强对称离散信道/均匀信道,输入符号与输出符号个数相同，且信道矩阵为,总的错误概率：,强对称信道具备四个特征：1.矩阵中的每一行都是第一行的排列；(行对称)矩阵中的每一列都是第一列的排列。(列对称)2.信道输入与输出消息（符号）数相等，即r=s。3.错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。4.不仅每一行元素之和为1，每一列元素之和也为1。显然，对称性的基本条件是1，而2、3、4是加强条件。,强对称离散信道/均匀信道,强对称离散信道/均匀信道,信道容量：,二元对称信道，r=2的均匀信道，信道容量：,时，,此时不管输入概率分布如何，都能达到信道容量.,定义给定信道时，对所有可能的输入概率分布求平均互信息的极大值！,平均互信息量是输入概率分布的凸函数，所以极大值一定存在！求极值可以采用拉格朗日乘子法。,是r个变量的多元函数,多元函数求条件极值问题,一般离散信道的信道容量,拉格朗日乘子法：,取极值的约束条件：,一般离散信道的信道容量,解：,一般离散信道的信道容量,一般离散信道的信道容量,令,则,一般离散信道的信道容量,信源符号对输出端平均提供的互信息。,其中,可得,一般离散信道的信道容量,一般离散信道的信道容量,定理2.3设有一般离散信道，它有r个输入符号，s个输出符号，其平均互信息达到最大值的充要条件是输入概率分布满足,任意非零概率信源符号对输出端平均提供的互信息都相等。,一般离散信道的信道容量,定理2.3的充要条件：,由于：,可改写为：,一般离散信道的信道容量,定理2.3结论：当信道平均互信息达到信息容量时，输入信源符号集中每一个信源符号对输出端Y提供相同的互信息，只是概率为零的符号除外。,但当提高时，必然减小。,若xi对输出Y提供平均互信息高于其他符号，则直观上想可通过提高的方法可增大总的平均互信息,一般离散信道的信道容量,定理2.3只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出输入符号的概率分布值，因而也没有给出信道容量的数值；另外，定理本身也隐含着达到信道容量的最佳分布并不一定是惟一的。只要是输入概率分布满足要求，并使最大，它们都是信道的最佳分布。,在某些条件下采用求解方程组式的方法可以计算C：,令,一般离散信道的信道容量,这是一个含有s个未知数、由r个方程组成的方程组。当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。,一般离散信道的信道容量,解得：,求得信道容量为：,求解过程：,利用方程求解（当r=s）利用求解C，利用求,一般离散信道的信道容量的求解,例：求以下信道的信道容量。信道矩阵,一般离散信道的信道容量的求解,解：,比特/符号,一般离散信道的信道容量的求解,一般离散信道的信道容量的求解,例：已知信道的转移矩阵为，求信道容量。,解：设输入概率分布,1）采用上述方法求出信道容量以后，还必须解出，因为在采用拉格朗日数乘法时并没有加上的约束条件，因此算出的可能是负值。当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。,补充：,一般离散信道的信道容量的求解,一般信道容量迭代算法,一般信道容量迭代算法,一般信道容量迭代算法,2.5信道的组合,信道的组合,串联信道并联信道,基本的组合下组合信道的信道容量与其组成信道容量之间的关系,2.5.1串联信道及其信道容量,信道串联的主要条件是前一信道的输出符号集与后一信道的输入符号集一致。,信道I的转移概率是信道II的转移概率一般与前面的符号X和Y都有关,信道串联等价于一个总的离散信道，其输入为X，输出为Z，则此信道的转移概率为：,若信道II的转移概率使其Z只与输入Y有关，与前面的输入X无关，即满足：,称这两信道的输入和输出X，Y，Z序列构成马尔可夫链,串联信道的信道容量,X，Y，Z序列构成马尔可夫链，则有,定理2.5:,这表明通过串联信道的传输只会丢失更多的信息！,串联信道的信道容量不可能大于各组成信道的信道容量。,信息不增性原理,串联信道的信道容量,设有N个信道被串联在一起，各信道的转移矩阵分别为，则总的串联信道的转移矩阵为：,串联信道的信道容量,串联信道的信道容量,有两个信道的信道转移矩阵分别为：,例2.10：,求证,和,解：,2.5.2并联信道及其信道容量,信道并联有两种方式：,这两种并联信道从其输入/输出符号集及其使用方式来看是很不一样的！,输入并联信道,它的N个组成信道是具有相同的输入符号集，且输入被同时使用，而N个组成信道的输出是各自不同的,输出矢量,并联信道(a),并用信道,N个组成信道的输入与输出彼此独立，各不相同，分别对应着并联信道输入矢量和输出矢量的一个分量，各并用信道中的各个组成信道仅在使用上被并起来,并联信道(b),传输的平均互信息为：,并联信道(a)信道容量,信道的信道容量一定大于其中任意一个组成信道的信道容量。但是,输入并接信道的效率很低，但利用它可以提高信息传输的可靠性！,各组成信道有各自的输入与输出：,并联信道(b)信道容量,通过并用信道传输的平均互信息为：,当且仅当相互独立时,MIMO技术,2.4连续/波形信道的信道容量,输入和输出随机变量、随机序列的取值都是连续的信道。根据噪声形式的不同可被分为：加性噪声信道/乘性噪声信道根据噪声统计特性的不同又可分为：高斯噪声信道/白噪声信道/高斯白噪声信道色噪声信道。,连续信道,模型噪声与输入X统计独立噪声以相加形式出现,加性(连续)信道,(1)p(y/x)=p(n)信道的条件概率密度=噪声的概率密度(2)Hc(Y/X)=Hc(N)噪声熵=噪声信源的熵,加性(连续)信道的重要性质,单维连续信道的信道容量：,连续信