第10讲——信道与信道容量2013B.ppt

信道及其容量(第四章）,第十讲,信道：传输信息的通道或媒质在通信中，信道按其物理组成被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律。信息论关注信息通过有扰信道的传输问题。用数学方法研究信息在信道中传输的规律，因此我们首先需要确定信道的数学模型。,信道的基本概念,设信道的输入输出信道转移概率矩阵：描述输入和输出的统计依赖关系,信道,X,Y,p(Y|X),信道数学模型,X,p(Y|X),Y,按信道的输入和输出在幅度和时间上的取值时间离散的离散信道（离散信道）时间离散的连续信道（连续信道）时间连续的离散信道时间连续的连续信道（波形信道）,信道分类,按输入输出之间关系的记忆性来划分：无记忆信道信道的输出只与信道该时刻的输入有关,而与其它时刻的输入无关有无记忆信道信道的输出不但与信道现在时刻的输入有关，而且还与以前时刻的输入有关,信道分类,按输入输出信号之间的关系是否是确定关系无干扰信道：输入和输出符号之间有确定的一一对应关系有干扰信道：输入和输出之间关系是一种统计依存的关系输入和输出的统计特性：恒参信道和随参信道对称信道和非对称信道,信道分类,离散无记忆信道,信道转移矩阵,输入符号X取值0,1输出符号Y取值0,1信道转移概率p(0|0)=1-pp(1|1)=1-pp(0|1)=pp(1|0)=p,无错误传输的概率,传输发生错误的概率,二元对称信道（BSC）,输入符号X取值0,1输出符号Y取值0,1,2信道转移概率,二元纯删除信道（BEC）,p(0|0)=1-pp(0|1)=0p(2|0)=pp(2|1)=pp(1|0)=0p(1|1)=1-p,研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率平均互信息I(X;Y)接收到符号Y后平均每个符号获得的关于X的信息量。,信道容量,信道容量,给定转移概率P后,平均互信息I(X;Y)是输入信源的概率分布q(x)的上凸函数。,离散无记忆信道的信道容量定义为,信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。,回顾,定义,即为改变输入分布时，使每个符号所能含有的平均互信息量的最大值，相应的输入分布称为最佳分布。,输入概率矢量,达到转移概率为,的DMC的容量C的充要条件为,其中，,定理：达到C的充要条件,在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息大于其它任一输入与所有输出之间的平均互信息，我们就可以通过更经常采用这个输入k（即加大Qk）。但这样做会改变每个输入与所有输出之间的平均互信息量（由概率归一性约束）。通过足够多次的调整输入概率分布，就可使每个概率不为零的输入与所有输出之间的平均互信息量任意接近。,定理与直观概念一致,令,是定义在R上的凸函数，其中=(1,2,K),存在且在R域上连续，,在R上为极大的充分必要条件是,Kuhn-Tucker条件,为一概率矢量。假定偏导数,对所有k0,对所有k=0,其中为一常数。,是,的上凸函数，故必有最大值，由K-T条件，,为最佳分布的充要条件是,为常数,达到C的充要条件,证明：,为常数,从而充要条件为,令,，则,对,左右两边乘以,，并对,得到给定信道在分布,即达到了信道容量值。,下，输入和输出之间的信息量,为常数,从而充要条件为,则充要条件可写为,求和，就可以,对于一般信道,信道容量计算相当复杂,数值解。我们只讨论某些特殊类型的信道几种特殊类型的信道无噪无损信道有噪无损信道无噪有损信道(准)对称信道可逆矩阵信道,信道容量计算,无噪无损信道输入和输出符号之间有确定的一一对应关系,X,a1b1Ya2b2a3b3,1,1,1,无噪无损信道容量,X,a1b1a2b2ak-1bk-1akbk,1,1,Y,噪声熵H(Y|X)=0，损失熵H(X|Y)=0因此,无噪无损信道容量,无噪有损信道多个输入变成一个输出(KJ),X,a1b1a2a3a4b2a5,1,1,1,1,1,输出Y是输入X的确定函数,但不是一对一,而是多对一,无噪有损信道容量,Y,噪声熵H(Y|X)0损失熵H(X|Y)0,有噪无损信道一个输入对应多个输出(KJ),X,b1Ya1b2b3a2b4b5,1/3,1/3,1/3,1/4,3/4,有噪无损信道容量,接收到符号Y后,对发送的X符号完全确定的。噪声熵H(Y|X)0，损失熵H(X|Y)=0,对称性:若P的任一行是第一行的置换，则称信道是关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。,对称信道,不具有对称性,若信道输出集Y可以划分成几个子集，而每个子集所对应的信道转移矩阵P中的列组成的子阵具有如下性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道。,准对称信道,若列子集只有一个，则为对称信道。,定理1若DMC关于输入为对称的，则对任意k0,1,K-1,准对称信道特点,证明,关于输入对称，则P的任一行是第一行的置换，即,于是,定理2若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明：关于输出对称，即任何一列是第一列的置换设q(x)=1/K，x0,1,K-1，则,准对称信道特点,根据概率归一性，,此时,，即输出等概分布,定理3对于准对称DMC信道（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为,准对称信道容量特点,最佳输入分布为等概分布,若信道为准对称，则当输入等概时，有,子集Ys中相应子阵的列是可置换的，所以，对此子阵中的每一个输出j，概率,证明：,准对称信道容量特点,准对称，可将可将Y划分为一些子集Ys,都相等，,又在同一个子阵中，各行又都是第1行的置换，所以,满足了K-T条件，从而证明输入等概情况下达到信道容量。,准对称信道容量特点,准对称DMC信道,准对称信道容量计算公式,对称DMC信道,例：二元对称信道（BSC）,比特/符号,对称信道最佳输入分布为等概分布当输入等概时，输出分布也为等概信道容量,例：KSC信道容量,对称DMC信道,比特/符号,例:二元纯删除信道（BEC）,比特/符号,准对称信道,例：二元删除信道容量,当q=0时，简化为BSC。当p=0时，简化为纯删除信道。达到信道容量时的最佳输入分布为等概分布。信道容量是转移概率矩阵任何一行所对应的半平均互信息量。,准对称信道,它为准对称信道，,达到C的分布为等概分布，即,解：,BSC(q=0)C=1-H(p)纯删除信道(p=0)C=1-q,二元删除信道容量,DMC的输入为X，X的所有事件为0,1,K-1；DMC的噪声为Z，Z的所有事件为0,1,K-1；DMC的输出为Y，Y的所有事件为0,1,K-1；X与Z相互独立；Y=X+Z(modK)。,例：模K加性噪声信道,求信道容量C,若记P(Z=z)=sz，则转移概率矩阵为,例模K加性信道容量,显然，模K加性噪声信道是对称DMC，则信道容量为,p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y)=P(Z=y-x(modK),假定所有输入字母的概率,，则,由,可得,即,可逆矩阵信道容量,令,，得,可以看成是有J个未知数的线性方程组。由假设P是非奇异矩阵，故必有唯一解。,令,是其解，由上假设,又,，可得,可逆矩阵信道容量,对上面得到的解进行验证。,特别注意,可逆矩阵信道容量,计算wj,计算Qk,求解方程组,验证,若即所得到的解是正确的,否则满足条件的最大值在边界上，于是,令某个,为0，,再次进行试解。,多解,有时要令多个,为0，进行试解,特别,例题,DMC信道的转移概率矩阵为,求其信道容量C。,非奇异矩阵