2013.信息论.第4章离散信道及其容量.ppt

1、1, 4.1 信道模型及其分类 一、信道的数学模型 信道是信息传输的媒质或通道。其数学模型如下:,信道相当于一个数学变换，可以用条件概率描述p(y/x)。,干扰,第4章 离散信道及其容量,输入事件的概率空间为X P,输出事件的概率空间为Y P,2,二、信道的分类 1、根据输入输出事件的时间特性和集合的特点 离散信道：和都是离散事件集合，数字信道 连续信道：和都是连续事件集合，模拟信道 半连续信道：和一个是离散事件集合，一个是连续事件集合 时间离散的连续信道：信道输入和输出是有限或可数个取值于连续集合的序列。 波形信道：信道输入和输出是随机过程。,3,2、根据输入和输出的个数分为 两端信道：输入

2、和输出都只有一个事件集合，也称单用户信道 。 多端信道：输入和输出至少有一端有两个以上的事件集合，也称多用户信道。 3、根据信道的统计特性分为 恒参信道：信道统计特性不随时间变化。 随参信道：信道统计特性随时间变化。 4、根据信道的记忆特性分为 无记忆信道：信道输出集仅与当前输入集有关 有记忆信道：信道输出集与当前和以前若干个输入集有关。,4, 4.2 离散无记忆信道 一、离散信道数学模型,信道 p(y|x),=X1X2XN,Y=Y1Y2YN,信道特性可用转移概率 p(y|x)=p(y1y2yN|x1x2xN) 描述，信道数学模型为 X p(y|x) Y,输入符号集A=a1,a2,ar，输出符

3、号集B=b1,b2, ,bs 输入序列=X1X2XN，取值x=x1x2xN，xiA 输出序列Y=Y1Y2YN，取值y=y1y2yN，yiB,5,1、离散无记忆信道discrete memoryless channel(DMC) 若离散信道对任意N长的输入输出序列转移概率满足 则称其为离散无记忆信道，其数学模型为 X p(yi|xi) Y,2、平稳信道（恒参信道） 若DMC对于任意给定的 n 和 m 有 p( yn= bj | xn= ai) = p( ym= bj | xm= ai) 则称此信道为平稳信道或恒参信道，即信道转移概率不随时间变化。后面所讨论的离散无记忆信道均是平稳的。,6,3、根

4、据信道的统计特性，离散信道分类 无噪（无扰）信道 信道的输入和输出集存在确定的函数关系。,有干扰无记忆信道,有干扰有记忆信道,7,二、单符号离散信道 1、单符号离散信道输入随机变量为X，取值为x， 输出随机变量为Y，取值为y， 信道传递(转移)概率为,8,信道传递概率实际上是一个传递概率矩阵，称为信道矩阵P。,信道矩阵P的特点： 每个元素均大于等于零； 每行元素之和等于1。,9,二元对称信道，简记为BSC，其信道矩阵为：,10,二元删除信道，输入集X取值于A=0,1,输出集取值于B=0,2,1。其信道矩阵为：,11,二元对称消失信道，信道矩阵和转移概率为：,12,2、常用概率公式 先验概率 前

5、向概率（即信道传递概率）,13,联合概率 后向概率（又称后验概率） 输出符号概率,14,3、信道疑义度 定义：条件熵 定义为信道疑义度。 信宿收到符号Y后，对输入符号X尚存在的平均不确定程度损失熵。 H(X | Y) = 0的信道称为无损信道。,15,4、平均互信息量 定义：原始信源熵与信道疑义度之差 H(X)是先验的不确定性； H(X | Y)是尚存在的不确定性； I(X ; Y)是消除的不确定性； I(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数,16,H(X),H(Y),17,定理一：对于给定的信道，I(X ; Y)是信源分布p(x)的上凸函数。 对于上凸函数，函数值的

6、均值小于均值的函数值。 即：对于信道p(y|x)，假定信源p1(x)，p2(x)，p(x)对应的平均互信息为Ip1(x)，Ip2(x)，Ip(x) 若有p(x) = p1(x) +(1-)p2(x)，01，则 Ip(x) Ip1(x) +(1-)Ip2(x),18,信道容量,P(x),I(p(x),P1(x),P2(x),意义：对于给定的信道，至少存在一个信源，当通过这个信道传递时，可以获得最大的平均互信息。,19,考虑二元信道的情况,20,1-H(P),1.0,0.5,0,w,I(X;Y),固定二元对称信道的平均互信息,21,定理二：对于给定的信源，I(X ; Y)是信源传递函数p(y|x)

7、的下凸函数。 即：对于信源p(x)，假定信道p1(y|x)，p2(y|x)，p(y|x)对应的平均互信息为Ip1(y|x)，Ip2(y|x)，Ip(y|x) 若有p(y|x) =p1(y|x)+ (1-)p2(y|x)，01，则 Ip(y|x)Ip1(y|x)+ (1-)Ip2(y|x) 意义：对于给定的信源，存在一个信道，当这个信源通过时，获得最小的平均互信息。,22,当p=1/2时,I(X;Y)=0,信道输出端获得的信息量最小。,23,4.3、离散无记忆扩展信道 1、离散N次无记忆扩展信道定义： 假设离散信道为X, p(y|x), Y, 输入符号集合：A=a1,a2,ar 输出符号集合：B

8、=b1,b2, ,bs X取值集合为，取值集合为。,信道,Y,p(y|x),24,信道,若 则称其为X, p(y|x), Y的次无记忆扩展信道，记作,若 则称其为X, p(y|x), Y的次有记忆扩展信道。,其数学模型为：,25,2、离散信道N次无记忆扩展信道的概率空间：,输入符号集合为,输出符号集合为,传递概率为,26,3、离散信道N次无记忆扩展信道的平均互信息量：,I(X;Y)是原始信道X p(y|x) Y的平均互信息量， 等号成立的充要条件是信道输入无记忆扩展信源。,若信道是无记忆的，,27,4.4 信道的组合 一、组合信道分类 1、并联信道：两个或两个以上信道并行传送信息,信道1,X1

9、,Y1,信道2,Y2,信道N,XN,YN,X2,扩展信道可以看成N个相同信道的并联组合信道。,并联信道,28,信道1,信道2,X,Y,Z,2、级联信道：两个或两个以上信道串联传送信息,级联信道是最常见的信道组合形式,29,二、级联信道：信道，信道满足: 信道 ：输入X取值 输出Y取值 传递概率 信道 ：输入Y取值 输出Z取值 传递概率 则称此信道I、II形成级联信道。,30,三、级联信道平均互信息量： 1、一般级联信道,等号成立,平均互信息量满足,X、Y、Z构成马尔科夫链,X,Z,Y,31,2、具有马尔科夫特性级联信道,若级联信道中的X、Y、Z构成马尔科夫链,则平均互信息量满足,即,32,设,

10、33,若设X Y Z为马尔可夫链，则串联信道的总的信道矩阵为：,34,35,4.5 信道容量,一、定义： 1、信息传输率 信道中平均每个符号所能传送的信息量。,2、信息传输速率 信道在单位时间内平均传输的信息量。,36,3、信道容量 信道容量定义为平均互信息的最大值。,37,信道容量,P(x),I(p(x),P1(x),P2(x),意义：对于给定的信道，至少存在一个信源，当通过这个信道传递时，可以获得最大的平均互信息。,38,释： 、信道容量表征信道传送信息的最大能力； 信源通过信道实际上传送的信息量不大于信道容量 、I(X;Y)是关于信源p(x)的上凸函数，对于给定的一个信道，存在信源p(x

11、)使得I(X;Y)达到最大； 、使得I(X;Y)达到最大的信源称为最佳分布信源； 、C与p(x)无关，是关于信道p(y|x)的函数。,39,1、离散无噪信道： 输出和输入符号之间存在确定的对应关系,二、几类典型离散信道及其信道容量,40,、无损信道 信道的一个输入对应多个互不交叉的输出，其信道矩阵中每一列中只有一个非零元素，即信道接收到输出以后，必可知发送端的状态 。,41,、确定信道 信道的一个输出对应多个互不交叉的输入，其信道矩阵中每一行只有一个元素为“”，其余元素均为“”。,42,、无损确定信道,信道的输入和输出是一一对应关系，其信道的信道矩阵为单位阵。,43,损失熵和噪声熵,44,等概

12、分布,等概分布,使信道输出为等概率分布p(y)=1/s的输入分布,信道容量和最佳信源,45,、离散输入对称信道 若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。,输入对称信道的噪声熵为,输入对称信道的信道容量为,2、离散对称信道,46,、离散输出对称信道 若一个离散无记忆信道的信道矩阵中，每一列都是其它列的同一组元素的不同排列，则称此类信道为离散输出对称信道。,47,、离散准对称信道 若一个离散无记忆信道，按照信道的输出集Y（即信道矩阵的行）可以将信道矩阵划分成 n个子矩阵，且每个子矩阵中的每一行（列）都是其它行（列）的同一组元素的不同

13、排列，则称此类信道为离散准对称信道。,当等概率分布信源通过离散准对称信道时，平均互信息I(X;Y)达到信道容量C。,48,、离散对称信道 离散准对称信道定义中划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道。,信道容量为,最佳信源为等概率分布信源。,49,、离散强对称信道 若信道输入符号和输出符号个数相同，且信道矩阵为,信道容量为,最佳信源为等概率分布信源。 强对称信道是对称信道的特例。,50,3、离散无记忆N次扩展信道的信道容量 N次扩展信道的信道容量为,信道输入X1,X2,XN取值同一符号集合A； 信道输出Y1,Y2,YN取值同一符号集合B； 最佳信源：通过原始信道时平均互信息达到信道容量的信源的N次无记忆扩展信源。,其中，,51,4、离散独立并联信道 并联信道中，每个信道的输出Yi 只与本信道的输入 Xi有关，而与其他信道的输入输出无关,52,、独立并联信道的信道容量,等号成立 Xi相互独立,Ci 是第i个信道的信道容量；,、独立并联信道的联合平均互信息为