《信道模型信道容量》PPT课件.ppt

1,第3章 信道容量,3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理,2,3.1 信道的数学模型和分类,信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。X与Y之间是统计依赖关系。 信道的数学模型：X P(y/x) Y,3,信道的基本概念,信道的任务：以信号的方式传输信息和存储信息 信道中存在随机噪声 输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 研究信道的目的：信道能够传输或存储的最大信息量，即信道容量,4,信道的分类按时间特性,根据输入输出事件的时间特性和集合的特点： 离散信道：输入离散，输出离散 连续信道：输入连续，输出连续 半连续信道：输入和输出一个离散一个连续 时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列,5,信道的分类按输入输出个数,根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只有一个事件集； 多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。,6,信道的分类按信道接入,根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。,7,信道的分类按统计特性,根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。,8,信道的分类按记忆特性,根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。,9,离散信道的数学模型,10,离散信道的数学模型,11,离散无记忆信道,定义：离散无记忆信道 若离散信道对任意N长的输入、输出序列，有 称它为离散无记忆信道，简记为DMC。其数学模型为 对于DMC，在任何时刻信道的输出只与此时的信道输入有关，而与以前的输入无关。,12,离散无记忆平稳信道,13,无扰（无噪）信道,根据信道的统计特性不同可分为 无扰（无噪）信道 有干扰无记忆信道 有干扰有记忆信道,14,有干扰无/有记忆信道,有干扰无记忆信道：信道中存在随机干扰，输出符号与输入符号之间无确定的对应关系。但是，信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号。可用下述条件概率表示： 有干扰有记忆信道：实际信道往往是既有干扰又有记忆的。（两种处理方式）,15,单符号离散信道,16,单符号离散信道,17,信道矩阵,信道传递概率实际上是一个传递概率矩阵，称为信道矩阵P。,18,给定一个离散信道如下图所示。输入符号集和输出符号集分别为 X=0,1和Y= 0,1，传递概率为 二元对称信道简记为BSC。其信道矩阵为 1-p表示单个符号无错误传输的概率； p表示单个符号传输中发生错误的概率。,二元对称信道-例题,19,二元删除信道-例题,对于二元删除信道，n=2,m=3。输入集X取值于X=0,1，输出集取值于Y=0，2，1。 其传递概率、信道矩阵如下图所示： 其中： p和q表示单个符号无错误传输的概率； 1-p和1-q表示单个符号传输中发生错误的概率。,20,二元对称消失信道-例题,二元对称消失信道中，n=2，m=3。输入集X的取值为X=0,1，输出集Y的取值为Y=0,x,1。 输出集中多了一个符号x，使得在一定概率下，输入X的输出为“0”还是为“1”不可确定，这就使一定概率的X在输出端“消失”了。 二元对称消失信道的传递概率和信道矩阵如下所示：,21,离散信道中的一般概率关系,先验概率 联合概率 前向概率 后向概率 输出符号概率,22,离散信道中的一般概率关系,联合概率 输出符号概率： 后向概率,23,平均互信息,定义：原始信源熵与信道疑义度之差称为平均互信息,24,平均互信息,25,例1 二元删除信道,传递概率及信道矩阵分别为 输入集X的概率分布为PX=1/4,3/4 则输出集Y的分布为,26,例1 计算信源熵,27,例1 计算信道疑义度,28,例3.2.1 -分析,29,例2 计算并分析平均互信息,掷骰子，如果结果是1，2，3或4，则抛一次硬币；如果结果是5或者6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷骰子的信息量。 可以用一个无记忆信道来描述，设掷骰子结果是1，2，3或4的事件X0，结果是5，6为事件X1。 输出符号集Y0表示抛币出现0次正面，Y=1表示出现1次正面，Y=2表示2次正面。,30,例2 计算H(Y),H(Y/X),I(X;Y),31,例2 计算H(X),H(X/Y),H(X,Y),32,例3 分析二元对称信道,考虑二元信道,33,例3 信道的互信息量,34,例3二元对称信道的平均互信息,由条件概率的关系式可知,35,例3固定二元对称信道的平均互信息,二元对称信道的平均互信息为： 定理：当信道固定，即 p 为一个固定常数时，可得出 I (X;Y )是信源分布 w 的上凸函数，如下图所示（固定二元对称信道的平均互信息）,36,例3固定二元对称信道的平均互信息,图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。 当输入符号为等概率分布时，即 平均互信息量 I (X;Y )为最大值，这时，接收每个符号所获得的信息量最大。 该定理是研究信道容量的基础。,37,例3固定信源分布时的平均互信息,二元对称信道的平均互信息为 定理：当固定信源的概率分布 w 时，则平均互信息 I (X;Y) 是信道特性 p 的下凸函数，如下图所示：,38,例3固定信源分布时的平均互信息,从上图可知，当二元信源固定后，改变信道特性 p 可获得不同的平均互信息I ( X;Y ) 。 当 p = 1/2 时，I ( X;Y ) = 0，即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。 该定理是信息率失真论的基础。,39,第3章 信道容量,3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理,40,信道容量的定义,定义：信道容量为平均互信息的最大值 其单位是比特/符号或奈特/符号。 平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。 对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息 I(X;Y)最大，而相应的概率分布 p (x) 称为最佳输入分布。,41,信道容量的概念,信道容量C仅与信道的统计特性有关，与信源分布无关。 I (X;Y ) 的值是由信道传递概率决定的。 信道传递概率矩阵描述了信道的统计特性 平均互信息 I (X;Y ) 在数值计算上表现为输入分布 p(x) 的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。 信道容量表征信道传送信息的最大能力。 实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。,42,信息传输率R与信息传输速率Rt,R 定义为：信道中平均每个符号所能传送的信息量。单位为：比特/符号。 平均互信息I ( X;Y )是接收到符号Y 后平均每个符号获得的关于X 的信息量。 信道的信息传输率就是平均互信息 R = I ( X;Y ) 如果平均传输一个符号为 t 秒，则信道每秒平均传输的信息量 Rt（单位：比特/秒）， 一般称为信息传输速率：,43,信道容量与信息传输速率,信道容量 C 实际上是某一个固定信道的最大的信息传输速率。 如果平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量 Ct（单位：比特/秒）为：,44,第3章 信道容量,3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理,45,几种特殊离散信道的信道容量,离散无噪信道的信道容量 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量,46,离散无噪信道,离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类： 无损信道 无噪（确定）信道 无噪无损信道,47,损失熵H(X/Y)与噪声熵H(Y/X),48,无损信道,无损信道的一个输入对应多个互不相交的输出。如右图所示,1/10,49,无损信道的信道容量,50,无噪信道,无噪信道的一个输出对应着多个互不相交的输入，如右图所示。,51,无噪信道的信道容量,52,无损无噪信道,无损无噪信道的输入和输出是一一对应关系，如右图所示。,53,无损无噪信道,54,几种特殊离散信道的信道容量,离散无噪信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量 强对称离散信道的信道容量,55,离散对称信道,信道矩阵具有很强对称性的特殊信道 离散输入对称信道 离散输出对称信道 对称信道,56,离散输入对称信道,定义：若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。 矩阵的行是排列的。,57,离散输出对称信道,定义：若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道。 矩阵的列是排列的。,58,离散准对称信道、对称信道,定义：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y(即信道矩阵的行)可以将信道划分成s个子集(子矩阵)，每个子矩阵中的每一行(列)都是其它行(列)的同一组元素的不同排列，则称这类信道为离散准对称信道。 矩阵的行是可排列的，列不可排列。 子矩阵具有可排列性。 当划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道。 矩阵具有可排列性：矩阵的行和列都是可排列的。,59,离散（准）对称信道举例,60,定理,定理 ：若一个离散对称信道具有 n 个输入符号， m 个输出符号，则当输入为等概分布时，达到信道容量，且 引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。,61,定理证明,62,定理证明（续）,这表明达到信道容量 C 的概率分布是使输出为等概分布的信道输入分布。故 求离散对称信道的信道容量，实质上是求一种输入分布 p(x) ，它使输出熵 H(Y) 达最大。,63,定理证明（续）,信道输入分布为等概分布时，输出分布才能为等概分布,64,例,65,定理(准对称信道),如果一个n行m列单符号离散信道矩阵 P 的行是可排列的，列不可排列。矩阵中的m 列可分成 s 个不相交的子集分别有m1 , m2 ,., ms 个元素（ m1 + m2 +.+ ms =m），n行 mk , ( k = 1,2, . ,s ) 列组成的子矩阵 P k 具有可排列性。该准对称信道的容量为： 实现离散准对称无记忆信道信道容量的输入符号集的分布为等概分布。,66,定理(准对称信道),在证明过程前，先给出一般离散信道达到信道容量的充要条件 【定理】一般离散信道的平均互信息达到极大值（即信道容量）的充要条件是输入概率分布满足： 这时C就是信道容量,67,定理(准对称信道),是输出端接收到Y后，获得关于 的信息量；也是信源符号 对输出信号Y平均提供的互信息 对X求均值即为平均互信息,68,定理(准对称信道),定理的理解： 信道容量C是平均互信息的最大值，即在平均互信息的计算式中调节输入概率分布，所能取得的最大值，而平均互信息是 的均值 用反证法：假如 为了平均互信息达到最大值，我们必然会调节 ，而加大 最终，所有不是最大的 会调整它对应的输入概率,69,准对称信道的信道容量,下面证明准对称信道的最佳输入概率为等概率分布。设信道转移概率矩阵P中有L个对称子集 ，若信源含有r个消息，等概率分布，,70,准对称信道的信道容量,由于 是对称矩阵： 每一列是其他列的置换， 是某一列的求和，是个定值，不随 的变化而变化； 每一行也是其他行的置换，无论任何的 M都是个定值,71,准对称信道的信道容量,是M对所有对称矩阵的求和式，因此也是个定值，不随 的变化而变化 最后，根据定理， 就是信道的信道容量，得证准对称矩阵的最佳输入分布为等概率分布,72,例题 (准对称信道),73,均匀信道（强对称信道）,74,均匀信道的几个特性,均匀信道是对称信道的一个特例； 输入符号数与输出符号数相等； 信道中总的错误概率为 p ，对称地平均分配给 n 1 个输出符号，n 为输入符号的个数； 均匀信道中不仅各行之和为 1，而且各列之和也为 1 一般信道各列之和不一定等于 1 二元对称信道就是 n = 2 的均匀信道。,75,均匀信道的信道容量C,76,例5 二元对称信道的信道容量,77,例5（续）,78,二元对称信道的信道容量,79,第3章 信道容量,3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.2.1 信道容量的定义