33信道模型信道容量精品文档

第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理1第3章信道容量3.1信道的数学模型和分类13.1信道的数学模型和分类信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。X与Y之间是统计依赖关系。信道的数学模型：{XP(y/x)Y}信道XY干扰23.1信道的数学模型和分类信道是信息传输的媒介或通道。信道信道的分类１－按时间特性根据输入输出事件的时间特性和集合的特点：离散信道：输入离散，输出离散连续信道：输入连续，输出连续半连续信道：输入和输出一个离散一个连续时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列3信道的分类１－按时间特性根据输入输出事件的时间特性和集合的特信道的分类２－按输入输出个数根据信道的输入和输出个数：两端信道（两用户信道）：输入和输出均只有一个事件集；多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。4信道的分类２－按输入输出个数根据信道的输入和输出个数：4信道的分类３－按信道接入根据信道接入的不同：多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。广播信道：单一输入，多个输出。5信道的分类３－按信道接入根据信道接入的不同：5信道的分类４－按统计特性根据信道的统计特性：恒参信道：统计特性不随时间变化；随参信道：统计特性随时间变化。6信道的分类４－按统计特性根据信道的统计特性：6信道的分类５－按记忆特性根据信道的记忆特性无记忆信道：信道输出仅与当前的输入有关；有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。7信道的分类５－按记忆特性根据信道的记忆特性7平均互信息定义：原始信源熵与信道疑义度之差称为平均互信息含义：接收到输出符号集Y以后，平均每个符号获得的关于X的信息量。8平均互信息定义：原始信源熵与信道疑义度之差称为平均互信息8平均互信息量等于X，Y的熵与它们的联合熵之差，即I(X;Y)=H(X)+H(Y)—H(X,Y)平均互信息量总大于或等于0，即I(X;Y)=I(Y;X)≥0X与X的平均互信息量等于X的熵，即I(X;X)=H(X)对于固定的信源分布，平均互信息量I(X;Y)是信道传递概率p(y/x)的下凸函数。对于固定的信道，平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。平均互信息量9平均互信息量等于X，Y的熵与它们的联合熵之差，即平均互信息量例3.2.3分析二元对称信道考虑二元信道10例3.2.3分析二元对称信道考虑二元信道10例3.2.3固定二元对称信道的平均互信息二元对称信道的平均互信息为：定理：当信道固定，即p为一个固定常数时，可得出I(X;Y)是信源分布w的上凸函数，如下图所示（固定二元对称信道的平均互信息）11例3.2.3固定二元对称信道的平均互信息二元对称信道的平均互例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，即平均互信息量I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。该定理是研究信道容量的基础。12例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，即平均互信息量I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。该定理是研究信道容量的基础。13例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固例3.2.3固定信源分布时的平均互信息二元对称信道的平均互信息为定理：当固定信源的概率分布w时，则平均互信息I(X;Y)是信道特性p的下凸函数，如下图所示：14例3.2.3固定信源分布时的平均互信息二元对称信道的平均互信例3.2.3固定信源分布时的平均互信息从上图可知，当二元信源固定后，改变信道特性p可获得不同的平均互信息I(X;Y)。当p=1/2时，I(X;Y)=0，即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。该定理是信息率失真论的基础。15例3.2.3固定信源分布时的平均互信息从上图可知，当二元信源第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理16第3章信道容量3.1信道的数学模型和分类16信道容量的定义定义：信道容量为平均互信息的最大值其单位是比特/符号或奈特/符号。平均互信息I(X;Y)是输入变量X概率分布p(x)的上凸函数。对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息I(X;Y)最大，而相应的概率分布p(x)称为最佳输入分布。17信道容量的定义定义：信道容量为平均互信息的最大值17信道容量的概念信道容量C仅与信道的统计特性有关，与信源分布无关。I(X;Y)的值是由信道传递概率决定的。信道传递概率矩阵描述了信道的统计特性平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。18信道容量的概念信道容量C仅与信道的统计特性有关，与信源分布无信息传输率R与信息传输速率RtR定义为：信道中平均每个符号所能传送的信息量。单位为：比特/符号。平均互信息I(X;Y)是接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息R=I(X;Y)如果平均传输一个符号为t秒，则信道每秒平均传输的信息量Rt（单位：比特/秒），一般称为信息传输速率：19信息传输率R与信息传输速率RtR定义为：信道中平均每个符号信道容量与信息传输速率信道容量C实际上是某一个固定信道的最大的信息传输速率。如果平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量Ct（单位：比特/秒）为：20信道容量与信息传输速率信道容量C实际上是某一个固定信道的第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理21第3章信道容量3.1信道的数学模型和分类21单符号离散信道单符号离散信道的输入和输出都是单个随机变量，其数学模型如下图：信道的输入随机变量取值于符号集X信道的输出随机变量取值于符号集Y信道的传递概率为信道XY22单符号离散信道单符号离散信道的输入和输出都是单个随机变量，其简单的离散无记忆信道信道矩阵为：且满足这意味着矩阵中每一行之和为1。23简单的离散无记忆信道信道矩阵为：23几种特殊离散信道的信道容量离散无噪信道的信道容量1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量24几种特殊离散信道的信道容量离散无噪信道的信道容量24离散无噪信道离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类：无损信道无噪（确定）信道无噪无损信道25离散无噪信道离散无噪信道的输出Y与输入X之间有着确定的关系，损失熵H(X/Y)与噪声熵H(Y/X)26损失熵H(X/Y)与噪声熵H(Y/X)26无损信道无损信道的一个输入对应多个互不相交的输出。如右图所示1/101/21/213/53/1027无损信道无损信道的一个输入对应多个互不相交的输出。如右图所示无损信道的信道容量28无损信道的信道容量28无噪信道无噪信道的一个输出对应着多个互不相交的输入，如右图所示。1111111129无噪信道无噪信道的一个输出对应着多个互不相交的输入，如右图所无噪信道的信道容量30无噪信道的信道容量30无损无噪信道无损无噪信道的输入和输出是一一对应关系，如右图所示。111131无损无噪信道无损无噪信道的输入和输出是一一对应关系，如右图所无损无噪信道32无损无噪信道32几种特殊离散信道的信道容量离散无噪信道的信道容量1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量33几种特殊离散信道的信道容量离散无噪信道的信道容量33离散对称信道信道矩阵具有很强对称性的特殊信道离散输入对称信道离散输出对称信道对称信道34离散对称信道信道矩阵具有很强对称性的特殊信道34离散输入对称信道定义：若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。矩阵的行是排列的。35离散输入对称信道定义：若一个离散无记忆信道的信道矩阵中，每一离散输出对称信道定义：若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道。矩阵的列是排列的。36离散输出对称信道定义：若一个离散无记忆信道的信道矩阵中，每一离散准对称信道、对称信道定义：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y(即信道矩阵的列)可以将信道划分成s个子集(子矩阵)，每个子矩阵中的每一行(列)都是其它行(列)的同一组元素的不同排列，则称这类信道为离散准对称信道。矩阵的行是可排列的，列不可排列。子矩阵具有可排列性。当划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道。矩阵具有可排列性：矩阵的行和列都是可排列的。37离散准对称信道、对称信道定义：若一个离散无记忆信道的信道矩阵离散（准）对称信道—举例38离散（准）对称信道—举例38定理定理：若一个离散对称信道具有n个输入符号，m个输出符号，则当输入为等概分布时，达到信道容量，且39定理定理：若一个离散对称信道具有n个输入符号，m个定理证明40定理证明40定理证明（续）引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。根据引理，对称信道的最佳输入分布为等概分布。41定理证明（续）引理：对于对称信道，只有当信道输入分布为等概分例42例42定理(准对称信道)如果一个n行m列单符号离散信道矩阵[P]的行是可排列的，列不可排列。矩阵中的m列可分成s个不相交的子集分别有m1,m2,...,ms

个元素（m1+m2+...+ms=m），n行mk,(k=1,2,...,s)列组成的子矩阵[P]k具有可排列性。该准对称信道的容量为：实现离散准对称无记忆信道信道容量的输入分布为等概分布。43定理(准对称信道)如果一个n行m列单符号离散信道矩阵[P准对称信道44准对称信道44准对称信道45准对称信道45例题(准对称信道)46例题(准对称信道)46均匀信道（强对称信道）47均匀信道（强对称信道）47均匀信道的几个特性均匀信道是对称信道的一个特例；输入符号数与输出符号数相等；信道中总的错误概率为p，对称地平均分配给n–1个输出符号，n为输入符号的个数；均匀信道中不仅各行之和为1，而且各列之和也为1一般信道各列之和不一定等于1二元对称信道就是n=2的均匀信道。48均匀信道的几个特性均匀信道是对称信道的一个特例；48均匀信道的信道容量C49均匀信道的信道容量C49例5二元对称信道的信道容量50例5二元对称信道的信道容量50例5（续）51例5（续）51二元对称信道的信道容量52二元对称信道的信道容量52第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理53第3章信道容量3.1信道的数学模型和分类53一般离散信道

54一般离散信道54一般离散信道容量的计算-155一般离散信道容量的计算-155一般离散信道容量的计算-256一般离散信道容量的计算-256一般离散信道容量的计算-357一般离散信道容量的计算-357定理58定理58定理的说明该定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出输入符号的最佳概率分布值，因而也没有给出信道容量的数值。该定理还隐含着，达到信道容量的最佳分布并不一定是唯一的。在一些特殊情况下，常常可以利用这一定理找出所求的输入概率分布和信道容量。59定理的说明该定理只给出了达到信道容量时，最佳输入概率分布应满一般离散信道容量的计算（续）60一般离散信道容量的计算（续）60一般离散信道容量的计算步骤61一般离散信道容量的计算步骤61例题：求一般信道的信道容量62例题：求一般信道的信道容量62例题：求一般信道的信道容量63例题：求一般信道的信道容量63第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理64第3章信道容量3.1信道的数学模型和分类13.1信道的数学模型和分类信道是信息传输的媒介或通道。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。X与Y之间是统计依赖关系。信道的数学模型：{XP(y/x)Y}信道XY干扰653.1信道的数学模型和分类信道是信息传输的媒介或通道。信道信道的分类１－按时间特性根据输入输出事件的时间特性和集合的特点：离散信道：输入离散，输出离散连续信道：输入连续，输出连续半连续信道：输入和输出一个离散一个连续时间离散的连续信道：输入和输出分别为有限个或可数无限个取自连续集的序列66信道的分类１－按时间特性根据输入输出事件的时间特性和集合的特信道的分类２－按输入输出个数根据信道的输入和输出个数：两端信道（两用户信道）：输入和输出均只有一个事件集；多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。67信道的分类２－按输入输出个数根据信道的输入和输出个数：4信道的分类３－按信道接入根据信道接入的不同：多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。广播信道：单一输入，多个输出。68信道的分类３－按信道接入根据信道接入的不同：5信道的分类４－按统计特性根据信道的统计特性：恒参信道：统计特性不随时间变化；随参信道：统计特性随时间变化。69信道的分类４－按统计特性根据信道的统计特性：6信道的分类５－按记忆特性根据信道的记忆特性无记忆信道：信道输出仅与当前的输入有关；有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关。70信道的分类５－按记忆特性根据信道的记忆特性7平均互信息定义：原始信源熵与信道疑义度之差称为平均互信息含义：接收到输出符号集Y以后，平均每个符号获得的关于X的信息量。71平均互信息定义：原始信源熵与信道疑义度之差称为平均互信息8平均互信息量等于X，Y的熵与它们的联合熵之差，即I(X;Y)=H(X)+H(Y)—H(X,Y)平均互信息量总大于或等于0，即I(X;Y)=I(Y;X)≥0X与X的平均互信息量等于X的熵，即I(X;X)=H(X)对于固定的信源分布，平均互信息量I(X;Y)是信道传递概率p(y/x)的下凸函数。对于固定的信道，平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。平均互信息量72平均互信息量等于X，Y的熵与它们的联合熵之差，即平均互信息量例3.2.3分析二元对称信道考虑二元信道73例3.2.3分析二元对称信道考虑二元信道10例3.2.3固定二元对称信道的平均互信息二元对称信道的平均互信息为：定理：当信道固定，即p为一个固定常数时，可得出I(X;Y)是信源分布w的上凸函数，如下图所示（固定二元对称信道的平均互信息）74例3.2.3固定二元对称信道的平均互信息二元对称信道的平均互例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，即平均互信息量I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。该定理是研究信道容量的基础。75例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，即平均互信息量I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。该定理是研究信道容量的基础。76例3.2.3固定二元对称信道的平均互信息图示曲线表明，对于固例3.2.3固定信源分布时的平均互信息二元对称信道的平均互信息为定理：当固定信源的概率分布w时，则平均互信息I(X;Y)是信道特性p的下凸函数，如下图所示：77例3.2.3固定信源分布时的平均互信息二元对称信道的平均互信例3.2.3固定信源分布时的平均互信息从上图可知，当二元信源固定后，改变信道特性p可获得不同的平均互信息I(X;Y)。当p=1/2时，I(X;Y)=0，即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。该定理是信息率失真论的基础。78例3.2.3固定信源分布时的平均互信息从上图可知，当二元信源第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理79第3章信道容量3.1信道的数学模型和分类16信道容量的定义定义：信道容量为平均互信息的最大值其单位是比特/符号或奈特/符号。平均互信息I(X;Y)是输入变量X概率分布p(x)的上凸函数。对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息I(X;Y)最大，而相应的概率分布p(x)称为最佳输入分布。80信道容量的定义定义：信道容量为平均互信息的最大值17信道容量的概念信道容量C仅与信道的统计特性有关，与信源分布无关。I(X;Y)的值是由信道传递概率决定的。信道传递概率矩阵描述了信道的统计特性平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。81信道容量的概念信道容量C仅与信道的统计特性有关，与信源分布无信息传输率R与信息传输速率RtR定义为：信道中平均每个符号所能传送的信息量。单位为：比特/符号。平均互信息I(X;Y)是接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息R=I(X;Y)如果平均传输一个符号为t秒，则信道每秒平均传输的信息量Rt（单位：比特/秒），一般称为信息传输速率：82信息传输率R与信息传输速率RtR定义为：信道中平均每个符号信道容量与信息传输速率信道容量C实际上是某一个固定信道的最大的信息传输速率。如果平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量Ct（单位：比特/秒）为：83信道容量与信息传输速率信道容量C实际上是某一个固定信道的第3章信道容量3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理84第3章信道容量3.1信道的数学模型和分类21单符号离散信道单符号离散信道的输入和输出都是单个随机变量，其数学模型如下图：信道的输入随机变量取值于符号集X信道的输出随机变量取值于符号集Y信道的传递概率为信道XY85单符号离散信道单符号离散信道的输入和输出都是单个随机变量，其简单的离散无记忆信道信道矩阵为：且满足这意味着矩阵中每一行之和为1。86简单的离散无记忆信道信道矩阵为：23几种特殊离散信道的信道容量离散无噪信道的信道容量1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量87几种特殊离散信道的信道容量离散无噪信道的信道容量24离散无噪信道离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类：无损信道无噪（确定）信道无噪无损信道88离散无噪信道离散无噪信道的输出Y与输入X之间有着确定的关系，损失熵H(X/Y)与噪声熵H(Y/X)89损失熵H(X/Y)与噪声熵H(Y/X)26无损信道无损信道的一个输入对应多个互不相交的输出。如右图所示1/101/21/213/53/1090无损信道无损信道的一个输入对应多个互不相交的输出。如右图所示无损信道的信道容量91无损信道的信道容量28无噪信道无噪信道的一个输出对应着多个互不相交的输入，如右图所示。1111111192无噪信道无噪信道的一个输出对应着多个互不相交的输入，如右图所无噪信道的信道容量93无噪信道的信道容量30无损无噪信道无损无噪信道的输入和输出是一一对应关系，如右图所示。111194无损无噪信道无损无噪信道的输入和输出是一一对应关系，如右图所无损无噪信道95无损无噪信道32几种特殊离散信道的信道容量离散无噪信道的信道容量1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量96几种特殊离散信道的信道容量离散无噪信道的信道容量33离散对称信道信道矩阵具有很强对称性的特殊信道离散输入对称信道离散输出对称信道对称信道97离散对称信道信道矩阵具有很强对称性的特殊信道34离散输入对称信道定义：若一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。矩阵的行是排列的。98离散输入对称信道定义：若一个离散无记忆信道的信道矩阵中，每一离散输出对称信道定义：若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道。矩阵的列是排列的。99离散输出对称信道定义：若一个离散无记忆信道的信道矩阵中，每一离散准对称信道、对称信道定义：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y(即信道矩阵的列)可以将信道划分成s个子集(子矩阵)，每个子矩阵中的每一行(列)都是其它行(列)的同一组元素的不同排列，则称这类信道为离散准对称信道。矩阵的行是可排列的，列不可排列。子矩阵具有可排列性。当划分的子集只有一个时，信道是关于输入和输出对称的，这类信道称为对称信道。矩阵具有可排列性：矩阵的行和列都是可排列的。100离散准对称信道、对称信道定义：若一个离散无记忆信道的信道矩阵离散（准）对称信道—举例101离散（准）对称信道—举例38定理定理：若一个离散对称信道具有n个输入符号，m个输出符号，则当输入为等概分布时，达到信道容量，且102定理定理：若一个离散对称信道具有n个输入符号，m个定理证明103定理证明40定理证明（续）引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。根据引理，对称信道的最佳输入分布为等概分布。104定理证明（续）引理：对于对称信道，只有当信道输入分布为等概分例105例42定理(准对称信道)如果一个n行m列单符号离散信道矩阵