第三章信道容量

第三章信道容量第一页，共八十七页，编辑于2023年，星期四本章内容概述3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.4多用户信道3.5连续信道3.6信道编码定理第二页，共八十七页，编辑于2023年，星期四概述信息论对信道研究的内容什么是信道？信道的作用研究信道的目的本章学习达到的目的第三页，共八十七页，编辑于2023年，星期四概述信息论对信道研究的内容：信道的建模：用恰当的输入/输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法第四页，共八十七页，编辑于2023年，星期四概述什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；听收音机，收、发间的空间就是信道。信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。第五页，共八十七页，编辑于2023年，星期四概述研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性信息论研究－－信息的传输问题（假定传输特性已知）第六页，共八十七页，编辑于2023年，星期四概述本章达到的目的了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量（对称离散信道、无记忆加性高斯噪声信道）了解信道容量在研究通信系统中的作用理解无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途第七页，共八十七页，编辑于2023年，星期四3.1信道的数学模型和分类信道分类 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；第八页，共八十七页，编辑于2023年，星期四信道的数学模型和分类第九页，共八十七页，编辑于2023年，星期四信道的数学模型和分类第十页，共八十七页，编辑于2023年，星期四

信道的数学模型和分类其中：c1为连续信道，调制信道；

c2为离散信道，编码信道；

c3为半离散、半连续信道；

c4为半连续、半离散信道。信源编码媒介译码信宿干扰C1C2C3C4AB信道划分是人为的！第十一页，共八十七页，编辑于2023年，星期四信道的数学模型和分类信道描述信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：即：{，

，}，它可简化为：。第十二页，共八十七页，编辑于2023年，星期四信道的数学模型和分类其中： 第十三页，共八十七页，编辑于2023年，星期四3.2单符号离散信道的信道容量信道容量的定义几种特殊离散信道的信道容量离散信道容量的一般计算方法第十四页，共八十七页，编辑于2023年，星期四信道容量的定义互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.信息量与信道转移概率分布的关系性质2：I(X;Y)是信道转移概率分布p(y/x)的下凸函数.信道容量的定义：单位时间的信道容量：单符号离散信道的信道容量第十五页，共八十七页，编辑于2023年，星期四几种特殊离散信道的信道容量离散无噪信道的信道容量强对称离散信道的信道容量对称信道的信道容量准对称信道的信道容量单符号离散信道的信道容量第十六页，共八十七页，编辑于2023年，星期四离散无噪信道的信道容量具有扩展性能的无噪信道——无损信道矩阵中每一列仅有一个非零元素H（X/Y）=0；H（Y/X）≠0I（X；Y）=H（X）<H（Y）信道容量：x1y1y2x2y3y4x3y5y61/21/23/53/101/101单符号离散信道的信道容量第十七页，共八十七页，编辑于2023年，星期四离散无噪信道的信道容量具有并归性能的无噪信道——确定信道矩阵中每一行仅有一个非零元素H（Y/X）=0；H（X/Y）≠0I（X；Y）=H（Y）<H（X）信道容量：1y1x1x2y2x3x4y3x5x611111单符号离散信道的信道容量第十八页，共八十七页，编辑于2023年，星期四离散无噪信道的信道容量具有一一对应关系的无噪信道——既无损又确定矩阵中每一行每一列仅有一个非零元素H（Y/X）=0；H（X/Y）=0I（X；Y）=H（Y）=H（X）信道容量：y1x1x2y2x3y3111单符号离散信道的信道容量第十九页，共八十七页，编辑于2023年，星期四强对称离散信道的信道容量单符号离散信道的信道容量强对称信道或均匀信道矩阵中每一行都是第一行的重排列，矩阵中每一列都是第一列的重排列（对称性）错误分布是均匀的，为p/(n-1)信道输入与输出符号数相等第二十页，共八十七页，编辑于2023年，星期四强对称离散信道的信道容量单符号离散信道的信道容量强对称信道的信道容量第二十一页，共八十七页，编辑于2023年，星期四强对称离散信道的信道容量单符号离散信道的信道容量强对称信道的信道容量第二十二页，共八十七页，编辑于2023年，星期四对称离散信道的信道容量单符号离散信道的信道容量对称信道的信道容量矩阵中每一行都是第一行的重排列，矩阵中每一列都是第一列的重排列（对称性）第二十三页，共八十七页，编辑于2023年，星期四准对称离散信道的信道容量单符号离散信道的信道容量准对称信道的信道容量矩阵的每一行是第一行的重排列信道矩阵P不满足对称条件，但P=（P1…Pr…Ps）且所有Pr满足对称性条件第二十四页，共八十七页，编辑于2023年，星期四准对称离散信道的信道容量单符号离散信道的信道容量将H(Y)中的m项分成s个子集M1,M2,…,Ms,各子集分别有m

1,m

2,…,m

s个元素（m

1+m

2+…+m

s=m）,则第二十五页，共八十七页，编辑于2023年，星期四准对称离散信道的信道容量单符号离散信道的信道容量第二十六页，共八十七页，编辑于2023年，星期四准对称离散信道的信道容量(补充)第二十七页，共八十七页，编辑于2023年，星期四准对称离散信道的信道容量(补充)第二十八页，共八十七页，编辑于2023年，星期四求信道的信道容量准对称离散信道的信道容量单符号离散信道的信道容量第二十九页，共八十七页，编辑于2023年，星期四离散信道容量的一般计算方法单符号离散信道的信道容量I(X;Y)是p(x)的上凸函数，故极大值一定存在，约束条件：引进一个新函数其中为拉格朗日乘子（待定常数）解方程组可先求解出达到极值的概率分布和的值，然后再求解出信道容量Ｃ第三十页，共八十七页，编辑于2023年，星期四离散信道容量的一般计算方法单符号离散信道的信道容量第三十一页，共八十七页，编辑于2023年，星期四方程组变为：设解得使I(X;Y)达到极值的输入概率分布为｛p1,p2,...,pr｝.方程组第一个式子中的前r个方程式两边同乘以pi，并求和得即：离散信道容量的一般计算方法单符号离散信道的信道容量第三十二页，共八十七页，编辑于2023年，星期四令可求解出，继而求得信道容量：离散信道容量的一般计算方法单符号离散信道的信道容量有第三十三页，共八十七页，编辑于2023年，星期四注意：在第（2）步求出C后，必须解出相应的，并确认所有的，所求的C才存在。离散信道容量的一般计算方法单符号离散信道的信道容量（1）由，求；（2）由，求C；（3）由，求；（4）由，求；第三十四页，共八十七页，编辑于2023年，星期四离散信道容量的一般计算方法求信道容量C。单符号离散信道的信道容量第三十五页，共八十七页，编辑于2023年，星期四（1）（2）（3）第三十六页，共八十七页，编辑于2023年，星期四（4）第三十七页，共八十七页，编辑于2023年，星期四3.3多符号离散信道多符号离散信道的数学模型离散无记忆信道和独立并联信道的信道容量第三十八页，共八十七页，编辑于2023年，星期四多符号离散信道的数学模型多符号离散信道输入输出第三十九页，共八十七页，编辑于2023年，星期四多符号离散信道的数学模型多符号离散信道第四十页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道无记忆：YK仅与XK有关第四十一页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道第四十二页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道第四十三页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道(a)第四十四页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道第四十五页，共八十七页，编辑于2023年，星期四离散无记忆信道和独立并联信道的信道容量多符号离散信道第四十六页，共八十七页，编辑于2023年，星期四3.4多用户信道属于网络信息论，研究的主要问题：网络信道的信道容量，用多维空间中的一个区域来表示网络信道编码定理实现编码定理的码结构问题，包括信源编码和信道编码多址接入信道多个输入端1个输出端在理论上讨论比较完善，但具有反馈的多元接入信道的容量问题尚没有解决广播信道1个输入端多个输出端对退化广播信道的研究较深入，解决了一些特殊情况下的容量问题，一般广播信道的容量问题尚未解决相关信源的多用户信道问题多个输入多个输出第四十七页，共八十七页，编辑于2023年，星期四多址接入信道多用户信道多入单出信道信道信源1译码信源2编码器1编码器2二址接入信道模型第四十八页，共八十七页，编辑于2023年，星期四多址接入信道多用户信道条件信道容量第四十九页，共八十七页，编辑于2023年，星期四多址接入信道多用户信道第五十页，共八十七页，编辑于2023年，星期四多址接入信道多用户信道R2C20C1C12C1+C2R1容量区第五十一页，共八十七页，编辑于2023年，星期四广播信道多用户信道单入多出信道，退化广播信道（串联）编码信道1u1u2xy1信道2y2第五十二页，共八十七页，编辑于2023年，星期四相关信源的多用户信道问题多用户信道信源编码器1编码器2信道1信道2译码器1译码器2x1x2模型1RE1E2C1C2D1D2x1x2第五十三页，共八十七页，编辑于2023年，星期四相关信源的多用户信道问题多用户信道C2C1第五十四页，共八十七页，编辑于2023年，星期四相关信源的多用户信道问题多用户信道E1C1D1x1x2边信息RE1E2C1C2D1D2x1x2E0C0w模型2第五十五页，共八十七页，编辑于2023年，星期四W:公信息要求R0尽可能小，并且在W条件下，X1X2无关相关信源的多用户信道问题多用户信道第五十六页，共八十七页，编辑于2023年，星期四3.5连续信道P(Y/X)加性连续信道Np(y/x)=p

(n)XY=X+N第五十七页，共八十七页，编辑于2023年，星期四3.5连续信道x、n、y之间有如下变换函数关系：其坐标变换的雅可比行列式的绝对值第五十八页，共八十七页，编辑于2023年，星期四3.5连续信道根据坐标变换理论对于加性信道第五十九页，共八十七页，编辑于2023年，星期四3.5连续信道第六十页，共八十七页，编辑于2023年，星期四3.5连续信道若N为均值为0，方差为高斯变量，则称这种加性信道为高斯加性信道高斯加性信道的容量：第六十一页，共八十七页，编辑于2023年，星期四3.5连续信道设X的平均功率限定为则Y的也是平均功率受限的随机变量由最大相对熵定理知，平均功率受限的连续信源，当其是一个均值为0的高斯变量时，相对熵达到最大值由概率论相关知识，两个统计独立的高斯随机变量的和变量也是一个高斯变量。故当加性高斯信道的输入信源是0均值的高斯随机变量时，其输出也是0均值的高斯随机变量，输出随机变量的熵最大。第六十二页，共八十七页，编辑于2023年，星期四3.5连续信道高斯加性信道的容量：香农公式限时T、限频W的高斯白噪声加性信道的容量：第六十三页，共八十七页，编辑于2023年，星期四3.5连续信道令当W∞时，x0第六十四页，共八十七页，编辑于2023年，星期四Shannon公式的物理意义它给出了决定信道容量C的是三个信号物理参量：W、T、之间的辩证关系。三者的乘积是一个“可塑”性体积（三维）。三者间可以互换。s2S)1log(2sS+TtWf)1log(2sSWTC+=第六十五页，共八十七页，编辑于2023年，星期四连续信道－Shannon公式的用途一

用频带换取信噪比：扩频通信原理。雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。

注意：有极限第六十六页，共八十七页，编辑于2023年，星期四连续信道－Shannon公式的用途二用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制(M-QAM)等等，它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。第六十七页，共八十七页，编辑于2023年，星期四连续信道Shannon公式的用途三

用时间换取信噪比重传、弱信号累积接收基于这一原理。t=T0

为分界线。信号功率S有规律随时间线性增长，噪声功率σ2无规律，随时间呈均方根增长。第六十八页，共八十七页，编辑于2023年，星期四连续信道Shannon公式的用途四

用时间换取频带或用频带换取时间扩频－－缩短时间：通信电子对抗、潜艇通信窄带－－增加时间：电话线路传准活动图象第六十九页，共八十七页，编辑于2023年，星期四例：在图片传输中，每帧约为2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。解：高斯白噪声加性信道单位时间的信道容量：(比特/秒）

要求的信息传输率为：Ct=2.25×106×log16×30=2.7×108（bit/s)=Wlog(1+S/N)而：10lg(S/N)=30dBS/N=103W=(2.7×108)/log(1+103)≈2.7×107(Hz)第七十页，共八十七页，编辑于2023年，星期四3.6信道编码定理信道编码概述错误概率与译码规则、编码方法信道编码定理第七十一页，共八十七页，编辑于2023年，星期四信道编码概述互信息能告诉我们什么？随机变量X,Y统计意义上的依存程度可以获得的信息量不能：所得信息能否可靠地确定信道输入？实际通信中人们对传输要求什么？传输信息量大传输可靠提出的与信道传输有关的问题：如何能使信息传输后发生的错误最少？错误概率与那些因素有关？有无办法控制？能控制到什么程度？无误传输可达的最大信息率是多少？第七十二页，共八十七页，编辑于2023年，星期四信道编码概述举例说明：设有一个二元数字序列000110101100……（1）每两位分成一组，共有22＝4种可能的码组（或码字）：00、01、10、11。不可能发现错误，也不可能纠正。（2）对原码字稍加以改造：加上一位数字，四个码字变成00001010101010011111。可以发现奇数个错误，但无法纠正。（3）对原码字继续改造：0000110010110110100111111000。当收到码字00111时，采用最大似然法则，将00111纠正成为00110。结论：码组（字）间差别越大，码的检测和纠错能力越强。对于第一种情况，码组间最少相差一个码元，则一旦有错误，就会变成另一个许用码字，因而不能发现错误；对于第二种情况，码组间最少相差二位码元，错一位就会变成禁用码字，因而能发现错误，即具有检错能力；对于第三种情况，码组间最少相差三位码元，错一位就变成禁用码字，但仍与某许用码字相似，利用最大似然法则可以纠错，即具有纠一位错误的能力。第七十三页，共八十七页，编辑于2023年，星期四错误概率与译码规则、编码方法错误概率与译码规则错误概率PE与什么有关信道的统计特性译码规则译码规则的选择依据最大后验概率准则－－理想最大似然准则－－实用第七十四页，共八十七页，编辑于2023年，星期四错误概率与译码规则例：第七十五页，共八十七页，编辑于2023年，星期四错误概率与译码准则、编码方法问题：在输入和信道特性给定的条件下，差错概率将取决于接收矢量空间按什么样的划分准则进行划分划分接收矢量空间的准则－－译码器的译码准则第七十六页，共八十七页，编辑于2023年，星期四信道译码An1243w4w3w1w2xxxAn是接收空间w1,w2,…是发送的码字围绕每个码字有一个译码域i如果接收的码字在i中

，就认为发送的是码字wi

发生错误一般,An中存在一些不属于任何i的区域

有时接收码字会被映射到错误的i，进而被译成错误的wi

正确译码不知如何译码译码错误第七十七页，共八十七页，编辑于2023年，星期四错误概率与译码规则译码规则：设信道输入为X={x1,x2,…,xn}，输出为Y={y1,y2,…,ym}，则Y到X的单值映射为d:d(yj)=xi(i=1,2,…,n；j=1,2,…,m)，则d为一个译码规则。错误概率：若译码规则为d(yj)=xi条件错误概率：p(e/yj)(收到的是yj，而发出的不是xi)条件正确概率：1－p(e/yj)平均错误概率：PE=∑p(yj)p(e/yj)最佳译码规则：使平均错误概率PE最小的译码规则第七十八页，共八十七页，编辑于2023年，星期四错误概率与译码规则欲使最小PE=∑p(yj)p(e/yj)，只需正确概率最大，选择——最大后验概率准则由（1）式，有若输入等概：——最大似然准则特点：优点：理想缺点：1、后验概率不易