离散信道及其信道容量

离散信道及其信道容量第1页，课件共81页，创作于2023年2月2信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真；信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系；知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。第一节信道的数学模型及分类第2页，课件共81页，创作于2023年2月3规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，}输出符号集：Y={y1，y2，…，}信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(/x1),…p(y1/)…p(/)}1、离散信道的基本数学模型设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：第一节信道的数学模型及分类第3页，课件共81页，创作于2023年2月4第一节信道的数学模型及分类2、信道的分类：

根据信道用户的多少：根据输入端和输出端的关联：

单用户信道：只有一个输入端和一个输出端。

多用户信道：至少有一端有两个以上的用户，双向通信。

无反馈信道：输出端信号对输入端信号无影响、无作用。

有反馈信道：输出端信号会影响输入端信号变化。根据输入输出随机变量个数的多少：

单符号信道：输入和输出端都只用一个随机变量表示。

多符号信道：输入和输出端用随机变量序列/随机矢量表示。第4页，课件共81页，创作于2023年2月5根据信道参数与时间的关系：

固定参数信道：信道的统计特性不随时间变化而变化。

时变参数信道：信道的统计特性随时间变化而变化。根据信道输入和输出的关系：

离散信道：输入、输出随机变量都取离散值。

连续信道：输入、输出随机变量都取连续值。

半离散半连续信道：输入变量取离散值而输出变量取连续值，或反之。

波形信道第一节信道的数学模型及分类第5页，课件共81页，创作于2023年2月6第一节信道的数学模型及分类根据信道上有无干扰关系：根据信道上有无记忆关系：无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。以下我们只研究无反馈、固定参数的单用户离散信道。第6页，课件共81页，创作于2023年2月7（1）无干扰信道：输入信号与输出信号有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；根据这一模型，可对信道分类如下：（3）有干扰有记忆信道：这是最一般的信道。第一节信道的数学模型及分类第7页，课件共81页，创作于2023年2月8第一节信道的数学模型及分类3、单符号离散信道的数学模型设输入X∈{x1,x2,…,xi,…,xn}输出Y∈{y1,y2,…,yj,…,ym}信道转移概率/信道传递概率：条件概率p(yj/xi)。其信道模型如图所示。第8页，课件共81页，创作于2023年2月9[P]=y1y2…ymx1p(y1/x1)p(y2/x1)…p(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)条件概率p(yj/xi)表示成矩阵形式：第一节信道的数学模型及分类第9页，课件共81页，创作于2023年2月10单符号离散信道的输入变量为X，取值于输出变量为Y，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。第一节信道的数学模型及分类第10页，课件共81页，创作于2023年2月11[例1]二元对称信道（BSC）

X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;第一节信道的数学模型及分类第11页，课件共81页，创作于2023年2月12[例2]二元删除信道(BEC)X={0,1}；Y={0,2,1}。

0p01-q1-p1q12第一节信道的数学模型及分类第12页，课件共81页，创作于2023年2月13

由此可见，一般单符号离散信道的传递概率可以用矩阵表示:第一节信道的数学模型及分类第13页，课件共81页，创作于2023年2月14（1）联合概率:（2）输出符号的概率:（3）后验概率:其中称为前向概率，描述信道的噪声特性称为后向概率；有时也把称为先验概率，把称为后验概率。表明输出端收到任一符号，必定是输入端某一符号输入所致。第一节信道的数学模型及分类第14页，课件共81页，创作于2023年2月15第二节平均互信息互信息:yj对xi的互信息量定义为后验概率与先验概率比值的对数。信源发出某符号xi，由于受噪声的随机干扰，在信道的输出端输出xi某种变型yj，这个过程中信道所传送的信息量，即信宿收到yj后，从yj中获取关于xi的信息量I(xi;yj)。第15页，课件共81页，创作于2023年2月16互信息的性质对称性：I(xi;yj)=I(yj;xi)两个随机事件的可能结果，xi和yj之间的统计约束程度；从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj;xi)是一样的，只是观察的角度不同而已。当统计独立时，表明xi和yj之间不存在统计约束关系，从yj得不到关于的xi任何信息，反之亦然。互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。第16页，课件共81页，创作于2023年2月平均互信息量如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。以下介绍平均互信息量的定义平均互信息量的物理含义平均互信息量的性质第17页，课件共81页，创作于2023年2月平均互信息量的定义平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。X对Y的平均互信息定义为第18页，课件共81页，创作于2023年2月平均互信息量的物理含义观察者站在输出端观察者站在输入端观察者站在通信系统总体立场上第19页，课件共81页，创作于2023年2月20自信息量：对yj一无所知的情况下xi存在的不确定度；条件自信息量：已知yj

的条件下xi

仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。1.观察者站在输出端第20页，课件共81页，创作于2023年2月H(X/Y)

—信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。H(X)

—X的先验不确定度/无条件熵。I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。第21页，课件共81页，创作于2023年2月2.观察者站在输入端观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。第22页，课件共81页，创作于2023年2月H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。第23页，课件共81页，创作于2023年2月24通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：p(xiyj)=p(xi)p(yj)

先验不确定度通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度：

p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/

yj)后验不确定度通信后的互信息量，等于前后不确定度的差这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。3.观察者站在通信系统总体立场上第24页，课件共81页，创作于2023年2月H(XY)—联合熵。表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。I(X;Y)—通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。第25页，课件共81页，创作于2023年2月结论

以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。第26页，课件共81页，创作于2023年2月小结第27页，课件共81页，创作于2023年2月28平均互信息是信道传递信息的度量，从总体上反映信道每传递一个符号，所传递的平均信息量。I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)(3.34)也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)第28页，课件共81页，创作于2023年2月29信道疑义度

这是收到后关于X的后验熵，表示收到后关于输入符号的信息测度。这是关于X的先验熵，表示收到输出前关于X的不确定性度量。第二节平均互信息第29页，课件共81页，创作于2023年2月30

这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的如果没有干扰，H(X/Y)=0。一般情况下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节平均互信息将后验熵对随机变量Y求数学期望第30页，课件共81页，创作于2023年2月31平均互信息与各类熵之间的关系：H(XY)H(X/Y)H(Y/X)H(X)H(Y)第二节平均互信息H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。I(X;Y)第31页，课件共81页，创作于2023年2月32（1）无噪一一对应信道：此时可以计算得：H(X/Y)=H(Y/X)=0在上图中表示就是两圆重合（2）输入输出完全统计独立：此时I(X;Y)=0H(X/Y)=H(X)H(Y/X)=H(Y)下面讨论两种极端情况：第二节平均互信息第32页，课件共81页，创作于2023年2月33第三节平均互信息的特性1、平均互信息的非负性：I(X;Y)>=0一般来说，信道疑义度总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。2、平均互信息的极值性：I(X;Y)<=H(X)I(X;Y)<=H(Y)第33页，课件共81页，创作于2023年2月34I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。4、平均互信息的凸函数性：3、平均互信息量的交互性：第三节平均互信息的特性I(X,Y)=I(Y,X)第34页，课件共81页，创作于2023年2月35定理3.1

平均互信息I(X;Y)是信源概率分布P(X)

的∩型凸函数

定理意义，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。第三节平均互信息的特性第35页，课件共81页，创作于2023年2月36例：对于二元对称信道

01-p0pp11-p1如果信源分布X={w,1-w}，则:第三节平均互信息的特性第36页，课件共81页，创作于2023年2月37I(X;Y)w0½11-H(P)而：所以：当信道固定时，平均互信息时信源分布的∩型凸函数，最大值为1-H(P)：第三节平均互信息的特性第37页，课件共81页，创作于2023年2月38定理3.2平均互信息I(X;Y)是信道传递概率P(y|x)

的U型凸函数

定理意义：对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。不同的信源先验概率对应不同的Imin，或者说Imin是P(X)的函数。即平均互信息量的最小值体现了信源本身的特性。第三节平均互信息的特性第38页，课件共81页，创作于2023年2月39如果信源分布X={w,1-w}，则由此可得例：对于二元对称信道I(X;Y)p0½1H(w)第三节平均互信息的特性

01-p0pp11-p1第39页，课件共81页，创作于2023年2月40信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：

Ct实际是信道的最大信息传输速率。信息传输率：R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]bit/符号由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。第四节信道容量及其一般计算方法第40页，课件共81页，创作于2023年2月41第四节信道容量及其一般计算方法C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；它是信道的特征参数，反应的是信道的最大的信息传输能力。信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。结论对于二元对称信道，由图可以看出信道容量等于1-H(P)第41页，课件共81页，创作于2023年2月42（1）具有一一对应关系的无噪声信道

因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系；此时由于信道的损失熵和疑义度都等于0，所以I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量。第四节信道容量及其一般计算方法1、离散无噪信道的信道容量C=max{I(X;Y)}=max{H(X)}=max{H(Y)}=logr第42页，课件共81页，创作于2023年2月43(2)有噪无损信道C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logr

可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。此时信道疑义度为0，而信道噪声熵不为0，从而：第四节信道容量及其一般计算方法1、离散无噪信道的信道容量此时输入端符号熵小于输出端符号熵，H(X)<H(Y)。第43页，课件共81页，创作于2023年2月44(3)无噪有损信道信道矩阵中的元素非“0”即“1”

，每行仅有一个非零元素，但每列的非零元素个数大于1；此时信道疑义度不为0，而信道噪声熵为0，从而：

C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs第四节信道容量及其一般计算方法1、离散无噪信道的信道容量信道输入端符号熵大于输出端符号熵，H(X)>H(Y)。第44页，课件共81页，创作于2023年2月45第四节信道容量及其一般计算方法1、离散无噪信道的信道容量结论无损信道的C决定于信道的输入符号数r无噪信道的C只决定于信道的输出符号数s在求信道容量时，调整的始终是输入端的概率分布p(xi)，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi)，而不能用输出端的概率分布p(yj)来代替。注意第45页，课件共81页，创作于2023年2月46

如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道。第四节信道容量及其一般计算方法2、对称离散信道的信道容量输入对称：矩阵的每一行都是第一行的置换输出对称：矩阵的每一列都是第一列的置换第46页，课件共81页，创作于2023年2月47下面我们来计算对称离散信道的信道容量：I(X;Y)=H(Y)-H(Y/X)H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即因此可以看出，当输出等概分布时，即H(Y)=logs时信道容量达到最大。第四节信道容量及其一般计算方法2、对称离散信道的信道容量第47页，课件共81页，创作于2023年2月48

那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布可以看出，信道的输出也是等概分布的第四节信道容量及其一般计算方法2、对称离散信道的信道容量第48页，课件共81页，创作于2023年2月49例：二元对称信道：第四节信道容量及其一般计算方法2、对称离散信道的信道容量第49页，课件共81页，创作于2023年2月50如果离散信道的转移矩阵如下则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。第四节信道容量及其一般计算方法2、对称离散信道的信道容量信道中总的错误概率是p，对称平均地分配给(n-1)个输出符号。信道矩阵中每行之和等于1，每列之和也等于1。r*r阶矩阵第50页，课件共81页，创作于2023年2月51根据对称离散信道信道容量的计算方法，强对称信道其信道容量为：第四节信道容量及其一般计算方法2、对称离散信道的信道容量结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。这个信道容量只与信道的输出符号数n和相应信道矩阵中的任一行矢量有关。第51页，课件共81页，创作于2023年2月52若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：第四节信道容量及其一般计算方法3、准对称离散信道的信道容量第52页，课件共81页，创作于2023年2月53

可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：其中r是输入符号集的个数，为矩阵中的行元素;是第k各矩阵中的行元素只和，是第k个矩阵的列元素之和。第四节信道容量及其一般计算方法3、准对称离散信道的信道容量第53页，课件共81页，创作于2023年2月54例：可分成：第四节信道容量及其一般计算方法3、准对称离散信道的信道容量行之和：N1=1-p-q+p=1-q；N2=q；列之和：M1=1-q-p+p=1-q，M2=2q第54页，课件共81页，创作于2023年2月55我们可以对输入分布求极值，得到而：第四节信道容量及其一般计算方法4、一般离散信道的信道容量第55页，课件共81页，创作于2023年2月56定理3.3

一般离散信道达到信道容量的充要条件是输入概率分布满足该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。第四节信道容量及其一般计算方法4、一般离散信道的信道容量第56页，课件共81页，创作于2023年2月57可以利用该定理对一些特殊信道求得它的信道容量例：输入符号集为:{0,1,2}第四节信道容量及其一般计算方法4、一般离散信道的信道容量第57页，课件共81页，创作于2023年2月假设P(0)=P(2)=1/2，P(1)=0，则：第58页，课件共81页，创作于2023年2月59所以：第四节信道容量及其一般计算方法4、一般离散信道的信道容量第59页，课件共81页，创作于2023年2月60对于一般信道的求解方法，就是求解方程组移项得：令则若r=s，此方程有解，可以解出s各未知数，再根据得从而第四节信道容量及其一般计算方法4、一般离散信道的信道容量第60页，课件共81页，创作于2023年2月61例：可列方程组：第四节信道容量及其一般计算方法4、一般离散信道的信道容量第61页，课件共81页，创作于2023年2月62解之得：第四节信道容量及其一般计算方法4、一般离散信道的信道容量第62页，课件共81页，创作于2023年2月63第五节离散无记忆扩展信道及其信道容量多符号离散信道定义定义：多符号离散信源X=X1X2…XN在N个不同时刻分别通过单符号离散信道{X

P(Y/X)Y}，则在输出端出现相应的随机序列Y=Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。第63页，课件共81页，创作于2023年2月64第五节离散无记忆扩展信道及其信道容量离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。第64页，课件共81页，创作于2023年2月65第五节离散无记忆扩展信道及其信道容量离散无记忆信道为：则它的N次扩展信道为：为N次扩展信源中的一个符号为N次扩展接收符号集中的一个符号第65页，课件共81页，创作于2023年2月66我们首先从一个例子开始例：二元无记忆对称信道得二次扩展信道二元记忆对称信道为：第五节离散无记忆扩展信道及其信道容量第66页，课件共81页，创作于2023年2月67

可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。则它的二次扩展信道为：第五节离散无记忆扩展信道及其信道容量第67页，课件共81页，创作于2023年2月68根据平均互信息的定义定理3.5如果信道是无记忆的，即则：定理3.6如果信源是无记忆的第五节离散无记忆扩展信道及其信道容量第68页，课件共81页，创作于2023年2月69因此，如果信源、信道都是无记忆的

这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。第五节离散无记忆扩展信道及其信道容量第69页，课件共81页，创作于2023年2月第六节级联信道在通信系统中,信息的传输往往要依次通过若干个信道。这些信道通常采用级联的形式。级联的含义是被连接的信道输入只依赖于前面相邻信道的输出而和前面的其它信道的输出无直接关系。第70页，课件共81页，创作于2023年2月我们可以把通信系统模型看成各部分的级联，如下图所示。信源发出L长的序列UL，通过编码后得到N长的码序列XN，经信道传输后，译码器收到N长序列为YN，译码后传给信宿的消息序列为VN。

通信系统模型各部分的级联第71页，课件共81页，创作于2023年2月随机序列X,Y,Z，当Y给定时,Z不依赖于X,即：P(z/y)=P(z/xy)，则X,Y,Z构成马氏链。则信道X-Y与Y-Z构成的信道是级联信道，满足马氏链。如图所示：

级联信道若（X,Y,Z）构成马氏链,则：第72页，课件共81页，创作于2023年2月定理3.7第73页，课件共81页，创作于2023年2月定理3.8

若X,Y,Z构成一马氏链，则