信息论与编码技术：第三章 信道及其容量

1、 第三章 信道及其容量 1 研究信道的目的是研究信道能传输的最大信息量，即信道的最大传输能力。1、如何描述在信道中传输的消息的信息量大小平均互信息/信息传输率2、信道的最大信息传输率是多少？信道容量/传信能力2 第三章 信道及其容量 3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理3 信道是信息传送的载体信号通过信道传送。信道的作用是以信号方式传输信息和存储信息。 在通信系统中研究信道，是为描述、度量、分析不同类型的信道，计算其能够传输的最大信息量(

2、信道容量)，认识并利用其特点。本章重点内容 信道的分类 离散信道的统计特性和数学模型 平均互信息及其性质 信道容量的概念及几种典型信道的信道容量计算方法 信源与信道的匹配 有噪信道编码定理香农第二定理43.1 信道的数学模型与分类5 一、描述依据 什么是信道？ 信道是传输信息的载体或媒介，也可以说信道是信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。信道的作用信道的任务是以信号方式传输信息和存储信息。在通信系统中信道主要用于传输信息。6研究信道的目的信息熵解决了定量估算信源每发出一个符号提供

3、的平均信息量这个信源的核心问题。但对于由信源、信道和信宿组成的通信系统来说，最根本的问题，还在于如何定量估算信宿收到消息后，从消息中获取多少信息量的问题，也就是信息传输问题。在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算信道容量，即信道中能够传送或存储的最大信息量，并分析其特性。7狭义信道狭义信道：传输信息的物理媒介。广义信道：除传输媒介外，还包括相关的变换装置(发 送与接收设备、馈线与天线、调制解调器等)。8广义信道又可按其功能划分为： 调制信道(实际信道) 编码信道 等效信道几种信道如下图所示。本课程关注编码信道。 9二、信道的一般模型* 数字通信系统的一般模型输入端：

4、接收信源发出的消息符号。输出端：向信宿输出消息符号。10 调制信道是数字通信系统中从调制器输出端到解调器输入端之间的部分，调制信道也叫实际信道，是信号传输的物理媒介(包括干扰源在内) 。 编码信道是数字通信系统中从编码器输出端到译码器输入端之间的部分。其中的编码器包括信源编码器和信道编码器，而译码器则包括信道译码器和信源译码器。 等效信道则是数字通信系统中从信源输出端到信宿输入端之间的部分。等效信道包括了信源编码器、信道编码器、编码信道、信道译码器和信源译码器。11 信道研究的内容包括： 研究编码信道的特性。 研究由信道编译码器和信源编译码器组成的等效信道的特性。 从编译码的角度来看编码信道：

5、编码器的输出是某一数字序列，译码器的输入也是某一数字序列。故在数字通信系统中，编码信道(从编码器输出端到译码器输入端)可表示为对一数字序列进行变换的结点。 由于存在噪声干扰，信道的输入|输出信号之间呈现统计依赖关系，而非确定的函数关系。因此，如果已知信道输入、输出信号特性，以及它们之间的统计依赖关系，则可以确定信道的全部特性。123.1.1 信道的分类13 (1)根据载荷消息的媒体不同将信道分为 ：邮递信道电信道光信道声信道 (2)根据输入|输出信号的时间特性和取值特性将信道分为：离散信道 输入、输出随机变量的取值均离散。 连续信道 输入、输出随机变量的取值均连续。半离散或半连续信道 输入与输

6、出中一个为离散随机变量，另一个为连续随机变量。波形信道 输入与输出是时间上连续的随机信号x(t),y(t) 即输入、输出随机变量均为连续，且随时间连续变化。14(3)根据信道的统计特性将信道分为：恒参信道 信道的统计特性不随时间变化(卫星信道)。随参信道 信道的统计特性随时间变化(微波信道) 。(4)根据信道用户数量的不同将信道分为：两端(单用户)信道 一个输入端和一个输出端的单向信道。多端(多用户)信道 输入端和输出端中至少一端有两个以上用 户，并且可以双向通信的信道(大多数实际信道)。(5)根据信道是否存在干扰将信道分为：无扰信道 信道上没有噪声(干扰较小时，近似作为无扰信道。如计算机与其

7、外设间的数据传输信道)。有扰信道 存在干扰的信道(大多数实际信道)。15* 干扰源干扰源是对系统中所有噪声和干扰来源的总称。为了分析方便起见，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。加性干扰：它是由外界原因产生的随机干扰，它与信道的输入信号统计无关，因而信道的输出是输入和干扰的叠加。【主要研究的干扰】乘性干扰：信道的输出信号可看成输入信号和某些随机参量相乘的结果。16(6)根据信道有无记忆特性将信道分为：无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有

8、关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是进一步研究其它各类信道的基础。 173.1.2 信道的数学模型18信道的数学描述 设离散信道的输入序列为 ，其中 XN 符号集A=(a1,a2,ar) 相应的输出序列为 ，其中 YN 符号集B=(b1,b2,bs)。19 信道的特性可用条件概率来描述： 条件概率 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：一般信道的模型信道描述的物理意义传递概率 描述了输入信号和输出信号之间统计依赖关系，集中体现了信道对输入符号 的传递作用，反映了信道的统计特性。信道不同，传递概率不同。 根据信道的统计特性即条件概率 的不同，离散信

9、道又可分成以下三种： 无干扰信道(无噪信道) 有干扰无记忆信道 有干扰有记忆信道(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号与输入信号 之间有确定的、一 一对应的关系。即： y = f (x)22(2)有干扰无记忆信道 该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后不能完全消除对X的不确定性。信道输入和输出间的条件概率是一般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道，其条件概率满足23(3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的。 例如在数字

10、信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 此时24 处理有记忆有干扰信道的两种常用方法： 把记忆较强的N个符号当作一个N维矢量，认为各矢量间无记忆，由此转换成无记忆信道的问题。这样处理会引入误差，但随着N的增加，引入的误差会减小。 把 看成马尔科夫链的形式，即有限记忆信道。此时，信道的统计特性可用在已知时刻的输入符号和前一时刻所处的状态与信道的输出符号和当时所处状态的联合条件概率来描述，即用p(ynSn|xnSn-1)来描述，这里Sn

11、表示信道在n时刻所处的状态(Sn-1表示信道在n-1时刻所处的状态)， xn表示信道在n时刻的输入， yn表示信道在n时刻的输出。253.1.3 单符号离散信道26 单符号信道是最简单的信道，其输入与输出都是单个符号。单符号离散信道： 输入符号为X，取值于输入符号集A=a1,a2, ,ar。 输出符号为Y，取值于输出符号集B=b1,b2, ,bs。 条件概率：P(y|x)P(y=bj|x=ai)P(bj|ai) i=1,2,r；j=1,2,s 并满足： 这一组条件概率称为单符号离散信道的传递概率(转移概率)，可以用来描述干扰对信道影响的大小。27 由于信道中有干扰(噪声)存在，可以用rs个传递

12、概率 P(bj|ai)组成的传递(转移)概率矩阵P来描述干扰对符号传递的具体影响(随后给出)。 传递概率满足 当 等于0，表示输入符号ai的前提下，信道不可能输出bj 当 等于0，表示输入符号ai的前提下，信道输出bj是一个确定事件 28 一般简单的单符号离散信道的数学模型可以用概率空间 加以描述，也可用下图来描述：29 一般离散单符号信道的传递概率可用矩阵形式表示，即 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道转移矩阵。 30传递概率矩阵的表示：P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道转移矩阵。 化简 由于噪声的随

13、机干扰，信道输入某符号ai的前提下，信道输出哪一种符号虽然是不确定的，但一定是信道输出符号集B:(b1,b2,bs)中的某一种符号，绝对不可能是符号集B以外的任何其他符号，即矩阵中每一行之和必等于1。传递概率矩阵的含义单符号离散信道的传递特性图信道矩阵P所描述的信道传递特性也可以用传递特性图来描述。 左右两侧的点集合分别表示输入符号集A和输出符号集B单符号离散信道的传递特性图 输出为ai 时，接收为bj单符号离散信道的传递特性图 由ai到bj的连线旁的数值，表示信道输入ai到bj的传递概率p(bj|ai)。单符号离散信道的传递特性图从每一个输入符号ai出发的所有连线旁标出的数值之和均等于1。

14、例1 二元对称信道，BSC，Binary Symmetrical Channel解 此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。 传递概率:p是单个符号传输发生错误的概率。 表示是传输无错误的概率。二元对称信道的信道转移矩阵:1p a1=0 0=b11p a2=1 1=b2pp37对称信道若信道的传递概率矩阵P中每一行都是由同一集合中的诸元素不同排列组成，且每一列也都是由中的诸元素不同排列组成。具有这种对称信道矩阵的信道称为对称离散信道。【对称信道的特点】对称信道传输矩阵的各行都是一些相同元素的重排，各列也是一些相同元素的重排。 对称信道 0 2 101

15、符号“2”表示接收到了“0”、“1”以外的特殊符号。p，q含义如上图所示，它们都是无错误传输概率。p0 01p1 1q1q2例2 在信道受干扰不严重的情况下，在接收端增加一个中间状态2(删除符号)。由于发送1接收0和发送0接收1的可能性比发送0接收2或发送1接收2的可能性小得多，故可设p(y=1|x=0)=0,p(y=0|x=1)=0。这种情况相当于r=2，s=3，该信道称为二元删除信道。BEC，Binary Eliminated Channel解 X=0，1 Y=0，1，2此时，r 2，s 3，传递矩阵(信道转移矩阵)为：403.2信道疑义度与平均互信息413.2.1 信道疑义度 信道输入的

16、信息量: H(X)是在接收端收到Y以前，关于输入X的先验不 确定性，称为先验熵。信道无干扰：y=f(x)，接收的平均信息为H(X) 信道的输出符号与输入符号一一对应。这时，接收到传送过来的符号后就消除了对发送符号的先验不确定性。 信道有干扰： ？ XY3.2 信道疑义度与平均互信息42 收到bj后关于ai的不确定性： 它表示收到bj后关于各输入符号的平均不确定性后验熵。 43信道疑义度信道疑义度表示收到Y后关于X还存在的平均不确定性由于信道中存在干扰而对于输入端X存在的不确定性(疑义度)。表示损失在信道中的信息量损失熵性质： 对于无噪无损信道(一一对应信道)，收到符号Y后，对于X的不确定性可以

17、完全消除，这时信道疑义度H(X|Y)=0 一般有H(X|Y)H(X)，说明收到符号集Y后，关于符号集X的平均不确定性减少了，即通过信息传输总能消除一些信源的不确定性，从而获得一定的信息，这也是信息传输的目的。44含义：平均从Y获得的关于X的信息量 （又称为信道的信息传输率R，表示平均每一个消息符号在信道中传输会给收端带来的信息量）。 互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。 对于无干扰信道，I(xi ; yj) = I(xi)； 对于全损信道，I(xi ; yj) = 0； 平均互信息I(X;Y)定义为互信息 I(xi;yj)的统计平均:3.2.2 平均互信息/

18、信息传输率45互信息： 表示由随机事件y中 获得关于事件x的信息 I(X;Y)与熵： 互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。 对于无干扰信道，I(xi ; yj) = I(xi)； 对于全损信道，I(xi ; yj) = 0； 平均互信息I(X;Y)定义为互信息 I(xi;yj)的统计平均:3.2.2 平均互信息/信息传输率46注意： 互信息互信息 I(xi ; yj)表示收到消息yj后获得关于xi的信息量 互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。 对于无干扰信道，I(xi ; yj) = I(xi)； 对于全损信道，I(xi

19、; yj) = 0； 平均互信息I(X;Y)定义为互信息 I(xi;yj)的统计平均:3.2.2 平均互信息47 平均互信息I(X;Y)代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。关于平均互信息I(X;Y)的结论 互信息I(x;y)代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。 若互信息I(x;y)0，说明在未收到信息量y以前对消息x是否出现的不确定性较小，但由于噪声的存在，接收到消息y后，反而对x是否出现的不确定程度增加了。 平均互信息I(X;Y)是I(x;y)的统计平均，所以I(X;Y)0。 若I(X;Y)=

20、0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。此时对应的信道为全损信道。 48 平均互信息与无条件熵、条件熵和联合熵的关系： I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)又由于H(X|Y)=H(XY)-H(Y)；H(Y|X)=H(XY)-H(X)，所以有 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) 50平均互信息与各类熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY)其中：

21、51对平均互信息与各类熵之间关系的说明： I(X;Y)=H(X)-H(X|Y)表示从Y获得关于X的平均互信息，等于接收到输出Y的前后关于X的平均不确定性的消除。 I(X;Y)=H(Y)-H(Y|X)表示信源发出X的前后关于Y的平均不确定性的消除。 熵只是平均不确定性的描述，I(X;Y)才是接收端所获得的信息量(不确定性的消除量)。 平均互信息I(X;Y)确定了通过信道的信息量的多少，故又称为信息传输率。 H(X|Y)=H(X)-I(X;Y)为信道疑义度(损失熵)，表示信源符号通过有噪信道传输所引起的信息量损失。 H(Y|X)=H(Y)-I(X;Y)为散布度(噪声熵)，反映了信道中噪声源的不确定

22、性。52平均互信息与各类熵之间关系的集合图(维拉图)表示： 损失熵 H(X|Y)=H(X)-I(X;Y) 噪声熵 H(Y|X)=H(Y)-I(X;Y) 联合熵 H(XY)=H(X)+H(Y)-I(X;Y) 图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。两个圆分别减去I(X;Y)后剩余的部分代表信道疑义度和散布度。53 两种特殊信道(离散无干扰信道和输入|输出独立信道)的损失熵和噪声熵与各类熵之间的关系：(1)、离散无干扰信道 ( 无噪无损信道 ) 若信道的输入和输出一一对应，信息无损传输，称为无噪无损信道。 信道无损时，H(X|Y) =

23、H(Y|X) = 0，即离散无干扰信道(离散无噪无损信道)的损失熵和噪声熵都等于0，因此，输出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y) 54第一种极端信道无噪无损信道集合图： H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y) 描述I(X;Y)、 H(X)和H(Y)的三个集合完全重叠。55 (2) 输入|输出独立信道(全损信道) 信道输入端X与输出端Y完全统计独立 将上述关系带入熵的计算公式，得 H(X|Y) = H(X) , H(Y|X) = H(Y)从而有 I(X;Y) = H(X)-H(X|Y)=H(Y)-H(Y|X)=0即当信道的输入和输出

24、没有依赖关系时，信息将无法传输。因而输入|输出独立信道又称为全损信道。 56 在全损信道中，接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于0。同样，在全损信道中也不能从X中获得任何关于Y的信息量。 全损信道的平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。第二种极端信道全损信道的集合图 H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 描述I(X;Y)、 H(X)和H(Y)的三个集合完全独立(I(X;Y)为空集)。 573.2 平均互信息的性质(1)非负性 即 I(X;Y) 0 当X、Y统计独立时等式成立。 证法1 根

25、据詹森不等式Ef(x)f(Ex)，有 58证法2 由于H(XY)H(X)+H(Y)，故 I(X;Y)=H(X)+H(Y)-H(XY)0 I(X;Y)=0在p(xy)=p(x)p(y)时，即X与Y统计独立时成立。 平均互信息的非负性说明： 通过信道传输信息，获得的平均互信息量必然是正的，即从平均角度来说，观察信道的输出，总能接收到一定的信息。 但当信道的输入和输出统计独立，则不能在信道的输出端接收到任何有关输入的信息。59(2)极值性 I(X;Y)H(X) 或 I(X;Y)H(Y) 证 60对平均互信息的极值性说明： 当损失熵H(X|Y)=0时，对应无损信道。 I(X;Y)H(X)表明通过一般信

26、道获得的信息量不可能超过信源本身固有的信息量。只有使用无损信道传送，才能获得信源中的全部信息量。 同样，当H(Y|X)=0时，对应无噪信道。 I(X;Y)H(Y)表明通过一般信道传送的信息量不会超过信宿的信息量。只有使用无噪信道时传送的信息量才等价于信宿的信息量。61(3)对称性(交互性) I(X;Y) = I(Y;X) 当 X、Y统计独立时，I(X;Y)=I(Y;X)=0 当信道无干扰(无噪无损)时，I(X;Y)=I(Y;X)=H(X)=H(Y) 对称性说明：从Y中获得的关于X的信息量与从X中获得的关于Y的信息量相等。62(4)凸状性 所以，平均互信息I(X;Y)是信源X的概率分布p(x)和

27、信道的传传递概率p(y|x)的函数，即： I(X;Y) = f p(x), p(y|x) 平均互信息I(X;Y)是输入信源的概率分布p(x)的型凸函数。对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。对于每一个固定信道，一定存在有一种信源(某一种概率分布P(x)，使输出端获得的平均信息量为最大。63 平均互信息I(X;Y)是信道传递的概率P(y|x)的型凸函数。当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。例 二

28、元对称信道BSC的输入概率空间为 ， 讨论信道和信源变化对平均互信息的影响。解 BSC信道的转移概率矩阵为 先计算平均互信息：646566因此，若信源固定(给定)则I(X;Y)是p的型函数，如下图所示：673.3离散无记忆信道的扩展信道683.3 离散无记忆信道的扩展信道 前述最简单的单符号离散信道的输入和输出都是单个随机变量。 更常见的离散信道的输入和输出为一系列时间(空间)上离散的随机变量(随机序列)，并且输入或输出随机序列中每个随机变量都取值于同一输入符号集或输出符号集，这种离散信道的数学模型可用概率空间 描述。 在一般离散信道中，重点讨论离散无记忆信道(DMC，Discrete Mem

29、oryless Channel) ，其传递概率满足：69 DMC仍用概率空间 来描述。 设离散无记忆信道的输入符号集A=a1, , ar，输出符号集B=b1, , bs，信道转移矩阵为:70则此离散无记忆信道的N次扩展信道的数学模型如下所示:而信道转移矩阵：其中： 71例 求二元无记忆对称信道(BSC)的二次扩展信道。解 BSC的输入、输出变量X和Y的都在0,1中取值，因此，二次扩展信道的输入符号集A和输出符号集B均有224个符号A=B=00，01，10，11。 由于是无记忆信道，可求得二次扩展信道的传递概率：72所以，BSC的二次扩展信道的信道转移矩阵为73 根据平均互信息的定义，可得无记忆

30、信道的N次扩展信道的平均互信息： 若信道的输入随机序列为 ，通过信道传输,接收到的随机序列为 。信道转移概率为 ，则传输长度为N的随机序列后，所获得的平均互信息为 。74关于平均互信息的重要结论： 若信道是无记忆的，即信道传递概率满足： 上式中，若信源是无记忆的，则等式成立。直观分析：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少。 若信源是无记忆的，则有直观分析：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。75 若信道和信源都是无记忆的，且 上式表明，信源无记忆时，则无记忆信道的N次扩展信道的平均互信息等于单符号信道平均

31、互信息的N倍。76【例】信源X的概率测度为 ， 通过下图所示的二元删除信道，计算H(X) 、H(Y) 和H(X|Y)。【例】信源X的概率测度为 ， 通过下图所示的二元删除信道，计算H(X) 、H(Y) 和H(X|Y)。由信道的传递特性图可得：01【例】信源X的概率测度为 ， 通过下图所示的二元删除信道，计算H(X) 、H(Y) 和H(X|Y)。由信道的传递特性图可得：01利用全概率公式，输出符号概率测度为：信宿接收到的符号熵：【例】信源X的概率测度为 ， 通过下图所示的二元删除信道，计算H(X) 、H(Y) 和H(X|Y)。由信道的传递特性图可得：01利用概率乘法公式，得联合概率：利用概率乘法

32、公式，得后向概率：同理，得：信道疑义度：【例】 掷一个骰子，如果结果是1，2，3或4，则抛一次硬币；如果结果是5或6，则抛两次硬币。试计算从抛硬币的结果可以得到多少关于掷骰子的信息量。 解：掷骰子和抛硬币都可以看成是无记忆过程。设掷骰子结果为1，2，3或4时为信源X=0的情况；掷骰子结果为5或6时为信源X=1的情况。信源的概率空间为：设当Y=0时，表示抛硬币为0次正面；当Y=1时，表示抛硬币为1次正面；当Y=2时，表示抛硬币为2次正面。离散无记忆信道的传递特性图为：输出符号概率：信宿接收到的符号熵：信道的疑义度：信道的平均互信息：3.4离散信道的信道容量863.4.1 离散信道的信道容量 研究

33、信道的目的是要讨论对给定信道，能得到尽可能高的信息传输率，因此需要了解给定的信道到底能传输多少信息量，即信道容量。 定义;信息传输率R 信道中平均每个符号所能传送的信息量，又称为传码率、码元传输速率或波特率，单位是比特/符号或波特(baud)。 平均互信息I(X;Y)就是在输出端接收到符号Y后平均每个符号获得的关于输入端符号X的信息量。 87一、信息传输率【数学描述】如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)。但是，由于干扰的存在，一般只能接收到I(X;Y)。平均互信息量I(X;Y)是接收到符号Y后平均每个符号获得的关于X的信息量。因此，信道的信息传输率就是平均互信息量，即

34、 R=I(X;Y)=H(X)-H(X|Y)二、信息传输速率【定义】信道在单位时间内平均传输的信息量为信息传输速率Rt，又称为传信率、信息速率或比特率，单位是比特/秒(bit/s或bps)。【数学描述】如果信道平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量Rt，即为单位：比特/秒【定义】对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号在接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量C。信道容量的定义【数学描述】 单位：比特/符号【物理意义】信道容量C只是信道传递概率的函数，只与信道的统计特性有关，而与输

35、入信源的概率分布无关。即对于一个特定的信道，其信道容量C是确定的，是不随输入信源的概率分布变化而改变的。信道容量C取值的大小，直接反映了信道质量的高低。 信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。信道实际传送的信息量必然不大于信道容量。【最佳匹配信源的定义】【条件】能使平均互信息量达到信道容量C。相应的输入概率分布为最佳信源分布。相应的信源称为最佳匹配信源。关于信道容量的一般结论： 特定信道的信息传输率R只有取最佳信源分布时，才能达到这个极大值C。 虽然在取最佳信源分布时信道的信息传输率R可达到信道容量C，但在信息传输过程中，由于信道传输特性的影响，仍会出现差错。例 BSC

36、信道容量的计算。解 对于BSC，I(X;Y)因此，二元对称信道的信道容量为 信道容量C是信道中能传输的最大信息传输量(单位为bit/symbol)，而信道最大信息传输率是在信源取某一特定概率分布时得到的，称该特定信源概率分布为最佳信源分布。 对BSC，其最佳信源分布为等概分布，其信道容量为 C=1-H(p) (bit/symbol)即BSC的信道容量只与信道转移概率有关。93关于信道容量的一般结论： 对于一个特定信道，信道容量C是确定的，不随信源分布而变。 信道容量C取值的大小，直接反映了信道质量的高低。 特定信道的信息传输率R只有取最佳信源分布时，才能达到这个极大值C。 虽然在取最佳信源分布

37、时信道的信息传输率R可达到信道容量C，但在信息传输过程中，由于信道传输特性的影响，仍会出现差错。94 若信道传输错误量超过了可靠性容限，则须采用信道编码方法，将特定冗余码元加入信源符号，以便在接收端发现并纠正错误，从而提高传输的可靠性。但这样做势必降低信道的信息传输率。这就是信息传输有效性与可靠性的基本矛盾。 有噪信道编码定理(香农第二定理)可以解决信息传输有效性与可靠性的矛盾：总存在最佳信道编码，保证在信道的信息传输率不超过信道容量C时能获得尽可能高的传输可靠性。 从数学角度来说，求信道容量就是求平均互信息I(X;Y)的最大值。一般信道的信道容量C的计算非常复杂。以下讨论一些特殊信道的信道容

38、量的求法。95 对于离散无记忆信道，当输入信源是平稳时，如果已知其输入字符概率p(a)=(p(a1),p(a2),p(ar)和信道转移矩阵Q=p(bj|ak)rs，则该信道容量可定义为：根据上述定义求信道容量C，只需求I(p(a),Q)的最大值即可。 96带约束的多元函数极值问题 简单离散信道定义：输入|输出之间为确定关系或简单依赖关系的离散信道。 无噪无损信道 简单离散信道 有噪无损信道 无噪有损信道1. 无噪无损信道 右图所示的无噪无损信道的输入|输出符号之间存在着确定的一一对应关系，其信道转移概率为3.4.2 简单离散信道的信道容量97 由上述概率关系可知，无噪无损信道的转移矩阵是单位矩

39、阵： 无噪无损信道的信道疑义度H(X|Y)=0，散布度H(Y|X)=0 (?)，所以 I(X;Y)=H(X)=H(Y) 。 上式表示接收端收到符号Y后获得的信息量，等于信源发出每个符号所包含的平均信息量，在信道传输过程中没有产生任何信息损失(r=s)。 由于其损失熵H(X|Y)为0，并且噪声熵H(Y|X)也等于0。因此这类信道称为无噪无损信道，其信道容量为982. 有噪无损信道 信道如右图所示，其信道转移概率(前向概率)为其信道转移矩阵为99由于后向概率 该信道在接收到符号Y后，信源符号X是完全确定的，因此损失熵H(X|Y)=0。 100 有噪无损信道的损失熵H(X|Y)=0，但噪声熵H(Y|

40、X)0 (rs)，所以有噪无损信道的平均互信息：I(X;Y)=H(X)0。 信道的每一个输入符号都确定的转变成某一个输出符号，因此其噪声熵(散布度) H(Y|X)=0，rs，所以平均互信息 I(X;Y)=H(Y)s，每行有且仅有一个非零元素，则该信道一定是无噪有损信道。 一般的离散信道是有噪有损的，其信道转移矩阵中至少有一行存在一个以上的非零元素，而且同时至少有一列存在一个以上的非零元素。在这种情况下信道容量的计算非常复杂。但可以讨论一类较为简单的有噪有损信道对称与准对称离散信道的信道容量。104小结： 无噪信道 无损信道 105性质：106 如果信道转移矩阵P(r行，s列，一般sr)中每一行

41、都是第一行元素的不同排列，则此信道关于输入对称；若P中每一列都是第一列的不同排列，则此信道关于输出对称。 若一个离散无记忆信道关于输入和输出都对称，则该信道为对称DMC信道。 或说对称DMC信道是指信道转移矩阵中每一行都是由同一集合p1，p2，pr中的诸元素不同排列组成，且每一列也都是由q1，q2，qs 中的诸元素不同排列组成。 具有这种结构的信道转移矩阵所描述的的信道称为对称离散信道。3.4.3 对称与准对称离散信道的信道容量107例其信道转移矩阵为 由于Pa和Pb满足信道转移矩阵P中每一行都是第一行的重新排列，且每一列都是第一列的重新排列，因而上图给出的离散信道均为对称离散信道。108 而

42、信道转移矩阵所代表的信道都不是对称离散信道。 当输入对称而输出不对称，即转移矩阵P的每一行都包含同样的元素而各列的元素不同时，则称该矩阵是准对称信道。 如果可把信道输出字符集划分成几个子集，每个子集对应的信道转移矩阵中各行(列)组成的子矩阵满足每行(列)都是第一行(列)的同一组元素的不同排列，则称该信道是准对称信道。109110对称离散信道的信道容量：H(Y|X=x )是固定X=x时对Y求和，即对信道矩阵的列求和。111 由于信道具有对称性，每一行(第i行)都是第一行的重排列，由信息熵的对称性知H(Y|X=x )与行序号i无关，为一常数。这时H(Y|X=x)=H(p1,p2,ps)。因此，对称

43、DMC信道的信道容量为 112 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。只有当信道的输入符号是等概率分布时才能达到这个最大值。例 某对称离散信道的信道矩阵如下，求其信道容量。解 s=4, r=2113例 K元离散无记忆对称信道如图所示，其转移概率为 求该信道的容量。114 K元离散无记忆对称信道的输入|输出符号个数相同，都等于K，且信道转移矩阵满足对称性要求此信道也称为强对称信道或均匀信道(P为K阶对称方阵) 。 115 这类信道中输出符号总的错误概率为p ，对称地平均分配给K-1个输出符号。均匀信道是对称离散信道的特例。其信道容量为116其中logK为输入的最大信息量

44、， 是传输过程中由于干扰而损失的信息量，因而两者之差为信道实际传送的最大信息量信道容量C。 当K=2时，即为BSC的信道容量C=1-H(p)(BSC是K元离散无记忆对称信道的特例) 。117例 求下图所示的无噪二进信道的容量 0 0 X Y 1 1解法1 显然转移概率矩阵是一个二阶的单位矩阵。由于信源只有两个符号，设p(0)=p,则p(1)=1-p,问题就变为求出合适的p使I(X;Y)最大。 设输入空间A为 输出空间B为118119所以无噪二进信道的信道容量并且在输入空间等概率分布时，即p(a1)=p(a2)=1/2时达到信道容量。 120例 求下图所示的无噪二进信道的容量 0 0 X Y 1

45、 1解法2 利用对称信道容量计算公式 输入符号个数r=2,输出符号个数s=2 概率转移矩阵： 信道容量：121且在输入空间等概率分布时，即p(a1)=p(a2)=1/2时达到信道容量。 设输入概率空间为 对称信道是准对称信道的特例。 准对称DMC信道的容量： 122123或求I(X;Y)，再求其最大值，即为信道容量 准对称DMC信道的容量： 例 已知一个信道的信道转移矩阵如下，求该信道的容量。解1 该信道为准对称信道。设信道输入符号有两个，p(x1)= , p(x2)=1-，设信道输出符号有三个，用y1,y2,y3表示。由p(xi,yj)=p(xi)p(yj|xi)得联合概率的矩阵为 由 得

46、p(y1)=0.5+0.3(1-)=0.3+0.2 p(y2)=0.3+0.5(1-)=0.5-0.2 p(y3)=0.2+0.2(1-)=0.2其中p(y3)恒定，与xi的分布无关。124由 得 -0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0解得=l/2，即输入符号分布等概率时I(X;Y)达到极大值。所以信道容量为 C=max I(X;Y)=0.036 (比特/符号)此时输出符号的概率为 p(y1)=p(y2)=0.4，p(y3)=0.2。125例 已知一个信道的信道转移矩阵如下，求该信道的容量。解2 利用准对称信道的信道容量公式。设信道输入符号有两个，

47、p(x1)= , p(x2)=1-，设信道输出符号有三个，用y1,y2,y3表示。126当输入符号分布等概率时，即=1/2时，达到信道容量。例 (复制信道) 英文26个字母中每一个以0.5的概率复制成自己，以0.5的概率变成下一个字母(如下图所示)，求该信道的容量。 127解1 注意到转移概率的特性 既然转移概率的特性已明确，问题也归结为寻求信源的一种分布使I(X;Y)最大。容易求出H(Y|X)，利用互信息的性质I(X;Y)=H(Y)-H(Y|X)；再利用信道发送端符号a的分布确定信道接收端b的分布，进而求出H(Y)(它应是关于p(a)的函数)。128由于则 I(p(a),Q)=I(X;Y)=

48、H(Y) -H(Y|X)=H(Y)-1129由于因此当输入p(a)=(p(a1),p(a2),p(a26)为等概率分布时，输出p(b)=(p(b1),p(b2),p(b26)也为等概率分布，所以 130解2 公式法 1313.4.4 离散无记忆N次扩展信道的信道容量 一般离散无记忆信道的N次扩展信道的平均互信息满足 当信源也是离散无记忆时，上式等号成立。 对于一般的离散无记忆信道的N次扩展信道，其信道容量为 若已求得单符号离散无记忆信道的信道容量C，由于离散无记忆N次扩展信道的输入序列 中的各分量在同一信道中传输，因此有 Ci=C i=1,2,N132 上述结果表明任何时刻通过离散无记忆信道的

49、最大信息量都一样， CN = NC说明 离散无记忆信道的N次扩展信道的信道容量为原单符号离散无记忆信道容量的N倍，且只有在输入信源无记忆，每一个输入变量Xi的分布都达到最佳分布时才能达到该信道容量。 一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量：1333.5连续信道的信道容量134 连续信源的绝对熵： 可见连续信源的熵无限大。无法确切地定义。 连续信源的相对熵： 条件熵(连续信源条件相对熵)为 说明相对熵和相对条件熵的差值与普通的熵和条件熵的差值 一样，仍然等于平均互信息量。 同理可以导出： 一、平均互信息二、 连续信道的信道容量 在连续信源的情况下，如果取两个相对熵之差，则连

50、续信源具有与离散信源一致的信息特征。 互信息就是两个熵的差值，与离散信道类似，可定义互信息的最大值为信道容量。 因此，连续信道具有与离散信道类似的信息传输率和信道容量的表达式。1、 连续单符号加性高斯噪声信道的信道容量（平均功率受限） 单符号连续信道的输入输出都是取值连续的一维随机变量。137它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加 设信道迭加的噪声n是均值为零，方差为2的一维加性高斯白噪声，则高斯白噪声信源的差熵为： 单符号连续信道的平均互信息为 I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)=h(X)+h(Y)-h(X

51、Y) 信息传输率为 R= I(X;Y) (bit/symbol) 信道容量为其中的条件熵(噪声熵|散布度)是由信道的噪声引起的不确定性，因而条件熵h(Y|X)等于噪声信源的熵h(n)。 138 如果信道输出信号Y为正态分布时，h(Y)为最大。这时其概率密度函数P(y)=N(0,P)，P为Y的平均功率。 由于信道的输入X与信道噪声n统计独立，且信道为加性信道，即Y=X+n，所以有P=S+2，S为信道输入X的平均功率。 由于输出Y和信道噪声n的概率密度函数分别为 p(y)=N(0,P)，p(n)=N(0,2)，且Y=X+n所以输入X的概率密度函数为 p(x)=N(0,S)139 即当信道的输入X是

52、均值为0，方差为S的高斯分布时，信道容量达到最大值。 因此，平均功率受限的高斯加性信道的信道容量(每个自由度)为说明 式中S/2是信号功率与噪声功率的比值，简称信噪比，记作 SNR= S/2。 单符号高斯加性连续信道的信道容量仅取决于信道的信噪比，只有当信道的输入信号是均值为0、平均功率为S的高斯分布变量时，信道容量才能达到该最大值。140平均功率受限的高斯加性信道的信道容量(每个样点)为当信道的输入X是均值为0，方差为S的高斯分布时，信道容量达到最大值。说明： 式中S/2是信号功率与噪声功率的比值，简称信噪比，记作 SNR= S/2。 单符号高斯加性连续信道的信道容量仅取决于信道的信噪比，只

53、有当信道的输入信号是均值为0、平均功率为S的高斯分布变量时，信道容量才能达到该最大值。 实际上的各种电磁干扰属于加性干扰，但为非高斯型分布。141 信道中的噪声为乘性时，则难以定量分析。 若通信系统中的噪声为加性，则可根据上式求出均值为0、平均功率为2的非高斯型噪声信道的信道容量的上下限说明 式中h(n)为噪声熵，P为输出信号的平均功率，P=S+2。 是均值为0、方差为P的高斯输出信号熵，由于信道噪声是非高斯型的，如果输入信号X的分布能使Y(Y=X+n)呈高斯分布，则 中的 h(Y)达到最大值，此时信道容量达到上限值 1422、 连续单符号加性非高斯噪声信道的信道容量的上下限143输出信号序列

54、 =Y1Y2YN输入信号序列 =X1X2XN3. 多维无记忆高斯加性连续信道加性信道高斯噪声 = n1n2nNX1Y1=X1 +n1n1XNYN=XN +nNnN144多维无记忆加性连续信道示意图145146既是多维无记忆高斯加性连续信道的信道容量，同时也是N个独立、并联组合的单符号高斯加性连续信道的信道容量。 对此，可分两种情况讨论：(1) 若各单元时刻(i1,N，对应于输入和输出序列的各个分量)上的噪声都是均值为零、方差为2的高斯噪声，得 当且仅当输入随机序列 中各分量统计独立，且都是均值为0，方差为S的高斯变量时，信道容量(信息传输率)才能达到该最大值。(比特N个自由度)147(2) 若

55、各单元时刻(i1,N)的噪声是均值为0，方差为不同 的高斯噪声，但输入信号的总平均功率受限，其约束条件为：此时各单元时刻的信号平均功率应合理分配，才能使信道容量最大。 为此，需在上述约束条件下求Pi的分布。这是一个求极大值的问题，可用拉格朗日乘子法求解。 作辅助函数 148这表明，各单元时刻的信号平均功率与噪声平均功率之和应为常数，即各个时刻信道的输出功率相等。设各个时刻信道的输出功率为，则则每单元时刻信号的平均功率为149此时信道容量为 该结论说明，N个独立并联组合的高斯加性信道(或N维无记忆高斯加性连续信道)，当各分信道(或各时刻)的噪声平均功率不相等时，为达到最大的信息传输率(信道容量)

56、，要对输入信号的总能量适当地进行分配。 150 当常数 时，不对此子信道(或此时刻信号分量) 分配能量，这时由于噪声太大而不传送任何信息。 当 时，在这些子信道可分配能量，并使之满足 ，这样得到的信道容量为最大。 这与实际情况也相符：人们总是在噪声大的信道少传或不传送信息，而在噪声小的信道多传送些信息。151注水法原理(子信道信号功率分配方法) 将各单元时刻或并联子信道看作盛水的容器，将信号总功率P看作水，向容器内倒入水，最后的水平面是平的(平均输出功率)，而每个子信道中装的水即为分配的信号功率( )。152例 设有一并联高斯加性信道，各子信道的噪声均值为0，方差为 输入信号X是10个相互统计

57、独立、均值为零、方差为Pi的高斯变量，且 。求各子信道的信号功率分配方案。解 由常数的约束条件，得平均输出功率为153再次计算常数(此时N = 6)，得：第三次计算常数(此时N = 5)，得：第五个子信道也应排除，令P5=0。第四次计算(N = 5)154 本例结果表明，噪声分量平均功率小的子信道分配得到的相应信号分量的平均功率要大一些，不使用那些太坏的子信道(噪声太大的子信道噪声功率超过平均功率的子信道) ，可使总的信道容量最大。 若提高信号的总平均功率，对同样的信道，可使有些子信道相应也分配到一些输入信号的能量，从而提高总的信道容量。155(比特10个自由度)若提高信号的总平均功率，使：功

58、率分配为： P1=0.725， P2=0.625 ， P3=0.525 ，P4=0.425， P5=0.325， P6=0.225 ， P7=0.125 ，P8=0.025信道容量：比较得最后两个信道应排除，令： P9 =0，P10 =0，则156说明 用注水法分配功率是一种最佳策略。 噪声小的子信道分配到的输入平均功率大，信噪比也大，因而抵抗噪声的能力就强，可以传输的比特数就多。 噪声大的子信道分配到的输入平均功率小，信噪比也小，因而抵抗噪声的能力就弱，可以传输的比特数就少。 用注水法给子信道分配信号功率实际上采用了择优分配原则：噪声小的，分配的信号功率就大；噪声大的，分配的信号功率就小。1

59、574. 限频限时限功率的加性高斯白噪声信道的信道容量 一般信道的频带宽度总是有限的，设频带宽度为W，在这样的波形信道中，满足限频(F) 、限时(T)和限功率(Ps)的条件约束，所以可通过取样将输入和输出信号转化为L维的随机序列： 。这时波形信道的平均互信息为 通常，关注波形信道单位时间内的信息传输率Rt:相应的单位时间内的信道容量为 158 在通信系统中，经常碰到的噪声之一就是白噪声。所谓白噪声是指它的功率谱密度函数在整个频域内 是常数，即 服从均匀分布。之所以称它为“白”噪声，是因为它类似于光学中包括全部可见光频率在内的白光。凡是不符合上述条件的噪声就称为有色噪声。 白噪声的功率谱密度函数

60、通常被定义为式中，是一个常数，单位为W/Hz。 白噪声是根据噪声的功率谱密度是否均匀来定义的，而高斯噪声则是根据它的概率密度函数呈正态分布来定义的。高高斯白噪声，是指噪声的概率密度函数满足正态分布统计特性，同时它的功率谱密度函数是常数的一类噪声，二者缺一不可。 在通信系统的理论分析中，特别是在分析、计算系统抗噪声性能时，经常假定系统中信道噪声（即前述的起伏噪声）为高斯型白噪声。其原因在于，一是高斯型白噪声可用具体的数学表达式表述（比如，只要知道了均值 和方差 ，则高斯白噪声的一维概率密度函数便可确定；只要知道了功率谱密度值，高斯白噪声的功率谱密度函数便可决定），便于推导分析和运算；二是高斯型白