武汉理工大学第三章辅导信息理论编码

1、第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC）达到信道容量的充要条件，掌握DMC扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。表3.

2、1 信道的分类信道时间离散信道时间离散、幅值离散信道简称离散信道（discrete channel）或数字信道（digital channel）时间离散、幅值连续信道简称连续信道（continuous channel）时间连续信道时间连续、幅值离散信道时间连续、幅值连续信道简称波形信道（waveform channel）或模拟信道（analog channel）（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类

3、：无噪声信道：信道的输入/输出关系是确定关系。有噪声信道：信道的输入/输出关系是统计依存关系。3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC）的数学模型离散无记忆信道（DMC）的数学模型如图3.1所示，记为。噪声干扰DMC图3.1 离散无记忆信道（DMC）模型示意图信道的输入取值于集合，输出取值于集合。 （3.1）为分析计算方便，常常把所有转移概率排成矩阵： （3.2）转移矩阵中各行个转移概率自身是完备的： （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是次扩展信道的模型，其输入和输出均为元随机变量序列。输入为，各均取值于输入符号集合；输出为，各均取值于输出符号集

4、合。、的取值集合分别为和，或中一个符号就是取值于或的元符号串：次扩展信道的转移概率集合为 （3.4）次扩展信道的数学模型可记为。噪声干扰离散信道图3.2 离散信道模型示意图信道是DMC的充要条件是 （3.5）3.2.2.3 连续信道的数学模型最基本的连续信道是单维连续信道，它的输入、输出以及噪声都是取值于整个实域的一维连续型随机变量，其模型如图3.2所示。连续信道图3.2 单维连续信道模型连续信道的统计特性由转移概率密度函数描述，满足如下约束条件： （3.6）单维连续信道的数学模型记为。如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。多维连续信道的输入和输出分别为多

5、维随机变量和，转移概率密度函数为。多维连续信道的数学模型记为。假设连续信道的维输入为，维输出为，若转移概率密度函数满足 （3.7）则称此信道为连续无记忆信道。3.2.4信道的疑义度、散布度和平均互信息3.2.4.1 信道的平均互信息对于DMC，从输出中所获得的关于输入的平均信息量，就是信道的平均互信息量，与各类熵之间的关系为： （3.8）的表达式化为如下形式： （3.9）于是，就成了信道输入随机变量的概率矢量和信道转移概率矢量的函数，可以记为。的凸状性由以下定理给出：如果信道给定（即给定），那么是输入概率的上凸函数。如果信源给定（即给定），那么是转移概率的下凸函数。3.2.4.2 信道的疑义度

6、观察，对于有噪信道，输入的平均信息不可能全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是。既代表收到输出后对输入还存有的疑义，又代表信道在传输过程中的信息损失。因此，又称为信道的疑义度或损失熵。损失熵为零的信道称为无损信道。3.2.4.3 信道的散布度观察，变换为，式中代表输出中含有的全部信息，其中既包含从输入端送来的有用信息，也包含由噪声引入的无用信息。叫做信道的散布度或噪声熵，表明信道因噪声干扰所呈现的无序性程度，噪声熵为零的信道称为确定信道。3.2.5信道容量3.2.5.1 信道容量的定义每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为，即： /符

7、号 （3.10）最佳输入（概率）分布：使得给定信道的达到最大值C的输入分布。研究信道的核心问题就是求信道容量和最佳输入分布。3.2.5.2 特殊信道的信道容量1）无损信道损失熵为0的信道称为无损信道，其转移矩阵每列只有一个非零元素。信道容量为： （3.11）2）确定信道噪声熵为0的信道称为确定信道，转移矩阵每行只有一个转移概率为1，其余均为0。信道容量为： （3.12）3）无损确定信道损失熵和噪声熵均为0的信道称为无损确定信道，转移概率矩阵为单位阵： （3.13）当输入等概率分布时，信道达到信道容量： （3.14）4）离散对称信道按对称性限制条件的不同，对称信道可细分为几种不同形式：离散输入对

8、称信道、离散对称信道、离散准对称信道。离散输入对称信道的信道容量：定义：当信道转移矩阵每一行个元素，都由同一组元素的不同排列组成，为行排列阵，此信道称为输入对称信道。信道容量：当输出概率等概时， （3.15）离散输出对称信道：定义：当信道转移矩阵每一列个元素，都由同一组元素的不同排列组成，为列排列阵，此信道称为输出对称信道。离散对称信道：定义：当信道转移矩阵既是行排列阵又是列排列阵，此信道称为对称信道。信道容量：当输入等概时达到信道容量，且 /符号 （3.16）离散准对称信道：定义：若信道转移矩阵的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道称为离散准对称

9、信道。信道容量：当输入等概时达到信道容量。把准对称DMC的分块成个行列排列子阵，信道容量计算公式如下。 /符号 （3.17）其中：转移矩阵的行数；：子阵的列数；：子阵的任一列元素之和；：转移矩阵任一行元素；3.2.5.3 一般DMC达到信道容量的充要条件对于一般DMC，其平均互信息量在输入分布为时取最大值的充要条件是 ， 当时 （3.18）， 当时 （3.19）其中，是信道容量。3.2.5.4信道容量的迭代算法设DMC的转移概率矢量为，记是任意给定的一组初始输入分布，其所有分量均不为零。按下式不断对输入分布进行迭代、更新： （3.20）其中 （3.21）则由此所得的序列收敛于信道容量。3.2.

10、5.5 扩展信道的信道容量扩展信道的平均互信息量的概率表达式为 （3.22）平均互信息量与各类熵之间的恒等式： （3.23）以上两式与单符号信道情形完全相同。若信道无记忆，则有 （3.24）若信源无记忆，则有 （3.25）若信道和信源均无记忆，则有 （3.26）次扩展信道的信道容量为 （3.27）3.2.6 信道的组合3.2.6.1 串联信道图3.3是两个信道组成的串联信道，和分别是两个信道的转移概率矩阵。信道I信道II图3.3 串联信道记串联信道中三个随机变量、以及的取值符号集分别为、。串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积。设个单元信道的转移概率矩阵分别为，则整个串联信道的转

11、移概率矩阵为 （3.28）若信源组成马尔可夫链，则有 （3.29）等号成立的充要条件是 。 （3.30）等号成立的充要条件是。以上结论也可表述为信息不增性原理：通过信道的信息不会增加。或称为数据处理定理：数据经过处理之后，不会使信息增加。信道1信道2信道N图3.4 独立并联信道3.2.6.2 独立并联信道独立并联信道如图3.4所示。维输入的各分量分别送入个独立信道，各独立信道的输出组成维输出。只与有关，即等效信道是无记忆的： （3.31） 所以，独立并联信道的信道容量为 （3.32） 即独立并联信道的信道容量为各组成信道的信道容量之和。3.2.7信道绝对剩余度信道绝对剩余度 （3.33）信道相

12、对剩余度 （3.34） 剩余度小，说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用；剩余度为零，说明信源与信道(信息)完全匹配，信道的信息传递能力得到完全利用。一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以，剩余度不为零。要求信源与信道达到信息的完全匹配是不现实的，只要信道剩余度较小就可以了。3.2.8连续信道的信道容量3.2.8.1连续信道信道容量的计算方法连续信道的平均互信息量与离散情形下的类似： （3.35）而连续信道的信道容量定义为该信道的在条件下关于的最大值： （3.36）若最大值不存在，可取其最小上界： （3.37）实际应用中，信道输入信号的平均功率总是限定

13、在一定范围之内，对信道输入信号的限制条件可描述为 （3.38）3.2.8.2 加性高斯噪声信道的信道容量求解一般连续信道的信道容量非常困难，只有对一些特殊的连续信道，如加性噪声信道，才能推出简明的信道容量表达式。加性噪声信道的转移概率密度函数 （3.39） （3.40） （3.41）或 （3.42）对于加性高斯噪声信道，当服从高斯分布时，达到信道容量： （3.43）3.2.8.3 一般加性噪声信道的信道容量的界对于一般的无记忆加性噪声信道，假设输入信号的平均功率受限于，噪声的平均功率受限于，则信道容量的上下界为 （3.44）其中是具有微分熵的随机变量的熵功率。3.2.9 波形信道及其信道容量3

14、.2.9.1 波形信道的定义波形信道是指输入/输出随时间连续取值、且取值集合是连续区间的信道，也称为模拟信道。波形信道的输入和输出分别用随机过程和来描述。波形信道是无穷维连续信道，当时，维连续信道的平均互信息量的极限就是波形信道的平均互信息量： （3.45）定义持续时间为的波形信道的信道容量为 （3.46）3.2.9.2 波形信道的信道容量波形信道是无穷维连续信道，信道容量的一般性研究在数学上存在相当大的困难。对于一种特殊的波形信道：限带、加性高斯白噪声信道。信道容量公式如下。 （3.47）上式就是有名的香农信道容量公式。教材习题详解3.1 信道模型与信道分类3.1.1 试说明信道分类以及不同

15、信道的特点答：（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分1）时间离散、幅值离散信道：简称离散信道或数字信道2）时间离散、幅值连续信道：简称连续信道3）时间连续、幅值离散信道4）时间连续、幅值连续信道：简称波形信道或模拟信道（2）根据信道的记忆特性划分。1）无记忆信道：信道当前的输出只与当前的输入有关。2）有记忆信道：信道当前的输出不但与当前的输入有关，还与以前的输入有关。（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分。1）无噪声信道：信道的输入/输出关系是确定关系。2）有噪声信道：信道的输入/输出关系是统计依存关系。（4）根据信道物理组成划分1）有线信道2

16、）无线信道3）光纤信道等等（5）根据信道的用户类型划分1）两端（单用户）信道：只有一个输入端和一个输出端的单向信道。2）多端（多用户）信道：有多个输入端和多个输出端的单向或双向信道。（6）根据信道的参数类型划分1）恒参信道（时不变信道）：信道的统计特性不随时间变化。2）变参信道（时变信道）：信道的统计特性随时间变化。3.2 离散无记忆信道的数学模型3.2.1 信道线图如下，试确定该信道的转移概率矩阵 解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号3.3 概率的计算问题3.3.1 （原3.1）的转移矩阵如下（1）画出信道线图；（2）若输入概率为，求联合概率、输出概率以及后验概率。（1

17、） （2）乘以的第1行，乘以的第2行，得联合概率矩阵：的各列元素相加得对应的输出概率，写成矩阵形式：的各列元素除以对应的输出概率，得后验概率矩阵：3.4 信道的疑义度、散布度和平均互信息3.4.1 （原3.2） 设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为 试求：（1）信源的符号和分别含有的自信息；（2）从输出符号所获得的关于输入符号的信息量；（3）信源和信道输出的熵；（4）信道疑义度和噪声熵；（5）从信道输出中获得的平均互信息量。解：(1) /符号 /符号 (2) = = /符号 = /符号 = /符号 = /符号(3) /符号 /符号(4)、(5) /符号

18、 /符号 /符号 /符号又根据 = /符号3.4.2 （原3.3） 设有一批电阻，按阻值分：70%是2，30%是5；按功率分：64%是1/8，其余是1/4。现已知2阻值的电阻中80%是1/8。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解：设阻值信源为， 设功率信源为 共70% /符号 = = /符号 /符号 /符号 = /符号3.5 信道容量3.5.1 （原3.4） 举出下列信道的实例，给出线图和转移矩阵。（1）无损的，但不是确定的，也不是对称的；（2）对称且无损，但不是确定的；（3）无用的确定信道。解：(1) (无噪) (有噪) , (2) (无损) 对称 (有噪) (3) 无损、

19、确定 3.5.2 （原3.6，红书例3.15） 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中。 解：(1)方法一：从信道矩阵(1)可知，其行中各元素相等，但各列元素不同，因此不是对称信道。正因为各行元素相等，所以我们假设输入分布为等概率分布，即在输入等概率分布下，计算得 满足然后计算= = =又= = =可见，当 时。所以，根据信道容量解的充要性（参考书1中）定理3.3得 故 假设的输入分布就是最佳的输入分布。方法二：此信道是准对称信道。信道矩阵中可划分为二个互不相交的子集，由于集列所组成的矩阵 ，而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。 其中，

20、所以= = = =输入等概率分布时达到信道容量。（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。现采用准对称信道的信道容量公式进行计算。此信道矩阵中可划分成两个互不相交的子集，由子集列所组成的矩阵为 ，这两矩阵为对称矩阵。其中 所以 = = = = =输入等概率分布（）时达到此信道容量。比较此两信道容量，可得 3.5.3 （原3.5） 求下列二个信道的信道容量及其最佳的输入概率分布。 解：图3.8中两信道的信道矩阵为 其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 比特/符号最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。现计算这二元对称信

21、道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵 所以其信道容量（即最大信息传输率） 比特/符号3.5.4 （原3.6） 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中。 解：(1)方法一：从信道矩阵(1)可知，其行中各行元素不同，因此不是对称信道。正因为各行元素相等，所以我们假设输入分布为等概率分布，即 在输入等概率分布下，计算得 ， 满足然后计算= = =又= = =可见，当 时。所以，根据信道容量解的充要性（参考书1定理3.3）得 故 假设的输入分布就是最佳的输入分布。方法二：此信道是准对称信道。信道矩阵中可划分成二个互不相交的子集，由于集列所组成的矩阵 ，而这

22、两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。 其中，所以 = = = =输入等概率分布时达到信道容量。(2)此信道也是准对称信道，也可采用上述两种方法之一来进行计算。现采用准对称的信道容量公式进行计算。此信道矩阵中可划分成两个互不相交的子集，由子集列所组成的矩阵为 ，这两矩阵为对称矩阵。其中 所以 = = = = =输入等概率分布()时达到此信道容量。比较此两信道容量，可得 （3.8） 设信道转移矩阵为（1）求信道容量和最佳输入分布的一般表达式；（2）当和时，信道容量分别为多少？并针对计算结果作一些说明。解：(1) ()解方程组得 所以 = = = = = 而 (=

23、1,2,3)得 解得 当P=0,此信道为一一对应信道，得 ，当时，3.5.6 （李梅，4.5）给定的条件下，平均互信息随信道转移概率呈现下凸性，具有最小值。4.5 信道及它的输入、输出如图4.5所示图 4.5 （1） 求最佳输入分布；（2） 求时信道容量；（3） 求当和时的最佳输入分布值。解：（1） 把记为，并令则。平均互信息表示为的函数：对平均互信息求驻点，它的极值即为信道容量。 整理得到：去掉对数符号，得 最佳输入分布为 （2） 时，有 所以 比特/符号（3）记，则 所以时信道趋于一个无噪声信道，当输入等概时达到信道容量。 当时，原信道退化为，此时，不存在最佳输入分布，即任意 输入分布均可

24、使信道达到信道容量。这从（1）求最佳输入分布的过程也可以得到解释。当时，这时成为恒等式，任意的均可使该等式成立。3.5.7 （原3.10）信道转移矩阵如下，其中，求信道容量。 解：此信道是对称DMC，当输入等概时，达到信道容量。 3.5.8 （李梅）4.2 二元删除信道有两个输入：0，1和3个输出：0，1，其中表示可检出但无法纠正的错误。信道前向转移概率是 求信道容量。解：信道如图4.2所示。 图4.1 图4.2 其转移矩阵为 这是一个准对移信道，信道容量为 比特/符号2.5.9 （李梅）4.6 试求出准对移信道的信道容量的一般表达式。解：设输入符号个数为，输出符号个数为，对于行对称信道，有

25、由于准对称信道当输入等概分布时达到信道容量，这时所以 （4.4）因为准对称信道可以按列分成若干个对称的子矩阵，在子矩阵中每一行,每一列元素都相同，把式（4.4）括号内的求和分成在不同的子矩阵中求和。 表示每列元素之和，在每一个子矩阵中都相等，因此在同一子矩阵中求和项可以进行合并，合并后对数符号前的值就等于子矩阵中行元素之和，所以 其中表示子矩阵中行元素之和，表示子矩阵中列元素之和。3.6 扩展信道及其信道容量3.6.1 （原3.7） 设两个DMC的转移矩阵分别为 求2次和3次扩展信道的转移矩阵。解：(1) (2) 3.7 信道的组合3.7.1 （傅详3.16）【3.16】 若有二个串接的离散信

26、道，它们的信道矩阵都是 并设第一个信道的输入符号是等概率分布，求和并加以比较。 解：已知信道矩阵 由这二个信道串接起来，其总值信道矩阵为 设第一个信道的输入符号是等概率分布，由第一信道的传递矩阵，可计算得 ， ， 所以 比特/符号 对于二个串接信道，其信道传输矩阵为，当设输入符号为等概率分布时，可计算得 ， ， 所以 =1.5 比特/符号 可见 这两信道串接后，没有使信道中增加信息的损失。这是因为串接后的总信道中，将第三列和第四列互换，然后将第三行与第四行互换后，所得矩阵与完全一样。则得 又得，不论输入是何种概率分布，而与的概率分布相等即 所以可得 因此条件满足，串接信道不增加信息的损件。3.

27、7.2 （傅详3.15）【3.15】 把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概为。并证明，设或1，信道的串接如图3.10所示。图3.10 串接二元对称信道证明：个二元对称信道串接起来，每个二元对称信道的错误传递概率为，一般，而且组成马尔可夫链。所以，总的信道传递概率等于个二元对称信道传递矩阵的联乘。 考虑二元对称信道1 考虑二元对称信道1和2串接 其错误传递概率为。而 当考虑三个二元对称信道串接，得 总信道为二元对称信道，其错误传递概率为。而 由此类推，可得个元元对称信道串接时，总的信道矩阵为 那么，个二元对称信道串接

28、时，总的信道矩阵为 得此总信道是一个二元对称信道，其错误概率为。 所以 因为和，而且所以 因为 ， 因为当时，错误概率趋于，则总信道矩阵为 则输出与统计独立，不论输入取什么概率分布，都取等概率分布。得 比特所以 证毕 由此题的证明可知，若设输入的二元符号为等概率分布，则得 由此可以加深我们对信息不增性原理的理解。3.8 信源与信道的匹配3.8.1 （原3.7） 设二元对称信道的输入概率分布为，转移矩阵为（1）求信道输入熵、输出熵、损失熵、噪声熵以及平均互信息量；（2）求信道容量和最佳输入分布；（3）求信道剩余度。 解：(1) bit/符号损失熵 bit/符号噪声熵 = 0.390+0.5280

29、.918 bit/符号平均互信息 0.811-0.749=0.062 bit/符号 =0.4536+0.5363=0.9899 bit/符号 (2) 二元对称信道 bit/符号 （3）信道剩余度 bit/符号3.9 连续信道及其信道容量3.9.1 （原3.11） 设某信道的输入取值于，又信道有加性噪声，其概率密度函数为 求信道容量。解：把输入符号集划分成若干子集使而且设 由此得输出符号集也被分成若干个子集也满足并设每个分信道的利用率为则其中每个信道的输入概率分布为因为 所以得 设原来第个分信道容量为，以及其最佳输入概率分布为 则， 当时，使 （1）当时，使 （2）再设它们的和信道的信道容量为C

30、，以及最佳输入分布为P(x)，使当,则 （3）因为Q的特殊结构，所以当，=0,而 0 则得 当 （4）同理，当 （5）以此类推，当 3.9.2 （李梅，4.10）4.10 设一时间离散、幅度连续的无记忆信道的输入是一个零均值、方差为E的高斯随机变量，信道噪声为加性高斯噪声，方差为，信道的符号传输速率为= 8 000符号/秒。如令一路电话通过该信道，电话机产生的信息率为64 kbps,求输入信号功率的最小值。解：由香农公式，该信道的信道容量为为使电话机产生的64 kbps 数据正确通过信道，必须 64×bps得 = 65 535 W所以输入信号功率应不小于 65.5 mW 。3.10

31、波形信道及其信道容量3.10.1【4.4】 设某连续信道，其特性如下 而信道输入变量的概率密度函数为 试计算：（1）信源的煽 。（2）平均互信息。解：（1）信源是正态分布的信源，其均值为零，方差为所以 (上式对数取不同的底对应不同的单位。) (2)因为 所以 所以 0.144 奈特 0.208 比特3.10.2 （傅详4.19）【4.4】设在平均功率受限高斯可加波形信道中，信道带宽为3kHz，又设（信号功率+噪声功率）/噪声功率=10 dB。（1） 试计算该信道传送的最大信息率（单位时间）。（2） 若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽应是多少。解：（1）平均功率受限高斯

32、可加波形信道，其= 3kHz，=10=这信道传送的最大信息速率 比特/秒（2）仍应为（比特/秒），而=5= 所以 所以 在传输相同的信息传输速率下，降低信噪比就需要增加带宽。自我测试题一、填空题1. 有记忆信道的当前输出不仅与_输入有关，还与_输入有关。2. 既代表_，又代表_，因此，通常把称为信道的_或_3. 如果信道给定，那么是输入概率的_凸函数。如果信源给定，那么是转移概率的_凸函数。4. 衡量一个信息传递系统的好坏，有两个主要指标。其一，_；其二，_。5. 使得给定信道_的输入分布，称为最佳输入(概率)分布，记为二、判断题1. 信道容量不仅与信道转移概率有关，也与信道的输入分布有关。（

33、）2. 噪声熵为0的信道称为确定信道。（）3. 离散对称信道输入等概率分布时，输出未必也等概率分布。（）4. 一般DMC达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。（）5. 信道是DMC的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对转移概率之连乘。（）三、选择题1. 若信道和信源均无记忆，以下结论不成立的是_A. BCD2. 关于两个独立信道Q1、Q2串联，下列说法不正确的是_A. 串联信道的信道容量与组成串联信道的各分信道的信道容量存在精确的定量关系B数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少C串联信道的转移概率矩阵是各单元信道的转

34、移概率矩阵之积D组成一个马尔可夫链3. 信源的输出与信道的输入匹配的目的不包括_A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度4. 以下关于连续信道的说法中，不正确的是_A连续信道是时间离散、幅值连续的信道B连续信道的统计特性由转移概率分布函数描述C加性噪声信道的转移概率密度函数等于噪声的概率密度函数D对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最小5. 已知香农公式，不能得出的结论是_A. 在信噪比不变的前提下，增大频带，可增大信道容量B. 频带不变时，增大信噪比即可增大信道容量C. 在PS增大很多之

35、后，继续增大信号功率来实现信道容量的增大是一个有效途径D. 用扩频方法来增大信道容量，其作用是有限的四、计算题1、（李梅，4.1）4.1 设一个二元信道如图4.1所示，其输入概率空间为，试计算，和。2、（陈杰，例3.26）例3.26 若已知信道输入分布为等概率分布，即，1，2，3，4，且有下列两个信道其转移概率为3、（傅详） 试求：这两个信道容量和并问这两个信道是否有噪声？3、（傅详）【3.3】 设二元对称信道的传递矩阵为 (1) 若，求，和；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。4、（傅精，原3.11）【3.6】由（,）个离散信道的和组成一个信道矩阵，该信道矩阵为设是第

36、个分信道的信道容量。试证明：这个和信道容量为 比特/符号并且当其中每个分信道的利用率时。达到信道容量C 。6、（李梅）4.15 判断图4.13中个信道是否对称，如对称，求出其信道容量。 图 4.137、（傅精4.7）【4.7】 均匀分布加性噪声信道，其输入随机变量在区域内均匀分布。设输出随机变量，噪声随机变量在区域内均匀分布。(1) 找出以为变量的平均互信息。(2) 当= 1，求此信道的信道量(即峰值受限于的信道容量)并求出达到信道容量时输入随机变量的概率分布。(3) 对所有的值，求此信道的信道容量。8、（李梅4.16）4.16 一个快餐店值提供汉堡包和牛排，当顾客进店以后只需向厨房喊一声“B

37、”或“Z”就表示他点的是汉堡包或牛排，不过通常8%的概率厨师都可能会听错。一般进店的顾客90%会点汉堡包，10%会点牛排。问：(1)这个信道的信道容量;(2)每次顾客点菜时提供的信息;(3)在这个信道可不可以正确地传递顾客点菜的信息?9、（李梅，4.14）4.14 设某一信号的信息输出率为5.6 kbps，噪声功率谱为mW/Hz，在带宽B=4 kHz的高斯信道中传输。试求无差错传输需要的最小功率是多少？10、（原题3.11）有m个离散信道，转移矩阵分别为, ,由这m个离散信道组成一个新信道，称为和信道，其转移矩阵为：设是第k个离散信道的信道容量，试证明：和信道的信道容量为：此时第k个信道的使用

38、概率为：五、实验题1、试编制离散信道容量计算迭代程序，并以此来计算几类典型的信道容量。2、试编制二进制对称信道所传输的平均互信息随信道转移概率和输入分布的关系曲面。本章自测题参考答案一、填空题1、当前时刻的，以前的2、收到输出后对输入还存有的疑义，信道在传输过程中的信息损失，疑义度，损失熵3、上，下4、数量（速度）指标：信息（传输）率，即信道中平均每个符号传递的信息量，质量指标：平均差错率，即对信道输出符号进行译码的平均错误概率。5、达到最大值(即信道容量)二、判断题1、×；2、；3、×；4、；5、三、选择题1、C；2、A；3、C；4、B；5、C四、计算题1、解： （1） bit(2) 比特/符号（3）比特/符号2、解：（1）由信道1的转移概率矩阵可知其为对称性道所以 因为 > 所以有信息煽损失，信道有噪声。（2）由信道2的转移概率矩阵可知其为准对称性道，输入为等概率分布时达到信道容量。令此时的输出分布为 所以 因为 所以信道2无噪声。3、解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布,就可以计算得出的概