第3章-信道容量-3课件

第3章信道容量第3章信道容量3.0引言3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1单符号信道的定义和数学模型3.2.2信道容量的定义及一般求取原则3.2.3几种特殊信道的信道容量3.2.4通过解方程组求信道容量3.3多符号离散信道3.4离散组合信道3.5连续信道3.6信道编码定理2第3章信道容量3.0引言3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.3.1

多符号离散信道定义及数学模型3.3.2离散无记忆信道N次扩展信道的信道容量3.4离散组合信道3.5连续信道3.6信道编码定理3定义单符号离散信道：信道的输入和输出均可用单个的随

机变量描述。信道的转移特性由信道转移概率矩阵描述。单符号信源+信道多符号离散信道：传输信道还是离散信道本身，只是

每次输入输出有多个符号在不同时刻进行数据传递。多符号信源+信道信道的转移特性由信道转移概率矩阵描述。3.3.1

多符号离散信道定义及数学模型4根据信道是否具有记忆特性，可将信道划分为：无记忆信道：有记忆信道：信道在任意时刻的输出只取决于当前时刻的输入，而与之前和之后时刻的输入和输出都无关。信道在某一时刻的输出不仅取决于当前时刻的输入，还与之前或之后时刻的输入或输出有关。平稳信道：非平稳信道：根据信道统计特性是否随时间变化，可将信道划分为：信道的统计特性不随时间变化。(恒参)信道的统计特性随时间而变化。(变参)5为简化起见，本课程只研究平稳无记忆信道。平稳信道的数学模型：物理意义：输入随机序列与输出随机序列之间的转移概率等于各离散时刻随机变量间转移概率的连乘。*无记忆信道的数学模型：解释：6单符号信道即为平稳无记忆信道。解释：非平稳信道有记忆信道单符号信道可由描述平稳无记忆信道单符号信源+无记忆信道多符号信源+无记忆信道平稳无记忆信道的N次扩展信道：单符号信道：7多符号信道的数学模型单符号离散信道：行行同一符号集列同一符号集列多符号离散信道：共个元素8不一定等于1单符号信道多符号信道9单符号信道二次扩展信道信道矩阵例3.3.1

求二元对称信道二次扩展信道的信道矩阵10练习：求二元对称信道三次扩展信道的信道矩阵11若离散无记忆信道的输入和输出分别是N长序列，则平均互信息量满足：定理：证明：问题：上式何时取等号？回答：N个时刻的输出符号统计独立时。其中第一项：3.3.2离散无记忆信道N次扩展信道的信道容量12再看第二项：【无记忆性】13类似地，可证明：…代入前面得到的第一项，有：14物理意义：对于离散无记忆信道的N次扩展信道，其总体的平均互信息量不大于各时刻单符号对应的平均互信息量之和。问题：上式何时取等号？分析：N个时刻的输出符号统计独立时。问题：输入符号之间是何关系时，输出符号统计独立？结论：当信源是无记忆信源的N次扩展信源时，输出符

号之间统计独立。即：当满足15证明：当证：【全概率公式】【全概率公式】有【无记忆信道】【无记忆信源】16综合前面的分析，可得如下重要结论：*离散无记忆信道的次扩展信道，其平均互信息，不大于个随机变量分别单独通过信道的平均互信息量之和。2.仅当输入端的个输入随机变量统计独立时(即无记忆信源的次扩展信源)，信道的总平均互信息等于这个变量单独通过信道的平均互信息之和。3.由于研究的是平稳信源和平稳信道，最终有：*单位：比特/符号17第3章信道容量3.0引言3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.4离散组合信道3.4.1独立并联信道3.4.2级联(串联)信道3.5连续信道3.6信道编码定理183.4.1独立并联信道典型应用：通过多个信道并行传输，加快传输速度。独立：并联信道之间相互独立。每个信道的输出仅取决于该信道的输入，而与其它信道的输入和输出无关。每个时刻的输出仅取决于该时刻的输入，而与其它时刻的输入和输出无关。对比19离散无记忆信道N次扩展信道的结论可推广到独立并联信道。一般情况下，N个独立信道总的平均互信息量小于各信道的平均互信息量之和。1.*2.独立并联信道的信道容量等于各自信道容量的和，但必须满足如下条件：*(1)各信源之间是相互独立的。(2)各信源同时达到最佳输入分布。203.4.2级联(串联)信道典型实例：卫星电视，微波接力通信等。【先去掉，再加上

】21对于级联信道，总的信道矩阵等于各级信道矩阵的连乘积。(注意乘积顺序)结论：*例3.4.1

设有两个离散二元对称信道，求二者级联信道的信道容量。22级联后的等效信道也是二元对称信道。解：根据强对称信道的计算公式：23例3.4.2

把

个离散二元对称信道级联起来，要求证明该信道可以等效于一个二元对称信道，其错误传递概率为。并证明当时，且时有：解：使用数学归纳法。先证明时，等式成立。假设：等式对成立。证明：等式对成立。24证：当时，时成立。假设：等式对成立则再级联一级后，有：错误传递概率为。证明：总转移概率矩阵级的25得证【化简步骤略】当时且，上述信道矩阵趋近于：

强噪声信道无用信道代入,得：26第3章信道容量3.0引言3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.4离散组合信道3.5连续信道3.6信道编码定理273.5.1连续信道信道容量的定义多符号(变量)信道连续信道单符号(变量)信道连续信道：信道的输入和输出随机变量都取值于连续集合。多符号信道离散信道单符号信道为简化起见，本课程只研究单变量连续信道。

单符号离散信道数学模型：

单变量连续信道数学模型：28离散信道信道容量：固定连续信道信道容量：固定

极值点位于边界极值点位于定义域内

离散信道一般求取原则：是关于的上凸函数。计算机迭代拉格朗日乘数法求条件极值29问题：离散信道一般求取原则是否适用于连续信道？回答：不适用。

计算机迭代方法肯定不适用于连续系统。拉格朗日乘数法只能求解多维空间中的条件极值点，而无法求取最佳分布概率密度函数。一般性连续信道的信道容量并不容易求取，只有在一些特殊情况下才相对容易计算。结论：303.5.2加性连续信道信道容量的求取31加性连续信道噪声(N)与信号(X)统计独立。噪声对信号的干扰表现为和输入线性叠加。信道模型证明：对于加性连续信道，其信道转移特性为噪声的概率密度，即：。证明：对于加性连续信道，其信道转移特性为噪声的概率密度，即：。证：概率论：根据根据其中：雅克比行列式32回忆：第二章中为什么把叫做噪声熵？信宿熵从信源处获得的关于信宿的信息量由噪声带来的“伪信息量”更直观的解释：33根据所证明的

求取加性信道的信道容量：【信源X与噪声N统计独立】加性信道的信道容量取决于两方面：通过改变，使最大，加性信道的平均互信息量达到信道容量。噪声的统计特性，当信道选定后，该项为常数。34常见限定条件：1.峰值功率受限:

2.平均功率受限:3.均值受限:均匀分布高斯(正态)分布指数分布最常见最大离散熵：信源等概率分布时熵最大。最大连续熵：不同限定条件下，结果也不相同。353.5.3平均功率受限条件下高斯信道的信道容量36某次实验的结果是功率为平均功率为

随机信号方差与平均功率的关系:高斯加性信道:是指噪声(N)的概率密度符合高斯分布，并满足：零均值根据高斯分布的概率密度可计算出噪声熵的计算37其中：噪声熵的计算(续)38问题：在信源平均功率受限的条件下,何时最大？分析：有限，有限。问题：在什么条件下，服从高斯分布？分析：目前的已知条件有：噪声服从零均值的高斯分布，X与N独立。回答：由概率论,当也服从零均值的高斯分布时,有：也服从高斯分布，且满足：满足高斯分布的条件下，最大。回答：有限。【】独立输出信号的平均功率受限高斯信道选定，即确定下来39根据第二章中连续信源的相关结论,有:信噪比单位：比特/符号香农公式的第一种形式：*很多时候，我们更需要的是单位时间内的信息传输率。假设：连续信号已按采样定理进行采样,成为离散信号。再代入之前所得公式，最后得：40设信道的频带为，则每秒需进行次采样，在接收端才可无失真地恢复出原始信号。采样定理：秒符号秒比特符号比特单位转换：单位：比特/秒香农公式的第二种形式：*香农公式的形式还可以进一步地推广。在通信原理课程中将学习随机信号功率谱密度的概念，其与随机信号平均功率的关系为：41通信原理中还将学习高斯白噪声的概念。所谓高斯白噪声是指功率谱密度为常数()，而在一个频带为的信道中，噪声的平均功率为:【乘以是因为功率谱均为对称谱】将的表示式代入第二种形式，可得：单位：比特/秒香农公式的第三种形式：*当信道的频带很宽时，，此时有:【】42例3.5.1

在图片传输中，每帧约为个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概分布。试计算每秒钟传送30帧图片所需信道的带宽（功率信噪比为）。解：单位：比特/秒帧/秒像素/帧比特/像素比特/秒43

必须指出的是，尽管香农公式在推导过程中附加了很多限制条件，如：高斯加性信道，信号与噪声独立，信号的平均功率受限等等。但是，实践表明，多数情况下，实际信道可认为是符合或者近似符合这些特点的。因此，香农公式具有非常普遍的意义。

另一方面，即便是对于非高斯信道，香农公式仍具有重要意义。原因是：根据第二章中最大连续熵定理，在平均功率受限情况下，高斯分布的噪声熵具有最大值，根据

，在香农公式的推导过程中所扣除的值比实际噪声熵值要多，因此算出的信道容量比实际值偏小。对于非高斯信道，用香农公式算出的信道容量是其理论上的下限值。3.5.4关于香农公式使用范围的讨论及相关重要结论44香农公式：重要结论：1.带宽一定时，提高信噪比能提高信道容量。例3.5.2

普通电话线路的带宽可近似为,当信噪比为时，计算其信道容量。当信噪比提升为为，重新计算信道容量。比特/秒信噪比为时比特/秒分析：信噪比增加10倍，但信道容量仅增加约1.5倍。解：信噪比为时，，代入得：45比较：假设线路带宽从提高到，而信号功率保持不变，计算信道容量。解：由于带宽提高10倍，信噪比下降10倍。代入公式可得：比特/秒香农公式：信道容量提高：倍。相比于初始条件，即：带宽，信噪比为2.当倍数相同时,增加带宽通常比提高信噪比更有效。463.

无噪连续信道的信道容量为无穷大。香农公式：原因：4.当增加信道带宽时，并不能使信道容量无限增加。证：令根据高数中的知识，47信道容量随信道带宽的变化48设传输时间为,则总信息量

。当所需要传输的总信息量一定时，则带宽、传输时间、信噪比

三者可进行相互转换。若传输时间固定，则可通过扩展信道的带宽来降低对信噪比的要求；或者，通过提高信噪比实现在窄带信道上进行传输（即：可降低对的要求）。香农公式：49例3.5.3

若要保持信道的信息传输率比特/秒,当信道的带宽从降低到，求信号功率所需提高的倍数。解：带宽降低前：带宽降低后：分析：带宽较小地降低(25%)要求信噪比必须有较大的提高(60%)；带宽较小地增加信噪比较大改善50设传输时间为,则总信息量

。(2)若信号功率不变,则增加信道的带宽可以缩短传输时间，从而换取传输时间的节省；或者花费较长的时间来换取频带的节省。例如：为了能在窄带电缆信道中传送电视信号，往往可用增加传送时间的办法来压缩所需要的带宽。首先把电视信号以高速记录在录像带上，然后慢放这个磁带，慢到使输出频率降低到足以在窄带电缆中传送的程度。在接收端，将接收到的慢录像带进行快放，于是恢复了原来的电视信号。（但损失了实时性）51(3)若保持信道的带宽不变，可通过花费较长的时间降低所需要的信噪比(①可以变大，系统可以工作在噪声更恶劣的环境下或者远距离通信中;②可降低对通信发射设备功率的要求)；或者通过提高发射功率加快传输时间。设传输时间为,则总信息量

。一般而言，究竟以谁换取谁，要根据实际情况而定。例如：宇宙飞船与地面通信，由于信噪比很小，所以着重考虑增加带宽和传输时间来换取信噪比；而如果信道频带资源非常紧张，则要考虑通过提高信噪比或增加传输时间来降低对带宽的要求。总结：通信系统中，带宽、时间、信噪比可进行互换。52第3章信道容量3.0引言3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.4离散组合信道3.5连续信道3.6信道编码定理53若有一离散无记忆平稳信道，其信道容量为。输入序列长度为，只要待传送的信息率，总可以找到一种编码，当足够长时，译码差错概率，为所指定的任意大于零的正数。反之，当时，任何编码的必大于零，当时，。

对连续信道也有类似的结论。

对信道编码定理严格的数学证明可参见傅祖芸老师教材中的$6.4节。信道编码定理的结论(数学描述)：54信道容量表示的是信道的极限信息传输能力。如果要求的信息传输速率超过了，无法实现无失真传输；否则，则总可以找到某种方法实现近乎无失真的传输。分析：直观解释：55通过刚才的分析，只要,理论上就可实现近乎无失真地传输。但具体如何来实现呢？香农先生只给出了大的指导方向，即通过编码的方法。具体而言，就是增加信道符号序列的长度。

信道编码的最基本思想：在信息码元的基础上增加监督码元，通过信道符号序列长度的增加实现传输差错的检验与纠正。56作业3.1，3.2，3.6，3.7，3.8，3.18

5758P(Y/X)XY离散信道：一系列条件转移概率构成的信道矩阵连续信道：条件概率密度函数离散、单符号：随机变量离散、多符号：随机序列连续、单符号：随机变量连续、多符号：随机过程输入、输出符号输入符号输出符号信道转移特性2.信道的数学模型（三大组成要素）59信道转移概率矩阵简称：信道矩阵…???每一列的和不一定等于1（只有强对称信道等特

殊情况下才等于1）每一行的和单符号信道的数学模型（续）6061信道容量：在某一信道中，可能达到的最大值。*输入信源的概率分布可调单位：比特/符号单位：比特/秒比特/符号秒/符号问题：最大值如何计算？计算依据是什么？分析：当固定信道转移特性的条件下，平均互信息量是信源概率分布的上凸函数。上凸函数的特点函数的最大值或者在边界上，或者对应中间导数等于0的点，而该点是唯一的导数等于0的点。信道容量的求取原则（续）62信道容量的计算即为多元函数求极值的问题。信源概率分布，向量输入输出的条件概率/信道传递概