信息论基础——离散无记忆信道 信道容量

1、第第4章章 数据可靠传输和信道编码数据可靠传输和信道编码2数据可靠传输和信道编码数据可靠传输和信道编码4.1 离散无记忆信道和信道容量离散无记忆信道和信道容量 4.2 信道容量的计算信道容量的计算 4.3 信道编码理论信道编码理论 4.4 带反馈的信道模型带反馈的信道模型4.5 联合信源联合信源-信道编码定理信道编码定理4.6 线性分组码线性分组码习题四习题四 3数据可靠传输和信道编码数据可靠传输和信道编码4.1 离散无记忆信道和信道容量 4.2 信道容量的计算信道容量的计算 4.3 信道编码理论信道编码理论 4.4 带反馈的信道模型带反馈的信道模型4.5 联合信源联合信源-信道编码定理信道编

2、码定理4.6 线性分组码线性分组码习题四习题四 4离散无记忆信道和信道容量离散无记忆信道和信道容量 为确定信道传输的限度，就要考虑信道传递信息的基本单元信号. 信号无论采用光、声、电还是其他形式都是一种物理过程. 每个信号都需要一定的时间. 在烽火台上点燃烽火也许要花好几分钟，现代极高频无线电通信传递信号所需要的时间还不到亿分之一秒. 尽管如此，总要有一定的时间间隔才能把信号与信号分离开来. 超过时间间隔的一定限度，信号就会无法分辨： 典型的例子就是一个人说话过分快，听的人根本听不懂他在说什么. 因此，要使一个信道能够起到传递信息的功能，每分钟传递的信号数目就要有一定的限度. 5离散无记忆信道

3、和信道容量离散无记忆信道和信道容量 这点是比较容易理解的. 再比如，我们规定公共汽车必须一辆接一辆地开来，每辆汽车必须在车站停一分钟，以便乘客上下. 那么不管增加多少车辆，也不会越过每分钟一辆的速率. 既然如此，要想提高运输量，途径就是增加每辆汽车的装载量. 那么能否提高每个信号所携带的信息量呢？ 信息量的定义告诉我们，一个事件发小的概率越小，告诉我们这件事是否发生的信号带来的信息量越大. 进而增大每个信号信息量的办法是增加不同信号的数目.6离散无记忆信道和信道容量离散无记忆信道和信道容量 但是，对于任何给定的信道来讲，可以分辨的信号数目 (这和前面所讲的以时间间隔分辨信号是不同的概念)是有限

4、的. 例如对于电报来讲，不同的信号只有点和划；对于电话来讲，可以分辨的音素也是有限的. 即使在没有噪声干扰的情况下(每辆公共汽车可以载满乘客，不必担心中途会发少什么意外)，信道在单位时间内只能准确地传递有限的信号，而每个信号所携带的信息量又是有限的，因此信道在单位时间内传递的信息量也是有限的. 该限度就称为信道容量信道容量信道容量限制了通信系统的能力！信道容量限制了通信系统的能力！ 7离散无记忆信道离散无记忆信道提高传输的可靠性！8 根据信道用户的多少根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端（2）多用户信道（广播、电视、卫星、计算机网）广播、电视、卫星、计算机网

5、） 至少有一端有两个以上的用户，双向通信离散无记忆信道离散无记忆信道9根据符号的概率分布根据符号的概率分布，可分为（1）有记忆信道（2）无记忆信道 （任一时刻输出符号只统计依赖于对应时刻输入符号的 信道）离散无记忆信道离散无记忆信道10根据输入输出信号的特点，根据输入输出信号的特点，可分为 （1）离散信道 输入集和输出集都是离散集:电报信道和数据信道 （2）连续信道电视和电话信道 （3）半离散半连续信道输入集和输出集中一个是连续集、另一个是离散集 :连续信道加上数字调制器或数字解调器 （4）波形信道以下我们只研究单用户离散无记忆信道以下我们只研究单用户离散无记忆信道。离散无记忆信道离散无记忆信

6、道数字信道以数字脉冲形式（离散信号）传输数据 11满足离散无记忆信道的充要条件是其中，输入符号集其中，输入符号集 X = x1 , x2 , , xN 输出符号集输出符号集 Y = y1 , y2 , , yN 12121( | )(|)(|)NNNiiiP y xP y yyx xxP yx 离散无记忆信道离散无记忆信道12信道转移概率分布的矩阵形式：离散无记忆信道离散无记忆信道信道转移概率信道转移概率13信道转移概率分布的图示：离散无记忆信道离散无记忆信道14 信道的任务是以信号方式传输信息和存储信息；因此，研究信道就是研究信道中能够传送或存储的最大信息量，即信息无差错传输的最大速率 ，就

7、是信道容量问题. 因此，首先要考虑信道中平均每个符号能传输的信息量平均互信息. 区分：带宽与信道容量 信道容量信道容量15带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设计的传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽”表示信道的数据传输速率. 信道容量:信道在单位时间内可以传输的最大信号量，表示信道的传输能力。信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。 信道容量和信道带宽具有正比的关系：带宽越大，容量越大。 局域网带宽（传输速率）：10Mbps、100Mbps、1000Mbps；

8、广域网带宽（传输速率）：64Kbps、2Mbps、155Mbps等 信道容量信道容量16 由于 I(X,Y)=H(X)-H(X|Y) bit/符号是输入随机变量X的概率分布p(x)的上凸函数，因此对于一个确定信道，总存在一个信源（某种概率分布p0(x)），使得传输每个符号平均获得的信息量最大，即每个固定信道都有一个最大的信息传输率，定义这个最大值为信道容量C.);(max)(YXICixP 离散无记忆信道和信道容量离散无记忆信道和信道容量17 ( , )(; )( , )log( ) ( )( | )( )( | )log( ) ( | )x X y Yx Xy Yx Xp x yI X Yp

9、 x yp x p yQ y xp xQ y xp x Q y x离散无记忆信道和信道容量离散无记忆信道和信道容量18通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与出口信号的互信息密度函数 p0(x)为最大入口分布。 其中，输入符号集其中，输入符号集 X = x1 , x2 , , xN 输出符号集输出符号集 Y = y1 , y2 , , yN 离散无记忆信道和信道容量离散无记忆信道和信道容量191）C与输入信源的概率分布无关，它只是信道传输概与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有

10、关率的函数，只与信道的统计特性有关. 是完全描述信道是完全描述信道特性的参数，是信道能够传输的最大信息量；特性的参数，是信道能够传输的最大信息量； 2）从数学上来说，计算）从数学上来说，计算C就是求就是求I(X;Y)的最大值；但的最大值；但是，对于一般信道计算相当复杂是，对于一般信道计算相当复杂. 这里我们只讨论几种这里我们只讨论几种典型的无记忆信道的典型的无记忆信道的C的计算的计算.离散无记忆信道和信道容量离散无记忆信道和信道容量20 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道； 如： 1111336611116633P 和111236111623111362P离散无记忆信道和信道容量离散无记忆信道和信道容量21 X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; P=0101-pp1p1-p 0 1-p 0 p p 1 1-p 1p称为交叉概率误差！离散无记忆信道和信道容量离散无记忆信道和信道容量22如果信道的输入概率分布X=w,1-w，则 由此可得