信息论基础 第3章

1、第三章 信道与信道容量,3-1 引言,1什么是信道？ 信道是传送信息的载体信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。,3-2 信道的分类与描述,（一） 信道分类,信道可以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景传输媒介类型； 从数学描述方式信号与干扰描述方式；

2、从信道本身的参数类型恒参与变参； 从用户类型单用户与多用户； 等方面加以分类：,（一） 信道分类 （续）,（一） 信道分类 （续）,（一） 信道分类 （续）,信道划分是人为的，比如：,（一） 信道分类 （续）,其中：c1为连续信道，调制信道； c2为离散信道，编码信道； c3为半离散、半连续信道； c4为半连续、半离散信道。,（二） 信道描述,信道可以引用三组变量来描述： 信道输入概率空间： ; 信道输出概率空间： 信道概率转移矩阵：,（二） 信道描述 （续）,当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称

3、信道BSC：,3-3 无干扰离散信道（略）,3-4 有干扰时单个消息（符号）信道及其容量,这里，仍类似于信源，从最基本、最简单的单个消息（符号）开始，再逐步将其推广至消息序列信道以及多用户信道。,（一） 离散单消息信道与信道容量,下面，我们首先将互信息表达成概率的函数：,（一） 离散单消息信道与信道容量 （续）,两种表达式中，这里选用 。 一般当信道给定以后， （ 已知）,（一） 离散单消息信道与信道容量 （续）,（二）强对称信道:,其中：,它具备三个特征： 1 矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一 列的重排列。 2 错误分布是均匀的，为 3 信道输入与输出消息（符号）数相

4、等，即m=n。 显然，对称性基本条件是1，而2、3是加强条件。,（二）强对称信道 （续）:,下面，我们放松对信道的约束，仅满足条件1，就构成一般性对称信道。 例：,（二）强对称信道 （续）:,（二）强对称信道 （续）:,定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。,即 证：,由信道对称性： 第i行（每一行）都是第一行重排列，即与行序号i无关，而 （给定）。 由信道容量定义：,（二）强对称信道 （续）:,（三） 准对称信道,再进一步放松条件 若P(/)不满足对称条件，但是， ，其中r=1,2s。且所有Pr满足对称性条件，则称P为准对称信道。 例

5、：,显然子阵P1,P2满足可排列性（行，列） 对准对称信道有下列定理.,（三） 准对称信道 （续）,定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:,且,证：较繁，自己看书 具有可逆矩阵信道及其容量,其特点是： P一定为方阵，存在逆阵,离散单消息（或无记忆）信道，容量C的计算机迭代算法： 基本思路： 1 求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解； 2 实现迭代关键在于寻求两个互为因果关系并决定互信息的自变量，即从,（三） 准对称信道 （续）,互为因果，,求解步骤：,将改写为迭代形式：,迭代步骤示意图如下:,当 (或足够大时)，计算,可进

6、一步证明: 1 即收敛于信道容量值,2收敛速度取决于:,3-5 离散消息序列信道及其容量,由消息序列互信息 性质，对离散无记忆信道，有,1离散无记忆信道,则,当且仅当信源(信道入)无记忆时，“等号”成立。,2离散，平稳，有记忆信道:,2离散，平稳，有记忆信道 （续）:,2离散，平稳，有记忆信道 （续）:,3-6 连续信道及其容量,（一）连续单消息信道及其容量,1 高斯信道,其中：,I(X;Y)=HC(Y)-HC(Y/X),1 高斯信道 （续）,2 一般迭加性干扰信道,天电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型分布。有以下定理： 定理3-6-1：对迭加性连续信道，收到平均功率（方差

7、）为2的非高斯干扰影响时，当信道输出平均功率P一定时，其容量上下界为：,证：上界显见，下面给出下界证明。 主要思路利用正态性与Jensen不等式。 当信道输入X,输出Y以及噪声N为正态时： x N(0,S), y N(0,P), n N(0,2)并设，当信道输入X为正态时，互 信息可表示为：IN(X;Y)。则,（一）连续单消息信道及其容量 （续）,2 一般迭加性干扰信道 （续）,由信道容量定义，有,结论：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。 其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估计值。,2 一般迭加性干扰信道 （续）,（二）广义平稳的限频

8、(F)、限时(T)、限功率(P)白色高斯信道及其容量C。,对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：,现将这2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。 定理3-6-2：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,w)，当它通过一个功率受限(P)的白色高斯信道，其容量为：,这就是著名的Shannon公式。,则单位时间T=1时的容量为：,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,证：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：,同时，在消息序列的互信息中已证明当信源、信道满足无记忆时

9、，下列结论成立：,由信道容量定义，有,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,当信源、信道均满足广义平稳、限频、限时并具有白色谱特征，则时域相关函数样点值是不相关的。,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,对于高斯分布，不相关与统计独立是等效的，即满足： 信源无记忆： 信道无记忆：,下面，讨论Shannon公式的物理意义与用途：,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,它给出了决定信道容量C的是三个信号物理参量：F、T、 之间的辩证关系。,三者的乘积是一个“可塑

10、”性体积（三维）。 三者间可以互换。 下面举例说明： 1 用频带换取信噪比：扩频通信原理。 雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。 数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。 下面仅以伪随机码（PN）直扩系统为例： 采用m序列：m=2n-1. 为了简化，取n=3,m=23-1=7.,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,2 用信噪比换取频带 卫星、数字微波中常采用的有： 多电平调制

11、、多相调制、高维星座调制等等。(M-QAM)它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。,3 用时间换取信噪比 弱信号累积接收基于这一原理。,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,t=T0 为分界线。 信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。,Shannon公式另一种形式：,（二）广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C。（续）,其中，N0为噪声密度，即单位带宽的噪声强度，2= N0F; E 表示单位符号信号的能量，E=ST=S/F； E/N0 称为归一化信噪比.也称为能量信噪

12、比. 当E/N01时，,（三）有公共约束的连续消息序列信道,上面研究了平稳无记忆消息序列信道，这里进一步研究非平稳无记忆消息序列信道。但仍受到一定的公共约束条件。,对这类信道，主要问题是如何分配功率Sk,才能使其达到真正的容量值C。这仍是一个求条件极值的问题。,这时:,（三）有公共约束的连续消息序列信道（续）,引用拉氏乘子法，有,结论：只有当输出序列中各分量相等时（为常量），信道才达到C值。这就是著名的水库（注水）定理。即择优选取原理，而不是扶贫。噪声小分配信号功率大，噪声大分配信号功率小。,（三）有公共约束的连续消息序列信道（续）,对于满足迭加性、连续高斯非白噪声限频信道以及频率特性不理想、

13、或者频率选择性的高斯信道，也可以类似的来用上述方法求解其容量值。这些在接入网的不对称数字用户线ADSL以及宽带无线数据的频率选择性信道中将会遇到这类情况。 令N(f)为高斯噪声功率谱。 总噪声功率为： 且受限于：,其中G(f)为信号功率谱，F为带宽，由于频率特性非白，则可将F分割为很多子频段f,在f中可近似认为其频谱是白色的。则可引用前面的Shannon公式：,引用拉氏乘子法，有,（三）有公共约束的连续消息序列信道（续）,则,且 （受限）,其中,为了保证上式中的G(f)0，还必须将一切G(f)0的频段弃之不用。它一般只能采用数值解法，求得可用频段F1为：,（三）有公共约束的连续消息序列信道（续

14、）,m(F1)是F1的勒贝格(L)测度，这是由于F1可能不是一个连续区间。最后，求得,3-7 容量代价函数C(F),实际问题中信道使用是有代价的。比如占用资源、占用资金等。 下面从最简单的单个离散消息信道来讨论它。 设信道输入集合： 信道输出集合： 信道转移概率： 使用信道的代价函数： 总代价为F,且 则有：,为了运算方便，可去掉不等号，则有下列容量代价函数：,类似地，对单个连续消息信道亦有：,信道冗余度Rc:,3-7 容量代价函数C(F) （续）,类似于信源效率有： 称c为信道效率。,称Rc为信道相对冗余度。显然，对于无干扰信道： I(X;Y)=H(X), max I(X;Y)=max H(

15、X)=log n,同理：,则,3-8 多用户信道,前面讨论的都是单用户信道，它是建立在点对点通信的基础上，然而对于现代的移动通信、卫星通信、通信网、信息网实际上都是多点对多点的多用户信道。对于单用户信道实际上可分为两类： 单用户信道 后者可表为：,称将多个用户信源合并为一个单用户信道的技术称为信号复用技术。又称为信号设计技术。,目前的信号复用基本上都属于线性正交复用，它可划分为三类：,3-8 多用户信道 （续）,若考虑实际因素，则有：,显然，信号的正交性主要体现在信号参量（时间Ti频带Fi）的正交性上，可见信号设计就是要寻找一组正交或准正交信号参量i, i=1,2n。 在发端，设计：,3-8

16、多用户信道 （续）,称x0为保护区间, 为子保护区间。,在收端，可设计：,3-8 多用户信道 （续）,当i=Fi，称它为频分，它就是载波通信的基本原理。 当i=Ti，称它为时分，它就是时分PCM多路通信的基本原理。 当i=Ci，称它为码分，它就是码分多路通信的基本原理。 而F0i为保护频带， T0i为保护时隙， C0i为禁用码组。 若将这一在基带或中频上实现的正交复用技术推广至射频，就形成了多用户信道的多址正交技术。,下面研究多用户信道物理背景：,3-8 多用户信道 （续）,1 多址信道：,特点：多输入、单输出信道，称它为多址信道;,特点：单个输入，多个输出信道，称为广播信道。,2 广播信道：

17、,多用户信道物理背景： （续）,可见第12为3的特例： （1）当i=j=1,退化为单用户信道； （2）当i=1n, j=1, 为多址信道； （3）当i=1，j=1n，为广播信道 （4） i=1n, j=1n,为一般随机接入信道。,多用户信道物理背景： （续）,3 随机接入信道,二址信道分析如下：（离散）,多址信道：,设,则 R1、R2与R1+R2应满足,多址信道编码定理将证明：,多址信道 （续）：,多址信道 （续）：,若三类分布不相等,多用户：容量为一截角边界线：,信道容量概念的推广： 单用户：容量为一个实数值：,容量区域：单用户：为一区间： 多用户：为一区域：截角多边形面积,下面将二址推广到

18、N址接入信道： 若给定信道转移概率为： 则可分别规定各信源信息率的限制为：,类似可证明：当各信源相互独立时：,这一结果表明，多址信道的容量区域是一个N维空间的体积，是满足所有限制条件下的截角多面体凸包。,例1：N=3，三维情况：,例2：下面具体分析时分（频分）和码分在二址情况下的容量： 设在二址信道中传送K个符号串， 对一维的时（频）分可设：,显然它是小于二址信道的容量界限。 即三角形面积小于截角四边形面积。 至于码分，它实质上是属于二维划分。其结果应优于一维的时（频）分。,当,例2 （续）：,例3：若 信道中无干扰，且条件概率如下：,例3 （续）：,当 已知时，可求得,则由上述条件概率表，有

19、：,由条件概率表,将上式分别对p与p取偏导并至之为0， 可解得： 则,例3 （续）：,其中,可见，码分可以突破时分、频分的容量界限。,例4：对连续二址信道,例4 （续）：,坐标系中的容量区域为下：,利用C1、C2、C12求得,同理,这里，再来分析连续信源时（频）分方式： 在总时隙T内：,例4 （续）：,则：,其中，,例4 （续）：,广播信道：单输入多输出信道。,仍以最简单二输出为例：,其中 为两独立信源，,且：,这里以连续变量为例：有,广播信道：单输入多输出信道 （续）,其中：,广播信道：单输入多输出信道 （续）,这样可求得关于R1、R2与R1+R2界限区域为 则,即包含所有这些区域的外凸包。

20、一般求解这个外凸包很困难，至今没有找到确切求解方法。能够求解的仅是一些特例。比如降阶的退化广播信道，这时信道转移概率满足：,广播信道：单输入多输出信道 （续）,由概率论：,与上述退化条件对比，得,它要求y2与x无关，即X、Y1、Y2组成马氏链。,即若有 存在，则称该信道为降价或退化型广播信道。有很多实际信道可满足上述退化条件：比如下列马氏链信道：,例：对于正态信道：,广播信道：单输入多输出信道 （续）,广播信道：单输入多输出信道 （续）,且设 ，可得一个y1y2二元函数,结合编码器为一个普通加法：,X=U1+U2 Y1=X+n1 Y2=X+n2,且U1、U2相互独立，EX2=P1+P2=P（受限）由限功率高斯信道理论，要使这类退化广播信道互信息达最大，则要求X为正态变量，再由正态变量性质，两个正态变量和亦为正态，所以Y1、Y2都是正态。故有下列条件方差：,这时R1、R2、R1+R2受限条件为：,广播信道：单输入