第3章 信道与信道容量.ppt

1、2020/9/17,1,第3章信道与信道容量,3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,2020/9/17,2,信道模型和信道容量,信道 传送信息的载体，信号通过的通道。 任务是以信号方式传输信息、存储信息。 研究信道就是研究信道中理论上能够传输或存储的最大信息量，即信道的容量问题。信息论不研究信号在信道中传输的物理过程。 信道研究方法 抽象地将信道问题归结为输入、输出和转移概率矩阵三个要素来描述。,输入X,输出Y,P (Y/X),信 道,信 源,信 宿,2020/9/17,3,信道分类,按信道的用户数量来

2、划分 单用户信道：即只有一个输入端和一个输出端的单向通信信道。 多用户信道：即在输入端或输出端中至少有一端存在两个以上的用户，并且还可以双向通信的信道。 按输入/输出之间的关系来划分 无反馈信道：信道的输出端信号不反馈到输入端，即输出信号对输入信号没有影响。 反馈信道：信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。,2020/9/17,4,信道分类,按信道参数与时间的关系来划分 固定参数信道：即信道的统计特性不随时间而变化，如光纤、电缆信道。 时变参数信道：即信道的统计特性随时间而变化，如无线信道。 按信道中的噪声种类来划分 随机差错信道：指噪声随机地影响每个传输码元，如以高

3、斯白噪声为主体的信道。 突发差错信道：指噪声、干扰的影响是前后相关的，错误成串出现，如脉冲干扰或闪电等。,2020/9/17,5,信道分类,按输入/输出信号在幅度和时间上的取值划分 离散信道：输入和输出的信号在时间和幅度上均为离散的信道。 连续信道：信号的幅度连续，时间离散。 半离散半连续信道： 输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅度上均连续，一般可用随机过程来描述。,单用户、无反馈、固定参数的离散信道,2020/9/17,6,信道模型,信道转移概率矩阵p(Y/X) 描述输入/输出的统计依赖关系，反映信道统计关系。

4、 信道的输入X=(X1, X2, Xi,) 输入符号集：Xi=a1, a2, an 信道的输出 Y=(Y1,Y2,Yj,) 输出符号集：Yj=b1, b2, bm,信 道,输入X,输出Y,p(Y/X),2020/9/17,7,根据干扰和记忆性分类,无干扰（无噪声）信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X) 有干扰无记忆信道 每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻的输入（出）信号无关。 有干扰有记忆信道 一般情况下，信道存在码间干扰，输出信号不但与当前输入信号有关，还与以前的输入信号有关。 将记忆很强的L个符号当作矢量符号，各矢量符号之间认为是无记忆的。

5、 将转移概率看成马尔可夫链的形式。,2020/9/17,8,信道模型,二进制离散信道：BSC信道 输入符号X取值0,1 输出符号Y取值0,1 信道转移概率 p(0/0) = 1pp(0/1) = p p(1/1) = 1p p(1/0) = p,无错传输概率,有错传输概率,2020/9/17,9,信道模型,离散无记忆信道：DMC信道 输入符号集：X=a1, a2, an 输出符号集：Y=b1, b2, bm 输入输出特性 p(Y=bj /X=ai) p(bj /ai)=pij,转移概率矩阵,各行概率之和为1,2020/9/17,10,信道模型,离散输入、连续输出信道 输入符号集：X=a1, a

6、2, an 输出未经量化，即Y=-, 输出特性由离散输入X、连续输出Y以及一组条件概率密度函数 p( y /X=ai) 来决定。 加性高斯白噪声（AWGN）信道 式中，G是均值为零、方差为2的高斯随机变量 当X给定，Y是一个均值为ai、方差为2的高斯随机变量,有限、离散,YXG,无限、连续,2020/9/17,11,信道模型,波形信道 输入是模拟波形，输出也是模拟波形 连续无记忆信道和连续有记忆信道 任一时刻输出变量与以前时刻的输入输出是否有关 根据噪声对信道中信号的作用不同，可将噪声分为：加性噪声和乘性噪声 假设输入该信道的带限信号x(t)，相应的输出是y(t)， n(t)代表加性噪声过程的

7、一个样本函数，则y(t) x(t) n(t),加性高斯白噪声,2020/9/17,12,信道容量的定义,信道传输率R 信道中平均每个符号能传送的信息量 RI (X;Y) bit/符号 信息传输速率Rt 若平均传输一个符号所需时间为t 则 RtI (X;Y) / t bit /s,当信道确定时，p(bj/ai)确定。互信息是关于p(ai)的函数。,2020/9/17,13,信道容量的定义,定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。 概率矢量Pxp(a1), p(a2), p(an) 用I(Px)表示I是Px的函数，则在I(Px)曲线的上凸点对应的输入符号概率矢量

8、Px上， I(Px)取得极大值。这个值就是信道容量。,2020/9/17,14,信道容量的定义,信道容量 信道容量C的单位是信道上每传送一个符号所能携带的比特数，即比特/符号。 如果以e为底，即取自然对数时，信道容量的单位是奈特/符号。 如果已知符号传送周期是T 秒，信道容量Ct=C /T，单位为bit/s或nat/s。,2020/9/17,15,第3章信道与信道容量,3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,2020/9/17,16,离散单符号信道,离散单个符号信道,无干扰离散信道,有扰离散信道,对称DM

9、C信道,准对称DMC信道,一般DMC信道,无噪无损信道,无噪有损信道,有噪无损信道,2020/9/17,17,无干扰离散信道,信道输入X=a1, a2, an，信道输出Y=b1, b2, bm 无噪无损信道 输入和输出符号之间有确定的一一对应关系。 H(Y/X)=0， H(X/Y)=0， I(X;Y)=H(X)=H(Y) C=max I(X;Y)=log n,输入符号等概率分布,=log m,2020/9/17,18,无干扰离散信道,无噪有损信道 多个输入变成一个输出。 H(Y/X)=0， H(X/Y)0， H(X)H(Y) C=max I(X;Y)=max H(Y),2020/9/17,19

10、,无干扰离散信道,有噪无损信道 一个输入对应多个输出。 H(Y/X) 0， H(X/Y)=0， H(X)H(Y) C=max I(X;Y)=max H(X),2020/9/17,20,对称DMC信道,对称DMC信道的定义 输入对称矩阵：转移概率矩阵P的每一行都是第一行的置换（包含同样元素）。 输出对称矩阵：转移概率矩阵P的每一列都是第一列的置换（包含同样元素）。 如果输入、输出都对称，则称该DMC为对称DMC信道,2020/9/17,21,对称DMC信道,有扰对称DMC信道具有如下性质： 对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关。 如果信道输入符号等概率分布，则信道输出符号也等

11、概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。,2020/9/17,22,对称DMC信道,当信道输入符号等概率分布时，对称DMC信道达到其信道容量。,2020/9/17,23,对称DMC信道,例：信道转移概率矩阵为 求：信道容量 解：,n=2时，为BSC信道,=0时无差错，信道容量最大,=1/2时，信道容量为0,2020/9/17,24,对称DMC信道,实际通信系统中，信号往往要通过几个环节的传输或多步的处理。若将这些传输和处理看成信道，则串接成为一个串联信道。,根据信息不增性：,串接的信道越多，其信道容量可能会越小；串接信道数量无限多时，信道容量趋于零。,2020/

12、9/17,25,对称DMC信道,例：设有两个离散BSC信道，其转移矩阵为,串联信道的转移矩阵为：,m为串接信道的个数,2020/9/17,26,准对称DMC信道,如果转移概率矩阵P的输入对称而输出不对称，即P的每一行都包含相同的元素而各列的元素不同，则称该信道是准对称DMC信道。 准对称DMC信道的容量,2020/9/17,27,准对称DMC信道,例：已知信道转移矩阵为 求该信道容量。 解：设输入符号概率为p(a1)=，p(a2)=1 联合概率矩阵,输入符号等概率分布时，准对称DMC信道达到其信道容量C,2020/9/17,28,准对称DMC信道,例：设信道转移概率矩阵为： 求该信道的容量。

13、解：当输入符号等概率分布时， 达到信道的容量，即,2020/9/17,29,准对称DMC信道,矩阵分解法 将转移概率矩阵划分成若干个互不相交的对称子矩阵。 当输入分布为等概率时，达到信道容量为,n为输入符号集个数,p1 ps是转移概率矩阵中一行的元素,Nk是第k个子矩阵中行元素之和,Mk是第k个子矩阵中列元素之和,2020/9/17,30,一般DMC信道,以输入符号概率矢量Px为自变量的函数I(Px)的极大值，即信道容量。 为了使I(X;Y)最大化，即求取信道容量的值，输入符号概率集 p(ai) 必须满足的充分必要条件是： I(ai;Y)C，对于所有满足p(ai)0条件的i I(ai;Y)C，

14、对于所有满足p(ai)0条件的i,此结论只给出了达到信道容量C 时输入符号概率分布的充要条件，并未给出具体值，所以C 没有具体可求的公式。,2020/9/17,31,第3章信道与信道容量,3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,2020/9/17,32,离散序列信道及其容量,X=(X1, X2, XL),Xl=a1, a2, an,Y=(Y1,Y2,YL),Yl=b1, b2, bm,无记忆离散序列信道的转移概率为：,若信道是平稳的，则：,2020/9/17,33,离散序列信道及其容量,平均互信息的两个性

15、质： 如果信道无记忆 如果输入矢量X 中 各个分量相互独立,独立、无记忆,且平稳,2020/9/17,34,离散序列信道及其容量,例：求BSC二次扩展信道的信道容量。 解：,p=0.1时，C1=0.53 bit/符号 C2=1.06 bit/序列,C2=2C1,2020/9/17,35,离散序列信道及其容量,独立并联信道 L个相互独立的信道，每个信道的输出只与本信道的输入有关。,2020/9/17,36,第3章信道与信道容量,3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,2020/9/17,37,连续信道及其容

16、量,连续单符号加性信道 信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为2的加性高斯噪声。,非高斯噪声信道的容量要大于高斯噪声信道的容量,2020/9/17,38,连续信道及其容量,多维无记忆加性连续信道,多维无记忆加性连续信道可等价成L个独立的并联高斯加性信道,2020/9/17,39,连续信道及其容量,注水法 某些单元时刻的噪声太大，使子信道信号功率pl出现负值。 置pl=0，重新调整信号功率的分配，直至pl不再出现负值。 噪声小的子信道分配到的输入功率大，传输的比特数多。,2020/9/17,40,连续信道及其容量,受加性高斯白噪声干扰的带限波形信道 输入x(

17、t)、输出y(t)和噪声n(t)：模拟波形 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式为 W：频带宽度，简称带宽 SNR (信噪比)：表示信号功率与噪声功率的比值 PS：信号的平均功率 加性白噪声的功率谱密度为N0 /2,香农公式,bit/s,2020/9/17,41,连续信道及其容量,香农公式的讨论 带宽W一定时，信道容量C 随信噪比SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。 信道容量C一定时，带宽W增大，信噪比SNR可降低，即二者可以互换。 如果输入信号功率PS固定，信道容量C 随带宽W的增加而增加。但到一定阶段后，增加变得缓慢。,2020/9

18、/17,42,连续信道及其容量,香农限 每传输1比特信息所需的能量。 当归一化的信噪比小于香农限（-1.6dB）时，归一化信道容量为零，即信道完全丧失通信能力。 频带利用率 归一化信道容量 单位频带的信息传输率。,2020/9/17,43,连续信道及其容量,例：电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR ，计算该信道的信道容量。 解：,实际电话信道的容量只有19.2kbit/s,理论计算没有考虑串音、回波等干扰因素,100,2020/9/17,44,第3章信道与信道容量,3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配,2020/9/17,45,信源与信道的匹配,符号匹配 信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。 可在信源与信道之间加入编码器予以实现，也可以在信源编码