离散信道及其信道容量.pptx

1、信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型信道疑义度平均互信息及其性质,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型信道疑义度平均互信息及其性质,信息论与编码基础,离散信道,根据输入、输出信号的时间特性和取值特性,离散信道,连续信道,半离散或半连续信道,波形信道,信道的分类,数字信道,根据信道的用户多少,单用户信道,多用户信道,一对多、多对一,多对多,信息论与编码基础,离散信道,根据信道转移概率的性质,无扰信道,有扰信

2、道,实际的通信信道几乎都是有扰信道,无记忆信道,有记忆信道,实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。,按信道统计特性,恒参信道,变参信道,卫星信道,短波信道,根据信道噪声的性质,高斯噪声信道,非高斯噪声信道,信道的分类,信息论与编码基础,离散信道,离散信道的数学模型,信道,无扰（无噪）信道,有扰信道,无记忆信道,有记忆信道,信息论与编码基础,离散信道,信道,单符号离散信道,例1BSC信道,BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型,p为交叉(crossover)概率等于解调器/检测器出现硬判

3、决译码错误的概率,信息论与编码基础,离散信道,条件转移概率,转移矩阵,转移概率图,信息论与编码基础,离散信道,单符号离散信道,一定比例的bit被删除，并且接收者知道是那些bit已经被删除。,例2二进制删除信道,信息论与编码基础,离散信道,单符号离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型信道疑义度平均互信息及其性质,信息论与编码基础,离散信道,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0H(X|Y)H(X),损失熵,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型信道疑义度平均互信息及其性质,信息论

4、与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型信道疑义度平均互信息及其性质,信息论与编码基础,离散信道,平均互信息,定义令,为信道输入X与输出Y之间的平均互信息,接收到每个输出符号后获得的关于X的平均信息量,bit/sig,互信息,信息论与编码基础,离散信道,信息传输率,不确定性消除的多少,获得信息量的大小,互信息,由于条件引入获得的信息量,1）对称性,I(ai;bj)=I(bj;ai),2）事件统计独立时I(ai;bj)=0,3）可正、可负,4）I(ai

5、;bj)I(ai),信息论与编码基础,离散信道,平均互信息,互信息,关系：,含义：I(x;y)表示由随机事件y中获得关于事件x的信息,(1)I(X;Y)与I(x;y),(2)I(X;Y)与熵,共同点：统计平均,不同点：提供与获得,信息论与编码基础,离散信道,平均互信息是互信息的统计平均值。,信息论与编码基础,离散信道,平均互信息,信息论与编码基础,离散信道,平均互信息常用计算公式,信息论与编码基础,离散信道,条件互信息与平均条件互信息,给定X、Y、Z三个离散概率空间，其连接关系为,系统1,系统2,X,Y,Z,系统1,Y,Z,X,信息论与编码基础,离散信道,小结,信道,基本信道,信源发送的信息量

6、,信道损失的信息量,输出端获得的信息量,H(X)信源熵,H(X|Y)信道疑义度损失熵,I(X;Y)平均互信息信息传输率,信息论与编码基础,离散信道,例：两枚硬币，一枚是正常币（一面是面值，一面是国徽）。一枚不正常币（两面都是面值）。随机取一枚，抛掷2次。问：出现面值的次数对于硬币识别提供多少信息量？,利用詹森不等式,信息论与编码基础,离散信道,接收者通过信道获得的信息量不可能超过信源本身固有的信息量。,0I(X;Y)H(X),信息论与编码基础,离散信道,发出X后获得的关于Y的平均信息量,信息论与编码基础,离散信道,4、与各类熵的关系,损失熵,噪声熵,信息论与编码基础,离散信道,5、,的凸函数性

7、,于是,信息论与编码基础,离散信道,信息论与编码基础,离散信道,例1（续）,当p=0时,当p=1时,当p=1/2时,信息论与编码基础,离散信道,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,三、有噪信道编码定理,定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式,二、信道容量,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,三、有噪信道编码定理,定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式,二、信道容量,信息论与编码基础,离散信道,平均互信息I(X;Y)代表了接收到每个输出符号后获得的关于X的平

8、均信息量，又叫做信道的信息传输率。,I(X;Y)能说明一个信道的好、坏吗？,信息论与编码基础,离散信道,定义,说明：,bit/sig,1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关,2）Ct是信道最大传输速率。,Ct=C/t,bit/s,信源分布最佳时，信道容量最大。,信息论与编码基础,离散信道,思考,离散信道的信息传输率达到信道容量时，输入或输出分布必须达到最佳分布，那么：（1）最佳的输入分布是唯一的吗？（2）最佳的输出分布是唯一的吗？,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,定义简单离散信道的信道容量对称离散

9、信道的信道容量扩展信道的信道容量香农公式,信息论与编码基础,离散信道,1、无噪无损信道,I(X;Y)=H(X)-H(X|Y),信息论与编码基础,离散信道,2、有噪无损信道,I(X;Y)=H(X)-H(X|Y),信息论与编码基础,离散信道,3、有损无噪信道,I(X;Y)=H(Y)-H(Y|X),信息论与编码基础,离散信道,总结：,1）若严格区分，凡损失熵等于0的信道称为无损信道；凡噪声熵等于0的信道称为无噪信道。,2）无损信道,3）无噪信道,信息论与编码基础,离散信道,例,求BEC的信道容量板书,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三

10、、有噪信道编码定理,定义简单离散信道的信道容量对称离散信道的信道容量,？,对称信道,信息论与编码基础,离散信道,二、对称离散信道的信道容量,1、对称信道的定义,？,信息论与编码基础,离散信道,强对称信道,信息论与编码基础,离散信道,二、对称离散信道的信道容量,信息论与编码基础,离散信道,二、对称离散信道的信道容量2.对称信道的性质当P(x)等概率分布时，输出也是等概率分布的。,信息论与编码基础,离散信道,二、对称离散信道的信道容量,3、对称信道的信道容量平均互信息：,信道容量：,最佳输入：,信息论与编码基础,离散信道,二、对称离散信道的信道容量,3、对称信道的信道容量例：均匀信道,例BSC：C=log2-H(p)=1-H(p),输入对称信道包含对称信道（此时输出也对称）；对称信道包含均匀信道；均匀信道包含二元对称信道（此时r