第四章离散信道及其容量

第四章离散信道及其容量第一页，共四十八页，2022年，8月28日3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。信道输入量X(随机过程)输出量Y(随机过程)p(Y|X)第二页，共四十八页，2022年，8月28日按输入/输出信号在幅度和时间上的取值:离散信道：输入和输出的随机序列取值都是离散的信道连续信道：输入和输出的随机序列取值都是连续的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散第三页，共四十八页，2022年，8月28日时间离散的连续信道：信道输入和输出是连续的时间序列波形信道：输入和输出都是时间的实函数x(t),y(t)两端信道多端信道恒参信道：参数不随时间变化随参信道：参数随时间变化无记忆信道和有记忆信道对称信道和非对称信道第四页，共四十八页，2022年，8月28日多元接入信道广播信道无损信道确定信道无噪信道第五页，共四十八页，2022年，8月28日4.2离散无记忆信道4.2.1离散信道数学模型信道描述信道可以引用三组变量来描述：信道输入：X=(X1,X2…Xi,…),Xi∈{a1…an}信道输出：Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道概率转移矩阵：p{y/x}=p(y1y2..yn|x1x2…xn)即：{Xp(y|x)Y}第六页，共四十八页，2022年，8月28日定义4.2.1若离散信道对任意N长的输入、输出序列有则称它为离散无记忆信道DMC。其信源模型为{Xp(yn|xn)Y}任何时刻信道的输出至于此时刻信道的输入有关,而与以前的输入无关。定义4.2.2对任意n和m,i∈A,j∈B,若离散无记忆信道还满足则称此信道为平稳的或恒参的。第七页，共四十八页，2022年，8月28日1、无扰(无噪)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:第八页，共四十八页，2022年，8月28日2、有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:3、有干扰有记忆信道4.2.2单符号离散信道X={a1,a2,……ar}P(Y/X)={p(bj/ai)}(i=1,2,……r;j=1,2,……s)Y={b1,b2,……bs}0≤p(bj/ai)≤1第九页，共四十八页，2022年，8月28日信道的传递概率又称为转移概率矩阵[P]称为转移矩阵或信道矩阵；表示为：[P]=b1b2…bsa1p(b1/a1)p(b2/a1)…p(bs/a1)a2p(b1/a2)p(b2/a2)…p(bs/a2)……………arp(b1/ar)p(b2/ar)…p(bs/ar)[P]矩阵为一个r×s矩阵，其每行元素之和等于1第十页，共四十八页，2022年，8月28日3、图示法描述第十一页，共四十八页，2022年，8月28日例4.2.1：二元对称信道二元对称信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}很重要的一种特殊信道信道转移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p第十二页，共四十八页，2022年，8月28日4.2.2二元删除信道BEC二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵02101p1-pq1-q第十三页，共四十八页，2022年，8月28日4.2.3二元对称消失信道二元删除信道BEC输入符号X取值{0,1}；输出符号Y取值{0,1,2}转移矩阵0x1011-p-qq1-p-qqpp第十四页，共四十八页，2022年，8月28日先验概率:信源发出消息ai的概率p(ai)=P(X=ai)(i=1,2,…,r)后验概率:信宿收到bj后推测信源发出ai的概率p(ai|bj)=P(X=ai|Y=bj)联合概率:p(ai|bj)=P(X=ai,Y=bj)=p(ai)p(bj|ai)=p(bj)p(ai|bj)前向概率:（及信道传递概率）输出符号概率:p(bj|ai)=P(Y=bj|X=ai)p(bj)=P(Y=bj)第十五页，共四十八页，2022年，8月28日4.2.3信道疑义度定义4.2.3称输入空间X对输入空间Y的条件熵可疑度，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。对于接收者来说，条件熵H(X/Y)称为疑义度，对X尚存在的平均不确定度是由于干扰(噪声)引起的

第十六页，共四十八页，2022年，8月28日4.2.4平均互信息定义4.2.4原始信源熵与信道疑义度之差称为平均互信息。信息=先验不确定性－后验不确定性=不确定性减少的量Y未知,X的不确定度为H(X)Y已知,X的不确定度变为H(X|Y)第十七页，共四十八页，2022年，8月28日平均互信息有扰信道干扰源信源X信宿Y通信系统中,若发端的符号为X,收端的符号为Y如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y)=0一般情况：H(X|Y)＜H(X),即了解Y后对X的不确定度的将减少通过信道传输消除了一些不确定性,获得了一定的信息。第十八页，共四十八页，2022年，8月28日平均互信息的另一种定义方法：第十九页，共四十八页，2022年，8月28日定理4.2.1对于固定的信道（给定转移概率矩阵P后）,平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。定理4.2.2对于固定的信源分布,平均互信息I(X;Y)是信道传递概率p(y|x)的下凸函数。第二十页，共四十八页，2022年，8月28日4.2.5平均互信息与各类熵的关系熵只是平均不确定性的描述;不确定性的消除(两熵之差)才等于接收端所获得的信息量。获得的信息量不应该和不确定性混为一谈第二十一页，共四十八页，2022年，8月28日维拉图

H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)第二十二页，共四十八页，2022年，8月28日4.3离散无记忆扩展信道4.3.1N次扩展信道1、简单的离散无记忆信道第二十三页，共四十八页，2022年，8月28日第二十四页，共四十八页，2022年，8月28日2、N次扩展信道第二十五页，共四十八页，2022年，8月28日第二十六页，共四十八页，2022年，8月28日定理：设离散信道的输入序列X＝(X1X2…XN)通过信道传输，接收到的随机序列为Y=(Y1Y2…YN)，而信道的转移概率为p(y∣x)。若信道是无记忆的，则有：若信源是无记忆的，则有：若信源与信道都是无记忆的，则有：第二十七页，共四十八页，2022年，8月28日4.4信道的组合在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。信道2信道1XYZ定理4.4.1级联信道中的平均互信息满足以下关系第二十八页，共四十八页，2022年，8月28日定理4.4.2若随机变量X,Y,Z构成一个马尔可夫链，则有：例设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:X00ZY111-p1-p1-pp串联信道的转移矩阵为:1-pp第二十九页，共四十八页，2022年，8月28日4.5信道容量4.5.1信道容量的定义定义4.5.1信道容量定义为平均互信息的最大值：信道容量表征信道传送信息的最大能力。实际信道传送信息量必须小于信道容量，否则会出现错误。第三十页，共四十八页，2022年，8月28日平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R第三十一页，共四十八页，2022年，8月28日信道在单位时间内平均传输的信息量，称为信息传输速率Rt。单位：bit/s若平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量Ct，为单位：bit/s第三十二页，共四十八页，2022年，8月28日4.5.2离散无噪信道1、无损信道设信道的输入X∈A={a1…

an},输出Y∈B={b1…

bm}无损信道的一个输入对应多个互不相交的输出X

b1Ya1b2b3a2b4b51/31/31/31/43/4第三十三页，共四十八页，2022年，8月28日由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源的信息全部传递道信宿。说明：I(X;Y)=H(X)<H(Y),提示H(Y/X)>02、确定信道确定信道的输出对应多个互不相交的输入。第三十四页，共四十八页，2022年，8月28日这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。I(X;Y)=H(Y)-H(Y/X)=H(Y)<H(X)C=max{I(X;Y))=maxH(Y)=logsXa1Ya2

b1a3a4b2a511111第三十五页，共四十八页，2022年，8月28日3、无损确定信道无损确定信道：输入和输出是一一对应关系Xa1b1Ya2

b2a3

b3111第三十六页，共四十八页，2022年，8月28日4.5.3离散对称信道定义若一个离散信道的信道矩阵中，每一行都是由同一组元素的不同排列，则称为输入对称信道。定义4.5.3若一个离散信道的信道矩阵中，每一列都是其他列同一组元素组成的不同排列，则称为离散输出对称信道。如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道。第三十七页，共四十八页，2022年，8月28日定义4.5.4若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y（即信道矩阵的行）可以将信道矩阵划分成n个子集（子矩阵），每个子矩阵中的每一行（列）都是其他行（列）的同一组元素的不同排列，则称这类信道为离散准对称信道。子集中元素满足对称性第三十八页，共四十八页，2022年，8月28日例：（对称信道识别）

第三十九页，共四十八页，2022年，8月28日定理4.5.1实现离散准对称无记忆信道信道容量的输入符号集的分布为等概分布。定理4.5.2若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概分布是，达到信道容量C，且C=logs-H(p1’p2’…ps’),式中p1’p2’…ps’为信道矩阵中的任一行。引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。第四十页，共四十八页，2022年，8月28日定义4.5.5信道输入符号和输出符号个数相同，且信道矩阵为，则称此信道为强对称信道或均匀信道。信道矩阵中各列之和也等于1。推论：均匀信道的信道容量为C=logr-plog(r-1)-H(p)第四十一页，共四十八页，2022年，8月28日4.5.4一般信道容量的计算方法：一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:I(ai;Y)=C对于所有ai其p(ai)＞0I(ai;Y)≤C对于所有ai其p(ai)=0时，I(X;Y)达到极大值。此时，常数C记为所求的信道容量。上式说明：当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。第四十二页，共四十八页，2022年，8月28日4.5.5离散无记忆N次扩展信道设信道的输入X=(X1,X2

…

Xi,…),Xi∈{a1…

an}

输出Y=(Y1,Y2

…

Yj,…),Yj∈{b1…

bm}信道XYp(Y|X)对于无记忆离散N次扩展信道,其信道转移概率为仅与当前输入有关。若信道是平稳的第四十三页，共四十八页，2022年，8月28