信道与信道容量详解

信(Xin)道与信(Xin)道容量详解演示文稿第一页，共二十八页。（优选）信道与(Yu)信道容量第二页，共二十八页。设信道的输入X=(X1,X2…XN),Xi∈{0,1…K-1}

输出Y=(Y1,Y2…YN),Yj∈{0,1…J-1}信道转移概率矩阵p(Y|X)：描述输入和输出的统计依赖关系，反(Fan)映信道统计关系信道XYp(Y|X)信道数学模型Xp(Y|X)Y第三页，共二十八页。按信道的输入和输出在幅度和时间上的取值时间离(Li)散的离(Li)散信道（离(Li)散信道）时间离散的连续信道（连续信道）时间连续的离散信道时间连续的连续信道（波形信道）信道分类第四页，共二十八页。按输入输出之间关系的记忆性来划分：无记忆信道信道的输出只与信道该时刻的输入有关,而(Er)与其它时刻的输入无关有无记忆信道信道的输出不但与信道现在时刻的输入有关，而且还与以前时刻的输入有关信道分类第五页，共二十八页。按输入输出信(Xin)号之间的关系是否是确定关系无干扰信道：输入和输出符号之间有确定的一一对应关系有干扰信道：输入和输出之间关系是一种统计依存的关系输入和输出的统计关系：恒参信道和随参信道对称信道和非对称信道信道分类第六页，共二十八页。离散无(Wu)记忆信道信道转移矩阵第七页，共二十八页。已知X，信道输出Y表现出来的统计特性完全描述了(Liao)信道的统计特性，其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率信道转移矩阵第八页，共二十八页。输入符号X取值(Zhi){0,1}输出符号Y取值{0,1}信道转移概率

p(0|0)=1-p

p(1|1)=1-p

p(0|1)=p

p(1|0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率二元对称信道（BSC）第九页，共二十八页。输入符(Fu)号X取值{0,1}输出符号Y取值{0,1,2}转移矩阵021011-pp1-pp二元删除信道（BEC）p(0|0)=1-p

p(0|1)=0p(2|0)=p

p(2|1)=pp(1|0)=

0p(1|1)=1-p第十页，共二十八页。我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率平均互(Hu)信息I(X;Y)接收到符号Y后平均每个符号获得的关于X的信息量。每传递一个符号流经信道的信息量，即信息传输率信道容量第十一页，共二十八页。信道(Dao)容量给定转移概率P后,平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。离散无记忆信道的信道容量定义为即为改变输入分布时，使每个符号所能含有的平均互信息量的最大值，相应的输入分布称为最佳分布。信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。回顾定义第十二页，共二十八页。输入(Ru)概率矢量达到转移概率为的DMC的容量C的充要条件为其中，达到C的充要条件在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息大于其它任一输入与所有输出之间的平均互信息，我们就可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做会改变每个输入与所有输出之间的平均互信息量（由概率归一性约束）。通过足够多次的调整输入概率分布，就可使每个概率不为零的输入与所有输出之间的平均互信息量任意接近。定理与直观概念一致第十三页，共二十八页。是(Shi)的上凸函数，故必有最大值，由K-T条件，为最佳分布的充要条件是为常数达到C的充要条件证明：第十四页，共二十八页。

为常(Chang)数从而充要条件为第十五页，共二十八页。令(Ling)，则对左右两边乘以，并对得到给定信道在分布即达到了信道容量值。下，输入和输出之间的信息量为常数从而充要条件为则充要条件可写为求和，就可以第十六页，共二十八页。对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道几种特殊类型的信道－无噪无损信道－有(You)噪无损信道－无噪有损信道－对称、准对称信道信道容量计算第十七页，共二十八页。无噪无损信道输入和(He)输出符号之间有确定的一一对应关系Xa1b1Ya2b2a3

b3111无噪无损信道容量第十八页，共二十八页。Xa1b1a2

b2an-1bn-1an

bn11Y噪声熵H(Y|X)=0，损失(Shi)熵H(X|Y)=0因此无噪无损信道容量第十九页，共二十八页。无噪有(You)损信道多个输入变成一个输出(n＞m)Xa1b1a2a3a4b2a511111输出Y是输入X的确定函数,但不是一对一,而是多对一无噪有损信道容量Y噪声熵H(Y|X)＝0损失熵H(X|Y)≠0第二十页，共二十八页。有噪无损信道(Dao)一个输入对应多个输出(n＜m)X

b1Ya1b2b3a2b4b51/31/31/31/43/4有噪无损信道容量接收到符号Y后,对发送的X符号完全确定的。噪声熵H(Y|X)≠0，损失熵H(X|Y)=0第二十一页，共二十八页。对称性(Xing):若P的任一行是第一行的置换，则称信道是关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。对称信道第二十二页，共二十八页。不具有对称(Cheng)性若信道输出集Y可以划分成几个子集，而每个子集所对应的信道转移矩阵P中的列组成的子阵具有如下性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道。准对称信道若列子集只有一个，则为对称信道。第二十三页，共二十八页。定理1

若DMC关于输入(Ru)为对称的，则对任意k∈{0,1,…,K-1}准对称信道特点证明关于输入对称，则P的任一行是第一行的置换，即于是第二十四页，共二十八页。定理(Li)2

若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明关于输出对称，即任何一列是第一列的置换设q(x)=1/K，x∈{0,1,…,K-1}，则准对称信道特点根据概率归一性，此时，即输出等概分布第二十五页，共二十八页。定理(Li)3

对于准对称DMC信道（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为准对称信道容量特点最佳输入分布为等概分布第二十六页，共二十八页。若