第四章信道及其容量

1、第四章第四章 信道及其容量信道及其容量信道及其容量信道及其容量l4.1信道分类l4.2离散无记忆信道l4.3信道的组合l4.4时间离散的无记忆信道l4.5波形信道4.1信道分类信道分类4.1信道分类信道分类l离散信道：输入输出均为离散事件集l连续信道：输入输出空间均为连续事件集l半连续信道：输入和输出一个是离散的，一个是连续的l时间离散的连续信道：信道输入和输出是连续的时间序列l波形信道：输入和输出都是时间的实函数x(t), y(t)4.1 信道分类信道分类l两端信道l多端信道l恒参信道：参数不随时间变化l随参信道：参数随时间变化l无记忆信道和有记忆信道l对称信道和非对称信道4.2 离散无记忆

2、信道离散无记忆信道离散无记忆信道离散无记忆信道(定义定义4.2.1,4.2.2)NnnnNxypxyp1)|()|(平稳信道)|()|(kxjypkxjypmmnn例：二元对称信道例：二元对称信道lp=0.11-p1-ppp1100信道容量信道容量111000( | )(; )( | )log( | )KJkKkjiip j kI X YQ p j kQ p j i信道容量信道容量l定义4.2.3 离散无记忆信道的信道容量定义为：即C为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的分布称为最佳分布。信道容量表示了信道传送信息的最大能力max (; )kQCI X Y定理定理4

3、.2.1NCYXIYXIYXINNNnnnNN);();();(1对于DMC，N长序列的信息传输问题可以归结为单个符号的信息传输问题定理定理4.2.2lQ=Q0,Q1,QK-1达到信道容量的充要条件 0);(0);(kkQCYkxIQCYkxI在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息量大于其它任何输入与所有输出之间的平均互信息，则可以通过经常的采用该特定输入k增大I(X ; Y)对称对称DMC容量的计算容量的计算l信道转移概率矩阵(0|0)(1|0).(1|0)(0|1)(1|1).(1|1) ( | )(0|1)(1|1) .(1|1)ppp Jppp JPp j kpK

4、pKp JK对称对称DMC容量的计算容量的计算l若信道转移概率矩阵所有行矢量都是第一行的置换，称为关于输入对称。)|(log)|()|()|(10kjpkjpxYHXYHJj对称对称DMC容量的计算容量的计算lP的所有列都是第一列的一种置换，关于输出是对称的l当输入事件等概，Qk=1/KJkjpKkjpQjKkKkkj1)|(1)|(1010对称对称DMC的容量计算的容量计算l输出集Y可划为若干和子集,每个子集对应的信道转移概率矩阵P中列所组成的子阵具有下列性质l每一行都是第一行的置换l每一列都是第一列的置换 该信道称为准对称信道l关于输入对称lY的划分只有一个时，关于输入和输出均对称，称为对

5、称信道 （例）对称对称DMC容量的计算容量的计算l定理4.2.3 实现准对称DMC信道容量的输入分布为等概分布 sYjKiJjKiSijpKkjpkjpijpKkjpkjpYkxI101010)|(1)|(log)|()|(1)|(log)|();(YS：子阵中每一列都是第一列置换对每个j相同对每个k相同对称对称DMC容量计算容量计算lK元对称信道: C = logK - H(p) - plog(K-1)l二元对称信道: C = 1 - H(p)l准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log(1-q)/2)l二元纯删除信道: C=1-q10log( | )l

6、og( | )JjCJp j kp j k离散无记忆模离散无记忆模K加性噪声信道加性噪声信道lZ=X=Y=0,1,K-1ly=x+z mod K)(log)()(log)()()|(log)|()()|(,ZHKCZHzpzpxQxypxypxQXYHzxyx一般一般DMC的容量计算的容量计算l信道转移矩阵是非奇异方阵，假定所有Qk010101010101,.,1 , 0)|(log)|(log)|(1,.,1 , 0log)|()|(log)|(1,.,1 , 0)|(JjJjjJjjJjKkkjKkkjpkjpCkjpKkCkjpkjpkjpKjkjpQ一般一般DMC的容量计算的容量计算j

7、jjCjjjjjCC2log12log4.3 信道的组合信道的组合积信道积信道lC1maxI(X1;Y1)lC2maxI(X2;Y2)l信道1和信道2同时传递消息，输入集X=X1X2,输出集Y=Y1Y2,转移概率p(jj|kk)=p(j|k)p(j|k)lC=C1+C2信道1P(j|k)X1Y1信道2P(j|k)X2Y2和信道和信道l单位时间内可随机选用信道1和信道2中的一个，选用信道1的概率为p1，选用信道2的概率为p2， p1p21l输入空间X=X1+X2， Y=Y1+Y2，nnCCnNnCCCpCCPHpYXIpYXIYXI22log22log)();();();(1222211121级

8、联信道级联信道l信道1的输出作为信道2的输入jjkjpkjpkjp)| ()|()| (4.4 时间离散的无记忆连时间离散的无记忆连续信道续信道时间离散的连续信道时间离散的连续信道l时间离散信道l无记忆信道l平稳(恒参)信道NCYXIYXIYXINNNnnnNN);();();(1可加噪声信道可加噪声信道lp(y|x)=p(y-x)=p(z)()();()()|(ZHYHYXIZHXYHccccxy=x+zz信道容量为对于所有的输入分布求H(Y)的最大值可加噪声信道可加噪声信道l高斯噪声信道)1log(21)()();(22zxcXHYHYXI输入为正态分布,在此条件下,输出也为正态分布平均功

9、率受限的可加噪声信道平均功率受限的可加噪声信道nxnnnNnnxdxQxxSxNn)(12212功率受限的时间离散信道容量功率受限的时间离散信道容量l输入信号平均功率不超过S的时间离散信道容量定义为：l无记忆平稳条件下( )max (; )SCI X Y,( )1sup(;)NNNNSCI XYN平均功率受限的时间离散、恒参、平均功率受限的时间离散、恒参、可加高斯噪声信道容量可加高斯噪声信道容量)1log(212SC最佳输入分布是均值为0，方差为S的高斯型分布平均功率受限时间离散恒参可加平均功率受限时间离散恒参可加噪声信道容量噪声信道容量22222222log21)1log(21xyxSCS给

10、定信号功率，高斯信道是最差的信道，在它的作用下信道容量最小平行可加高斯噪声信道平行可加高斯噪声信道(注水定理注水定理)lx=(x1,xN), y=(y1,yN)BSESBSCnnNnnBnnNnnnn21:212,log21)1log(212注水定理的说明注水定理的说明l积信道l当各分信道的干扰功率不等，需要对输入信号总能量进行适当分配l比较门限Bl迭代算法4.5 波形信道波形信道波形信道波形信道l信道的输入、输出都是任意时间的函数波形信道或时间连续的连续信道可加波形信道可加波形信道ly(t)=x(t)+z(t),(),()()()()()()()()(1100NNTnnTnnnnnnnnyy

11、yxxxdtttyydtttxxtytytxtx可加波形信道可加波形信道);(sup1,lim);(lim)();()|()()|(log);();(lim)();(NNTTTNNNTNNNNTYXITCCCYXItYtXIdxxypxQxypyxIyxItytxI可加波形信道可加波形信道STSxESTdttxEzxydtttzztztznnnnTnnnTnnnnn)()()()()()(2020波形信道波形信道波形信道x(t)z(t)(白高斯过程)y(t)=x(t)+z(t)x1Z1（高斯随机变量）y1=x1+z1x2z2 （高斯随机变量）y2=x2+z2可加波形信道可加波形信道)21log(2)21log(2);(max)21log(21);();(00101NNSTTNCNNSTNYXINSYXIYXITNNNnnNnnnNNShannon公式公式lN=2WT)/(44. 1)1log(00NSCWNSWCW趋于无穷大，单位时间的信道