近代信息论-第二章.ppt

第二章 信道和信道容量,&6-9,主要内容,第六节 连续信道的容量 第七节 信道的组合 第八节 波形信道 第九节 有记忆非白噪声信道,第六节：连续信道的容量,高斯信道的容量 高斯信道的定义、性质 高斯信道的信道容量 一般情形：加性干扰信道容量的上下界 上界 下界,高斯信道,定义：,信道,X,Y=X+N,N,性质： 条件概率P(y|x) = 噪声N的概率P(N); I(X,Y)=Hc(Y)-Hc (N),证明,条件概率：P(y|x)=P(N)证明,2. I(X,Y)=Hc(Y)-Hc (N)证明,高斯信道的信道容量,设输入X平均功率受限 Pwi 设输出Y平均功率受限 Pwo 要使得Y的熵H(Y)最大，Y必定是均值为零，方差为Pwo的高斯变量N(0, Pwo)。,限平均功率的最大熵定理,高斯信道的信道容量,可以通过提高输入功率来增大C,上界,加性干扰信道容量（一般情形）,一般信道有非加性干扰，无法解得信道容量，而对叠加性干扰信道，虽无法解得C，但可得上下界。,下界,加性干扰信道容量（一般情形）,下界,综合上下界，对于加性信道：,加性干扰信道容量（一般情形）,可见，高斯信道是最差的信道，或者说，高斯干扰就是最坏的干扰。 实际中，在未知噪声分布时，一般假设为高斯噪声，这样做最保险。,back,第七节：信道的组合,独立并联信道 和信道 级联信道,独立并联信道,独立信道,定义联合平均互信息,独立并联信道,当个信道独立时，分别求各信道的互信息,独立并联信道各信道的互信息,第一信道,第二信道,第N信道,以上求和,结论：,独立并联信道,1,2,当输入变量相互独立时，且各信道输入分布使信道达到各自信道容量Ck时，,讨论： 对于“离散无记忆信道，N次扩展”,独立并联信道,信道,时分信道：时间离散无记忆信道 各时间单元干扰不同，可看作独立并列信道 假设各信道均为高斯信道：,和信道（并信道）,定义： 任一时间随机的选用，信道1或信道2（两者不能同时选用），选信道1的概率P1,选信道2的概率P2，且P1 +P2 =1。 组合信道的输入 组合信道的输出 转移概率 此信道称为和信道或并信道。,例：GSM, 双频,定理：信道1与信道2的和信道的信道容量C满足： 推广：N个独立信道的和信道，若各分信道的信道容量为Cn,则和信道的信道容量为 每个信道被使用的概率为：,和信道（并信道）信道容量,级连信道（串行信道）,可先计算总的转移概率，然后用常规法计算C. 可证明，若N个转移概率相同的信道级连，,信道,信道,back,第八节：波形信道,定义：信道的输入、输出是任意的时间函数，则称信道为波形信道，或时间连续信道。 限时T,限频F的加性高斯白噪声信道 Shannon 公式 功率分配,back,限时T,限频F的加性高斯白噪声信道,输入X(t),输出Y(t),信道噪声是高斯白噪声N(t), Y(t)=X(t)+N(t); X与N相互独立 X(t),Y(t)和N(t)都是限频、限时T的随机过程。 根据抽样定理：X,Y,N可用2F频率抽样，能转化为时间间隔为 的n个随机变量组成的随机变量。,对于白噪声N(t),其功率谱 在-F,F为常数N0/2,由功率谱与相关函数的域变换关系，得：,限时T,限频F的加性高斯白噪声信道,-F,F,back,Shannon公式,限时T,限频F 对于高斯加性信道,对于限时T,限频F的信号,back,功率分配（限时限频）,独立并列信道，信道容量 设输入功率恒定,问题,如何分配功率，即各 如何取值， 才能使 达到最大,即：各信道输出功率相等，才能保证联合信道容量最大。,重新解,结论： 噪声大的信道输入功率分配额小； 噪声小的信道输入功率分配额大， 这样可使得总的信道容量C增大。,太坏的信道不用,K,注水原理,back,第九节：有记忆非白噪声信道,非白噪声 有串扰（码间串扰）可视为记忆 串音 远端FEXT 近端NEXT,前述,加性高斯白噪声信道（AWGN),实际,如电话线,信道容量,输入X(t), 输出Y(t)； 非白噪声(colored noise) 是由高斯信源q(t)经过LTI：h(t)得到的； Z(t)：高斯白噪声； X(t), q(t), Z(t) 独立。 信道本身的冲激响应：g(t) 非白噪声干扰可看作白噪声通过一个线性时不变滤波器(LTI filter),建模,信道容量,时域:,频域:,G1,X1,Y1,Z1,H1,Q1,G2,X2,Y2,Z2,H2,Q2,G3,X3