陈运 信息论与编码 第三章 信道容量

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度3.1 信道容量的数学模型和分类3.2 单符号离散信源3.3 多符号离散信源3.4 多用户信道3.5 信道编码定理3.1 信道的数学模型和分类P(Y/X)xY信道的数学模型：X P(Y/X) Y信道的分类无干扰信道有干扰信道信道的分类有记忆信道无记忆信道信道的分类单符号 信道多符号信道信道的分类单用户信道多用户信道信道的分类连续信道半离散信道离散信道3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 信道编码定理3.2 单符号

2、离散信道的信道容量3.2.1 信道容量的定义3.2.2 几种特殊离散信道的容量3.2 .3 离散信道容量的一般计算方法3.2.1 信道容量的定义p(yi/xi)xYi=1,2,n信道转移概率矩阵：（见下页）信道容量3.2 单符号离散信道的信道容量3.2.1 信道容量的定义3.2.2 几种特殊离散信道的容量3.2 .3 离散信道容量的一般计算方法3.2.2 几种特殊离散信道的容量一、离散无噪信道1、一一对应的无噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一对应CmaxI(X;Y)log np(ai)a1 b1 b2 b32、具有扩展功能的无噪信道a

3、2 b4 b5 b6a3 b7 b8 此时，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。此时，C = max H(X) = log n p(ai)一个输入对应多个输出3、具有归并性的无噪信道x1 y1x2 x3 y2x4x5 y3C = max H(Y) = log mp(ai)H(X/Y) 0，H(Y/X) = 0多个输入变成一个输出二、强对称(均匀)离散信道的信道容量P：总体错误概率n X n相应的二进制均匀信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp)二进制均匀信道容量曲线三、对称离散信道的信道容量矩阵中的每行都 是集合P = p1,

4、p2, , pn中的诸元素的不同排列，称矩阵的行是可排列的。矩阵中的每列都是集合Q = q1, q2, ,qm中的诸元素的不同排列，称矩阵的列是可排列的。如果矩阵的行和列都是可排列的，称矩阵是可排列的。如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道中，当nm，Q是P的子集；当n=m时，P=Q。对称信道练习：判断下列矩阵表示的信道是否是对 称信道相应的对称离散信道的信道容量强对称信道与对称信道比较： 强对称 对称 n=m n与m未必相等 矩阵对称 矩阵未必对称 P=Q P与Q未必相等行之和，列之和均为1行之和为1四、准对称信道离散信道的信道容量若信道矩阵的行是可排列的，但列不可排列，

5、如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，ms。3.2 单符号离散信道3.2.1 信道容量的定义3.2.2 几种特殊离散信道的容量 3.2.3 离散信道容量的一般计算方法3.2.3 离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布p(xi)，求平均互信息的极大值。采用拉各朗日乘子法来计算。(1)两边乘p(ai)，并求和，则有：(2)将（2）代入（1），则有：（3）（4）则（3）变为：

6、（5） （6）（7）总结C的求法，过程如下：（8）（9）例：信道矩阵如下，求C。12343.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 信道编码定理3.3 多符号离散信道3.3.1 多符号离散信道的数学模型3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量多符号离散信道 多符号信源通过离散信道传输形成多符号离散信道。3.3.1 多符号离散信道的数学模型输入输出3.3 多符号离散信道3.3.1 多符号离散信道的数学模型3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量3.3.2 离散无记忆信道的N次扩展信道和独立并联信

7、道的信道容量无记忆：YK仅与XK有关1YNY(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 信道编码定理3.4 多用户信道3.4.1 多址接入信道3.4.2 广播信道3.4 .3 相关信源的多用户信道3.4.1 多址接入信道多入单出信道信源1信源2编码器1编码器2信道译码二址接入信道模型R2 C20 C1 C12C1+C2R13.4 多用户信道3.4

8、.1 多址接入信道3.4.2 广播信道3.4 .3 相关信源的多用户信道3.4.2 广播信道广播信道具有单个输入和多个输出的信道。信源1编码器信道信源2译码器2译码器1图3.4.4 单输入双输出广播信道模型退化广播信道（串联）编码器信道1信道2图3.4.5 退化的广播信道模型构成马尔可夫链不变，保持最大3.4 多用户信道3.4.1 多址接入信道3.4.2 广播信道3.4.3 相关信源的多用户信道模型13.4.3 相关信源的多用户信道信源编码器1编码器2信道1信道2译码器1译码器2相关信源多用户信道C2C1E1C1D1x1x2边信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0尽可能小，并且在W条件下，X1X2无关3.1 信道的数学模型和分类3.2 单符号离散信道3.3 多符号离散信道3.4 多用户信道3.5 连续信道3.5 连续信道P(Y/X)连续信道的数学模型加性连续信道NY=X+Np(y/x)=p(n)X 利用坐标变换原理,可证p(y/x)=p(n) X, N相互独立。假定N是均值为0，方差为的高斯变量噪声功率输入平均功率输出平均功率对于高斯加性信道信噪功率比香农公式(bit/s