第三章信道容量201110

信源X信宿Y有扰信道C干扰源N平均互信息一、平均互信息量的定义平均互信息量Y对X的平均交互信息量；交互熵发送接收？？同理，X对Y的平均互信息：(2.1.44)发送接收？？(2.1.45)信道中流通信息量的整体测度。发送接收通信前通信后发送接收二、平均互信息的物理意义平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。1

平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。23平均互信息量等于通信前、后，整个系统不确定度减少的量。

信息就是负熵——从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。例2.1.4信源X接入图示信道0.980.80.20.02123等概率信源的熵最大。4567三、平均互信息的性质对称性1非负性2极值性132凸函数性4上凸函数证（略）1例2.1.5二元信源X接入对称信道求平均互信息I(X；Y)，如图2.1.90011下凸函数2I(X;Y)随信道变化的曲线，如图2.1.1000110.50.50.50.500111100111100111100111100111100110.50.50.50.500110.50.50.50.500110.50.50.50.500110.50.50.50.5多次处理信息量将减少图2.1.8 数据处理模型数据处理定理XⅠ

YⅡZ5定义例题：p36多次测量多次测量的互信息量要比单次测量的互信息量大证(略)第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度§3.1信道容量的数学模型和分类§3.2单符号离散信源§3.3多符号离散信源§3.4多用户信道§3.5信道编码定理§3.1信道的数学模型和分类P(Y/X)xY信道的数学模型：{X

P(Y/X)Y}信道的分类无干扰信道有干扰信道信道的分类有记忆信道无记忆信道信道的分类单符号信道多符号信道信道的分类单用户信道多用户信道信道的分类连续信道半离散信道离散信道§3.1信道的数学模型和分类§3.2单符号离散信道§3.3多符号离散信道§3.4多用户信道§3.5信道编码定理§3.2

单符号离散信道的信道容量§3.2.1信道容量的定义

§3.2.2几种特殊离散信道的容量§3.2.3离散信道容量的一般计算方法§3.2.1信道容量的定义p(bi/ai)xYi=1,2,…n信道转移概率矩阵：（见下页）信道容量§3.2单符号离散信道的信道容量§3.2.1信道容量的定义

§3.2.2几种特殊离散信道的容量§3.2.3离散信道容量的一般计算方法§3.2.2几种特殊离散信道的容量一、离散无噪信道1、一一对应的无噪信道anbna1b1a2b2……a1b1a2b2an-1bn-1anbn……X、Y一一对应C＝maxI(X;Y)＝lognp(ai)a1

b1b2

b32、具有扩展功能的无噪信道a2

b4b5

b6a3

b7b8

此时，H(X/Y)=0，H(Y/X)0，且H(X)<H(Y)。此时，C=maxH(X)=logn

p(ai)一个输入对应多个输出3、具有归并性的无噪信道x1

y1x2

x3y2x4x5y3C=maxH(Y)=logmp(ai)H(X/Y)≠0，H(Y/X)=0多个输入变成一个输出二、强对称(均匀)离散信道的信道容量P：总体错误概率nXn相应的二进制均匀信道容量

C＝1－H(p),其中H(p)=-((1-p)log(1-p)+plogp)二进制均匀信道容量曲线三、对称离散信道的信道容量

矩阵中的每行都是集合P={p1,p2,……,pn}中的诸元素的不同排列，称矩阵的行是可排列的。

矩阵中的每列都是集合Q={q1,q2,……,qm}中的诸元素的不同排列，称矩阵的列是可排列的。

如果矩阵的行和列都是可排列的，称矩阵是可排列的。 如果一个信道矩阵具有可排列性，则它所表示的信道称为

对称信道中，当n<m时，P是Q的子集；当n>m，Q是P的子集；当n=m时，P=Q。对称信道练习：判断下列矩阵表示的信道是否是对称信道√√相应的对称离散信道的信道容量强对称信道与对称信道比较：强对称对称n=mn与m未必相等矩阵对称矩阵未必对称P=QP与Q未必相等行之和，列之和均为1行之和为1四、准对称信道离散信道的信道容量

若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：

假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，……，ms。§3.2单符号离散信道§3.2.1信道容量的定义

§3.2.2几种特殊离散信道的容量§3.2.3离散信道容量的一般计算方法§3.2.3离散信道容量的一般计算方法对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布{p(xi)}，求平均互信息的极大值。采用拉各朗日乘子法来计算。(1)两边乘p(ai)，并求和，则有：(2)将（2）代入（1），则有：（3）（4）则（3）变为：（5）（6）（7）总结C的求法，过程如下：（8）（9）例：信道矩阵如下，求C。1234§3.1信道的数学模型和分类§3.2单符号离散信道§3.3多符号离散信道§3.4多用户信道§3.5信道编码定理§3.3多符号离散信道§3.3.1多符号离散信道的数学模型§3.3.2离散无记忆信道的N次扩展信道和独立并联信道的信道容量多符号离散信道多符号信源通过离散信道传输形成多符号离散信道。§3.3.1

多符号离散信道的数学模型输入输出§3.3多符号离散信道§3.3.1多符号离散信道的数学模型

§3.3.2离散无记忆信道的N次扩展信道和独立并联信道的信道容量§3.3.2离散无记忆信道的N次扩展信道和独立并联信道的信道容量无记忆：YK仅与XK有关1YNY(a)ååååå=====-£\£-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211

)/()();()()..()/()..()/()();(rrrrr§3.1信道的数学模型和分类§3.2单符号离散信道§3.3多符号离散信道§3.4多用户信道§3.5信道编码定理§3.4多用户信道§3.4.1多址接入信道

§3.4.2广播信道§3.4.3

相关信源的多用户信道§3.4.1多址接入信道多入单出信道信源1信源2编码器1编码器2信道译码二址接入信道模型R2

C20

C1

C12C1+C2R1§3.4多用户信道§3.4.1多址接入信道

§3.4.2广播信道§3.4.3相关信源的多用户信道§3.4.2广播信道广播信道具有单个输入和多个输出的信道。信源1编码器信道信源2译码器2译码器1图3.4.4单输入双输出广播信道模型退化广播信道（串联）编码器信道1信道2图3.4.5退化的广播信道模型构成马尔可夫链不变，保持最大§3.4多用户信道§3.4.1多址接入信道

§3.4.2广播信道§3.4.3相关信源的多用户信道模型1§3.4.3相关信源的多用户信道信源编码器1编码器2信道1信道2译码器1译码器2相关信源多用户信道C2C1E1C1D1x1x2边信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0尽可能小，并且在W条件下，X1X2无关§3.1信道的数学模型和分类§3.2单符号离散信道§3.3多符号离散信道§3.4多用户信道§3.5连续信道§3.5连续信道P(Y/X)连续信道的数学模型加性连续信道NY=X+Np(y/x)=p(n)X

利用坐标变换原理,可证p(y/x)=p(n)

X,N相互独立。假定N是均值为0，方差为的高斯变量噪声功率输入平