信息论第十三讲

1、2021-11-41第四章：第四章：信道及其容量4.1 信道分类信道分类4.2 离散无记忆信道离散无记忆信道4.5 信道的组合信道的组合4.6 时间离散的无记忆连续信道时间离散的无记忆连续信道4.7 波形信道波形信道2021-11-424.1 信道分类信道分类信道是传输信息的媒质或通道。（输入信道输出）说明说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；

2、连续信道（又称为模拟信道）；特殊的连续信道波形信道；恒参信道和随参信道；无记忆信道和有记忆信道；等等。2021-11-434.2 离散无记忆信道离散无记忆信道定义定义4.2.1和定义和定义4.2.2(p81) 设（1）信道的输入为随机变量序列X1, X2, X3, ，其中每个随机变量Xu的事件集合都是0, 1, , K-1。（2）信道的输出为随机变量序列Y1, Y2, Y3, ，其中每个随机变量Yu的事件集合都是0, 1, , J-1。（3）P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=x

3、N)。则称该信道为离散无记忆信道。（DMC）如果对任意x0, 1, , K-1，y0, 1, , J-1，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，则称该信道为离散无记忆平稳信道。 2021-11-444.2 离散无记忆信道离散无记忆信道关于关于定义定义4.2.1和定义和定义4.2.2的注解的注解n“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。n“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。n“平稳”的含义是信道在不同时刻的响应特性是相同的。n“离散无记忆平稳信道

4、”是最简单的信道，信道在某一时刻u的响应特性P(Yu=y|Xu=x)； x0, 1, , K-1，y0, 1, , J-1，就能很简单地计算出信道在任意时间段的响应特性。2021-11-454.2 离散无记忆信道离散无记忆信道一、有关一、有关DMC的容量定理的容量定理（所说的（所说的DMC都是离散无记忆平稳信道）都是离散无记忆平稳信道）设nDMC在某个时刻输入随机变量为X，输出随机变量为Y。n信道响应特性为转移概率矩阵p(y|x)，x0, 1, , K-1，y0, 1, , J-1，它是一个KJ阶矩阵（其中p(y|x)=P(Y=y|X=x)）。nX的概率分布为x, q(x), x0, 1, ,

5、 K-1。nY的概率分布为y, w(y), y0, 1, , J-1。以下的结论是我们已知的。2021-11-464.2 离散无记忆信道离散无记忆信道（1）转移概率矩阵的每一行都是一个概率向量。 ) 1| 1() 1| 0 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0 () 0 | 1() 0 | 1 () 0 | 0 (JKpJpJpKpppKppp1)| 1, 1 , 0()|(10 xXJYPxypxJy，对任意2021-11-474.2 离散无记忆信道离散无记忆信道（2）对任意y0, 1, , J-1，由全概率公式有10)|()()(Kxxypxqyw) 1| 1

6、() 1| 0() 1| 0() 1 | 1() 1 | 1 () 1 | 0() 0| 1() 0| 1 () 0| 0()1(,),1 (),0()1(,),1 (),0(JKpJpJpKpppKpppJqqqJwww2021-11-484.2 离散无记忆信道离散无记忆信道（3）I(X; Y)是概率向量q(x), x0, 1, , K-1和转移概率矩阵p(y|x)，x0, 1, , K-1，y0, 1, , J-1的函数。 1010101010)|()()|(log)|()()()|(log)()();(KzKxJyKxJyzypzqxypxypxqywxypxyXYPYXI2021-11

7、-494.2 离散无记忆信道离散无记忆信道（4）设转移概率矩阵p(y|x)，x0, 1, , K-1，y0, 1, , J-1确定，希望选择概率向量q(x), x0, 1, , K-1使I(X; Y) 达到最大。则见定理2.6.2。定义定义4.2.3(p82) 离散无记忆信道的信道容量信道容量定义为如下的C。达到信道容量的输入概率分布x, q(x), x0, 1, , K-1称为最佳输入分布最佳输入分布。 其中);(max1, 1 , 0),(YXICKKxxqq维概率向量跑遍所有的2021-11-4104.2 离散无记忆信道离散无记忆信道定理定理4.2.2(p84) （1）输入概率分布x,

8、q(x), x0, 1, , K-1是最佳输入分布的充分必要条件为：对任何满足q(k)0的k，都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)此相同的值。（2）此时此相同的值恰好就是信道容量C。 （定理4.2.2实际上叙述了定理2.6.2的含义。）1010)|()()|(log)|();(JyKzzypzqkypkypYkXI2021-11-4114.2 离散无记忆信道离散无记忆信道注解注解给定一个DMC信道的响应特性，也就是说给定一个信道的转移概率矩阵p(y|x)，x0, 1, , K-1，y0, 1, , J-1，n达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件

9、的概率向量q(x), x0, 1, , K-1 。n其信道容量是每个使得q(k)0的k所对应的半平均互信息量I(X=k; Y)。如果对DMC信道没有任何简化，要计算最佳输入分布并不容易。但是，通常使用的DMC是很简单的（比如，以下的准对称信道和对称信道），最佳输入分布很容易求出。2021-11-4124.2 离散无记忆信道离散无记忆信道二、对称二、对称DMC和准对称和准对称DMC的的信道容量与最佳输入分布的计算信道容量与最佳输入分布的计算 定义定义4.2.45(p85) 设DMC的转移概率矩阵为 若P的任一行是第一行的置换，则称信道关于输入为对称的关于输入为对称的。若P的任一列是第一列的置换，

10、则称信道关于输出为对称的关于输出为对称的。) 1| 1() 1| 0 () 1| 0 () 1 | 1() 1 | 1 () 1 | 0 () 0 | 1() 0 | 1 () 0 | 0 (JKpJpJpKpppKpppP2021-11-4134.2 离散无记忆信道离散无记忆信道命题命题1 若DMC关于输入为对称的，则对任意k0, 1, , K-1都成立。证明 p(y|x)，y=0 J-1与p(y|k)，y=0 J-1互为置换，所以)|()|(1log)|()|(10kXYHkypkypXYHJy10101010101010)|(1log)|()|(1log)|()()|(1log)|()(

11、)|(1log)|()()|(JyKxJyKxJyKxJykypkypkypkypxqxypxypxqxypxypxqXYH2021-11-4144.2 离散无记忆信道离散无记忆信道命题命题2 若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明 此时p(y|x)，x=0 K-1与p(0|x)，x=0 K-1互为置换。设q(x)=1/K，x0, 1, , K-1。则无关。与即，yywxpKxypKxypxqywKxKxKx)()|0(1)|(1)|()()(1010102021-11-4154.2 离散无记忆信道离散无记忆信道定义定义4.2.6(p85) 若DMC的转移概率矩阵P的

12、列的全体可分成若干个列子集，每个列子集所对应的P的子阵都满足以下两条性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道准对称信道。特别若列子集只有一个（即转移概率矩阵P本身的任一行是第一行的置换，任一列是第一列的置换），则称信道为对称对称信道信道。例例4.2.2 准对称信道的例子。(见p8586) 2021-11-4164.2 离散无记忆信道离散无记忆信道几个简单的结论：（1）准对称信道一定是关于输入为对称的。（2）对称信道不仅关于输入为对称的，也关于输出为对称的。（3）对称DMC当输入分布等概时，输出分布等概。（4）准对称DMC当输入分布等概时，输出分布局部等

13、概。（准对称DMC当输入分布等概时，若j和l属于转移概率矩阵的同一个列子集，则wj=wl。）（5）对称信道未必有J=K。（即p85倒数第二行错）2021-11-4174.2 离散无记忆信道离散无记忆信道定理定理4.2.3(p86) 对于准对称DMC信道，（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为都成立。对任何；1, 1 , 0);()|(1)|(log)|(1010KkYkXIzypKkypkypCJyKz2021-11-4184.2 离散无记忆信道离散无记忆信道证明 根据定理4.2.2的含义，只需要证明：当输入分布为等概时，对任意k0, 1, , K-1，半平均互信息量I(

14、X=k; Y)都取相同的值。（此时，该相同的半平均互信息量I(X=k; Y)就是准对称信道容量C。）换句话说，只需要证明：当输入分布为等概时，对任意k0, 1, , K-1，I(X=k; Y)与k无关。设转移概率矩阵P的列的全体被分成S个互不相交的列子集：0, 1, , J-1=Y1Y2YS；Y1、Y2、YS互不相交；对任意s1, 2, , S，列子集Ys所对应的子阵都满足：任一行是第一行的置换，任一列是第一列的置换。自然有以下三个结论。2021-11-4194.2 离散无记忆信道离散无记忆信道结论一：准对称信道是关于输入为对称的，所以对任意k0, 1, , K-1，结论二：对每个列子集Ys，

15、结论三：对每个列子集Ys，取定ysYs。则对任意yYs，。1010)|()|(KzsKzzypzyp。ssYyYyypkyp)0|()|(1010)0|(log()0|()|(log()|(JyJyyKpypkyKpkyp2021-11-4204.2 离散无记忆信道离散无记忆信道于是无关。它与。kypzypkypzypzypkypzypkypzypkypSsYySsYyKzsKzsSsYyKzsSsYyKzJyKzssss1110101101101010) 0|( )|(log)|( )|(log)|(log)|()|(log)|()|(log)|(2021-11-4214.2 离散无记忆信道

16、离散无记忆信道于是无关。它与kypzypyKpypzypkypkyKpkypzypKkypkypYkXISsYyKzsJyJyKzJyJyKzs110101010101010)0|( )|(log)0|(log()0|() )|(log()|()|(log()|()|(1)|(log)|();(2021-11-4224.2 离散无记忆信道离散无记忆信道例例4.2.3 特殊的对称DMC：KSC（见p86）例例4.2.4 特殊的准对称DMC：2元对称删除信道（见p87）定义定义4.2.7 （p88）特殊的对称DMC：模K加性噪声信道。设lDMC的输入随机变量为X，X的所有事件为0, 1, , K-

17、1；lDMC的噪声随机变量为Z，Z的所有事件为0, 1, , K-1；lDMC的输出随机变量为Y，Y的所有事件为0, 1, , K-1；lX与Z相互独立；lY=X+Z(modK)。称此DMC为模K加性噪声信道。2021-11-4234.2 离散无记忆信道离散无记忆信道此时，p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK)。这就是说，如果记P(Z=z)=sz，则转移概率矩阵为0321301221011210ssssssssssssssssKKKKKK2021-11-42

18、44.2 离散无记忆信道离散无记忆信道显然模K加性噪声信道是对称DMC。信道容量为)(log)1(log1log1010)(mod10ZHKKsssKssCyKyyKxKyxyKyy2021-11-4254.2 离散无记忆信道离散无记忆信道三、一般三、一般DMC的信道容量与最佳输入分布的计算的信道容量与最佳输入分布的计算 （p88） （当DMC不是准对称信道时，求解信道容量和最佳输入分布并不容易）若DMC的转移概率矩阵P是可逆方阵（此时K=J）。则可以先假设最佳输入分布q(x), x0, 1, , K-1 中每个概率q(x)都满足q(x)0。在这个假设下，n求出信道容量C；n然后求出最佳输入分

19、布对应的“最佳输出分布” w(y), y0, 1, , K-1 ；n然后求出最佳输入分布q(x), x0, 1, , K-1。2021-11-4264.2 离散无记忆信道离散无记忆信道此时，10)()|(log)|();(10KkywkypkypYkXICKy；10)|(log)|()(log)|(1010KkkypkypywCkypKyKy；合并：将方程变形，使未知量2021-11-4274.2 离散无记忆信道离散无记忆信道；101010) 1|(log) 1|() 1 |(log) 1 |()0|(log)0|() 1(log) 1 (log)0(log) 1| 1() 1| 1 () 1

20、|0() 1 | 1() 1 | 1 () 1 |0()0| 1()0| 1 ()0|0(KyKyKyKypKypypypypypKwCwCwCKKpKpKpKpppKppp2021-11-4284.2 离散无记忆信道离散无记忆信道这是K个未知量0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1)的线性方程组，系数矩阵是可逆方阵，因此唯一解出0, 1, , K-1 为1010101110) 1|(log) 1|() 1 |(log) 1 |()0|(log)0|() 1| 1() 1| 1 () 1|0() 1 | 1() 1 | 1 () 1 |0()0| 1()0| 1 ()0|0(KyKyKyKKypKypypypypypKKpKpKpKpppKppp2021-11-4294.2 离散无记忆信道离散无记忆信道求出了0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1)，还不能确定C和w(0), w(1), , w(K-1)的值。但是我们还有另一个等式： w(0)+w(1)+w(K-1)=1。于是; 1222110CCCK;2222110CK)222log(110KC2021-11-4304.2 离散无记忆信道离散无记忆信道求出了信道容量C，立即得到了“最佳输出分布” w