第四章：信道及其容量

第四章：信道及其容量§4.1信道分类§4.2离散无记忆信道§4.5信道的组合§4.6时间离散的无记忆连续信道§4.7波形信道2023/2/61§4.1信道分类信道是传输信息的媒质或通道。（输入→信道→输出）说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道；等等。2023/2/62§4.2离散无记忆信道定义4.2.1和定义4.2.2(p81)设（1）信道的输入为随机变量序列X1,X2,X3,…，其中每个随机变量Xu的事件集合都是{0,1,…,K-1}。（2）信道的输出为随机变量序列Y1,Y2,Y3,…，其中每个随机变量Yu的事件集合都是{0,1,…,J-1}。（3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN))=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)。则称该信道为离散无记忆信道。（DMC）如果对任意x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，则称该信道为离散无记忆平稳信道。2023/2/63§4.2离散无记忆信道关于定义4.2.1和定义4.2.2的注解“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。“平稳”的含义是信道在不同时刻的响应特性是相同的。“离散无记忆平稳信道”是最简单的信道，信道在某一时刻u的响应特性P(Yu=y|Xu=x)；

x∈{0,1,…,K-1}，y∈{0,1,…,J-1}，就能很简单地计算出信道在任意时间段的响应特性。2023/2/64§4.2离散无记忆信道一、有关DMC的容量定理（所说的DMC都是离散无记忆平稳信道）设DMC在某个时刻输入随机变量为X，输出随机变量为Y。信道响应特性为转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。X的概率分布为{x,q(x),x∈{0,1,…,K-1}}。Y的概率分布为{y,w(y),y∈{0,1,…,J-1}}。以下的结论是我们已知的。2023/2/65§4.2离散无记忆信道（1）转移概率矩阵的每一行都是一个概率向量。2023/2/66§4.2离散无记忆信道（2）对任意y∈{0,1,…,J-1}，由全概率公式有2023/2/67§4.2离散无记忆信道（3）I(X;Y)是概率向量{q(x),x∈{0,1,…,K-1}}和转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]的函数。2023/2/68§4.2离散无记忆信道（4）设转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]确定，希望选择概率向量{q(x),x∈{0,1,…,K-1}}使I(X;Y)达到最大。则见定理2.6.2。定义4.2.3(p82)离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x,q(x),x∈{0,1,…,K-1}}称为最佳输入分布。其中2023/2/69§4.2离散无记忆信道定理4.2.2(p84)（1）输入概率分布{x,q(x),x∈{0,1,…,K-1}}是最佳输入分布的充分必要条件为：对任何满足q(k)>0的k，都取一个相同的值；对任何满足q(k)=0的k，I(X=k;Y)≤此相同的值。（2）此时此相同的值恰好就是信道容量C。（定理4.2.2实际上叙述了定理2.6.2的含义。）2023/2/610§4.2离散无记忆信道注解给定一个DMC信道的响应特性，也就是说给定一个信道的转移概率矩阵[p(y|x)，x∈{0,1,…,K-1}，y∈{0,1,…,J-1}]，达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件的概率向量{q(x),x∈{0,1,…,K-1}}。其信道容量是每个使得q(k)>0的k所对应的半平均互信息量I(X=k;Y)。如果对DMC信道没有任何简化，要计算最佳输入分布并不容易。但是，通常使用的DMC是很简单的（比如，以下的准对称信道和对称信道），最佳输入分布很容易求出。2023/2/611§4.2离散无记忆信道二、对称DMC和准对称DMC的信道容量与最佳输入分布的计算

定义4.2.4~5(p85)设DMC的转移概率矩阵为若P的任一行是第一行的置换，则称信道关于输入为对称的。若P的任一列是第一列的置换，则称信道关于输出为对称的。2023/2/612§4.2离散无记忆信道命题1

若DMC关于输入为对称的，则对任意k∈{0,1,…,K-1}都成立。证明{p(y|x)，y=0~J-1}与{p(y|k)，y=0~J-1}互为置换，所以2023/2/613§4.2离散无记忆信道命题2

若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明此时{p(y|x)，x=0~K-1}与{p(0|x)，x=0~K-1}互为置换。设q(x)=1/K，x∈{0,1,…,K-1}。则2023/2/614§4.2离散无记忆信道定义4.2.6(p85)若DMC的转移概率矩阵P的列的全体可分成若干个列子集，每个列子集所对应的P的子阵都满足以下两条性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道。特别若列子集只有一个（即转移概率矩阵P本身的任一行是第一行的置换，任一列是第一列的置换），则称信道为对称信道。例4.2.2

准对称信道的例子。(见p85~86)

2023/2/615§4.2离散无记忆信道几个简单的结论：（1）准对称信道一定是关于输入为对称的。（2）对称信道不仅关于输入为对称的，也关于输出为对称的。（3）对称DMC当输入分布等概时，输出分布等概。（4）准对称DMC当输入分布等概时，输出分布局部等概。（准对称DMC当输入分布等概时，若j和l属于转移概率矩阵的同一个列子集，则wj=wl。）（5）对称信道未必有J=K。（即p85倒数第二行错）2023/2/616§4.2离散无记忆信道定理4.2.3(p86)对于准对称DMC信道，（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为2023/2/617§4.2离散无记忆信道证明根据定理4.2.2的含义，只需要证明：当输入分布为等概时，对任意k∈{0,1,…,K-1}，半平均互信息量I(X=k;Y)都取相同的值。（此时，该相同的半平均互信息量I(X=k;Y)就是准对称信道容量C。）换句话说，只需要证明：当输入分布为等概时，对任意k∈{0,1,…,K-1}，I(X=k;Y)与k无关。设转移概率矩阵P的列的全体被分成S个互不相交的列子集：{0,1,…,J-1}=Y1∪Y2∪…∪YS；Y1、Y2、…、YS互不相交；对任意s∈{1,2,…,S}，列子集Ys所对应的子阵都满足：任一行是第一行的置换，任一列是第一列的置换。自然有以下三个结论。2023/2/618§4.2离散无记忆信道结论一：准对称信道是关于输入为对称的，所以对任意k∈{0,1,…,K-1}，结论二：对每个列子集Ys，结论三：对每个列子集Ys，取定ys∈Ys。则对任意y∈Ys，2023/2/619§4.2离散无记忆信道于是2023/2/620§4.2离散无记忆信道于是2023/2/621§4.2离散无记忆信道例4.2.3特殊的对称DMC：KSC（见p86）例4.2.4特殊的准对称DMC：2元对称删除信道（见p87）定义4.2.7（p88）特殊的对称DMC：模K加性噪声信道。设DMC的输入随机变量为X，X的所有事件为{0,1,…,K-1}；DMC的噪声随机变量为Z，Z的所有事件为{0,1,…,K-1}；DMC的输出随机变量为Y，Y的所有事件为{0,1,…,K-1}；X与Z相互独立；Y=X+Z(modK)。称此DMC为模K加性噪声信道。2023/2/622§4.2离散无记忆信道此时，p(y|x)=P(Y=y|X=x)=P(X+Z(modK)=y|X=x)=P(x+Z(modK)=y|X=x)=P(Z=y-x(modK)|X=x)=P(Z=y-x(modK))。这就是说，如果记P(Z=z)=sz，则转移概率矩阵为2023/2/623§4.2离散无记忆信道显然模K加性噪声信道是对称DMC。信道容量为2023/2/624§4.2离散无记忆信道三、一般DMC的信道容量与最佳输入分布的计算（p88）（当DMC不是准对称信道时，求解信道容量和最佳输入分布并不容易）若DMC的转移概率矩阵P是可逆方阵（此时K=J）。则可以先假设最佳输入分布{q(x),x∈{0,1,…,K-1}}中每个概率q(x)都满足q(x)>0。在这个假设下，求出信道容量C；然后求出最佳输入分布对应的“最佳输出分布”{w(y),y∈{0,1,…,K-1}}；然后求出最佳输入分布{q(x),x∈{0,1,…,K-1}}。2023/2/625§4.2离散无记忆信道此时，2023/2/626§4.2离散无记忆信道2023/2/627§4.2离散无记忆信道这是K个未知量{β0,β1,…,βK-1}={C+logw(0),C+logw