第3章离散信道

第3章离散信道

信道是指信息传输的通道。包括空间传输和时间传输。空间传输：电缆、光纤、电波传输的空间、载波线路。时间传输：磁带、光盘。信息论中的信道划分是人为的。信道是通信系统最重要的组成部分通信的本质含义就是信息通过信道得以传送，实现异地间的信息交流信道的主要任务：以信号的形式传输和存储信息。问题：在什么条件下，通过信道的信息量最大，即信道容量的问题。

信道的主要研究内容：信道的分类和建模（信道的统计特性描述）√信道传输信息的能力（信道容量）√在有噪信道中能否实现可靠传输？怎样实现可靠传输？幅度时间信道分类名称离散离散离散信道/数字信道（例如：数字电话）连续离散连续信道连续连续模拟信道/波形信道（例如：普通电话）离散连续（理论和实用价值均很小）按输入/输出信号的幅度和时间特性划分：

信道分类信道分类根据输入、输出信号的时间特性和取值特性，可以将信号划分为：离散信号：指输入输出随机变量均为离散的信道连续信号：指输入输出随机变量均为离散的信道

根据信道的统计特性是否随时间改变可分为:

平稳信道（恒参信道、时不变信道，如卫星通信）

非平稳信道（变参信道、时变信道，如移动通信）

根据输入/输出的个数可分为：

单用户信道：一个输入一个输出单向通信。

多用户信道：双向通信或三个或更多个用户之间相互通信的情况，例如多元接入信道、广播信道、网络通信信道等。

信道分类按输入/输出之间的记忆性来划分：无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入、输出无关。有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。根据信道的输入/输出是否是确定关系可分为:有噪声信道无噪声信道

信道分类信宿信道信源

通信系统的简化模型噪声信源每发一个符号平均提供的信息量：H(X)

无噪信道→信宿可确切无误的接收信息3.1信道疑义度与平均互信息量一.信道模型3.1信道疑义度与平均互信息量一.信道模型信道输入X输出Y干扰、噪声P(Y|X)1.离散单符号信道的数学模型XYx1x2xry1y2ysP

(Y|X)满足：（1）0≤p(yj|xi)≤1(i=1,2,…,r；j=1,2,…,s)

（2）(i=1,2,…,r)1.离散单符号信道的数学模型

信道传递概率可以用信道矩阵来表示：1.离散单符号信道的数学模型

对于离散单符号信道来说，信道的输入输出均为单个符号的消息：设信道的输入随机变量X的取值集合为X={x1,x2,…,xr}，相应的概率分布为p(xi)，i=1,2,…,r；输出随机变量Y的取值集合为Y={y1,y2,…,ys}，相应的概率分布为p(yj)，j=1,2,…,s信道特性可以用转移概率矩阵来表示：

P=[p(yj|xi)]r×s

信道的数学模型为{X,P(Y|X),Y}例1：二元对称信道

（BSC：binarysymmetricchannel）输入符号集A={0,1},输出符号集B={0,1}，r＝s＝2．传递概率：0101

信道转移概率图1.离散单符号信道的数学模型例2：二元删除信道输入符号集A={0,1}，符号输出集B={0,?,1}，r=2,s=3

信道矩阵为：010?1

信道转移概率图1.离散单符号信道的数学模型离散信道常用的概率关系:已知：先验概率:p(xi)，i=1,2,…,r前向概率(信道传递概率）:p(yj|xi)，i=1,2,…,r，j=1,2,…,s求：1.联合概率:p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)i=1,2,…,r；j=1,2,…,s1.离散单符号信道的数学模型2.输出符号概率:

j=1,2,…,s矩阵表示：1.离散单符号信道的数学模型3.后验概率（后向概率）:贝叶斯公式（i=1，2，…，r;j=1，2，…，s）且

j=1，2，…，s1.离散单符号信道的数学模型2.信道疑义度H(X|Y)理想信道，H(X|Y)=0。一般情况下，。当时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵

信道疑义度H(X|Y)

表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。3.平均互信息及其性质互信息量：

yj对xi的互信息量定义为的后验概率与先验概率比值的对数。观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。观察者站在输入端：观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。观察者站在通信系统总体立场上：通信后的互信息量，等于前后不确定度的差。3.平均互信息及其性质

平均互信息：平均互信息表示接收到Y以后，平均每个符号所获得的关于输入变量X的信息量，是信道实际传输信息的数量。信源熵是信源输出的信息量，而真正被接收者收到的信息量则是互信息。3.平均互信息及其性质平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。3.平均互信息及其性质站在输出端：I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。站在输入端：I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。站在总体：I(X;Y)—通信前、后整个系统不确定度减少量。3.平均互信息及其性质平均互信息的性质非负性1说明：信道每传递一条消息，总能提供一定的信息量。极值性2对称性3说明：从X中提取关于Y的信息量与由Y中提取到X的信息量是相同的，是信息流通的总体测度。凸函数性4上凸函数1下凸函数2I(X;Y)=H(X)-H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(XY)

X,Y互相独立时5

平均互信息和各类熵的关系各种熵之间的关系H(X),H(Y)－信源熵，无条件熵H(X/Y)－疑义度，损失熵H(Y/X)－噪声熵H(XY)－联合熵I(X;Y)－平均互信息量，交互熵XYXYXYXYXY【例3.3】设信源X的概率空间为：BSC信道的转移矩阵为：例3：求二元删除信道的。已知解：由先验概率和信道转移矩阵可得输出符号Y的概率分布

即X、Y的联合概率分布为p(xiyj)=p(xi)p(yj|xi)由联合概率分布和Y的概率分布可得后验概率为

另外，

还可以先求得后验熵：，

，再通过下式计算：

3.2.信道容量我们研究各类信道的目的是为了获得尽可能高的信息传输率，即希望信道中平均每个符号所能传送的信息量尽可能大。3.2.1信道容量的定义

信息传输率R：信道中平均每个符号所传送的信息量。平均互信息是接收到符号Y后平均获得的关于X的信息量。所以设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为信息传输速率：

在信道确定的情况下，是信源概率分布的上凸函数。因此，必然存在一种信源概率分布使信息传输率最大。定义这个最大的信息传输率为信道容量：相应的输入概率分布被称为最佳输入分布。

信道容量：与信源的概率分布无关；是完全描述信道特性的参量；是信道能够传输的最大信息量。

信道单位时间内平均传输的最大信息量：从数学上来讲，求信道容量就是对平均互信息量I(X;Y)求极大值，但对于一般信道，信道容量的计算比较复杂因此，我们主要讨论一些特殊类型信道的信道容量求法。例

以二元对称信道。信源的概率空间为信道矩阵为2)固定信道，当时，平均互信息取得最大值。1)二进制对称信道（BSC）二进制对称信道的信道容量C=1-H(p)

483.2.1信道容量的定义当离散信道的输入与输出之间为确定关系或简单的统计依赖关系时，我们可称之为简单离散信道。简单离散信道包括：无噪无损信道有噪无损信道无噪有损信道1.

无噪无损信道：输入、输出之间有确定的一一对应关系。

anbna1b1a2b2……对于这种信道，易知其信道疑义度2.

有噪无损信道：有噪无损信道，一个输入对应多个输出。(具有扩展性能）对于这种信道，每个输入符号通过信道后可能变成几种输出符号，因此噪声上H(Y|X)≥0.但各输出符号所对对应的输出符号不相重合，且这些集合与各输入符号一一对应。这就意味着接收到符号Y后，对发送X的符号可以完全确定，信道疑义度H(X|Y)=0。结论：由上述两种信道的特点可以看出：若信道转移矩阵中每一列有且仅有一个非零元素（即每个输出符号对应着唯一的输出符号），则该信号一定是无损信道。其输出传送率即等于信源熵，信道容量等于logr3.无噪无损信道：无噪有损信道，它是一个输出对应多个输入。（具有归并性能）3.2.2对称离散的信道容量定义：若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列，则称之为对称离散信道。练习：判断下列矩阵表示的信道是否是对称信道√√57相应的对称离散信道的信道容量58例：某对称离散信道的信道矩阵为信道容量为:59例：某对称离散信道的信道矩阵为若信道的输入输出符号r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率p均匀地分配到r-1个符号，则称此信道为强对称信道或均匀信道。强对称信道具备四个特征：