第四章数据可靠传输和信道编码讲义课件

§4.1离散无记忆信道和信道容量

§4.2信道容量的计算

§4.3信道编码理论

§4.4带反馈的信道模型

§4.5联合信源——信道编码定理

§4.6线性分组码数据可靠传输和信道编码

信道：信息传输的通道。信息论中的信道划分是人为的空间传输：电缆、光纤、电波传输的空间、载波线路。时间传输：磁带、光盘。信道分类2.按输入/输出之间的记忆性可分为：无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其它时刻的输入、输出无关。噪声独立随机地影响着每个传输码元，因此接收的码元序列中的错误是独立随机出现的。（太空信道、卫星信道、光缆信道）

有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。有记忆信道又称突发差错信道.噪声、干扰的影响往往是前后相关的,错误是成串出现的。（短波信道、移动通信信道）

信道分类3.根据信道的统计特性是否随时间改变可分为:

平稳信道（恒参信道,时不变信道,如卫星通信）

非平稳信道（变参信道,时变信道,如移动通信）4.根据输入/输出的个数可分为：

单用户信道：一个输入一个输出单向通信。

多用户信道：双向通信或三个或更多个用户之间相互通信的情况，例如多元接入信道、广播信道、网络通信信道等。信道分类5.根据信道的输入/输出是否是确定关系可分为:

有噪声信道,无噪声信道

6.根据信道上有无干扰可分为：

有干扰信道,

无干扰信道

信道分类噪声(noise)：电路内部产生的无用信号干扰(interference)：来自电路外部的无用信号

无干扰信道210011112无干扰信道是一种最理想的信道，也称无噪信道，信道的输入和输出符号间有确定的一一对应关系，

p(yx)=如图三元无干扰信道中，x,y{0,1,2}，对应信道矩阵是单位矩阵

信道的主要研究内容：信道建模（信道的统计特性描述）

信道传输信息的能力（信道容量）

在有噪信道中能否实现可靠传输？怎样实现可靠传输？信宿信道信源

通信系统的简化模型噪声信源→每发一个符号平均提供的信息量H(X)；无噪信道→信宿可确切无误的接收信息。离散单符号信道的数学模型

对于离散单符号信道来说，信道的输入输出均为单个符号的消息,设信道的输入随机变量X的取值集合为X={x1,x2,…,xr}，相应的概率分布为p(xi)，i=1,2,…,r；输出随机变量Y的取值集合为Y={y1,y2,…,ys}，相应的概率分布为p(yj)，j=1,2,…,s信道特性可以用转移概率矩阵来表示：

P=[p(yj|xi)]r×s

信道的数学模型为{X,P(Y|X),Y}离散单符号信道的数学模型XYx1x2xry1y2ysP

(Y|X)满足：（1）0≤p(yj|xi)≤1(i=1,2,…,r；j=1,2,…,s)

（2）(i=1,2,…,r)离散单符号信道的数学模型信道转移概率矩阵:描述输入/输出的统计依赖关系,反映信道统计关系信道Xp(Y|X)Y输入符号集A={0,1},输出符号集B={0,1}，r＝s＝2．传递概率

二元对称信道

0101(其中e称作信道错误概率)二元对称信道对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。二元删除信道如图所示，输入符号x{0,1}，输出符号y{0,e,1}，转移概率矩阵为e0

1-e101e

1-e

e

二元删除信道二元删除信道二元Z信道如图所示，信道输入符号x{0,1}，输出符号y{0,1}转移概率矩阵为

101011-ee二元Z信道

二元Z信道例已知先验概率

p(xi)，i=1,2,…,r,信道传递概率

p(yj|xi)，i=1,2,…,r，j=1,2,…,s,则1.联合概率

p(xi,yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)i=1,2,…,r；j=1,2,…,s

2.输出符号概率

j=1,2,…,s

p(yj)=p(xiyj)=p(xi)p(yj|xi)3.后验概率:贝叶斯公式（i=1，2，…，r;j=1，2，…，s）

j=1，2，…，s一个好的信息传递系统应：速度快、错误少。所以衡量一个信息传递系统的好坏，有两个主要指标：速度指标：信息（传输）率R,即信道中平均每个符号传递的信息量；质量指标：平均差错率，即对信道输出符号进行译码的平均错误概率.

信道疑义度H(X|Y)

表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。

理想信道，H(X|Y)=0。

一般情况下，。

当时,表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。1.信道疑义度信源熵是信源输出的信息量，而真正被接收者收到的信息量则是互信息。平均互信息的三种表达式：

平均互信息的性质：非负性、极值性、凸函数性定理

对于固定信道，平均互信息I(X;Y)是信源概率分布的上凸函数。物理意义：对某一个确定信道，存在一种信源分布，使平均互信息最大。最大值由信道本身的特性决定。

定理

对于给定信源，平均互信息I(X;Y)是信道转移概率的下凸函数。物理意义：每一个信源都存在一种对应的最差信道，此信道的干扰最大，输出端获得的信息量最小。

例

求二元删除信道的

解由先验概率和信道转移矩阵可得输出符号Y

的概率分布

即

X、Y的联合概率分布为p(xi，yj)=p(xi)p(yj|xi)由联合概率分布和Y的概率分布可得后验概率为另外，还可以先求得后验熵，，，再通过下式计算：

信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量。信道容量是有关信道的一个很重要的物理量。

信道容量性质：与信源的概率分布无关；是完全描述信道特性的参量；是信道能够传输的最大信息量。2.信道容量

信息传输率R：信道中平均每个符号所传送的信息量。平均互信息是接收到符号Y后平均获得的关于X的信息量，所以设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为信息传输速率：信道容量在信道确定的情况下，是信源概率分布的上凸函数。因此，必然存在一种信源概率分布使信息传输率最大。定义这个最大的信息传输率为信道容量：信道容量

相应的输入概率分布被称为最佳输入分布。

信道单位时间内平均传输的最大信息量：信道容量例二元对称信道:信源的概率空间为信道矩阵为2)固定信道，当时，互信息取得最大值。1)1-H(e)w010.5

固定二元对称信道的平均互信息I(X,Y)

研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量I(X,Y)关于输入概率分布P(X)的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。信道容量对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：离散信道可分成：无干扰(无噪)信道无嗓无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道信道容量的计算1.

无损信道有噪无损信道，一个输入对应多个输出。(具有扩展性能）3.几种特殊信道的信道容量

信道Xrp(Y|X)Ys2.无噪信道无噪有损信道，它是一个输出对应多个输入。（具有归并性能）几种特殊信道的信道容量

3.

无噪无损信道输入、输出之间有确定的一一对应关系。几种特殊信道的信道容量

4.离散对称信道的信道容量

定义

若信道矩阵P中每行都是第一行的排列，则称此信道是行对称信道。几种特殊信道的信道容量

定义

若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列，则称之为对称信道。离散对称信道的信道容量

定义

虽然不是对称信道，但是信道矩阵可以按列分为一些对称的子阵，则称之为准对称信道。离散对称信道的信道容量定义

若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率

p均匀地分配到

r-1个符号,则称此信道为强对称信道或均匀信道。离散对称信道的信道容量强对称信道具备四个特征：

1.矩阵中的每一行都是第一行的排列；(行对称)

矩阵中的每一列都是第一列的排列。(列对称)2.信道输入与输出消息（符号）数相等，即

r=s。

3.错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。

4.不仅每一行元素之和为1,每一列元素之和也为1。显然,对称性的基本条件是1，而2、3、4是加强条件。离散对称信道的信道容量放松对信道的约束，仅满足条件1，就构成一般的对称信道。

例1例2离散对称信道的信道容量再进一步放松条件，信道矩阵按列分成若干子阵，如果子阵是对称的，则称为准对称信道。离散对称信道的信道容量定理对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。证明：当输入为等概分布时，则输出，其中

为信道矩阵第j列元素之和。而对称信道每一列是第一列的不同排列。因此即当信道输入为等概分布时，输出

亦为等概分布。

j=1,2,…,s定理

对称信道当信道输出概率分布为等概的情况下达到信道容量

其中

是信道矩阵中的任意一行中的元素。证明：准对称信道当信道输入概率分布为等概的情况下达到信道容量

设信道矩阵可划分为n个子矩阵，其中Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。推论对于强对称信道有C=logr-plog(r-1)-H(p)

s=r

例

求对称信道的信道容量解例

求准对称信道的信道容量。二元对称删除信道解

N1=1-q,M1=1-q,N2=q,M2=2q

=

log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog(2q)§4.2信道容量的计算信道容量约束条件求信道容量转化为求对信源概率分布的条件极值。（拉格朗日乘子法）

5.一般离散信道的信道容量解：引入辅助函数

拉格朗日乘子法求信道容量拉格朗日乘子法求信道容量令则拉格朗日乘子法求信道容量在某些条件下利用这个方法可以计算C：令拉格朗日乘子法求信道容量这是一个含有s个未知数、由r个方程组成的方程组。当r=s,且信道矩阵是可逆矩阵时,该方程组有唯一解。

拉格朗日乘子法求信道容量例

求以下信道的信道容量。信道矩阵

解比特/符号当计算结果为负值时,此解无效。它表明最大值在边界上,即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。1）采用上述方法求出信道容量以后,还必须解出，因为在采用拉格朗日数乘法时并没有加上的约束条件，因此算出的可能是负值。例

已知信道的转移矩阵为，求信道容量。

解

设输入概率分布0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0例信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。

这是一个准对称信道，根据定理，当X等概分布，时，信道容量平均互信息量

I（X;Y）=H（Y）-H（Y︱X）

(1)

由，先算出

(2)

将式(2)和代入式(1)，可算得信道容量

=0.0325(比特/符号)定理

I(X;Y)达到信道容量的充要条件是输入分布p(xi)满足：p(xi)≠0时，I(xi;Y)＝

C；p(xi)=0时，

I(xi;Y)≤C，

某些特殊矩阵可以利用这个方法推导得到C。6.信道容量定理定义若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为DMC(discretememorylesschannel)。输入、输出随机序列的长度为N的离散无记忆平稳信道通常称为离散无记忆信道的N次扩展信道。离散多符号信道例二元对称信道的二次扩展信道。解

二次扩展信道的输入、输出序列的每一个随机变量均取值于{0,1}，输入共有个取值，输出共有