信息论基础第一章讲义

信息论基础第一章讲义第1页，共22页，2023年，2月20日，星期三第1章信息论基础

内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。第2页，共22页，2023年，2月20日，星期三1.1信息的概念物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。

通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。

第3页，共22页，2023年，2月20日，星期三对于信息论的研究，一般划分为三个不同的范畴：广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。第4页，共22页，2023年，2月20日，星期三1.2信息传输系统

通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括为图1.1所示的统计模型：

干扰源

信道信道译码器信道编码器信源译码器信源译码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型

第5页，共22页，2023年，2月20日，星期三这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性第6页，共22页，2023年，2月20日，星期三1.3离散信源及其数学模型信源是产生消息的源，根据X的不同情况，信源可分为以下类型：

根据信源的统计特性，离散信源又分为两种：离散信源消息集X为离散集合。波形信源时间连续的信源。连续信源时间离散而空间连续的信源。无记忆信源

X的各时刻取值相互独立。有记忆信源

X的各时刻取值互相有关联。第7页，共22页，2023年，2月20日，星期三1.3.1离散无记忆信源

离散无记忆信源(DiscreteMemorylessSource，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：

q(xi)：信源输出符号消息xi的先验概率;满足：0

q(xi)1，1

iI

第8页，共22页，2023年，2月20日，星期三1.3.2离散无记忆的扩展信源

实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{

a1,a2,…,ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：

x为各种长为N的符号序列，x=x1x2…xN

，xi

{a1,a2,…,ak

}，1

i

N，序列集X={a1a1…a1,a1a1…a2,…,akak…ak

}，共有kN种序列，xX。

序列的概率q(x)=q(x1x2

…xN)=第9页，共22页，2023年，2月20日，星期三1.3.3离散平稳有记忆信源

中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。用联合概率空间{X

,q(X)}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p(xixi-1

xi-2…)确定。如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。对于离散平稳有记忆信源，有：p(x1=a1)=p(x2=a1)=

…p(x2=a2x1=a1)=p(x3=a2x2=a1)=

…p(x3x2

x1)=p(x4x3

x2)=

…┇p(xi+Lxi+L-1

xi+L-2

…xi)=p(xj+Lxj+L-1

xj+L-2

…xj)=

…┇

第10页，共22页，2023年，2月20日，星期三【例1.4】某离散平稳信源，设信源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p(xi

xj

)表示（xi为前一个符号，xj为后一个符号）：

xj

xi01201/31/9011/91/181/6201/61/18表1-1p(xi

xj

)

第11页，共22页，2023年，2月20日，星期三满足，由可计算出当已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：

xj

xi01203/41/4011/31/61/2203/41/4表1-2p(xjxi)第12页，共22页，2023年，2月20日，星期三1.3.4马尔可夫信源

马尔可夫信源输出的消息序列与信源的状态满足下列条件：

(1)某一时刻信源的输出只与当时的信源状态有关，而与以前的状态无关。p(xr=aler=si,er-1=st,er-2=sn,…)=p(xr=aler=si)，满足。(2)某一时刻信源所处的状态只由当前的输出符号和前一时刻的状态唯一决定。当时齐马尔可夫信源达到平稳分布时，满足

p(er+1=sjxr=al

,er=si)=第13页，共22页，2023年，2月20日，星期三1.4离散信道及其数学模型

信道是信息传输的通道，如图1-3，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p(yx)来描述信道的统计特性。

信道p(y

x)xy图1-3信道模型

第14页，共22页，2023年，2月20日，星期三无记忆信源

X的各时刻取值相互独立。有记忆信源

X的各时刻取值互相有关联。信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为：波形信道

信道的输入和输出都是时间上连续，并且取值也连续的随机信号。

半连续信道

输入序列和输出序列一个是离散的，而另一个是连续的。连续信道

信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道离散信道

信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。根据统计特性，即转移概率p(yx)的不同，信道又可分类为：

第15页，共22页，2023年，2月20日，星期三1.4.1离散无记忆信道

离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi

{a1,a2,…,ak}，1

i

I，输出符号yj

{b1,b2,…,bD

}，1

j

J，信道的特性可表示为转移概率矩阵：p(yjxi

)对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0

p(yjxi

)1，且。

第16页，共22页，2023年，2月20日，星期三将信道特性表示成图1-4的形式：

p(y1

x1)x1x2y1y2xIyJp(yJ

xI

)图1-4单符号离散无记忆信道第17页，共22页，2023年，2月20日，星期三1.二元对称信道(BinarySymmetricChannel，简记为BSC)这是一种很重要的信道，它的输入符号x{0,1}，输出符号y{0,1}，转移概率p(yx)如图1-5所示信道特性可表示为信道矩阵，其中p称作信道错误概率。下面列举几种常见的离散无记忆信道：图2-10二进制对称信道1-p0

p

1011-p

p

第18页，共22页，2023年，2月20日，星期三图1-6无干扰信道2100111122.

无干扰信道这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，

p(yx)=如图1-6三元无干扰信道中，x,y{0,1,2}，对应信道矩阵是单位矩阵

第19页，共22页，2023年，2月20日，星期三3.二元删除信道

对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。二元删除信道如图1-7所示，输入符号x{0,1}，输出符号y{0,e,1}，转移概率矩阵为4.二元Z信道

二元Z信道如图1-8所示，信道输入符号x{0,1}，输出符号y{0,1}转移概率矩阵为

101011-p

p1-p0

p1011-p

p

e图1-7二元删除信道

图1-8二元Z信道

第20页，共22页，2023年，2月20日，星期三1.4.2离散无记忆的扩展信道

N维离散扩展信道的输入和输出都是长为N的消息序列，如图1-9所示：图1-9N维扩展信道y=y1y2…

yNx=x1

x2

…

xNp(y

x)

信道若xi

{a1,a2,…,ak

}，yj

{b1,b2,…,bD

}，1

i,j

N，则长为N的输入消息序列集为X={a1a1…a1,a1a1…a2,…,akak…ak

}，x

X，输出消息序列集为Y={b1b1…b1,b1b1…b2,…,bDbD…bD

}，y

Y。信道的特性用序列的转移概率p(yx)=p(y1

y2…