第一章信息论基础

第1章信息论基础

第1章信息论基础

内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。

1948年香农在BellSystemTechnicalJournal上发表了《AMathematicalTheoryofCommunication》。

通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。1.1信息的概念物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。

通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。

信息：信息是任何随机事件发生后所包含的内容（信息量．特点）

消息：消息是信息的载体（互联网上的文字与图像）信号：信号是消息的载体（调制原因）三者之间的关系:信息不等于消息，消息中包含信息，是信息的载体，信号携带消息，是消息的载体．

1.1信息的概念

20世纪20年代奈奎斯特（Nyquist，H．）和哈特莱（Hartley，L．V．R．）提出了信息的定义

1924年奈奎斯特解释了信号带宽和信息速率之间的关系

1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法

1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强

1941～1944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。

1.2信息论与编码技术的发展简史

50年代信息论在学术界引起了巨大的反响

60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础

到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。

对于信息论的研究，一般划分为三个不同的范畴：广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。1.3信息传输系统

通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括为图1.1所示的统计模型：

干扰源

信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型

这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性1.4香农信息的定义

三个基本概念样本空间:概率测度:概率空间:对于离散情况下概率空间1.先验概率：表示选择符号作为消息的概率2.香农信息量(自信息量)：（图像）3.后验概率：表示接受端收到的消息为发送端收到的消息是4.互信息（收信者获得的信息量）：2.香农信息量：（图像）补充例题1.3

离散信源及其数学模型信源是产生消息的源，根据X的不同情况，信源可分为以下类型：

根据信源的统计特性，离散信源又分为两种：离散信源消息集X为离散集合。波形信源时间连续的信源。连续信源时间离散而空间连续的信源。无记忆信源

X的各时刻取值相互独立。有记忆信源

X的各时刻取值互相有关联。1.3.1离散无记忆信源

离散无记忆信源(DiscreteMemorylessSource，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：

p(ai

)：信源输出符号消息ai的先验概率;

满足：0

p(ai)1，1

in

联合自信息量:联合熵

满足：0

p(aibj)1，1

in,1

jm,

§2.1单符号离散信源四、互信息量和条件互信息量⒈

互信息量的概念在通信系统中，发送端发出的信息经有噪信道后，在接收端收到的信息量的多少要用互信息量来描述。设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；信源发出的消息，经过有噪声的信道传递到信宿；其间信源X和信宿Y的数学模型为：

在系统中，若信道是无噪的，收到信息bj后，即可获得信息量I(aj)。若信道存在噪声，在接收端收到bj后重新估计信源发出的各个消息→p(ai∣bj)。我们称之为后验概率。0≦p(ai)≦1∑p(ai)=10≦p(bj)≦1∑p(bj)=1因此，我们称：先验概率：信源发出消息ai的概率P(ai)。后验概率：信宿收到消息bj后,推测信源发出ai

的概率，即条件概率p(ai

∣bj)。⒉

互信息量的定义

ai的后验概率与先验概率之比的对数为bj对ai的互信息量。用I(ai;bj)表示。互信息量等于自信息量减去条件自信息量互信息有两方面的含义：表示事件bj出现前后关于事件ai的不确定性减少的量；事件bj出现以后信宿获得的关于事件ai的信息量。对互信息量的理解

⑴观察者站在输出端

I(ai;bj)=–logp(ai)–[–logp(ai|bj)]=I(ai)–I(ai|bj)I(ai)

：在

bj

一无所知的情况下ai

存在的不确定度；I(ai|bj)：收到bj

后对ai

仍然存在的不确定度；I(ai;bj)：收到bj

前和收到bj

后不确定度被消除的部分获得信息量信道aibj⑵观察者站在输入端I(bj;ai)=logp(bj)–[–logp(bj|ai)]=I(bj)–I(bj|ai)

观察者得知输入端发出ai

前、后对输出端出现bj

的不确定度的差。信道aibj⑶观察者站在通信系统总体立场上互信息等于通信前后不确定度的差值通信前：X和Y之间没有任何关系，即X、Y统计独立。即

p(xi

yj)=p(xi)p(yj)，先验不确定度通信后：p(xi

yj)=p(xi)p(yj

|xi

)=p(yj)p(xi

|yj)，后验不确定度⒊互信息量的性质1)互信息的对称性2)互信息可为零物理含义：系统中干扰极大3)互信息可为正值或负值4)任何两个事件之间的互信息不可能大于其中任一事件的自信息信息量的丢失，不确定性增加⒋条件互信息量定义：联合集XYZ中，在给定ck的条件下ai与bj之间的互信息量定义为条件互信息量：在XYZ联合集上，还有ai与bjck之间的互信息量由前式可得：此外，还有：将上式两边相加有：根据互易性有：例：有一信源U包含8个消息0—7，为了便于在二进制信道上传送，将它们编为三位二进码，信源的先验概率及相应的代码如下：试求：⑴填上表格中的后三列⑵x0与各消息的互信息量

⑶在收到（给定）x0条件下，y1与各消息的互信息量。

⑷

在收到（给定）x0y1条件下，z1与U3消息的互信息量.

⑸

收到整个代码组x0y1z1出现后提供的有关消息U3的互信息量。信源消息二进制代码先验概率收到0后的后验概率收到01后的后验概率收到011后的后验概率0（U0）000（x0y0z0)1/41（U1）001（x0y0z1)1/42（U2）010（x0y1z0)1/83（U3）011（x0y1z1)1/84（U4）100（x1y0z0)1/165（U5）101（x1y0z1)1/166（U6）110（x1y1z0)1/167（U7）111（x1y1z1)1/16解：⑴收到第一个0(x0)后U0~U7的后验概率：信源消息二进制代码先验概率收到0后的后验概率收到01后的后验概率收到011后的后验概率0（U0）000（x0y0z0)1/41/31（U1）001（x0y0z1)1/41/32（U2）010（x0y1z0)1/81/63（U3）011（x0y1z1)1/81/64（U4）100（x1y0z0)1/1605（U5）101（x1y0z1)1/1606（U6）110（x1y1z0)1/1607（U7）111（x1y1z1)1/160收到01后的后验概率：收到011后的后验概率：信源消息二进制代码先验概率收到0后的后验概率收到01后的后验概率收到011后的后验概率0（U0）000（x0y0z0)1/41/3001（U1）001（x0y0z1)1/41/3002（U2）010（x0y1z0)1/81/61/203（U3）011（x0y1z1)1/81/61/214（U4）100（x1y0z0)1/160005（U5）101（x1y0z1)1/160006（U6）110（x1y1z0)1/160007（U7）111（x1y1z1)1/16000⑵x0与各消息的互信息量⑶在已收到（给定）x0条件下，y1与各消息的互信息量。⑷

在已收到（给定）x0y1条件下，z1与U3消息的互信息量.

⑸

收到整个代码组x0y1z1出现后提供的有关消息U3的互信息量。物理含义

我们还可以用下式求得代码组x0y1z1出现后提供有关U3的信息量：011

§2.1.5平均互信息量⒈平均互信息量的定义定义：互信息量I（ai;bj)在联合概率空间p(aibj)中的统计平均值为平均互信息量同理有：⒉平均互信息量的物理意义平均互信息量可以定义为无条件熵与条件熵的差：H（X;Y)=H(X)－H(X∣Y)=H(Y)－H(Y∣X)=H(X)＋H(Y)－H(XY)H(X)是信源集的符号熵，即发送端发出的平均信息量。H(X∣Y)为信道干扰引起损失的平均信息量，即信道疑义度。所以该式表示为：接收到的平均信息量=发出的平均信息量－信道损失的

信息量。H(X)+H(Y)表示在通信前系统的先验不确定性。H(XY)表示输入集符号经有噪信道传输到输出端，为系统的后验不确定性。所以该式表示为：接收到的平均信息量=系统的先验不确定性－系统的后验不确定性。H(Y)是输出集的符号熵，表示要确认Y所需的信息量H(Y∣X)为噪声熵，表示发出X后要确认Y尚需增加的信息量所以该式表示为：接收到的平均信息量=确认Y所必需的平均信息量

—发出X后要确认Y尚需增加的信息量。

⒊平均互信息量的性质

⑴对称性I（X；Y）=I（Y；X）⑵非负性I（X；Y）≧0⑶极值性I（X；Y）≦H（X）

I（X；Y）≦H（Y）⑷凸函数性

平均互信息I(X;Y)信道传递概率分布P(Y/X)的U型凸函数平均互信息I(X;Y)是信源概率分布P(X)的型凸函数

定理说明：对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。

§2.1单符号离散信源例1：已知联合概率分布如下，求：H(XY)，H(X),

H(Y),H(Y|X),H(X|Y)，I（X;Y)。行矢之和为p(xi)列矢之和为p(yj)

§2.1单符号离散信源解：由边际分布得：由联合分布可得：H(XY)=2.665bit/符号∴I(X;Y)=H(X)+H(Y)－H(XY)=1.257bit/符号

H(X∣Y)=H(X)－I（X;Y）=0.809bit/符号

H(Y∣X)=H(Y)－I（X;Y）=0.600bit/符号H(X)=2.066bit/符号H(Y)=1.856bit/符号

§2.1单符号离散信源例2：已知信源X={A,B,C},信源Y={D,E,F,G},其条件

概率分布和X的概率分布如下表。试求：联合熵，噪声熵，信道疑义度及平均互信息量。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/101/3C1/61/21/61/61/6

§2.1单符号离散信源解：由p(XY)=p(X)P(Y∣X)，即可由联合分布通过边际分布即可求得p(Y)P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36091/360H(XY)=3.417bit/符号；H(X)=1.46bit/符号；H(Y)=1.997bit/符号；H(Y|X)=1.95bit/符号；H(X|Y)=H(XY)-H(Y)=1.42bit/符号

§2.1单符号离散信源例3：设有一个系统传送10个数字0，1，…9，奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。试求，收到一个数字平均得到的信息量。解：设，10个发送的数字的概率分布为均匀分布，由已知得：∴

H(Y)=㏒10bit/符号

§2.1单符号离散信源1.3.2离散无记忆的扩展信源

实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{a1,a2,…,an}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：

x为各种长为N的符号序列，x=x1x2…

xN

，xi

{a1,a2,…,ak

}，1

i

N，序列集X={a1a1…

a1,a1a1…

a2,…,

akak…

ak

}，共有kN种序列，xX序列的概率p(x)=p(x1x2

…

xN)=

§2.2多符号离散平稳信源实际信源输出往往是符号序列，称为离散多符号信源。即X=x1x2x3……，其特点：消息序列中的每一位的出现都是随机的，即每一位都是随机变量/随机矢量。消息序列中的前后符号通常是相互依赖的。消息序列中的每一位的出现有时是随时间变化的。这种信源我们称之为多符号离散信源。若随机矢量X中随机变量的各维联合概率分布与时间起点无关则称随机矢量X为多符号离散平稳信源。当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源。例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我们把该信源称为二元无记忆信源的二次扩展信源。如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。一般情况下，对一个离散无记忆信源X，其样本空间为{x1,x2,…,xn}，对它的输出消息序列，可用一组组长度为N的序列来表示它。这时，它等效成一个新信源。新信源输出的符号是N维离散随机矢量X

=(X1，X2,……,XN)，其中每个分量Xi(i＝1,2,…,N)都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。

2.2.1序列信息的熵离散无记忆信源X取值于集合，扩展信源输出为一组组长度为N的消息序列，，其中每个分量Xi（i=1，2，…，N）都是随机变量，都取值于同一集合，且分量之间统计独立。离散无记忆信源X的N次扩展信源单符号离散信源X的数学模型：单符号离散信源X的N次扩展信源XN的数学模型：离散无记忆信源X的N次扩展信源的熵就是离散信源X的熵的N倍0

p(ai)1例：有一离散平稳无记忆信源，求这个信源的二次扩展信源的熵。X2信源的元素a1a2a3a4a5a6a7a8a9消息序列x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)1/41/81/81/81/161/161/81/161/16解：二次扩展信源：一、离散平稳信源的数学定义

在一般情况下，信源在t=i

时刻将要发出什么样的符号决定于两方面：

(1)信源在t=i

时刻随机变量Xi

取值的概率分布P(xi)。

[一般P(xi)P(xj)](2)t=i

时刻以前信源发出的符号。

[即与条件概率P(xi/xi-1xi-2…)有关]对平稳随机序列，序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。

2.2.2离散平稳信源

平稳随机序列的数学定义如下：

若当t=i，t=j时(i,j是大于1的任意整数)，P(xi)=P(xj)=P(x)，则序列是一维平稳的。具有这样性质的信源称为一维平稳信源。除上述条件外，如果联合概率分布P(xixi+1)也与时间起点无关，即P(xixi+1)=P(xjxj+1)(i,j为任意整数且ij)，则信源称为二维平稳信源。它表示任何时刻信源发出二个符号的联合概率分布也完全相等。如果各维联合概率分布均与时间起点无关，那么，信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。这时有：P(xi)=P(xj)P(xi

xi+1)=P(xj

xj+1)……P(xi

xi+1…xi+N

)=P(xj

xj+1…xi+N

)不同时刻，概率分布相同由于联合概率与条件概率有以下关系：结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。从平稳性可得：对平稳信源如果某时刻发出什么符号只与前面发出的N个符号有关，那么任何时刻它们的依赖关系都是一样的。即：2.2.2离散平稳信源的信源熵和极限熵二维平稳有记忆信源：信源输出为一组组长度为2的消息序列，符号序列组内有统计关联性，且假设组与组之间是统计独立的。数学模型：得到一个新的离散无记忆信源集两个有相互依赖关系的随机变量X1和X2所组成的随机矢量的联合熵H(X),等于第一个随机变量的熵H(X1)与第一个随机变量X1已知的前提下，第二个随机变量X2的条件熵H(X2/X1)之和。当随机变量X1和X2相互统计独立时：当随机变量X1和X2取值于同一集合时：离散无记忆信源的二次扩展信源可看成是二维离散平稳信源的特例。注：例：设某二维离散信源的原始信源的信源模型：解：原始信源X的熵：中前后两个符号的条件概率如下：P(X2/X1)x1x2x3x17/92/90x21/83/41/8x302/119/11条件熵：平均信息量：信源的相关性使信息熵变小。1.离散平稳信源的信源熵：2.条件熵：条件熵随N的增加而单调不增3.平均符号熵：N给定，平均符号熵大于等于条件熵平均符号熵随N的增加而非递增的4.极限熵：对于离散平稳有记忆信源，当依赖关系为无限长时，平均符号熵和条件熵都非递增的一致趋于平稳有记忆信源的极限熵在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。

要点：限制关联长度

引入状态概念

马尔可夫信源:马尔可夫信源是一类有限长度记忆的非平稳离散信源。b：信源某l时刻所处的状态只由当前输出的符号和前一时刻信源所处的状态唯一决定2.2.4马尔可夫信源一、定义：若信源输出的符号和所处的状态满足马尔可夫链的条件：a：某一时刻信源输出的符号只与此刻信源所处的状态有关，而与以前的状态和输出的符号无关。若上述两条件与时刻L无关，则具有时齐性（齐次性），称为时齐马尔可夫信源。马尔可夫链的概念X1Xi+1X2XiXi+2SjXi-2Sj-1Xi-1…………Sj+1S2S1…………若信源随机状态序列服从马尔可夫链，则称该信源为马尔可夫信源二、模型：（状态转移图）例：设信源符号，信源所处的状态

，各状态之间的转移情况如图：马尔可夫信源的状态转移图

状态转移图发出的转移概率之和为1

状态矩阵行矢为1条件概率三、m阶马尔可夫信源

m阶马尔可夫信源，它在任何时刻l，符号发生的概率只与前面的m个符号有关，可以把这前面的m个符号看作信源在此l时刻所处的状态1、数学模型：当m=1时，为一阶马尔可夫信源。2、m阶马氏信源熵注：（1）只有时齐遍历（各态历经）的马尔可夫信源，当时间足够长达到稳定以后才能等价成平稳有记忆信源。各态历经：定理：对于有限齐次马尔可夫链，若存在一个正整数l0≥1，对于一切i，j=1，2，…，nm，都有,则对于每一个j都存在不依赖于i的极限则称这种马尔可夫链是各态历经的。（2）此处联合概率是时齐遍历的m阶马尔可夫信源达到稳定后的极限概率，与初始时刻符号概率分布不同对于m阶马尔可夫信源，这表明m阶马尔可夫信源的极限熵H∞就等于m阶条件熵。由条件熵的概念有：时齐性限制关联长度时齐性定义式马尔可夫信源的极限熵:例：某二元二阶马尔可夫信源，信源符号，其状态空间共有nm=22=4个不同的状态即各状态之间的转移情况如图：有记忆信源的平均符号熵

m阶马尔科夫信源每发一个符号提供的平均信息量为H∞，而m个为一组的有记忆信源每发一个符号提供的平均信息量为二者是不同的。冗余度－1它表征信源信息率的多余程度，是描述信源客观统计特性的一个物理量。由广义Shannon不等式有：或：可见对于有记忆信源，最小单个消息熵应为，即从理论上看，对有记忆信源只需传送即可。但是这必需要掌握信源全部概率统计特性。这显然是不现实的。实际上，往往只能掌握有限的维，这时需传送，那么与理论值相比，就多传送了。冗余度－2为了定量描述信源有效性，可定义：信源效率：

信源冗余度：（相对剩余）冗余度－3正由于信源存在着冗余度，即存在着不必要传送的信息，因此信源也就存在进一步压缩信息率的可能性。冗余度越大，压缩潜力也就越大。可见它是信源编码，数据压缩的前提与理论基础。字母

字母

字母空格ETOANIR0.20.1050.0720.06540.0630.0590.0550.054SHDLCF.UMP0.05020.0470.0350.0290.0230.02250.0210.0175Y.WGBVKXJ.QZ0.0120.0110.01050.0080.0030.0020.0010.001冗余度－4（举例：计算英文文字信源的冗余度）首先给出英文字母（含空格）出现概率如下：冗余度－5（举例：计算英文文字信源的冗余度）首先求得独立等概率情况，即其次，计算独立不等概率情况，再次，若仅考虑字母有一维相关性，求，最后，利用统计推断方法求出，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。

由上述例子可看出：由于各个符号出现的概率不均匀

所以：H1＜H0随着序列增长，字母间的相关性越来越强:

所以：H＜…＜H3＜H2正是因为信源符号中存在的这些统计不均匀性和相关性，才使得信源存在冗余度。当英文字母的结构信息已预先充分获得时，可用合理符号来表达英语，例如传送或存储这些符号，可大量压缩，100页的英语，大约只要29页就可以了。

冗余度－6这一结论说明，英文信源，从理论上看71％是多余成分。直观地说100页英文书，理论上看仅有29页是有效的，其余71页是多余的。正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。冗余度－7对于其它文字，也有不少人作了大量的统计工作，现简述如下：

英文法文德文西班牙文中文（按8千汉字计算）问题1：冗余度产生的原因

冗余度（多余度、剩余度）表示给定信源在实际发出消息时所包含的多余信息。

冗余度来自两个方面，一是信源符号间的相关性，由于信源输出符号间的依赖关系使得信源熵减小，这就是信源的相关性。相关程度越大，信源的实际熵越小，趋于极限熵H（X）；反之相关程度减小，信源实际熵就增大。另一个方面是信源符号分布的不均匀性，当等概率分布时信源熵最大。而实际应用中大多是不均匀分布，使得实际熵减小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源实际熵趋于最大H0（X）。

结论：在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加人某些特殊的冗余度，即所谓信道编码，以达到通信系统理想的传输有效性和可靠性。

1.3.3离散平稳有记忆信源

中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。用联合概率空间{X

,q(X)}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p(xixi-1

xi-2…)确定。如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。对于离散平稳有记忆信源，有：p(x1=a1)=p(x2=a1)=

…p(x2=a2x1=a1)=p(x3=a2x2=a1)=

…p(x3x2

x1)=p(x4x3

x2)=

…┇p(xi+Lxi+L-1

xi+L-2

…xi)=p(xj+Lxj+L-1

xj+L-2

…xj)=

…┇

【例1.4】

某离散平稳信源，设信源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p(xi

xj

)表示（xi为前一个符号，xj为后一个符号）：

xj

xi01201/31/9011/91/181/6201/61/18表1-1p(xi

xj

)

满足，由可计算出当已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：

xj

xi01203/41/4011/31/61/2203/41/4表1-2p(xjxi)1.3.4马尔可夫信源

马尔可夫信源输出的消息序列与信源的状态满足下列条件：

(1)某一时刻信源的输出只与当时的信源状态有关，而与以前的状态无关。p(xr=al

er=si,er-1=st,er-2=sn,…)=p(xr=al

er=si)，满足。(2)某一时刻信源所处的状态只由当前的输出符号和前一时刻的状态唯一决定。当时齐马尔可夫信源达到平稳分布时，满足

p(er+1=sj

xr=al

,er=si)=1.4离散信道及其数学模型

信道是信息传输的通道，如图1-3，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p(yx)来描述信道的统计特性。

信道p(y

x)xy图1-3信道模型

无记忆信道X的各时刻取值相互独立。有记忆信道

X的各时刻取值互相有关联。信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为：波形信道

信道的输入和输出都是时间上连续，并且取值也连续的随机信号。

半连续信道

输入序列和输出序列一个是离散的，而另一个是连续的。连续信道

信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道离散信道

信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。根据统计特性，即转移概率p(yx)的不同，信道又可分类为：

1.4.1离散无记忆信道

离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi

{a1,a2,…,ak}，1

i

I，输出符号yj

{b1,b2,…,bD

}，1

j

J，信道的特性可表示为转移概率矩阵：p(yjxi

)对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0

p(yjxi

)1，且。

将信道特性表示成图1-4的形式：

p(y1

x1)x1x2y1y2xIyJp(yJ

xI

)图1-4单符号离散无记忆信道1.二元对称信道(BinarySymmetricChannel，简记为BSC)这是一种很重要的信道，它的输入符号x{0,1}，输出符号y{0,1}，转移概率p(yx)如图1-5所示信道特性可表示为信道矩阵，其中p称作信道错误概率。下面列举几种常见的离散无记忆信道：图2-10二进制对称信道1-p0

p

1011-p

p

图1-6无干扰信道210011112

2.

无干扰信道这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，

p(yx)=如图