数字通信原理读书笔记.doc

1章 引言数字通信系统功能性框图和基本组成部分：理论上，应当用尽可能少的二进制数字表示信源输出（消息）。换句话说，我们要寻求一种信源输出的有效的表示方法，使其很少产生或不产生冗余。将模拟或数字信源的输出有效地变换成二进制数字序列的处理过程称为信源编码或数据压缩。由信源编码器输出的二进制数字序列称为信息序列，它被传送到信道编码器。信道编码器的目的是在二进制信息序列中以受控的方式引入一些冗余，以便于在接收机中用来克服信号在信道中传输时所遭受的噪声和干扰的影响。因此，所增加的冗余是用来提高接收数据的可靠性以及改善接收信号的逼真度的。实际上，信息序列中的冗余有助于接收机译出期望的信息序列。更复杂的（不平凡的）编码涉及到一次取k个信息比特，并将每个k比特序列映射成惟一的n比特序列，该序列称为码字。以这种方式对数据编码所引入的冗余度的大小是由比率n/k来度量的。该比率的倒数，即k/n，称为码的速率或简称码率。信道编码器输出的二进制序列送至数字调制器，它是通信信道的接口。数字调制的主要目的是将二进制信息序列映射成信号波形。（Page 1）假定已编码的信息序列以均匀速率R(b/s)一次一个比特传输，数字调制器可以简单地将二进制数字“0”映射成波形s0(t)，而二进制数字“1”映射成波形s1(t)。在这种方式中，信源编码器输出的每一比特是分别传输的。我们把它称为二进制调制。另一种方式，调制器一次传输b个已编码的信息比特，其方法是采用M=2b个不同的波形si(t)，i=0,1,2,M，每一个波形用来传输2b个可能的b比特序列中的一个序列。我们称这种方式为M元调制（M2）。注意，每b/R秒就有一个新的b比特序列进入调制器。因此，当信道比特率R固定，与一个b比特序列相应的M个波形之一的传输时间量是二进制码制系统时间周期的b倍。通信信道是用来将发送机的信号发送给接收机的物理媒质。无论用什么物理媒质来传输信息，其基本特点是发送信号随机地受到各种可能机理的恶化，例如由电子器件产生的加性热噪声、人为噪声（如汽车点火噪声）及大气噪声（如在雷暴雨时的闪电）。在数字通信系统的接收端，数字解调器对受到信道恶化的发送波形进行处理，并将该波形还原成一个数的序列，该序列表示发送数据符号的估计值（二进制或M元）。这个数的序列被送到信道译码器，它根据信道编码器所用的关于码的知识及接收数据所含的冗余度重构初始的信息序列。解调器和译码器工作性能好坏的一个度量是译码序列中发生差错的频度。作为最后一步，当需要模拟输出时，信源译码器从信道译码器接收其输出序列，并根据所采用的信源编码方法的有关知识重构由信源发出的原始信号。可被表征为通信信道的其他媒质是数据存储媒质，例如磁带、磁盘和光盘。在信号通过任何信道传输中的一个共同的问题是加性噪声。一般地，加性噪声是由通信系统内部组成元器件所引起的，例如电阻和固态器件。有时将这种噪声称为热噪声。其他噪声和干扰源也许是系统外面引起的。（Page 2）可以通过增加发送信号功率的方法使噪声的影响最小。然而，设备和其他实际因素限制了发送信号的功率电平。另一基本的限制是可用的信道带宽。带宽的限制通常是由于媒质以及发送机和接收机中组成器件和部件的物理限制产生的。这两种限制因素限制了在任何通信信道上能可靠传输的数据量。2章 概率论与随机过程如果两个事件没有公共样点，则这两个事件是互不相容的，也就是说，一个事件的发生会排除其他事件的发生。3章 信源编码假设信源的输出序列是统计独立的，即当前的输出字符与所有过去和将来的输出字符统计无关。凡信源输出序列各字符间满足统计独立条件，则称其为无记忆的，这样的信源称为离散无记忆信源（DMS）。3.2 信息的对数度量考虑两个离散随机变量，它们可能的取值分别是xi(i-1,2,.n)和yj(j=1,2,m)。假定已观察到某个结果Y=yj，希望能定量地求出由Y=yi的出现而提供的关于X=xi(1,2,n)的信息量。我们注意到，当X和Y统计独立时，Y=yj的出现对事件X=xi的发生不提供任何信息。另一方面，当X和Y完全相关，即Y=yj的出现决定了事件X=xi的出现时，信息量正是事件X=xi所能提供的信息量。满足这些条件的一个适当的量度是以下条件概率P(X=xi | Y=yj) P(xi | yj)除以概率P(X=xi) P(xi)所得比值的对数，也就是说，由于事件Y=yj的出现而提供的关于事件X=xi的信息量可定义为I(xi;yj)称为xi和yj间的互信息。I(xi;yj)的单位是由对数的底决定的，通常选用2或者e。当对数的底是2时，I(xi;yj)的单位是比特；而当以e为底时，I(xi;yj)的单位叫奈特（nat，自然单位。Loge的标准缩写是ln）。由于lna = ln2/log2a = 0.69315 log2a所以，用奈特量度的信息量是用比特量度的信息量的ln2倍。当随机变量X和Y统计独立时，P(xi | yj) = P(xi)，因此I(xi;yj)=0。另一方面，当事件Y=yj的出现惟一地决定了事件X=xi出现时，式（3-2-1）分子上的条件概率等于1，因此式（3-2-2）也就是事件X=xi的信息。正是由于这个原因，我们把它叫做事件X=xi的自信息，记做注意，大概率事件比小概率事件的信息量少。事实上，如果仅有发生概率为P(x)=1的单一事件，那么它的I(x)=0。当信源的许多输出被看成是一个分组块时，信息量的对数量度具有相加的特点。I(xi;yj) = I(yj;xi)由事件Y=yj的出现提供的关于事件X=xi出现的信息量，应等于由事件X=xi的出现提供的关于事件Y=yj出现的信息量。在Y=0的情况下，事件X=0发生的互信息是考虑几个特例。首先，若p0=p1=0，这种信道称为无噪信道，I(0;0) = log22 = 1比特因此，从输出完全可确定输入。另一方面，如果p0=p1=0.5，则信道是无用信道，因为I(0;0) = log21 = 0除了互信息和自信息的定义外，定义以下条件自信息也是很有用的I(xi;yj) = I(xi) I(xi | yj)我们把I(xi | yj)解释为事件Y=yj发生后，事件X=xi的自信息。一对事件的互信息既可以是正的，也可以是负的，或者是零。我们已定义了与一对事件(xi;yj)有关的互信息，它们是两个随机变量X和Y可能取值的组合。如果用联合事件发生的概率对I(xi;yj)加权，并对所有可能的联合事件求和，可以得到互信息的平均值。据此，可得X和Y的平均互信息为注意，当X和Y统计独立时，I(X;Y)=0。平均互信息的一个重要特性是I(X;Y)0。同样地，我们可以定义平均自信息，用H(X)表示为如X表示信源可能的输出字符集，H(X)就表示每个信源字符的平均自信息，我们把它叫做信源的熵。在信源输出符号等概的特定情况下，对于所有i都有P(xi)=1/n。于是一般来说，对任何一组给定的信源符号概率，都有H(X)logn。换句话说，当输出字符等概率时，离散信源的熵最大。例3-2-3 考虑一个可产生统计独立的字符串的信源，其输出或是0（概率为q），或是1（概率为1-q）。这个信源的熵为H(X) H(q) = -qlogq - (1-q)log(1-q)熵函数的最大值发生在q=0.5处，此时H(0.5)=1。平均的条件自信息称为条件熵，定义为我们把H(X|Y)解释为由Y的发生而提供的关于事件X的信息或不确定度。4.3 数字调制信号的表示法在数字信息经通信信道传输的过程中，调制器是接口器件，它将数字信息映射成与信道特性相匹配的模拟波形。映射一般是这样进行的：先从信息序列an一次提取k=log2M个二进制数字形成分组，再从M=2k个确定的有限能量波形sm(t), m=1,2,M中选择其中之一送往信道传输。当数字序列an到波形的映射受到约束时，即在任意时间间隔发送的波形决定于一个或多个先前发送的波形，那么这种调制器称为有记忆的。另一方面，当序列an到波形sm(t)的映射没有受到先前发送波形的约束时，这种调制器称为无记忆的。除了把调制器划分为无记忆的或有记忆的之外，也可以把它划分为线性的或非线性的。调制方式的线性特性要求在数字序列到连续波形的映射中适用叠加原理。在非线性调制中，连续时间间隔的发送信号不再适用叠加原理。在所有情况中，假定在调制器输入端的二进制数字序列的速率均为R b/s。1. 脉冲幅度调制（PAM）信号在数字PAM中，信号波形可以表示为式中，Am, 1mM表示M个可能的幅度，相应于M=2k个可能的k比特组成符号。波形g(t)是实信号脉冲，其形状影响发送信号的谱。信号幅度Am取离散值（电平）A