多信源信息传输方案设计毕业论文.doc

多信源信息传输方案设计毕业论文目 录摘 要2第一章 引论51.1 课题背景51.2课题研究目的和主要内容5第二章 信源与信源编码72.1 信源的数学模型72.1.1 信源输出的消息由随机变量描述72.1.2 信源输出的消息由随机矢量描述72.1.3 信源的输出的消息由随机过程描述82.2 信源编码82.2.1 唯一可译码82.2.2 惟一可译码判断准则82.2.3 平均码长的界限92.3 变长码的编码方法102.3.1 香农编码102.3.2 费诺编码112.3.3 Huffman编码11第三章 信道与信道编码133.1 信道的数学模型及其分类133.2信道编码143.2.1 信道编码概述143.2.2 线性分组码143.3 译码规则15第四章 多信源的信息传输184.1多描述信源184.2 多信源接入信道194.2.1 多信源接入信道及其模型194.2.2 离散二址接入信道的容量界限204.2.3 多源接入信道的特征22第五章 二源信息传输方案245.1二源信息传输的编译码245.2 二源信息传输实验255.3 实验结果分析26结束语29致 谢30参考文献31附 录32第一章 引论1.1 课题背景网络通信的全球性发展是20世纪90年代的一件大事。其中Internet的出现与普及应用，几乎改变了整个信息社会的态势布局。数字化、宽带化、网络化和个性化已成为媒体与用户共同追求的目标。网络已成为信息传输、交换的主要载体，而对在网络上传输和交换的信息的效率以及可靠性与安全性也越来越受到关注。这就促进了网络信息论及其相关的学科技术的发展。网络信息论的研究最早是Shannon提出的。1961年Shannon发表了“双路通信信道”一文，研究了双端双路通信系统，为网络信息论奠定了基础。1971年Ahlswede和Van der Meulen引入了多元接入信道模型，同时还给出了多元接入信道的信道容量区域。广播信道容量问题最早由Cover（1972年）提出的。他引入了研究广播信道的一种退化广播信道和编码方法。相关信源编码的最早提出是由Slepian-Wolf给出的。多元接入信道在理论上研究较多，但具有反馈的多元接入信道的容量问题还没有很好的解决。广播信道容量，相关信源编码方面的问题正在研究之中。网络信息论尚在发展之中，这就是网络信息论的发展现状。网络信息论研究的是网络通信的有效性与可靠性，可归结为三大类问题，即相关信源编码问题、网络信道容量问题以及信道编码问题。比如，信源编码包括相关信源及提供边信息协同编码等，信道容量区域概念，信道编码与信源编码的关联性等。本课题研究的是多信源信息传输中二源的信息传输编码和译码，其中编码方式是将相关信源协同编码转换为独立编码。1.2课题研究目的和主要内容课题研究目的：本课题作为本科生的毕业设计课题，研究的目的在于将所学的知识运用于实践，并培养一定的研究能力和自学能力。同时通过对二源相关信源独立编码的研究，使自己掌握网络信息论的有关知识。通过此次毕业设计，使我对网络信息论的中的相关信源编码中的协同编码和独立编码有一定的了解，同时也提高了自己的编程能力。本课题研究的内容只是网络信息论中的一个知识点，更深入的研究受到时间和个人能力的限制。本文所引用的理论都是前人已有的理论，并没有在理论方面提出自己的东西。本设计给出二源信息传输设计方案，是验证Slepian-Wolf定理的编码速率限是可以达到。课题研究主要内容：本课题为多信源传输方案设计，其主要内容如下。l 信源编码它是用尽可能少的信道传输符号来传递信源消息，以提高信息传输效率。在多用户信源情况下，考虑相关信源的协同编码和独立编码，本文论述的是二源信息传输中相关信源协同编码转换为独立编码传输的两个信源。l 信道编码信号在信道的传播过程中不可避免地会受到各种干扰，在这种情况下，如何增强信号的抗干扰能力，提高传输的可靠性，是信道编码主要考虑的问题。解决这一问题，一般采用冗余编码方法，即按照一定的编码规则事先给信码加上一定的冗余度，赋予信码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的错误概率降到允许的范围之内。l 多信源信息传输多信源信息传输中介绍多信源，多信源接入信道及其模型，二址接入信道的容量界限，和多源接入信道的特征。重点讨论了二源信息传输的编码和译码，在接收端可知情况下，引入一个变量引入一个变量，由于x与y的Hamming距离不超过1，每个z只可能有Z集合中4种可能值，可知对Z只需2bit编码。用Z来代替X编码发送。加上Y需要3bit编码，就验证达到5bit编码输出的目的。在接收端可知情况下，根据两信源的码符号集为分别为x、y，它们的码字共有八种，且由等概率分布的3比特序列表示。将3bit序列分成4组序列对，每组两个码的Hamming距离为3，这4组序列对只需2bit编码就区分。可以用4组序列对的编码来代替x编码发送，加上y的3比特，达到了5比特速率就可以满足Slepian-Wolf定理的编码速率限。实验中采用校正子的编码方法，用2bit编码区分了所构造的4组序列对，验证了Slepian-Wolf定理的编码速率限是可以达到的。第二章 信源与信源编码2.1 信源的数学模型由于信源是消息的来源，所以通过消息来研究信源。讨论信源的输出，以及信源输出各种可能消息的不确定性。在通信系统中收信者在未收到消息前，对信源发出什么消息是不确定的、随机的，可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间极其概率测度概率空间来描述信源。不同的信源输出的消息不同，可以根据消息的不同随机性质来对信源进行分类，具体如下。2.1.1 信源输出的消息由随机变量描述定义：若信源输出的消息是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。这种信源可用一维离散型随机变量来描述这些消息，其数学模型就是离散型的概率空间： （2.1）并满足 （2.2）此式表示信源可能取的消息符号只有q个：，而且每次必定取其中一个。若信源给定，其相应的概率空间就已给定；反之，若概率空间给定，也就表示相应的信源给定。所以，概率空间能够表征离散信源的统计特性。2.1.2 信源输出的消息由随机矢量描述l 离散无记忆信源信源先后发出的一个个符号彼此是统计独立的，并具有相同的概率分布，则N维随机矢量的联合概率分布满足 （2.3）其中即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源称为离散无记忆信源。l 离散有记忆信源 一般情况下，信源先后发出的符号之间是相互依赖、存在着相关性的。这种信源称为离散有记忆信源。因此，对于离散有记忆信源的研究需要在N维随机矢量的 联合概率分布中，引入条件概率分布来说明它们之间的关联。2.1.3 信源的输出的消息由随机过程描述更一般的来说，实际信源的输出常常是时间的连续函数，并且它们的取值又是连续的和随机的，这样的信源称为随机波形信源，可用随机过程来描述。分析一般随机过程比较困难。但根据取样定理，只要是时间上的或频率上为有限的过程，就可以把随机过程用一系列时间离散的取样值来表示，而每个取样值都是连续型随机变量。这样就可把随机过程转换成时间上离散的随机序列来处理，若随机过程是平稳的随机过程，时间离散后可转换成平稳的随机序列，这样随机波形信源可以转换成连续平稳信源来处理。若再对每个取样值经过分层量化，就可将连续的取值转换成有限的或可数的离散值，也就是可以把连续信源转换成离散信源来处理。2.2 信源编码信源编码主要考虑的问题是：用尽可能少的信道传输符号来传递信源消息，以提高传输效率。2.2.1 唯一可译码若码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码为惟一可译码。惟一可译码存在的充要条件是：信源符号和码字长度之间满足麦克米伦不等式： （2.4）其中，r为码符号个数，为码长，q为信源符号个数。惟一可译码一定满足上述不等式，反之，满足上述不等式不一定是惟一码。2.2.2 惟一可译码判断准则在前面的阐述中，虽然给出了判断惟一可译码的方法，但在应用中却十分困难，下面引用一种判别惟一可译码的准则，该准则是萨得纳斯和彼得森设计出来的，内容如下：设为原始码字的集合，再构造一系列集合。为得到集合，首先分析中的所有码字。若码字是码字的前缀，即，则将后缀A列为中的元素，就是由所有具有这种性质的A构成的集合。一般地，要够成，n1,则将与比较。若有码字，且W是的前缀，即U=WA，则取后缀A为中的元素。同样，若有码字是的前缀，即，则后缀也为中的元素。这样就可构成集合。以此下去，直至集合为空为止或者没有新的后缀产生为止。所以，一种码是惟一可译码的充要条件是中没有一个含有中的码字。2.2.3 平均码长的界限对于已知信源S可用码符号X进行变长编码，而且对同一信源采用同一码符号编成的即时码或惟一可译码有许多种。从提高有效性的观点来考虑，希望选择由短的码符号组成的 码字，就是用码长作为选择准则，为此引进码的平均长度。设信源为 （2.5）编码后的码字为其码长分别为由于是惟一可译码，信源符号于码字是一一对应的，则这个码字的平均码长为 （2.6）平均码长表示每个信源符号平均需用的码符号个数，单位是码符号/信源符号。定义：若信源的熵给定，编码后每个信源符号平均用个码元来变换。那么，平均每个码元携带的信息量可定义为编码后信道的信息传输率，即 比特/码符号 （2.7）若传输一个码符号平均需要t秒钟，则编码后信道每秒钟传输的信息量为 比特/秒 （2.8）定义：对于某一信源和某一码符号集来说，若有一个惟一可译码，其平均码长小于所有其他惟一可译码的平均码长，则在该码称为紧致码，或称致最佳码。无失真信源编码的核心问题就是寻找紧致码。对于熵为的离散无记忆信源若用具有r个码元的码符号集对信源进行编码，则一定存在一种无失真编码方法，构成惟一可译码，使其平均码长满足 （2.9）（2.9）式表明，码字的平均长度不能小于极限值，否则惟一可译码不存在。式（2.4），（2.6），（2.8），（2.9）参见文献92.3 变长码的编码方法常用的变长码的编码方法有如下三种：香农（Shannon）编码法、费诺（Fano）编码法、霍夫曼（Huffman）编码法。对于同一种信源，三种编码法中以香农编码法的编码效率最低，但这种编码法对于证明变长编码定理起到了很重要的作用，所以它有着重要的理论指导意义。费诺编码法也不是一种最佳编码法，但用这种方法有时候也能找到紧致码。一般情况下，对于同一信源，三种编码方法以霍夫曼编码法得到的平均码长最短，即编码效率最高。2.3.1 香农编码香农第一定理指出，选择每个码字的长度，使之满足式的整数，就可以得到惟一可译码，这种编码方法称为香农编码。按照香农编码方法编出来的码可以使不超过上界，但并不一定能使为最短，即编出来的不一定使紧致码。可见，香农编码剩余度稍大，实用性不强，但有重要的理论意义。二进制香农码的编码过程如下： 将信源发出的q个消息符号按其概率的递减次序依次排列。 按下式计算第i个信源符号的二进制码字的码长，并取整。 为了编成惟一可译码，首先计算第i个信源符号的累加概率 将累加概率（为小数）变换成二进制数。 去除小数点，并根据码长，取小数点后位数作为第个信源符号的码字，由下式确定。 （取整）2.3.2 费诺编码费诺（Fano）编码方法属于概率匹配编码，但它不是最佳的编码方法。不过有时也可得到紧致码的性能。费诺码的编码过程如下： 将信源发出的q个消息符号按其概率的递减次序依次排列，即 将依次排列好的信源符号按编码进制数分组，使每组概率和尽可能接近或相等，并给每组各赋予一个码元。如编二进制费诺码就分成两组，各赋予一个二元码符号码元中的一个。 将每一大组的信源符号进一步再按编码进制数分组，使每组的概率和尽可能接近或相等，并分别赋予每组一个码元。 如此重复，直至信源符号不再可分为止。信源符号所对应的码元序列（从左到右）则为费诺码。2.3.3 Huffman编码信源统计特性是Shannon信息论的基础，基于统计特性作信源压缩编码就成为一种方案。其中从编码效率比较，Huffman编码方案被认为是最佳方案，因为其平均码长接近信源熵。Huffman编码在语声、图象、传真、文件压缩等领域都得到了广泛的实际应用。霍夫曼（Huffman）提出了一种构造紧致码的方法，它是一种最佳的逐个符号的编码方法，其编码效率较高。它的编码过程如下： 将信源S发出的q个消息符号按其概率的递减次序依次排列，即 用0和1码元分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含q-1个符号的信源，称为S信源的缩减信源。 把缩减信源的符号仍按概率大小以递减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用0和1码元表示，这样又形成了q-2个符号的缩减信源。 依次继续下去，直至信源最后只剩下两个符号为止。将这最后两个信源符号分别用0和1码元表示。然后从最后一级缩减信源开始，依编码路径向前返回（从右往左），就得出各信源符号所对应的码字。霍夫曼编码方法中每一步得到的都是紧致码，因而信源S的霍夫曼码一定是紧致码。霍夫曼编码方法得到的码并非是惟一的。造成非惟一的原因如下： 每次对缩减信源最后两个概率最小的符号，勇0和1码是可以任意的，所以可得到不同的码。但它们只是码字具体形式不同，而其码长不变，所以码长也不变，所以没有本质差别。 若当缩减信源中缩减合并后的符号的概率与其他信源符号概率相同时，这两者在缩减信源中进行概率排序时，其位置放置次序时可以任意的，故会得到不同的霍夫曼码。对两种不同的码，它们的码长各不同，然而平均码长时相同的。霍夫曼码具有以下两个明显特点，这两各特点保证了所得到的霍夫曼码一定是紧致码： 霍夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应长码，而且所有短码都得到充分利用。 每次缩减信源的最后两个码字总是最后一位不同，前面各位相同。参见文献9。第三章 信道与信道编码3.1 信道的数学模型及其分类 信道是信息传输的通道，信道有输入端和输出端。通信系统中将各个部分的躁声或干扰等效成从信道输入。由于干扰的存在，信道的输入和输出之间一般不是确定的函数关系。可以将信道看做是一个变换器，它将输入消息x变换成y，以信道转移概率来描述信道的统计特性。l 离散信道的数学模型离散信道的数学模型一般如图1所式。信道 图1 离散信道的数学模型图1中输入和输出信号均用随机矢量表示，输入信号，输出信号，其中i=1, 2 N表示时间或空间的离散值。而每个随机变量和又分别取值于符号集和，其中r不一定等于s。另外，上图输入信号和输出信号之间统计依赖关系由条件来描述，信道噪声与干扰的影响也包含在之中，反映了信道的统计特性。于是离散信道的数学模型可表示为： 一般的信道转移概率可用如下的信道转移矩阵来表示： （3.1）输入和输出符号的联合概率为,则有 其中是信道转移概率，即发送为，通过信道传输接收到的概率，通常称为前向概率。它是由于信道噪声引起的，描述了信道噪声的特性。而是已知信道输出端接收符号为时，发送的输入符号为的概率，称为后向概率。有时把称为输入符号的先验概率，而把对应地把称为输入符号的后验概率。l 信道的分类信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为以下几种。 离散信道：信道的输入和输出都是时间上的离散、取值离散的随机序列，离散信道有时也称为数字信道。 连续信道：信道的输入和输出都是时间上的离散、取值连续的随机序列，又成为模拟信道。 半连续信道：信道的输入序列是离散的，输出序列是连续的。 波形信道：信道的输入和输出都是时间上的连续，并且取值也为连续的随机信号。根据统计特性，即信道转移概率的不同，信道又可分为以下两种。 无记忆信道：信道的输出y只与当前时刻的输入x有关。 有记忆信道：信道的输出y不仅与当前时刻的输入有关，还与以前的输入有统计关系。3.2信道编码 信号在信道的传播过程中不可避免地会受到各种干扰，在这种情况下，如何增强信号的抗干扰能力，提高传输的可靠性，是信道编码主要考虑的问题。解决这一问题，一般采用冗余编码方法，即按照一定的编码规则事先给信码加上一定的冗余度（检测位），赋予信道编码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的错误概率降到允许的范围之内。3.2.1 信道编码概述信道的特征是由信道转移概率来描述的。由此可以计算出它的信道容量C，只要在信道中实际传送的信息率RC，在接收端就应当能够无差错地译出发送端所传送的信息。信道输入符号X代表N种信源符号，信源符号也可以是已经经过信源编码的N种码字，使从信道输出符号序列Y中能正确译出这N种码字，才能达到无差错地传送，这就需要编码。 信道编码的编码对象是信源编码器输出的信息序列N，信道编码就是按一定的规则给信息序列N增加一些多余的码元，使不具有规律性的信息序列N变换为具有某种规律性的码序列X。在接收端，信道译码器利用这种预知的编码规则来译码，或者是检验接收到的符号序列中是否有错，或者纠正其中的差错。根据相关性来检测和纠正传输过程中产生的差错就是信道编码的基本思想。3.2.2 线性分组码 （n，k）线性分组码是以n长码字的集合构成的独立纠错码。其组成由k为信息位的线性组合决定n-k个监督位。 可根据信道特征提出误差率指标，由纠错定理、汉明界限和最小汉明距离，取得加入满足要求的冗余（监督）位r=n-k。 设计n-k=r个独立线性方程，并均由信码模2加构成，然后抽出系数得到。 由H得到G。 接收伴随式纠错：（1）在差错控制能力内，S必为H中某一列，可自动纠错。（2）若S不为H矩阵某一列，则以ARQ纠错。（3）若超出纠错能力，也可能S仍为H中某列，于是自动“纠错”会纠而更错。3.3 译码规则定义：设信道的输入符号集为，输出符号集为 若对每一个输出符号都有一个确定的函数，使对应于惟一的一个输入符号，则这样的函数为译码规则，记为对于有r个输入、s个输出的信道，按上述定义得到的译码规则共有种。在所有的译码规则中，不是每一种译码规则都使合理的。因此，就要讨论选择译码规则的准则。l 最小错误概率译码规则 译码规则最基本的准则就是要使错误概率为最小。为了选择译码规则，首先必须计算错误概率。在确定译码规则后，若信道输出端接收到的符号为，则一定译成。若发送端发送的就是，就认为正确译码，若发送的不是，认为错误译码。收到符号条件下译码的条件正确概率为令为条件错误概率，其中e表示除了以外的所有输入符号的集合。条件错误概率与条件正确概率之间有关系经过译码后的平均错误概率表示经过译码后平均接收到一个符号所产生错误的大小。它是条件错误概率对Y空间求统计平均值，即 （3.2）下面选择译码函数： （3.3）使之满足条件 （3.4）或则称这个译码规则为最大后验概率译码规则，或最大联合概率译码规则，或最小错误概率译码规则。采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。l 最大似然译码规则一般情况下，求解后验概率或联合概率比较麻烦，应用不方便。根据贝叶斯定律，在已知信道的转移概率和输入符号的先验概率的条件下，最大联合概率译码规则可表示如下。选择译码函数 （3.5）使满足 （3.6）于是引入最大似然译码规则。定义：若输入符号的先验概率均相等，选择译码函数 （3.7）使满足 （3.8）则称为最大似然译码规则。在输入符号等概率时，这两个译码规则时等价的。根据最大似然译码规则，可以直接从信道矩阵的转移概率中去选定译码函数。最大似然译码规则本身不再依赖于先验概率。若先验概率为等概率分布，此时它使错误概率最小若先验概率不相等或不知道，此时仍可以采用这个规则，但不一定使最小。根据译码准则，进一步可写出平均错误概率，即 （3.9）上式中求和号表示对输入符号集X中除以外的所有元素求和。（1）若用条件概率表示，错误概率可表示为 （3.10）（2）若先验概率式等概率的，即，则 （3.11）再等先验概率分布情况下，译码错误概率可用信道矩阵中的元素求和来表示。求和式除去每列对应于的那一项后，求矩阵中其余元素之和。而平均正确概率为 （3.12）式（3.5），（3.8），（3.11），（3.14）参见文献2。第四章 多信源的信息传输4.1多描述信源前面所涉及的都是只有一个信源和一个信宿的单向通信的单用户通信系统。而实际通信系统如电话交换网、广播系统都是输入端涉及两个或两个以上的信源，或者输出端涉及两个或两个以上的信宿。当信息在网络通信系统中多用户和多方向流通时，如何让信息有效而可靠地传输，这与单信源、单信道时的情况有很大的不同，需要讨论网络信息论等问题。网络通信系统的一般问题是：在给定网络中，已知信道整体特性的情况下求解网络的最大信息流量；在给定网络中，已知信源特性的情况下求解信源信息的有效表示方法。在实际通信系统中，常常是某个信宿收到来自不同的编码消息。各信源所产生的消息可能是独立的，也可能是相关的。当信源彼此是独立时，就分别处理，多个信源编码问题就简化成几个单信源通信情况的信源编码问题；当信源彼此相关时，由于各个信源所处的作用位置不同，就出现了各种相关信源编码模型，下面介绍两个相关信源编码。l 两个相关信源编码的模型下图是两个相关信源和两个信宿的模型。图2中的信源产生信源序列，信源产生信源序列，分别送入编码器1和2进行编码，而(i=1,2,j=1,2)是编码器到译码器的信息传输率，分别为译码器输出的估计值。信源信源编码器1译码器1编码器2译码器2图2 两个相关信源和信宿的模型l 相关信源编码定理一个联合概率分布为的离散无记忆信源，对信源符号分别独立编码发送，在接收端联合译码，则可达速率对为在单路信源编码定理中，对信源S只要每个信源的符号比特率，就存在一种编码方法，保证译码错误概率可任意小。对上图中相关信源如果采用联合编码，则只要联合速率（符号比特率），就能保证译码器以任意小的错误概率恢复。若分别单独编码，采用，可以保证在接收端一任意小的错误概率恢复出，其联合概率速率R低限。现在Slepian-Wolf证明：对相关信源，即使分别单独编码，并在接收端联合译码，则只要联合编码速率，就能保证以任意小的错误概率恢复出 。 在网络信息论中，定义任意小的错误概率恢复出信源的信息速率R的可达速率， 为可达速率对，而所有的可达速率对的集合为可达速率域，记作R现在Slepian-Wolf相关信源压缩编码定理的可达速率域。其中的，分别表示信源与的编码速率因此，表示一个速率对。可达速率对的集合为可达速率域，该域的边界为 l 相关信源协同编码相关信源协同编码，即编码器之间有信息互通关系。若两个信源之间统计相关，且两个信源之间有相互通信联络。编码器1对信源1输出进行编码时可参考由信源2送来的信息。编码器2对信源2的输出进行编码时可参考信源1送来的信息，定义信源之间互相提供的信息为边信息。协同编码比对立编码更有效。这里讨论单向协同编码，例如只有信源1到信源2的信息发送，而无反向信息传递。编码器1独立地对信源1的输出进行编码，而编码器2参照信源1送来的附加信息或称边信息对信源2的输出进行编码。接受端利用两个编码器的输出只恢复信源1的输出（而不是两个信源的输出）。4.2 多信源接入信道 多个不同信源的信息经过几个编码器后，送入同一信道传送。收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从信道来看，它是一个多输入单输出信道。多源接入信道的各个信源在地理上是分散的，于是无论是信源编码或是信道编码都必须分散进行。在通信工程中，多源或多址接入是用时分、频分或码分等方法将一个物理信道分成若干个独立的子信道来实现的，因此，各输入信号被局限在某种互不相交的子空间内，但是用信息论的观点分析多源接入信道时就没有这样的限制。4.2.1 多信源接入信道及其模型多个不同的信源的信息经过几个编码器后，送入同一信道传送。接收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从信道上来看，它是多输入单输出信道，如图所示的离散多址接入信道模型。最早的网络信道是图42所示的多址接入信道。这类信道最典型的例子就是卫星通信的上行线路。许多彼此独立的地面站同时将各自的消息发送到一个卫星转发器。因此，为了可靠传输，各发送者不但要考虑克服信道躁声，而且还要考虑克服各发送端彼此之间的串扰。 离散的多址接入信道，主要讨论是信道容量，即所能传输的最大速率。由于网络信道有多个相关联的容量存在，因此，是一个容量域的问题。 具有两个发送端，一个接收端的离散多址信道，如图3所示。编码器2信源编码器1信源信道译码器y图3 典型的离散无记忆多址接入信道该信道有两个输入信源的概率空间，分别为，有一个输出信源概率空间。它的输入端有两个随机变量序列，输出端是一个随机变量序列y，它们都是n维随机矢量。多址接入信道可用传递概率来描述。当信道是离散无记忆时，则满足 （4.1）因此，任意两个发送端的离散无记忆多元接入信道（简记为d.m.MAC）可用 来表示。对含有n个分量相互独立的序列，若分别存在以与比特/符号的编码，当时，可使平均译码错误概率，称此为可达速率对，可达速率对的集合的闭包定义为多址接入信道的容量区域。4.2.2 离散二址接入信道的容量界限二址接入信道的条件概率 （4.5）两个相互统计独立的离散信源和的概率分布分别为 （4.6）从Y中获取信源的平均交互信息量的最大值，即 （4.7）令式中 （4.8）则就是的条件下，从Y中获取关于的条件交互信息量。它必定是的概率分布的型凸函数，可用对求导的方法求得最大值，这个最大值与2i有关。所以 （4.9）设中的最大者是，即当2i=2k是，达到最大值。那么，只取 （2i2k） （4.10）就能使达到最大值，所以在信源已知条件下，从Y中获取关于的条件平均交互信息量的最大值 （4.11）同理在信源已知条件下，从Y中获取关于的条件平均交互信息量的最大值 （4.12）同样，可得从Y中获取联合信源的平均交互信息量的最大值，即（4.13）上式中只要把看作一个量，可得从Y中获取联合信源的平均交互信息量的最大值，即其限制条件是 （4.14）可得 （4.15）式（4.4），（4.9），（4.11），（4.12），（4.13），（4.15）参见文献1。4.2.3 多源接入信道的特征多源接入信道仅考虑离散多源接入情形。最早的网络信道是如图3所示的多址接入信道。这类信道最典型的例子就是卫星通信的上行线路。许多彼此独立的地面站同时将各自的消息发送到一个卫星转发器。因此，为了可靠传输，各发送者不但要考虑克服信道躁声，而且还要考虑克服各发送端彼此之间的串扰。具有两个发送端，一个接收端的离散多址信道，如图3所示。该信道有两个输入信源的概率空间，分别为，有一个输出信源概率空间。它的输入端有两个随机变量序列，输出端是一个随机变量序列y，它们都是n维随机矢量。多址接入信道可用传递概率来描述。当信道是离散无记忆时，则满足 （4.16）因此，任意两个发送端的离散无记忆多元接入信道（简记为d.m.MAC）可用来表示。对含有n个分量相互独立的序列，若分别存在以与比特/符号的编码，当时，可使平均译码错误概率，称此为可达速率对，可达速率对的集合的闭包定义为多址接入信道的容量区域。定理：具有两个发送端的多址接入信道的容量区域，由满足下述条件的速率对组成的 （4.17）是在乘积空间上，对所有可能满足条件的输入概率分布求得的可达速率对的集合，其中。参见文献8。第五章 二源信息传输方案5.1二源信息传输的编译码多个信源在信道中传输，信宿收到来自不同的信源的编码消息。各信源所产生的消息可能是独立的，也可能是相关的。当信宿是彼此独立时，就分别处理，多个信源编码问题就简化成几个单信源通信的信源编码问题。当信源彼此相关时，由于各个信源所处的作用不同，从而有各种相关信源编码。现在应用校正子的相关信源编码的方法，它应用信道编码的概念用于相关信源编码，应用此方法的多信源的信息传输方案设计如下：设X和Y两个信源，其符号集合共有8种符号，分别由等概率分布的3bit序列来表示。X和Y相关形式为x与y符号之间的Hamming的距离是不超过1。根据Slepian-Wolf定理，上述信源编码的速率限为5bit，以下是一种设计方案。l 信息传输接收端可知： 设Y在编码端与译码端都是可知的，引入一个变量，由于x与y的Hamming距离不超过1，则x与y之间是相同或是有一位不同。因此，即每个z只可能有Z集合中4种可能值，可知对Z只需2bit编码。用Z来代替X编码发送。加上Y需要3bit编码，就达到5bit编码输出的目的。在接收端联合译码译出Y、Z，然后由恢复出X。l 信息传输接收端不可知： 设在编码端Y是不可知的。在实际中常遇到这种情况，即两个编码器相距很远又不互不通信的情况。现需要设计一种方案：将3bit序列分成4组序列对，每组两个码的Hamming距离为3，即这4组序列对只需2bit编码就区分。可以用上述序列对的编码来代替x编码发送，加上y的3比特，达到了5比特速率就可以满足Slepian-Wolf定理的编码速率限。在译码端由译出的y就可找到同时刻接收到的x的序列对中，哪一个与y同时发送的x。因为按上述条件的设定，同一时刻发送的x与y其距离不会超过1，这就决定了接收到的y只能与同时刻接收到的x序列对中的一个相近，相同或距离为1，而与另一个序列的距离大于1。如何才能将x编出2-bit码字，使它正好是x所属的序列对中的可能码字。方案采用校正子编码方法。以上4组序列对都可以用分组码来表征，其中n是码字的长度，k是信息比特数而d是码的最小Hamming距离。这里是分组码。且分组码的校验矩阵为阶矩阵，对以上的码，其校验矩阵为校正子为这里 都是列矢量，而x就是信源符号的代码。可以计算出：其他3组的校正子分别为。在接收端，译码器译出校正子，同时译出y码字，然后根据x码和y码之间的Hamming距离不超过1，可以正确地恢复出所发送的x码。5.2 二源信息传输实验本实验主要考虑的多信源的信息传输是在双输入双输出的情况下进行的，实验是在MATLAB编程环境下完成的。根据上一节的设计方案，用下述实验来验证。实验说明：实验中的信源符号集为 A, B, C, D, E, F, G, H，其码字集合为 000, 001, 010, 011, 100, 101，110, 111。以下给出实验方案。l 信息传输接收端可知：第一步： 将信源符号集为 A, B, C, D, E, F, G, H编成由000, 001, 010, 011, 100, 101，110, 111组成的相对应的码字。由这些码字组成的码字集合是多行三列的矩阵第二步： 在多行三列的矩阵中取每一行，并将它们组合在一起，成为一行多列矩阵。然后将一行的多列矩阵逐位进行比较，矩阵中位数相同的码字相同取”0”，位数相同码字不同的取”1”，将这些码字组合在一起，得到一组新的码字集合，它是一行多列矩阵。第三步： 在一行多列矩阵转换成多行三列矩阵。第四步： 在多行三列的矩阵中取每一行，将这些码字译成对应的字符，并将这些字符显示出来。l 信息传输接收端不可知：第一步：将信源符号集进行编码，由这些码字组成多行三列矩阵，在这多行三列矩阵中取出每一行，转换成三行一列矩阵与所给定的校正矩阵相乘，求出其校正子，其中一个校正子是两行一列矩阵。用校正子代替该信源编码后的码字矩阵，同时将另一信源符号集编码后得到的码字集合，转换为一行多列的矩阵。第二步：校正子代表的是一组码符号对，将由校正子组成的一行多列矩阵与另一信源编码后得到的矩阵相比较，码字间汉明距离不超过1，就在该组码符号对中取出。取出的码字就是恢复出信源的码字符号集，这些码字符号集是用一行多列矩阵表示。第三步：将一行多列矩阵转换成多行三列矩阵。在多行三列矩阵中取每一行，将这些码字译成对应的字符，并将这些字符显示出来。5.3 实验结果分析下面图4-图6简要介绍了二源信息传输实验的操作：图4是相关信源信息传输仿真实验的主界面，主界面的菜单栏中有两个菜单项，分别为相关信源信息传输仿真和校正子相关信源信息传输仿真。两个菜单项都有下拉菜单，下拉菜单都有各自的实验仿真和实验说明。图4 二源信息传输实验主界面图5是相关信源的仿真实验的界面，在信源X和信源Y的文本框里输入AGHFEBCFEF和HHGFEDACBE点击界面上的编码按钮后，在标有”X码序列”和”Y码序列”的文本框里显示出各自的码序列，再点击”混合”按钮，就会在标有混合码序列的文本框显示出它们混合码，其中混合的方式是采用模二和运算。在点击解码按钮是，译码译出Z，根据Y在译码端是可知的，应用恢复出X。 图5 二源信息传输仿真实验界面图6是应用校正子的编码的相关信源编码仿真实验。将信源X编码后得到的带有校正子的码字序列与信源Y编码后得到的码序列进行逐位结合比较，其中校正子分别代表序列组中相应的序列对。将y码字与序列对比较，如果y码字与序列对中的两码字逐个比较，取它们的Hamming距离不超过1的码字。例如：000，111与”010”比较，”000”与”010”的汉明距是1，而”111”与”010”的汉明距是2，按照约定就要在序列对中取”000”。 图6 校正子的仿真实验界面通过二源信息传输仿真实验，在信源X和信源Y，其符号集都是有相同的字符组成的，分别是由等概率分布的3比特序列来表示。两信源的码符号集为分别为x、y，它们之间的汉明距离不超过1，可知两信源之间是相关的。在二源信息传输仿真实验一中，引入一个变量，由于x与y的Hamming距离不超过1，则x与y之间是相同或是有一位不同。因此，即每个z只可能有Z集合中4种可能值，可知对Z只需2bit编码。用Z来代替X编码发送。加上Y需要3bit编码，就达到5bit编码输出的目的。在接收端联合译码译出Y、Z，然后由恢复出X，用仿真实验验证了在接收端y3比特编码可知情况下，对引入的变量Z只需2比特编码就可以满足信源编码速率限。如果都用3比特发送，就需要6比特，引入Z就可以节省1比特，从而提高了信息传输效率。在应用校正子编码仿真实验中，根据两信源的码符号集为分别为x、y，它们的码字共有八种，且由等概率分布的3比特序列表示。将将3bit序列分成4组序列对，每组两个码的Hamming距离为3，这4组序列对只需2bit编码就区分。可以用上述序列对的编码来代替x编码发送，加上y的3比特，达到了5比特速率就可以满足Slepian-Wolf定理的编码速率限。实验中采用校正子的编码方法，用2bit编码区分了所构造的4组序列对。验证了Slepian-Wolf定理的编码速率限是可以达到的。结束语本文研究的是多信源信息传输方案，主要论述相关信源编码译码和设计了二源信息传输仿真实验。信息论的理论主要是信源编码，分析了香农编码，费诺编码，霍夫曼编码等常用的编码方法，讨论了多用户信源情况下信源编码，涉及相关信源的协同编码和独立编码，本文论述的是二源信息传输中相关信源协同编码转换为独立编码进行传输。在多信源信息传输这一章里讨论了多信源接入信道及其模型，离散二址接入信道的信道容量等问题。多信源信息传输方案设计的仿真实验，设计的是二源信息传输的仿真实验。两个输入信源的符号集都是有相同的字符组成的，分别是由等概率分布的3比特序列来表示。它们的编码后的码字间的汉明距离不超过1，可知两输入信源之间是相关的。实验考虑了在接收端可知和不可知两种情况来设计的，编出2比特的码字，加上y的3比特，达到了5比特速率，就可以满足Slepian-Wolf定理的编码速率限。实验中采用模二和混合运算的方法和校正子的相关信源编码方法，验证了Slepian-Wolf定理的编码速率限是可以达到的。本文中的二源信息传输仿真实验是在无失真的情况下传输的，而在实际中会有躁声干扰，造成在接收端接收的信号会失真。由于受时间和本人能力限制，本文中的仿真实验涉及内容还是可以改进，比如：可以设计三个输入端或更多的输入端情况下的信息传输仿真实验，信息在信道传输过程中还可以加入躁声干扰信道，仿真有躁情况下的信息传输实验。致 谢在论文即将完稿之际，我自觉感慨很多，。在此我深表感谢我的老师和同学给过我很多的帮助，关心和鼓舞!首先要深深感谢我的导师张玉红老师。在毕业论文指导期间，张老师对我的设计和论文提出了指导性的意见和建议，使我的毕业设计才能够顺利完成。张老师的治学严谨和工作认真负责深深的影响了我。再一次深深感谢所有曾经帮助过我、关心过我的各位老师、朋友! 徐 寅 2012-2-29参考文献1 姜丹. 信息论与编码M. 合肥: 中国科学技术大学出版社, 2006 2 戴善荣. 信息论与编码基础M. 北京：机械工业出版社,20043 郑君里. 信号与系统M. 北京: 清华大学出版社, 2004 4 樊昌信，曹丽娜. 通信原理(第六版) M.