编码与信息论.doc

信息论与编码结课论文题 目： 信息率与失真函数的分析 院 （系）： 电气与信息工程学院 专 业： 电子信息工程 班 级： 电信09-4 姓 名： 张珺 学 号： 13 授课教师： 陈錞凯 书写日期： 信息率与失真函数的分析摘 要: 本文对信息率失真函数的计算方法展开分析讨论，并通过MATLAB数学软件仿真实现。信息论是运用概率论与数理统计的方法进行研究的应用数学学科。随着人们不断加深对信息的认识与利用，信息科学被应用在各个方面。然而，在实际的通信中，无失真的通信是不可能的，而且也无必要，因此，本文从离散信源着手，讨论平稳无记忆信源的信息传输过程及其特性，分析在限定失真为最大允许失真为D时信源的最小信息速率。计算一般离散信源的信息率失真率函数R(D)较为复杂,本文采用带参量的迭代法求解R(D),介绍用带参量的迭代法求解R(D)的一般方法。MATLAB是用于算法开发、数据可视化、数据分析以及数值计算的数学软件，本文通过MATLAB编写程序实现离散信源的信息率失真函数的计算。关键词：离散信源 失真率 迭代算法 Abstract This paper mainly discusses and analysises the calculation method of rate-distortion function, and to simulate by using mathematics software MATLAB(Matrix Laboratory). Information Theory is an Applied Mathematics which uses probability theory and mathematical statistics methods to do study. As people continue to deepen the understanding and use of information, information science is applied in many aspects. However, in actual communication, distortion-free communication is impossible, and not necessary, therefore, this paper proceed from the discrete source to discuss the information transfer process and feature of the stationary memoryless source, and analysis the Minimum information rate of information Source when limit distortion is the maximum allowable distortion D. It is complex to calculate the information rate distortion function R (D) of general discrete source, in this paper, the iterative algorithm with parameters is used to calculate the R(D), introduces general methods to calculate the R(D) which using iterative algorithm with parameters. MATLAB is a mathematics software which applied in algorithm development, data visualization, data analysis and numerical calculation, in this paper, the calculation of information rate distortion function of discrete source is realized by programming.Keywords：Discrete source Rate-distortion Iterative algorithm 引言:我们定义为：信道能无错误传送的最大信息率。那么对于只有一个信源和一个信宿的单用户信道，它是一个数，单位是比特每秒或比特每符号。它代表每秒或每个信道符号能传送的最大信息量，或者说小于这个数的信息率必能在此信道中无错误地传送。对于多用户信道，当信源和信宿都是两个时,它是平面上的一条封闭线。 信道容量（Channel capacity，又译通道容量）的单位为比特每秒、奈特每秒等等。在电机领域、计算机科学领域、消息理论中，信道容量是指在一个通信信道中能够可靠地传送信息时可达至的最大速率上限。根据有噪信道编码定理，一个已知通道的信道容量，则是指在一个有限的传送速率中可达到任意小的错误率。 香农在第二次世界大战期间发展出信息论，为信道容量提了定义，并且提供了计算信道容量的数学模型。香农指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。通信信道，发端 X，收端 Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。 I该值与两个概率有关， p(x),p(y|x)，特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。 要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。 信息率失真函数的定义 信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-这个下限值与D有关。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U;V)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(U;V)的最小值。寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj / ui) ，使I(U;V) 取极小值。由于平均互信息I(U;V)是P(vj / ui)的U型凸函数，所以在BD集合中，极小值存在。这个最小值就是在D D的条件下，信源必须传输的最小平均信息量。率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。连续无记忆信源的信息率失真函数：连续无记忆信源的信息率失真函数。高斯信源的信息率失真函数 对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但在平方误差失真度量下，其率失真函数有简单的封闭表达式。连续无记忆信源信息率失真函数值失真度量下连续无记忆信源的信息率失真函数一般情况下，连续无记忆信源下信息率失真函数的计算相当困难，绝大多数情况下无解析解。以上阐明两者的各自的一些概念和理论相关，从定理的描述可知，信息失真率R(D)是一个界限。通信过程中虽然有失真，但是仍然能满足要求，否则就不能满足通信的要求。总体来说香农的信息论三个基本概念都是临界值，是从理论上衡量通信是否满足要求的重要界限。 三个定理都指出理想编码方式的存在，可是需要我们去寻找和探索。连、两个概念既有不同点有存在共同的相关点，两者都是求平均互信息极值的问题，两个对偶问题值得我们去更深程度的挖寻和比较。实际的信源编码(无失真编码或先限失真编码后无失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值，而同时又保证译码后能无失真地恢复信源的全部信息量、或限失真条件下的必要信息量。编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量，-使得传输同样多的信源总信息量所需的码符号数大大减少-使所需的单位时间传输信道单位时间信道容量大大减少，或在不变的前提下使传输时间大大缩短，从而提高了通信的效率。 香农三定理仍然只是个存在性定理，至于最佳编码方法如何寻找，定理中并没有给出，因此有关理论的实际应用有待于进一步研究。如何计算符合实际信源的信息率失真函数如何寻找最佳编码方法才能达到信息压缩的极限值这是该定理在实际应用中存在的两大问题，它们的彻底解决还有赖于继续的努力。尽管如此，香农第三定理毕竞对最佳限失真信源编码方法的存在给出了肯定的回答，它为今后人们在该领域的不断深入探索提供了坚定的信心。 参考文献：1 傅祖芸信息论基础理论与应用M北京：电子工业出版社。20o1299-3032 吴伟陵信息处理与编码M北京：人民邮电出版社，20o35O-523 吕锋信息理论与编码【M北京：人民邮电出版社，2004160-1704 陈运信息理论与编码M北京：电子工业出版社，5 Laeonis C，Walmsley I A