信息论课程总结范文.docVIP

信息论课程总结范文 信息论与编码课程总结信息论与编码作为我们的一门所学课程从它的名称我们就可以知道它是由信息论和编码组成，信息论是编码的基础。 也就是说信息论是理论而编码就是我们的实际操作了。 纵观本书可以看出，信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、控制、和利用的一般规律的科学。 可见它与我们大二所学的概率论与数理统计有很大的联系。 从学习我们也可以看出，书中的很多定义和证明都是从概率论角度出发的，从而衍生出信息论。 作为一名信息与计算科学专业的学生，从这个名字就可以看出信息论与编码对我们所学的专业也是挺重要的了。 通常人们公认信息论的奠基人是当代伟大的数学家和美国杰出的科学家香农，他著名的论文通信的数学理论是信息论的理论基础，半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向尖端方向发展，并以神奇般的力量把人类推人信息时代。 那么信息论与编码到底是干嘛的呢？它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。 所谓可靠性高就是要使信源发出的消息经过新到传输以后，尽可能准确的、不失真的再现在接收端；而所谓有效性高，就是经济效果好，即用经可能少的和尽可能少的设备来传送一定数量的信息；所谓保密性就是隐蔽和保护通信系统中传送的信息，使他只能被授权接受者获取，而不能被未授权者接受和理解；而认证性是指接受者能正确的判断所接受的消息的正确性，验证消息的完整性，而不是伪造的和被修改的。 20世纪中出现了一个很厉害的人！香农!自香农信息论问世以后，信息理论本身得到不断的发展和深化，尤其在这个理论指导下，信息技术也得到飞快的发展。 这又使对信息的研究冲破了香农狭义信息论的范畴，几乎渗透到自然科学与社会科学的所有领域。 从而形成了一门具有划时代意义的新兴学科-信息科学。 所以信息论是信息科学发展的源泉，也是信息科学的基础理论。 随着信息时代的到来，计算机的应用越来越广泛，所以只要涉及信息的存储，传输和处理的问题就要利用香农信息论的理论-无失真通信的传输的速率极限（香农极限），无失真和限失真信源编码理论（数据压缩原理）和信道编码原理（纠错码原理）。 信息论与编码是一门具有广泛的数学理论与知识，又有实际工程背景的课程，两者缺一不可。 在这个知识就是生存道理的时代所以我们越来越感觉到学号信息论是很有必要的。 虽然我们学数学的具有较好的数学基础和数学思维能力，但我们缺少通信电子等方面的实际工程知识，所以我们更得刻苦学习。 第一章的绪论主要系统的介绍了一下这门课程的总体思想引人了信息的概念。 给出了一个重要的定义，香农信息定义信息是事物运动状态或存在方式的不确定性的描述。 我们可以把信源分成离散信源和连续信源，这与我们学习概率论中求离散和连续概率分布是一样的。 可见学习也是有连贯性的。 我们主要研究他们的信息量、信息熵和其一些性质。 收到的信息量=收到相应事件发生的不确定性的大小。 自信息的数学期望为信源的平均自信息量，记为信息熵。 公式为信息熵的基本性质有对称性、确定性、非负性、拓展性、可加性H（XY）=H(X)+H(Y)(X和Y独立)和强可加性H（XY）=H(X)+H(YIX)、极值性和下凸性。 二维离散信源与一维的类似。 第三章的信道中我们要记住几个基本的信道，二元对称信道、二元删除信道（M信道）、二元Z1()()log()qi iiHrX aP a=?道容量定理(|)(;)(,)log()i iiii jipy xIX Yp x yp y=?；准对称信道容量C=logm-H(P1,P2.Pm).连续信源的联合差熵h(XY)=(,)log(,)P xy Pxydxdy?+?()(|)h xh yx+，差熵可正可负，有上凸性。 第五章主要讲的是无失真信源编码定理，讲到了码、码长、非奇异奇异码、唯一可译码。 等长编码定理设离散无记忆信源X的熵为H(X),若对信源长为N的符号序列进行等长编码，设A=a1,a2,ar,则对任意的e0,当码长n满足()logn Hx eNr+=时，且N足够大时，可以实现几乎无失真编码，即译码错误概率非常小。 我们可以总结一下，码可以分为奇异和非奇异，非奇异可以分为非唯一可译码和唯一可译码，唯一可译码可分为等长码和变长码，变长码可以分为即时码和非即时码。 我们可以用树图法构造前缀码。 唯一可译码的判定，任一r元可译码的平均码长=H(x)logr;一定存在一个r元可译码，平均码长 汉明距离满足非负性、对称性、三角不等式性。 有噪信道编码定理设离散无记忆信道X,p(y|x),Y的信道容量为C，Rlogm=n为信息传输率，当R0,总存在码长为n，码字数为M=n2R的一组码和相应的译码规则，使得Pe 全书的前几章是基础，首先阐述信息的概念，引出香农信息的定义，信息论研究的目的、内容。 在这基础上讨论各类离散信源、连续的信息测度信息熵及离散信道、连续信道的信息传输率和信道容量。 后几章主要论述了香农信息论的三个基本定理离散信源的无失真编码定理、有道信道编码定理和限失真信源编码定理，次部分是香农信息论的核心部分。 第8章介绍了几种常见实用的无失真信源压缩编码方法。 信息论是在长期的通信工程实践和理论研究的基础上发展起