第1章信息论与编码.ppt

1、第一章绪论，1.1信息论的形成和发展1.2信息论的研究内容1.3信息的基本概念1.4通信系统模型简介，2020/6/15的形成和发展，2，1.1信息论，信息论的早期酝酿(19世纪至20世纪40年代)编码技术的产生：早期通信中发现的问题信号的频带宽度和信噪比莫尔斯码和多波码影响信道的通信容量。通信的数量和质量相互制约：有效可靠的抗干扰代码的出现。香农熵的产生维纳、费希尔和香农几乎同时提出了信息的度量形式。1948年，香农发表了一篇论文通信的数学理论，奠定了现代信息论的基础。2020/6/15，3，1.1信息论的形成和发展，克劳德香农(1916-2001)，2020/6/15，4，1.1信息论的形

2、成和发展。信息论的建立和发展(1948 1980年代)香农信息论的严格数学描述和论证(1948 1960年代)香农信息论的发展(1970 1980年代)速率失真理论的发展，多用户信息论(网络信息论)的发展，代数编码理论的发展，2020年6月15日信息论的形成和发展，5，1.1， 信息论的最新发展(20世纪90年代以后)无失真编码的应用失真源数据压缩编码的应用调制和解调编码的应用汉字信息编码图形编码和存储介质编码的问题，2020/6/15，6，1.2信息论的研究内容，狭义信息论(经典信息论)主要研究信息测量、信道容量、信源和信道编码理论等。 也称为香农基础理论一般信息论(工程信息论)主要研究信息

3、传输和处理问题。除了香农理论，它还包括广义信息论，如编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论和保密理论。它不仅包括上述两个方面，还包括所有与信息相关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至社会学中与信息相关的问题。2020/6/15，7，香农信息理论的科学体系，2020/6/15，8，1.3信息的基本概念，物质世界的三大支柱：物质，能量和信息没有物质，什么都没有。没有物质的世界就是没有能量的世界。什么都没发生。一个没有能量的世界是一个没有信息的死亡世界。没有信息的世界是一个混乱的世界，2020/6/15，9，信息

4、的定义。从日常生活知识：信息是可以谈论的东西、新闻与知识解读牛津词典:信息是在观察和研究过程中获得的数据和信息；新闻和知识：信息是观察到的事物的知识香农：信息是对事物的运动状态或存在方式的不确定性的描述阿什比：将信息定义为“差异程度”维纳：将信息定义为“组织性”度量哲学家的讨论信息是所有材料的属性信息，而不是物质或能量，2020/6/15，10，信息，信号和信息，信息：语言，单词，公式，数据，声音，图像等。来源。每条信息都是具体的，其内容是千千的，形式多样。信号：代替信息并适合在信道中传输的电压、电流、电磁波和光波是连续的或脉冲的。信息、信号和信息：信息是信息的内涵，是信号的价值，信息是使信息

5、接收器知道并消除疑虑的东西。它应该是从千千不同形式和内容的信息中抽象出来的一个共同的、可量化的量。它应该有自己的单位和数学表达式。，2020/6/15，12，messages，signals and information，example 1:硬币投掷正负不确定性示例2:天气预报晴，多云，雨，雪，风：不确定性示例3:足球比赛结果的不确定性，messages，signals and information，signals是最具体的，它是一个物理量，可测量的，可显示的和可描述的，同时它是一个负载信息的物理信息，它是具体的和非物理的。它可以被描述为可以感觉到的单词、符号、数据和图片。同时，它是信息的

6、载体。它是信息论中的主要描述形式。信息是抽象的，非物理哲学层表达，物理层表达，数学层表达，2020/6/15，14。信息特征。信息的基本概念在于其不确定性。已经确定的东西都不包含信息。接收者在接收信息之前并不知道信息的内容，因此信息是新知识，而新内容信息是有用的知识信息，可以减少认知主体对某一事物的未知或不确定程度，从而使其产生或消失。同时，信息可以被携带、存储和处理。信息是可以测量的。信息量有多大差异？2020/6/15，15，信息的特征，信息的客观性和载体的不可分割性，信息的价值，信息的及时性，信息的可共享性，信息的可传递性，信息论的指导。李丽萍等主编，电子科技大学出版社，2008。202

7、0/6/15，16，信息的特征，信息的可再现性，信息的可再现性，信息的可存储性，积累信息的连续性，继承信息的可再现性和可开发性的增值，2020/6/15，17，信息的本质，本质1:普遍信息无处不在。自然2:无限在整个宇宙中，信息是无限的。性质3:相对性对于同一件事，不同的观察者可能获得不同的信息。性质4:传递信息可以在时间或空间上从一个点传递到另一个点。属性5:可转换信息是可转换的，可以通过不同的载体和不同的方法加载。2020/6/15，18，1.4通信系统模型简介，消息，信号，干扰，信号干扰，消息，2020/6/15，19，数字通信系统模型，加密密钥，解密密钥，2020/6/15，20，信源

8、，信宿和信道，信源：发送消息的离散信源和连续信源是信息论的主要研究对象之一，但信息论并不讨论信源的内部结构和物理机制，而是关注信源的输出，侧重于信息的目的地，即接收者或用户，是信息传输的目的地或目的地。信道：传输信息的物理介质，2020/6/15，21，信源编码器和解码器，信源编码器的功能是将信源发送的信息转换成由二进制符号(或多二进制符号)组成的代码组，即基带信号。同时，信源编码可以压缩信源的冗余度，提高通信系统中信息传输的效率。源解码器的功能是将信道解码器输出的代码组转换成接收器所需的消息形式。它的功能相当于源编码器的逆过程。母恢复，不读，2020/6/15，22，信道编码器和解码器的功能，信道编码器在源编码器输出代码组上有目的地添加一些监督符号，使其具有检测或纠正错误的能力。信道解码器具有检错或纠错功能。它可以检测或纠正错误检测或纠正范围内的错误传输符号，从而提高传输消息的可靠性。信道编码的主要功能是提高信息传输的可靠性，母病，不读，2020/6/15，23，三码合一，密码学研究内容是如何将信息内容隐藏在消息中，使其在传输过程中不被窃听，提高通