信息论与编码-第1章PPT课件.ppt

信息论与编码 information theory and coding 哈尔滨理工大学 电子信息工程专业 杨广学 2010年7月 课程简介 l培养方案：与电路、电子技术、信号与系统、数字信 号处理、通信原理与系统以及单片机原理及应用等课 程同属于必修的学科基础课 l本课程特点：本身理论性很强；涉及线性代数、概率 论与随机过程、抽象代数（近世代数）等数学理论 l学习方法：课堂-多媒体教学，课后-多看书、写阅读笔 记、多做练习 l考核的方式及成绩的评定 ：平时成绩30%（作业30% 、实验成绩30%、上课出勤40% ）、期末成绩70% l教材：曹雪虹 张宗橙编信息论与编码（第2版）， 清华大学出版社，2009年版 教学参考书 1、傅祖芸编著信息论基础理论与应用 电子工业出版社2001年版 2、余成波主编信息论与编码重庆大学出版 社2002年版 3、ranjan bose “information theory, coding and cryptography”机械工业出版社2003年影 印版 第1章 绪论 1.1 信息论的形成与发展 1.2 通信系统的模型 有关“信息”的一些基本概念（1） l信息时代（information age）德国社会学家r.布 吉顿斯坦对信息时代的定义是：“人们花费在个人交 往和信息交流的时间大大超出了消耗在工业产品生产 上的时间” l信息技术（information technology，it）凡是能 够用来扩展人的信息功能的技术都是信息技术；有关 数据与信息的应用技术。其内容包括：数据与信息的 采集、表示、处理、安全、传输、交换、显现、管理 、组织、存储、检索等 有关“信息”的一些基本概念（2） l信息科学（information science）对获取信息并对 其进行传输、交换、处理、检测、识别、存储、显示 等操作的科学研究 l信息论（理论）（information theory）是应用近 代概率统计方法来研究信息传输、交换、存储和处理 的一门学科。是源于通信实践发展起来的一门应用学 科 有关“信息”的一些基本概念（3） l信息（information)信息一词来源于人们的 通信实践活动，在日常生活中，信息是指“消息”、“情 况”、“知识”、“情报”等等 l信息是一个十分抽象而又复杂的概念。至今为止，尚 无一个能被普遍认可的定义。因为“信息”是一个非常 高层次的概念 l目前比较被人们认同的定义：认识主体（人，生物和 机器）所感知的或所描述的相应事务的运动状态及其 变化方式 有关“信息”的一些基本概念（4） l1928年，美国数学家hartley在bstj上发表论文“信息 传输”，文中把信息理解为选择通信符号的方式，并 用选择的自由度来计量信息的大小 l1948年，美国数学家shanoon在bstj上发表论文“通 信的数学理论”，深刻阐述了通信工程中一系列基本 理论问题，但没有给出信息的确切定义 l1950年，美国数学家、控制论的主要奠基人winner 在出版的控制论与社会中认为：信息是人与外界 相互作用的过程中所的内容的名称。这一定义未得到 人们的认可。后来winner自己认识到：“信息既不是 物质又不是能量，信息就是信息” 有关“信息”的一些基本概念（4） l信息的特征 信息来源于物质，但又不是物质本身，它从物质的运动中产生出来， 又可以脱离源物质而相对独立地存在 信息来源于精神世界，但又不限于精神领域 信息与能量息息相关，但又与能量有本质的区别 信息具有知识的本质，但比知识的内涵更广泛 信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传 递、存储、变换、处理、显示、检索和利用 信息可以被众多主体所共享 信息可以产生，也可以消失 信息是可以度量的，信息量有多少的差别 1.1 信息论的形成与发展 l信息论的发展过程 1924年，h. nyquist， 信息率与带宽联系 1928年，r.v. hartley, 引入非统计信息量 1936年，e.h. armstrong， 带宽与抗干扰能力 1936年，h. dudley, 发明声码机 40年代初，n. wiener, “控制论” 1948年， “信息论”发展史的里程碑 c.e.shannon, “ a mathematical theory of communication ”, bell system tech., j, vol.27, pp 379-423, july 1948 50年代开始，ire成立信息论组，出版信息论汇刊 1.1 信息论的形成与发展 l信息论的形成与发展 1959年，shannon, 信源压缩编码理论，“coding theorem for a discrete source with a fidelity criterion” 1961年，shannon, “双路通信信道”，多用户理论 1972年，cover, 广播信道 1.1 信息论的形成和发展 l三大定理 无失真信源编码定理（shanoon第一极限定理） 信道编码定理（ shanoon第二极限定理） 限失真信源编定理（ shanoon第三极限定理） lshannon信息论：在噪声环境下，可靠地、安全地 、有效地传送信息理论 -狭义信息论 1.1 信息论的形成和发展 l信息与消息、信号比较 消息是信息的数学载体、信号是信息的 物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 1.1 信息论的形成和发展 l信息、消息、信号 信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体 信息的 物理层表达 消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它也是信息 的载荷体。是信息论中主要描述形式 信息是抽象的、非物理的，是哲学层表达。 1.2 通信系统的模型 信道编码 信源编码 保密译码 信道译码 信源译码 保密编码 噪声 信道 信源 信宿 通信系统模型方框图 l本质信息的传输系统 l目的把接收方不知道的信息及时、完整、安全、可靠、经济地 传送给指定的接收方 1.2 通信系统的模型 l信源发出载有信息的“消息”的源（可 以是人、生物、机器或其他事物，是事物 各种运动状态或存在状态的集合） l信宿载有信息的“消息”的接收端（消 息传送的对象） 1.2 通信系统的模型 l编码器信源编码器、信道编码器、保密编码器 l信源编码对信源输出的消息进行变换和处理 目的提高信息传输的有效性 l保密编码目的是保证信息的安全性 l信道编码对消息进行的变换和处理 目的提高信息传输的可靠性 1.2 通信系统的模型 l信道信号从甲地传输到乙地的通道 l狭义信道信号的传输媒质(介)。例 明线、电缆、 波导、光纤、无线电波空间等 l广义信道除狭义信道外，还包括通信系统某些部 分 l信道噪声通信系统各处干扰、噪声的集中等效体 现 1.2 通信系统的模型 l译码器编码器功能之反 l也分成信源译码器、信道译码器、保密译码器三种 l说明 l对实际通信系统，还应包括换能、调制、发射等各 种变换处理 l上述模型只针对一对一单向通信系统。还有一对多 单向系统（广播），一对一双向系统（电话），多对 多双向系统（会议电视）等 信息论研究对象及内容 l信息论的研究对象是消息传输系统。由于消息中包含着信息，所 以消息传输系统也是信息传输系统，简称通信系统。人们通过消 息的传输和处理过程来研究信息传输和处理过程中的共同规律。 l研究一个概括性很强的通信系统，其目的就是要找到信息传输过 程的共同规律。一旦总结出这种共同规律，就可以用来指导具体 通信系统的设计，使设计出来的各种通信系统具有更高的可靠性 和有效性。 l所谓可靠性高，就是要使信源发出的消息经过信道