信息论讲义-第一章.ppt

信息理论基础,北京航空航天大学 201教研室 陈 杰,课程概况,班级：350225,26,27,61,81 学时：36学时 学分：2学分 时间：2007年9月10日2007年11月15日 教材：信息理论基础 周荫清 主编 北京航空航天大学出版社 考核方式： 作业 20% 考试 80% 奖励机制 ：计算机仿真实验加分 满分10分,信息理论同其他学科的关系,Information theory,内容安排,第一章 绪论 第二章 信息的统计度量 第三章 离散信源 第四章 离散信道 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第八章 网络信息论基础,参考书目,傅祖芸，信息论-基础理论与应用，2001 电子工业出版社 朱雪龙 ，应用信息论基础，2003年清华大学出版社 傅祖芸，信息理论与编码学习辅导及精选题解，2004年电子工业出版社 陈杰，徐华平，周荫清信息论习题集，2005年清华大学出版社,第一章 绪论,信息的概念 信息、消息与信号 通信系统模型,What is Information？,信息、消息与 信号的区别？,通信系统的 原理模型？,1.1 信息论,信息论(Information Theory) 是应用数理统计方法研究信息的传输、存储和处理的一门学科，主要研究可能性和存在性问题。 信息技术(Information Technology)主要研究如何实现、怎样实现的问题。 信息论从诞生至今已有50多年的历史，包括： 经典信息论(香农信息论) 工程信息论(一般信息论) 广义信息论(信息科学),信息论,1.1.1 经典信息论(香农信息论),亦称香农信息论、数学信息论、狭义信息论、近代信息论 创始人是美国数学家C.E.Shannon(香农)，1948年发表A Mathematical Theory of Communication奠定了经典信息论的基础 主要研究通信系统中的数学规律，主要内容,信源与信息量 信道与信道容量 信源与信道间统计匹配 信源与信道编码定理,1.1.2 工程信息论(一般信息论),工程信息论主要研究通信系统及系统设备中的最佳工作规律和最佳设计的一门科学。 主要应用于通信领域，主要内容,信源编码理论与方法 信道编码理论与方法 信号检测、估计理论与方法 保密学 通信网,1.1.3 广义信息论（信息科学）,70年代以后，随着VLSI和计算机技术的广泛应用，信息存储和处理能力不断提高，建立了更具一般性的广义信息论信息科学 主要内容：,经典信息论和工程信息论 模式识别 计算机翻译 神经网络 心理学与遗传学 语言学与语义学,1.2 信息的概念,信息是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。 信息概念十分广泛，由于信息科学比起其他学科（如物理学、化学、数学）还很年轻，人类对信息的认识还很不够。迄今为止，信息并没有形成一个很完整的、系统的概念。 不同的研究学派对信息的本质及其定义还没有形成统一的意见和认识。,1.2.1 通俗的信息概念,信息是一种消息。 这是一种最普遍的概念，是目前社会上最流行的概念，这个概念好像使人一听就明白，但不准确。确切地说，这种概念把消息认为是信息。 信息消息，同一条消息有不同信息量。 例如: 某人收到一条消息,包含许多原来不知道的新内容信息量大 包含许多原来已知道的旧内容信息量小,1.2.2 广义的信息概念,物质、能量和信息是构成客观世界三大要素，信息是物质和能量在空间和时间中分布的不均匀程度。 信息不是物质，信息是事物的表征，是对物质存在状态和运动形式的一般描述。 信息存在于任何事物之中，有物质的地方就有信息，信息充满物质世界。 信息本身看不见、摸不着，它必须依附于一定的物质形式（如文字、声波、电磁波等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为信息的载体。,1.2.3 概率信息概念,由美国数学家香农1948年提出，亦称香农信息或狭义信息。概率信息是从不确定性 (Uncertainty) 和概率测度出发定义信息的。 香农针对人类通信活动的特点，提出了 形式化假说 非决定论 不确定性,基于对通信活动基本功能的观察分析，“通信的基本问题是在信宿端精确或近似地复制发送端所挑选的消息。通常消息是有语义的，即它按某种关系与某些物质概念的实体联系着。通信中语义方面的问题与工程问题没有关系”,基于对通信活动对象和过程的分析研究，“信源发出的消息总是从可能发生的消息符号集合中随机选择，通信系统无法预先知道信源在什么时候会选择什么消息发送”，即具有通信意义的消息都是随机发生的随机事件,基于对通信活动的机制和本质的分析研究，“人类只有在两种情况下有通信的需求，1）自己有某种形式的消息要告诉对方，且估计对方不知道；2）自己有某种疑问需要对方给出解答” 经过通信活动后，消除了不确定性，获取了信息,在一定条件下必然发生 的现象称为确定性现象.,“太阳不会从西边升起”,1.确定性现象,“同性电荷必然互斥”,“水从高处流向低处”,实例,自然界所观察到的现象:,确定性现象,随机现象,1.2.4 讨论 :随机现象与信息,在一定条件下可能出现也可能不出现的现象,称为随机现象.,实例1 “在相同条件下掷一枚均匀的硬币,观 察正反两面出现的情况”.,2. 随机现象,“函数在间断点处不存在导数” 等.,结果有可能出现正面也可能出现反面.,确定性现象的特征,条件完全决定结果,1.2.4 讨论 :随机现象与信息,结果有可能为:,“1”, “2”, “3”, “4”, “5” 或 “6”.,实例3 “抛掷一枚骰子,观 察出现的点数”.,实例2 “用同一门炮向同 一目标发射同一种炮弹多 发 , 观察弹落点的情况”.,结果: “弹落点会各不相同”.,1.2.4 讨论 :随机现象与信息,实例4 “从一批含有正品和次品的产品中任意抽取一个产品”.,其结果可能为:,正品 、次品.,实例5 “过马路交叉口时, 可能遇上各种颜色的交通 指挥灯”.,1.2.4 讨论 :随机现象与信息,实例6 “出生的婴儿可 能是男,也可能是女”.,实例7 “明天的天气可 能是晴 , 也可能是多云 或雨”等都为随机现象.,随机现象的特征,概率论就是研究随机现象规律性的一 门数学学科.,条件不能完全决定结果,1.2.4 讨论 :随机现象与信息,2. 随机现象在一次观察中出现什么结果具有偶然性, 但在大量试验或观察中, 这种结果的出现具有一定的统计规律性 , 概率论就是研究随机现象这种本质规律的一门数学学科.,随机现象是通过随机试验来研究的.,问题 什么是随机试验?,如何来研究随机现象?,说明,1. 随机现象揭示了条件和结果之间的非确定性联系 , 其数量关系无法用函数加以描述.,1. 可以在相同的条件下重复地进行;,2. 每次试验的可能结果不止一个,并且能事 先明确试验的所有可能结果;,3. 进行一次试验之前不能确定哪一个结果 会出现.,在概率论中,把具有以下三个特征的试验称 为随机试验.,定义,1.2.5 讨论 :随机试验与信息,说明,1. 随机试验简称为试验, 是一个广泛的术语.它包括各种各样的科学实验, 也包括对客观事物进行的 “调查”、“观察”、或 “测量” 等.,实例 “抛掷一枚硬币,观 察字面,花面出现的情况”.,分析,2. 随机试验通常用 E 来表示.,(1) 试验可以在相同的条件下重复地进行;,1.2.5 讨论 :随机试验与信息,1.“抛掷一枚骰子,观察出现的点数”.,2.“从一批产品中,依次任选三件,记录出现正品与次品的件数”.,同理可知下列试验都为随机试验,(2) 试验的所有可能结果:,字面、花面;,(3) 进行一次试验之前能 确定哪一个结果会出现.,故为随机试验.,1.2.5 讨论 :随机试验与信息,3. 记录某公共汽车站 某日上午某时刻的等 车人 数.,4. 考察某地区 10 月份的平均气温.,5. 从一批灯泡中任取一只,测试其寿命.,1.2.5 讨论 :随机试验与信息,随机现象的特征:,1. 概率论是研究随机现象规律性的一门数学学科.,条件不能完全决定结果.,2. 随机现象是通过随机试验来研究的.,(1) 可以在相同的条件下重复地进行;,(2) 每次试验的可能结果不止一个, 并且能事 先明确试验的所有可能结果;,(3) 进行一次试验之前不能确定哪一个结果会 出现.,随 机 试 验,1.2.5 讨论 :随机试验与信息,1.3 信息、消息与信号,信息： 比较抽象的概念；是系统中传输的对象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同形式，例如语言、文字、符号、图像等能够被人感知；可以传输并被通信双方理解；同一消息含有不同信息；同一信息可用不同消息载荷。 信号：最具体，是消息的载荷者；是表示消息的物理量，可测量、可显示、可描述，是信息的物理表达层。,例1.3.1 心音信号,例1.3.2 脉搏信号,例1.3.3 脑电波信号,例1.3.4 语音信号,部分元音的时域波形与语谱图,二十世纪70年代初期，SAR技术由机载应用开始过渡到空间飞行器上，并取得突破性进展 1972年12月美国发射的“阿波罗17号”登月飞船首次将SAR载入空间 这部SAR被称为 “阿波罗月球探测器”( Apollo Lunar Sounder Experiment，ALSE) ALSE是人类历史上第一部以航天器为平台的SAR有效载荷，并成功地应用于月球表面及其表面以下特征的观测,例1.3.5 VHF波段-Apollo-17/ALSE,VHF雷达天线,例1.3.5 VHF波段- MARS Express,例1.3.6 S波段-Clementine月球探测器,例1.3.7 美国Magellan金星探测器,1989年美国用亚特兰蒂斯号航天飞机发射，1990年8月10日抵达金星 合成孔径雷达(SAR)成像装置能够获取到17至28公里宽的条带图像 1994年10月11日，麦哲伦号飞船按照预定计划进入金星大气层，结束了长达4年的观测任务 它所取得的主要科学成果包括： 获取了金星表面98%区域的雷达图像，其分辨率达到每线1km的光学成像水平； 获得了几乎覆盖金星全球表面的地形高程数据，空间分辨率为50km，高程分辨率达100m；,金星上直径280km的陨石坑,金星上的火山(高度1.5km),例1.3.7 美国Magellan金星探测器,例1.3.8 航天飞机雷达测图任务SRTM (Shuttle Radar Topography Mission),2000年美国的SRTM首次成功地利用航天飞机上搭载的两部雷达天线实现了单程SAR干涉测量 SRTM采用收发分置的工作模式，利用天线吊臂生成60米长的空间基线实现干涉测量 航天飞机经过10天左右的飞行， 获取到覆盖地球80%陆地表面的干涉SAR数据，需要2年时间处理完全部数据 提供80%地球陆地表面DEM数据，测量精度达16米,航天飞机执行SRTM任务时的飞行姿态,干涉SAR处理得到的干涉条纹，可生成 高精度的数字高程数据（DEM）,例1.3.8 SAR图像Etna火山三维地形,例1.3.8 SRTM 天线展开演示,例1.3.8 SRTM 观测华盛顿地区演示,例1.3.8 SRTM成像效果图 -美国洛杉矶地区,例1.3.9 THz太赫兹技术应用,例1.3.9 THz太赫兹技术应用,IKONOS是当今世界上最先进的商用光学成像卫星之一 1999年9月24日发射 成像幅宽11km 场景范围11km1000km 空间分辨力达1米，具有很高的军事应用价值 IKONOS在科索沃战争、9.11事件和阿富汗反恐战争中，均发挥了重要作用,例1.3.10 IKONOS光学卫星,例1.3.10 IKONOS观测伊朗,美国侦察卫星拍摄的伊朗核工厂照片，右图为一个核设施的细节放大图,例1.3.10 伊朗核设施卫星图片,例1.3.10 阿富汗基地组织营地,阿富汗基地组织达仑塔营地：一支步行前进的军队,2000年12月28日 被袭击之前的五角大楼,例1.3.10 “9.11”前后五角大楼,2000年1月30日 世贸大厦姊妹塔 被毁前的卫星图片,2001年9月15日 11:43am，世贸废墟升起的浓烟,2001年9月15日 11:54am 已成为废墟的世贸大厦,例1.3.10 “9.11”前后世贸大厦,例1.3.10 香港,例1.3.10 上海,例1.3.11北京故宫,例1.3.11 数字地球-3D Cruise,例1.3.12 TM数据富士山,例1.3.12 TM数据朝鲜半岛与日本,影像终端端元提取和混合像元分类方法,例1.3.13 信息处理- 多光谱与高光谱数据处理技术,目标识别,目标材质分析,例1.3.13 信息处理- 多光谱与高光谱数据处理技术,植被伪装坦克,非植被伪装坦克,BandMax 工具处理结果,BandMax 工具特别适用于 与背景十分相近的目标物的识别 目标物被部分隐藏 目标物过于微小，甚至小至只有一个像元,此工具被成功应用于 识别位于植被伪装物之下的军事车辆、如坦克等 识别毒品种植区 寻找