信息论与编码新题课件_第1页
信息论与编码新题课件_第2页
信息论与编码新题课件_第3页
信息论与编码新题课件_第4页
信息论与编码新题课件_第5页
已阅读5页,还剩33页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

要点:

第一章:信息科学技术概论信息的概念信息科学技术概述信息论概述1

§1.1信息的概念

内容:1.1.1信息的定义1.1.2信息的特征与性质2信息是一个十分通俗而广泛的名词,抽象和复杂。不同的学科领域对其有不同的定义和解释。3维纳(Wiener):美国数学家、控制论奠基人

《控制论:动物与机器中的通信与控制问题》1948

“信息就是信息,不是物质,也不是能量”

利用排他法告诉人们:信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示,是把信息、物质和能量”放在同样地位上的最早科学论断。香农(Shannan):美国学者、信息论创始人在《贝尔系统技术》杂志“通信的数学理论”1948

把信息与信息的度量作为事物的“不肯定性”与“不肯定性”的度量。

以概率为工具,阐述了通信工程的基本理论问题,给出了计算信源信息量和信道容量的方法,得到了表征信息传递重要关系的编码定理。5布里渊(Brillouin):法裔美国科学家名著《科学与信息论》

信息就是负熵(Negentropy)

维纳在《控制论与社会》1950,正如熵是无组织程度的度量一样,消息集合所包含的信息就是组织程度的度量,事实上完全可以将消息包含的信息解释为负熵。M.Tribes等《科学的美国人》“能量与信息”1971

信息是使概率分布发生变动的东西概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示,即对这个问题种种想得出的答案各分配一定的概率;如果对这个答案完全了解,对其中一个赋予1,其他为0.6艾什比(Ashiby):英国生物学家,控制论奠基人

《控制论导引》引入“变异度”的概念

信息定义为变异度

任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度;将变异度当作信息的概念来使用(1956)。变异度实际是均匀概率分布条件下的香农熵。事实上,半个多世纪以来,科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。

7没有任何约束条件的层次是最高层次,最普遍适用的层次,称为本体论层次。引入一个约束条件,最高层次的定义退变为次高层次的定义,适用范围比最高层次定义的范围窄;若引入的约束条件具有主体(人、生物和机器)存在,并且从主体的立场出发来定义信息,本体论层次信息定义就转化为认识论层次信息定义。引入的约束条件越多,层次越低,适用范围越窄。9本体论层次的信息定义:是事物的运动状态极其变化方式的自我表述。认识论层次的信息定义:指主体所感知(或所表述)的关于该事物的运动状态极其变化方式,包括这种状态或方式的形式、含义和效用。在这个体系下,各种有关信息的定义在不同层次上找到位置。101.1.2信息的特征与性质1、特征1)信息来源于物质,又不是物质本身,它从物质的运动中产生出来,又可以脱离源物质而寄生于其它物质(媒体),相对独立的存在。2)信息也来源于精神世界,但是又不限于精神世界。3)信息与能量息息相关,但又与能量有质的区别。4)信息可以被提炼成知识,但信息本身不等于知识。5)信息是具体的,可以被主体(人,生物和机器)所感知、提取和识别,可以被传递、存储、变换、处理、显示、检索和利用。6)信息可以被复制,可以被共享。117)动态性:信息具有动态性质,一切活的信息都随时间而变化,因此,信息也是有时效、有“寿命”的。8)转化性:从潜在的意义上讲,信息可以转化。在一定条件下,可以转化为物质、能量和时间等。133、信息的功能

信息可以通过一定的算法被加工成知识,并针对给定的目标被激活成为求解问题的智能策略,进而按照策略求解实际的问题。这是信息最核心最本质的功能。信息—知识—智能(策略)是人类智慧的生长链,或称智慧链。14§1.2信息科学技术概述

内容:1.2.1信息科学1.2.2信息技术1.2.3信息产业152、信息科学的研究内容研究内容——信息的运动过程及其运动规律。信息全过程模型(信息科学研究内容)人类通过信息器官认识世界和改造世界的信息模型。

171)信息获取信息的感知和表示2)信息传递信息的发送、传输和接收,即通信(或存储)过程。3)信息处理对信息进行加工和处理,从中提取相关的知识。即认知过程。4)信息再生利用已有信息产生新信息的过程。求解问题的策略?即决策过程5)信息施效(应用)信息最终发挥效用的过程。通过调节对象的运动状态及其变化方式,使其处于预期的运动状态。即控制。183、信息科学的研究目的扩展人类的信息功能,其有机整体就是智力功能。

随着信息科学研究的不断深入,主体(人和生物)在信息获取、信息传递、信息处理、信息再生和信息施效等各种功能的内在机制将逐步被阐明。逐渐找到越来越有效的方法在机器上模拟或者浮现主体信息功能的机制,甚至在某些方面改进这些机制的工作性能。大量高级智能信息系统的问世,以它们的优异性能来补充、增强和扩展人的各种天然信息功能,这些功能的综合——智力功能。

191.2.3信息产业

信息技术所产生的各种产品的生产、销售和售后服务,以及对这些产品的使用服务等。21§1.3信息论概述内容:1.3.1信息论基本内容1.3.2信息论的特点1.3.3信息论产生与发展1.3.4香农简介与学术风格22信息论一般是指香农信息论或经典信息论,研究的基本问题是信源、信道及编码问题。是信息科学产生的基础与起点。1948年Bell实验室香农:通信的数学理论(MathematicalTheoryofCommunication)

用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可靠性的编码原理。香农信息论研究通信系统中信息的传输和处理问题,主要是针对通信系统(信息的传递过程)。“信息论”不等于“信息科学”1.3.1信息论基本内容231.3.3信息论的产生与发展

香农信息论的创立主要是由于香农的杰出的贡献,但也与当时的技术发展背景和前人的工作密不可分。

主要通信技术与手段:电报(Morse,1830’s)电话(Bell,1876)AM无线电(1900’s早期)单边带调制(Carson,1922)电视(1925-1927)电传(1931)调频(Armstrong,1936)脉冲调制(Reeves,1937-9)声码器(Dudley,1939)扩频(1940’s)251、信息论的确立期

为了提高通信的质量和效率,机电技术和数学两方面:机电技术:改进通信的物理手段与条件,如有线无线通信的采用,收发设备的改进,波段选择和信噪比等。数学方面:数学描述的重要性,信息论的基本问题开始形成,一些重要的通信原则开始确定。1948--20世纪60年代:

香农主要贡献为:

26特点:对香农理论的研究与说明。292、信息论的发展20世纪70年代—80年代:理论发展期率失真理论:失真的数据压缩理论。解决了在一定允许误差条件下的最小信号体积问题。主要标志是T.Berger的专著《RateDistortionTheory》问世。已成为数据压缩技术的理论基础。多用户信息论:多用户信源信道模型及编码定理证明,其发展是现在的网络信息论。3020世纪90年代前后:理论的成功应用和多学科结合。无失真信源编码

Huffman码算术编码LZW(Lempel-Ziv-Welch)码YK(Yang-Kieffer)码31有失真信源压缩编码

有失真信源压缩编码理论是原理到技术、产品与市场紧密结合的成功范例,是现代多媒体技术的基础与支柱。

技术标准:

JPEG(JointPhotographicExpertsGroup)

静态图像有损压缩标准

JPEG2000静态图像有损压缩标准

MPEG-1,-2,-4动态图像与音频压缩标准32调制解调码

在一定通信质量要求下,如何提高通信速度?

G.Ungerbock等(1982):利用格子码和软判决理论,针对高斯(Gaussian)信道,给出了调制解调码的结构与编译码算法。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论