《信息论与编码基础》课件 1-信息的概念

FoundationofInformationTheoryandCoding第一章绪论第二章离散信源第三章离散信道第四章波形信源与波形信道第五章信源压缩基本理论第六章压缩编码方法第七章有噪信道编码定理第八章线性分组码的基本原理第九章循环码基本原理第十章卷积码基础课程计划教材§1绪论

“要有效地生活，就要有足够的信息”

——NorbertWinner

“如果把现代通信技术比喻成飞船，则晶体管是它的引擎，而信息论是它的方向盘”

——A.J.Viterbi

§1绪论Withoutmaterialsnothingexists.Withoutenergynothinghappens.Withoutinformationnothingmakessense. ——A.G.Oettinger§1绪论§1.1信息的定义§1.2信息测度基本概念§1.3信息论发展概况“欲传春信息，不怕雪埋藏”

——宋陈亮《梅花》“梦断美人沉信息，目穿长路依楼台”

——南唐李中《暮春怀故人》初识“信息”§1.1信息的定义中国《辞海》： 音讯、消息； 通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。通常通过处理和分析来提取。初识“信息”§1.1信息的定义

美国牛津英语词典：通过各种方式可以被传递、传播、传达、感受的，以声音、图像、文件所表征，并与某些特定事实、主题或事件相联系的消息、情报、知识都可统称为信息。初识“信息”

美国Webster’sNewCollegiateDictionary:由调查、研究和学习所得到的资料和知识；知识、学问和新闻；事实、情况和数据；表示数据的记号、信号和标识。§1.1信息的定义

一、统计信息的概念二、全信息概念简介§1.1信息的定义§1绪论1.信息不等同于情报2.信息不等同于知识3.信息不等同于消息4.信息不等同于信号§1.1信息的定义一、统计信息的概念1.信息不等同于情报2.信息不等同于知识“情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。”“知识是以实践为基础，通过抽象思维，对客观事物规律性的概括。”

新知识3.信息不等同于消息§1.1信息的定义

“我见到了一只白色的麻雀”一、统计信息的概念

信息与消息 （1）

用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就称为消息。

信息是事物运动状态或存在方式的不确定性的描述。（Shannon信息）§1.1信息的定义一、统计信息的概念一、统计信息的概念

信息与消息 （2）通信系统中传输的形式是消息；通信的实质是通过消息的传递，消除不确定性，获得信息。信息是抽象的传输主体消息是信息的载体§1.1信息的定义

相关认识：

“信息是人们在适应外部世界并将这种适应反作用于世界的过程中，同外部世界进行交换的内容的名称。接收信息和使用信息的过程，就是我们适应外部世界偶然性的过程。”

“信息就是信息，不是物质也不是能量”

——NobertWiener“变异度这一概念,即信息论中所讲的信息这一概念。”

——W·R·Ashby任何一个集合所包含元素数目的以2为底的对数就成为该集合的变异度。§1.1信息的定义一、统计信息的概念一、统计信息的概念1.信息不等同于情报2.信息不等同于知识3.信息不等同于消息4.信息不等同于信号§1.1信息的定义

把消息变换成适合信道传输的物理量，这种物理量就称为信号。信源发射机接收机信宿（信道）消息发送信号消息接收信号通信的目的：实现信息的保真传输。Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.§1.1信息的定义一、统计信息的概念

一、统计信息的概念二、全信息概念简介§1.1信息的定义

二、全信息概念简介

人们对客观世界运动规律和存在状态的认识结果。信息传递信息处理—再生信息传递信息获取信息施用外部世界问题/环境信息运动过程语义信息语法信息语用信息§1.1信息的定义

二、全信息概念简介语义信息：事物运动状态及方式的具体含义。

（semanticinformation）

语法信息：事物运动状态及变化方式的形式。（syntac