信息以及自信息

1、关于信息及自信息第1页，共18页，2022年，5月20日，8点39分，星期四一、认识信息第2页，共18页，2022年，5月20日，8点39分，星期四一、认识信息第3页，共18页，2022年，5月20日，8点39分，星期四消息就是信息吗？ 用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。 消息中包含信息，是信息的载体。一、认识信息第4页，共18页，2022年，5月20日，8点39分，星期四 香农在1948年发表的通信的数学理论中对信息做了科学的定义： 信息是事物运动状态或存在方式的不确定性的描述。 香农信息论的奠基

2、人。 通信的数学理论信息论 的理论基础。 二、信息的定义第5页，共18页，2022年，5月20日，8点39分，星期四消息传递过程有何特点？对于收信者来说：不知知知之甚少知之甚多不确定部分确定或全部确定信源信道信宿消息（发送者）（接收者）噪声 通信系统形式上传输的是消息，实质上传输的是信息。二、信息的定义第6页，共18页，2022年，5月20日，8点39分，星期四 通信的结果是消除或部分消除不确定性从而获得信息。 作为消息的发送者，信源输出一则消息携带多少信息量?如何计算?二、信息的定义第7页，共18页，2022年，5月20日，8点39分，星期四 研究对象：单符号离散信源 数学模型：三、自信息第

3、8页，共18页，2022年，5月20日，8点39分，星期四 信息量，在数量上等于通信前后不确定性的消除。 例1：二元信源发送0和1概率不同时，不 确定性大小不同。 例2：掷一个质地均匀的骰子，不确定性 较大。 例3：信源只发送一种消息，不确定性为 零。三、自信息第9页，共18页，2022年，5月20日，8点39分，星期四收到某消息获得的信息量 = 不确定性减少的量 = （收到此信息前关于某事件发生的不确定性） （收到此信息后关于某事件发生的不确定性） = 信源输出的某消息中所含有的信息量 （无噪情况下，后项为0）三、自信息第10页，共18页，2022年，5月20日，8点39分，星期四 某事件发

4、生所含有的信息量应该是该事件发生的先验概率的函数 事件 发生的先验概率； 事件 发生所含有的信息量， 称为 的自信息量。三、自信息第11页，共18页，2022年，5月20日，8点39分，星期四 根据客观事实和人们的习惯， 应满足 (1) 应是先验概率 的单调递减函数，即当 时 (2)当 时， ； (3)当 时， ； (4)两个独立事件的联合信息量应等于它们分别的信息 量之和，即统计独立信源的信息量等于它们分别的 信息量之和。三、自信息第12页，共18页，2022年，5月20日，8点39分，星期四 因此，可从数学上证明这种函数形式是对数形式，即 代表两种含义：当事件 发生以前，表示事件 发生的不

5、确定性；当事件 发生以后表示事件 所含有（或所提供）的信息量。三、自信息第13页，共18页，2022年，5月20日，8点39分，星期四自信息单位：取决于对数所选取的底。三、自信息第14页，共18页，2022年，5月20日，8点39分，星期四例：假设一次掷两个各自均匀、互相不可区分又互 不相关的骰子。如事件A、B、C分别表示：A仅 有一个骰子是1；B至少有一个骰子是4；C骰子 上点数的总和是偶数。试计算事件A、B、C发 生后所提供的信息量。1比特信息量就是两个互不相容的等概事件之一发生时所提供的信息量。三、自信息第15页，共18页，2022年，5月20日，8点39分，星期四 1. 信息 信息是事物运动状态或存在方式的不 确定性的描述。 2. 自信息四、小结第16页，共18页，2022年，5月20日，8点39分，星期四思考题： 信源整体平均携带多少信息量?如何测量？作业题：