系统科学信息学

1、信息学 姓名姓名: :夏德友夏德友 学号学号:S:S150602005 学院学院: :理学院理学院 专业专业: :系统科学系统科学 目录 系统科学 技术的新 划分 什么是信 息 信息量 信息 熵 通信系 统 噪声 系统技术科学的新划分 一.控制学:主要是讲系统成员关系的人为调控以达到 系统整体运行的优化。 二.运筹学:在一定外部规范及信息条件下，使系统取 得最佳运行的学问。 三.信息学:研究系统成员之间的信息网络建立与优化。 四.事理学:专门研究系统内部各种运行的条件和法律、 法规，目的是使系统运行优化。 信息学产生的起源以及研究的核心问题: 最早对信息问题作系统的理论阐述是申农的奠基性著作通

2、信的的数 学理论，其核心问题是信息的传递，为了传递信息而需要对信息进行编 码、译码，以及对付噪声。而在系统科学中讨论信息，重要问题除了信息 的传递，还有信息的产生和积累、信息的处理、信息的存取、信息的反馈 和控制、无用信息的消除等。 四个部分： 什么是信息？ 信息是人类生存发展须臾不可或缺的东西。有人 类的活动，就有信息的获取、传递和利用。反应在认 识中，形成相应的概念和术语。随着社会的发展，人 们发现信息作为一个科学概念，含义广泛，需要从不 同学科层次和角度加以考察。对信息可以作技术的考 察，自然科学的考察，或社会科学的考察，或系统科 学的考察，或哲学的考察。但除了通信科学，其他方 面的信息

3、概述至今尚无统一的定义。 按通信科学要 求给信息下定义，首先要弄清信息与消息的定义: 消息消息 信息信息 定义 由语言、文字、数 字等组成的符号序 列 符号序列中包含的 内容 1.任何一个文字或符号序列都是一个消息，但同样长的符 号序列包含的信息可以不同，并且有意义的符号序列才包 含信息。 2.一条消息是否包含信息与消息的接受者的知识状况有 关。即得到一条无法理解的消息的接受者并未得到信息。 信息是对消息接受者来说是预先不知道的情报即不确定性。 消息与信息的关系: 通信与信息的关系: 1.通信是将信息从发送处传输到接受处的过程。只有当发 信者的状态或行为有多种可能情形，才会产生对通信的需 求。

4、 2.通信的前提是存在不确定性，通信的目的和功能是消除 不确定性。 3.消息中包含的信息具有能够消除收信者的不确定性、增 加其确定性的意义和作用。 4.信息是通信中消除了不确定性，通信中增加了确定性。 从通信工程的角度看，所要消除的不确定性主要是 消息发生的偶然性，随机性。申农信息是一种统计 信息或者是概率信息。 基于通信后的不确定性的情形，申农把信息定义 为两次不确定性之差，即为: 信息=（通信前的不确定性）-（通信后的不确定性） 信息量 信息量是一种抽象量，不能像长度、速度、能量那样用 物理方法实际测量。申农从通信的角度把信息的意义和效用 等因素撇开，仅仅考察统计不确定性，给予信息量以严格

5、的 定义。信息被理解为消除了不确定性，对信息的度量的就归 结为对通信中消除了的不确定性的度量。 我们用一个函数形式来表示信息量: 用一个表表示概率 与信息量I的关系 从表中我们可以看出信息量的一个基本特征:消息的包含量是由消 息发生概率决定的，概率小则信息量大，概率大则信息量小。 ( ) 1If p p p大大小小 I小大 一般地，若A和B为两个相互独立的消息，C代 表A和B同时发生的合成消息，即C=AB，则 从上式我们可以看出，信息量的另一个特征，具有 可加性。 结合（1）和（2）两式，得到以下精确的定义： 以概率P发生的可能消息A所包含的信息量 是 概率P的倒数的对数 例：投掷硬币，消息A

6、代表麦徽朝下，发生的概率 为P(A)=0.5，由公式(3)可知 比特 2I ABI AI B I A 2 log3I Ap 2 log 2 1I A 在实际通信中，某个消息传送到接收端后可能仍 然是随机事件，没有完全消除不确定性。按照申农把 信息定义，实际传送的信息量为： （4） 分别表示先验概率和后验概率。 该式表明，当后验概率为1时，表示传递过程中无信 息损失，先验不确定全部消除。后验概率与先验概率 相等时，表示信息在全部过程中全部损失，没有消除 任何不确定性。一般情况下，处于二者之间，只有部 分不确定性被消除。 对于消息A和消息B同时发生所构成的联合消息AB， 包含的信息量为 （5） 2

7、 1 lo g p I p 12 ,p p log()I ABABI AI B 上式表明，联合消息的信息量不大于各个消息的 信息量之和。而在同一通信过程中，一个消息的发生 可能对另一个消息的发生有影响，需要条件信息概念 刻画。 在给定消息B的条件下消息A发生所携带的信息量 称为条件信息，记作 （6） 其中 为条件概率。 |log|I ABp AB |P A B 信息熵 通信过程中发送端发送的消息序列，按数学特 性分为两类。一类是离散消息序列，另一类是连续 的消息序列，而离散序列易于处理。我们对离散情 形做些讨论。 设发送端的可能消息集合为 (7) 各个消息分别按概率 发生，并满足归一 性条件

8、(8) 12 , , n Xx xx 12 , n P PP 12 1 n P PP 按一定的概率从集合(8)中随机的选择消息发送，形成一 个消息序列。设序列中包含的消息的总数为N，N非常大。 在统计意义上，该序列中包含的消息 的数目为 个， 所有 包含的信息量为 。将序列中所有消 息包含的信息量之和除以N，得到序列中每个可能信息 的平均信息量为 (9) 信息学把(9)式称为信息熵。信息熵的特性如下： (1)非负性 (10) (2)对称性 消息集合(7)的熵H只与概率分布 (11) i x i P N i xlog ii p Np 1122 1 loglogloglog n nnii i Hp

9、ppppppp 0H 12 , n P PP 3)极值性 对于一定的n，熵函数在等概率分布下取最大 值，即 (12) (4)任意两个集合X，Y，则有 (13) 为联合熵。(13)式是(2)式的推广，表明两个消息 集合的联合熵不大于这两个消息集合只熵的和，式中等号 当且仅当X与Y为相互独立的消息集合时成立。 12max , nn Hp ppH ()( )H XYH XH Y ()H XY 通信系统 不同的通信系统在构成上千差万别，但撇开组分的具体特性可以 发现，一切通信系统都有如下共同结构: 信源 编码信道 噪声 译码 信宿 (1)信源与信宿 信源即信息的来源和源泉，可以 是人、生物、机器、社会

10、组织、或其他物体。发 出离散信号的信源，称为离散信源。发出连续信 号的信源，称为连续信源。而信息学关心的是信 源的信息结构和数量特征。我们主要讨论离散信 源。信息结构由两个要素组成。一个要素是信源 的可能消息集合 (14) 其中，每个可能消息都是一个随机事件。另外一 个要素还是可能消息的概率分布 (15) 12 , n Aa aa 12 , n Pp pp 为可能消息 的发生概率，满足归一条件(8)。给定信 息结构，就可以计算信源的各种数量特征。 信源的数量特征首先是它的熵。信息源的熵按照(9)计算， 最大熵按 (16) 熵 与最大熵 的比值 ，称为相对熵。显然有 (17) 相对熵可以看作可能

11、消息集合概率分布均匀性的某种度量， 是信源的重要数量特征之一。概率分布愈均匀， 越接近 相对熵愈大。完全均匀的等概率分布对应于最大的相对熵 i p i a max (1,1,1)logHHnnnn H m H m H H 01 m H H H m H 1 m H H 概率分布愈不均匀，相对熵愈小。概率分布最不均匀的信源，其 相对熵为0。 相对熵与1的差值，称为可能消息集合的剩余度，记作 即 (18) 显然有 剩余度是信息学的重要概念，刻画信源特征的指标之一。 剩余度大的可能消息集合发送的消息序列中无益成分大，通信效 率差。但剩余度对于通信并非都是消极因素。在通信技术中，常 常利用剩余度来提高通

12、信的可靠性，即有剩余通信。 以上介绍的熵H，最大熵 ，相对熵 ，剩余度 ，都是 统计量，刻画的是信源的统计特性。 1 m mm HHH HH 01 m H m H H (2)信道 传送信息的通道，即载荷着信息的信号借以通行的物 理设施或介质场，称为信道。信道是连接信源与信宿的主要中介 环节。不同物理性质的信号，需要不同物理性质的信道来传送。 信道的性能指标之一是通信速度，记作 ，定义为 (19) C称为信道容量，是衡量信道性能优势的主要指标。 R R H R R max i P CR （3）编译与译码 信源与信道，信道与信宿，都不能直接耦 合，必须有中介环节。把信源与信道耦合起来的中介环节叫

13、做编码器，把信道与信宿耦合起来的中介环节叫做译码器。 编码和译码是一切通讯过程必须的操作手续。编码是对信源 发送的消息进行变换，译码是对信道传送给信宿的消息进行 变换，即编码变换的逆变换。从通信工程讲，编码与译码是 两种互逆的操作。以P记编码， 记译码， 记待编码的消息， 记编码后的消息，则编码变换可表示为 译码变换可表示为 1 P u / u / uPu 1/ uP u 噪声 通信系统中除开预定要传送的信号之外的一切其他信号，统称为 噪声。电话中的嘶嘶音响，电视中的图像脉动、雪花干扰，书报中 的错误，都是噪声。噪声对通信产生许多不利影响，或掩饰信息， 或以假乱真，或使信息畸变，导致通信错误，

14、损失信息量，严重时 可能使通信完全失效。而在真实的通信系统中，必然存在噪声，不 可能完全避开它。人类只能在噪声中通信，在与噪声作斗争中通信。 基于这点，信息学把噪声源作为通信系统模型中的一个必要环节， 把对噪声特性的描术、寻找同噪声作斗争的有效手段，作为信息学 的重要的内容。 存在不同类型的噪声。就源来看，从系统外部混入系统的无用信 号，称为外噪声；由系统内部元件性能参数的无规变化等因素产生 的有害信号，称为内噪声。外噪声可以设法避免或消弱，而内噪声 在原则上不可能消除。从通信工程看，一切噪声都是随机信号，具 有统计特性，需要用概率统计方法处理。 从系统科学观点看，同噪声作斗争有两个基本方面。一方面是 提高通信的可靠性，减少信道传送信号中的噪声。另一方面是从信 道 输出的、混杂有噪声的信号中滤掉噪声，把掩埋在噪声中的有用信号 检测出来。 在信息学的早期，噪声被视为有百害而无一利的因素。随着信息 学的发展，人们逐渐发现噪声有时也有可以利用的方