第一章的补充.doc

信息的概念1、 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信息：信息是指各个事物运动的状态及状态变化的方式。信息是抽象的意识或知识，它是看不见、摸不到的。 消息是信息的载体，它具有不同的形式：语言、文字、符号、数据、图片等。消息是具体的，它载荷信息，但它不是物理性的。 信号是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号等。 三者关系：信息是信号和消息的更高表达层次。三个层次中，信号最具体、信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。信息可以认为是信号、消息的内涵，即消息具体载荷的内容、信号描述的含义。而信号、消息则是抽象信息的外延。同一信息，可以采用不同的消息形式（如文字、语言、图像）来载荷，而一则消息也可载荷不同的信息；同一信息，也可以采用不同的信号来表示，而同一信号也可表示不同的信息。2、信息重要性质：存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可共享性；时效性。3、香农信息概率信息（统计信息）：信息是事物运动状态或存在方式的不确定性描述。香农信息认为在通信系统中形式上传送的是消息，但实质上传送的是信息。信息论1、是专门研究信息的有效处理和可靠传输的一般规律的学科，主要研究的问题： 信源的描述，信息的定量度量、分析与计算;信道的描述，信息传输的定量度量、分析与计算;信源、信道与通信系统之间的统计匹配，以及通信系统的优化Shannon的三个编码定理。2、 研究对象：为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的那一部分抽取出来，概括成一个统一的理论基础，通常称它为通信系统模型。信息论研究的对象正是这种统一的通信系统模型。 3、 信源 是产生消息和消息序列的源编码器 是将信源发出的消息变换成适用于信道传送的信号设备。一般编码器可分为两种，即信源编码器和信道编码器。 信道 是通信系统把载荷的消息的信号从甲地传输到乙地的媒介或信道。 译码器 是把信道输出的编码信号（已迭加了干扰）进行反变换，一般认为这种变换是可逆的。译码器一般也可分为信源译码器和信道译码器。 信宿 是消息传送的对象，即接受消息的人或机器。4、研究目的： 找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使信息传输系统达到最优化。 5、内容： 关于信息论的研究内容是有过争议的。某些数学家认为信息论只是概率论的一个分支。有些物理学家认为信息论只是熵的理论。第一章 信息度量1、自信息 例1：设某地二月份天气有四种情况，其构成的信源模型为：求各相应消息（事件）的自信息。 解：例2：同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率均为1/6，试求： (1) 事件“3和5同时出现”的自信息； (2) 事件“两个1同时出现”的自信息； (3) 事件“两个点数中至少有一个1出现”的自信息。解：设A表示事件“3和5同时出现” ，B表示事件“两个1同时出现”，C表示事件“两个点数中至少有一个1出现”，则：2、 熵熵的物理含义： 表示信源输出前，信源的平均不确定性。 可表征R.V. X的随机性和无序性 表示信源输出后，每一个消息所能提供的平均信息量 例3：设有两个信源X和Y，其概率空间为：分别计算熵.解：可见，即信源Y比信源X的平均不确定性要大 。例5： 若其中 a1,a2,a3 分别表示红，黄，蓝三个消息，而 b1,b2,b3 分别表示晴，雾，雨三个消息，分别求熵。 解：即 在三个信源中，X与Z的区别在于所选消息的含义不同。而X与Y的区别在于所选同一消息的概率不同，但三个信源的熵相等。这说明所定义的熵具有局限性，它不能描述事件本身的具有含义和人的主观价值等。例7：设二维R.V. （X ， Y） 有联合分布为：YXy1y2y3x11/41/180x21/181/31/18x301/187/36计算：（1）H(X,Y) (2)H(X) H(Y) (3)H(X|Y),H(Y|X)解：（1）(2)由题可知R.V. X和Y的边缘分布分别为：Xx1x2x3P11/364/91/4Yy1y2y3P11/364/91/4 （3）相对熵：例8 设一批电阻，按阻值分70%是2k，30%是5 k ；按功耗分64%是1/8w ，其余是1/4w ，现已知2k阻值的电阻中80%是1/8w ，问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 解：由题，设电阻的阻值为X，电阻的功率为Y，则X，Y的概率空