信息论的形成和发展.ppt

信息论与编码 Information Theory 语言的统计特性：语音的统计特性及可压缩性; 图象的统计特性：图象的处理,图象的压缩格式; 二元信源的统计特性：二元信息的压缩算法。 信息论与编码-第一章绪论 有效性编码：压缩信源的冗余,从而提高信息 的传输效率,主要是针对信源的 统计性进行编码,故也称为信源 编码。 2、 编码理论与技术 抗干扰编码：一般增加信源的冗余,有以提高信 息传输的可靠性, 主要是针对信道 的统计性进行编码,故也称为信道编码 ; 安全性编码：将信源的明文编码成密文，提高通 信的安全性。 信息论与编码-第一章绪论 另: 3、信息的传输效率和利用率，扩频、频带压缩、 码分复用、宽带高速信道； 4、抗干扰理论及相关技术调幅、调频； 5、噪声中信号检测理论及技术； 6、生物感官特性，听觉特性，视觉特性 脑思维特性的研究； 7、与其它学科有关的，研究生物医学的关 系、光学的关系等。 信息论与编码-第一章绪论 五、 信息、消息、信号、数据及其区别 1）信息：（香农）信息是事物运动状态或存在方式 的不确定性的描述。 2）消息：用文字、符号、数据、语言、音符、图片 、图象等能够被人们感觉器官所感知的形式，把 客观物质运动和主观思维活动的状态表达出来就 成为消息。消息是信息的载体 。但不是物理的。 信息论与编码-第一章绪论 3）信号：把消息换成适合信道传输的物理量（如 ：电信号，光信号，声信号，生物信号 等）。这种物理量称为信号。是消息的载 体。 4）数据：载有信息的可观测、可传输、可存储、 可处理的信号。 信息论与编码-第一章绪论 六、信息的特征 1、它的内容是不知道的； 2、信息是能使认识主体对某一事物的未知性或 不确定性减少的有用知识； 3、信息可以产生，也可以消失；同时信息也可以 被携带，储存及处理； 4、信息可以度量。 信息论与编码-第一章绪论 按信息的性质分类：语法信息，语义信息和语 用信息; 七、信息的分类 按观察过程分类：实在信息，先验信息和实得信息 按信息的地位分类：客观信息（效果信息、环 境 信息）和主观信息（决策信 息，指令、控制和目标信息） 按信息的作用分类：有用信息、无用信息和干扰信息； 按信息的逻辑意义分类：真实信息、虚假信息和不 定信息； 信息论与编码-第一章绪论 按信息的传递方向分类：前馈信息和反馈信息； 按信息的生成领域分类：宇宙信息、自然信息、 思维信息和社会信息； 按信息的信息源性质分类:语言信息、图像信息、数 据信息、计算信息和文字信息； 按信息的信号形成分类：连续信息、离散信息和半连 续信息。 还可以按按信息的应用部门、载体性质等分类。 信息论与编码-第一章绪论 1.2通信系统的模型 1）基本的通信系统模型 信源信道信宿 1.1信息论的形成和发展 信息论与编码-第一章绪论 2）一般的通信系统模型 信息论与编码-第一章绪论 通信系统各部分的作用 信源：信源是产生消息的源，消息是信息的载体； 信源输出的消息要多于一种，何时输出何种 消息是不确定的、随机的，但却是有规律 的。 信宿：信宿是消息传送的对象。 信道：信道是信号从信源传送到信宿的通路。 干扰源：整个通信系统中各种干扰的集中反映 （理想化的干扰源）。 信息论与编码-第一章绪论 信源编码：将信源的原始信息按一定的理论或工程要 求编成另一种消息形态（代码）。其作用是压缩 冗余度，提高通信系统传输消息的效率。 信道编码：在信源的代码上有目的地增加一些监督码 元，以达到检查或纠正信息传输过程中产生的错 误，提高信息传输的可靠性。 加密编码：并将信源的明文编码成密文，提高通信的 安全性。 解码（译码）：是编码的逆过程，译码有信源译码、 信道译码、解密译码。 信息论与编码-第一章绪论 3)信息论与编码与其他学科的关系： 信息论和编码所须的基础知识: 概率论、数理统计、随机过程、矩阵论、近世代 数、数论、电子、计算机基础知识. 需要信息论和编码知识的课程 通信原理、数字移动通信、计算机技术、计算机 网络通信、数字图像处理 信息论与编码-第一章绪论 第二章 信 源 及 信 源 熵 第二章信源及信源熵 2.1信源的描述和分类 一、信源的描述 信源：是发出消息的源，是信息的来源。 信息论与编码-第一章绪论 1、连续信源指发出在时间和幅度上都是 连续分布的连续消息（模拟消息）的信源。 二、信源的分类 如：语言、图像、视频等。 第二章信源及信源熵按信源发出的消息在时间上和幅 度上的分布情况分为两大类： 信息论与编码-第一章绪论 其又分为离散无记忆信源,离散有记忆信源 离散无记忆信源：发出单个符号的无记忆信 源（只发出一个符号代表一个消息） 发出符号序列的无记忆信源 （每次发出一组含量个以上的符 号序列代表一个消息） 2、离散信源指发出在时间和幅度上都是 离散分布的离散消息的信源。 如：文字、数字、数据、字母等。 离散有记忆信源：发出单个符号的有记忆信源 发出符号序列的马尔可夫信源 第二章信源及信源熵 无记忆：发出的各个符号是相互独立的；各符 号序列中的各个符号之间是没有统计 关联的关系。各个符号的出现概率是 它自身的先验概率。 有记忆：发出的各个符号是相关联的。表述起 来很困难。 信息论与编码-第一章绪论 当记忆长度为m+1时称这种记忆信源为m阶 马尔可夫信源，即信源每次发出的符号与前m个 符号有关，与更前面的符号无关。假设m阶马尔 可夫信源输出的随机序列为X=X1 X2Xi-1Xi XN 。在这序列中某i时刻的随机变量X取什么符号 只与前m个随机变量Xi-1 Xi-2 Xi-m取什么符号有 关，与其更前面的随机变量以及后面的随机变 量取什么符号都无关。这样就可以用马尔可夫 链来描述此信源。 第二章信源及信源熵 信息论与编码-第一章绪论 定义一个离散无记忆信源是由n个符号消息组成的集合: X= x1，x2 xn ， 从概率的角度看，可以将符号消息xi 看一个随机事 件。因此xi 具有不确定性。 这n个符号消息的概率分布是： 称为符号xi 的先验概率 散信源数学模型表示为： 三、信源的数学模型 信息论与编码-第一章绪论 例：掷一颗质地均匀的色子研究其下落后朝上 一面的点数，每次实验结果必然是1，2，6点 中的某一个面朝上。这种信源输出的消息是“ 朝上面是一点”，“朝上面是两点”，“朝 上面是六点”，六个不同的消息。每次实验只 能出现一种消息，出现哪一种是随机的，但必 是六种情况中的一种。用符号表示为 ai,i=1,6来表示这些消息，得到这信源的样 本空间为符号集 A=a1,a2,a3,a4,a5,a6. 第二章信源及信源熵 信息论与编码-第一章绪论 实验证明各消息都是等概率出现的，都等于 1/6，因此可用一个离散型随机变量X来描述这 个信源的输出的消息。这个随机量X的样本空间 就是符号集A，而X的概率分布就是各消息出现 的先验概率为： p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6, 信源的数学模型为： 信息论与编码-第一章绪论 并满足： =1 上式表示信源的概率空间必定是一个完备集。 信源输出的消息只可能是符号集 A=a1,a2,a3,a4,a5,a6中的任何一个，且每 次必定选取其中一个。我们称由信源空间 A,P(a)描述的信源A为离散无记忆信源，此 信源在不同时刻发出的符号之间是无依赖的， 彼此统计独立。 信息论与编码-第一章绪论 三、信息的定义 一、信息论的形成和发展 二、研究信息的目的 四、信息工程的研究范畴 五、 信息、消息、信号、数据及其区别 六、信息的特征 七、信息