通信原理信息.ppt

通信原理 张敏55423261 通信原理 二 想不到的价值 信息 3 Review 通信归根到底是点对点的通信通信系统 4 Review 5 Review 数字通信系统信源编码 提高传输的有效性信道编码 提高传输的可靠性 6 Review 通信系统的性能指标 7 单元概述 通信系统通的是什么信 什么是信息 信息怎么计算 信息度量有什么意义 8 2 1想知道什么 信息 消息 MESSAGE 信号 SINGNAL 信息 INFORMATION 9 2 1想知道什么 信息 消息 MESSAGE 声音 文字或者图像等等这种人能够感知的描述 信号 SINGNAL 消息的载体形式 信息 INFORMATION 抽象的 本质的 是消息的有效内容 10 2 1想知道什么 信息 1 杀敌时的鼓声就是一个信号 他要传达的信息是冲锋陷阵 奋勇杀敌 2 仗打得差不多的时候的锣声也是一个信号 传达的信息是鸣金收兵 咱不打了 3 灯塔上的灯光是信号 它要传达的信息可能是此处有暗礁 请绕行 4 航海用的旗语是信号 它要传达的信息因旗语的不同而异 5 无线电报用滴答的代码传递消息 无线电传输的是无线电信号 6 电话将声音信号转换为电信号在电缆中传送 信息 信号 消息 11 2 1想知道什么 信息 信息 information 既不等于消息 message 也不等同于信号 信息可被理解为消息中包含的有意义的内容消息可以有各种各样的形式 但消息的内容可统一用信息来表述传输信息的多少可直观地使用 信息量 进行衡量 12 2 1想知道什么 信息 例如 在情人节那天甲对乙说 我爱你 在愚人节那天甲对乙说 我爱你 前一消息包含的信息显然要比后者少些 同样 当你听说 有人被狗咬了 并不会感到惊奇 但若有人告诉你 一条狗被人咬了 你一定非常吃惊 对接收者来说 事件愈不可能发生 愈会使人感到意外和惊奇 则信息量就愈大量度消息中所含的信息量值 必须能够用来估计任何消息的信息量 且与消息种类无关消息中所含信息的多少也应和消息的重要程度无关 13 2 2废话有多少信息量 用相同的消息量来表达的信息量是不一样的 对于一个通信系统 若用相同长度的二进制信号 能传输的信息量越大 说明其通信能力越强 14 2 2废话有多少信息量 铁路系统运送货物量多少采用 货运量 不管运送什么货物 来度量通信系统中传输信息的多少采用 信息量 来度量 注意 信息量的大小实际上与内容无关一个消息对于接收者很有价值 即信息量大 在于这个消息是他不知道的事情或觉得不可能发生的事情 即小概率事件 15 2 2废话有多少信息量 信息与信息量 消息中所包含信息量的多少 不是由消息的多少来决定 而是与该消息发生的概率密切相关 消息发生的概率越小 越不可预测 信息量就越大 且概率为零时 不可能发生事件 信息量为无穷大 概率为1时 必然事件 信息量为0 16 2 2废话有多少信息量 1 消息x发生的概率P x 越大 信息量I越小 反之 发生的概率P x 越小 信息量就越大 17 2 2废话有多少信息量 2 当概率为1时 信息量为0 P 1时I 0P 0时I 18 2 2废话有多少信息量 3 当一个消息由多个独立的小消息组成时 那么这个消息所含信息量应等于各小消息所含信息量的和 I P x1 P x2 I P x1 I P x2 19 2 2废话有多少信息量 什么函数能满足以上3个要求 对数 a 2单位为比特 bit 或b a e单位为奈特 nat 或n a 10单位为笛特 Det 或称为十进制单位a r单位称为r进制单位 20 2 2废话有多少信息量 课本P16比特 信息量的单位 但工程上习惯把它作为信号的单位通信中的基本问题 就是在一点再生另一点的信息在实际的通信系统中 消息往往是指发送的某些符号 这些符号能携带多少信息量 与这些符号发生的概率有关 而对于接收端来说 接收到的这些符号的概率是一定的 21 例2 1 试计算二进制符号等概率和多进制 M进制 等概率时每个符号的信息量 解 二进制等概率时 即P 1 P 0 1 2 M进制等概率时 有 P 1 P 2 P M 1 M 22 例2 2 试计算二进制符号不等概率时的信息量 设P 1 P 解P 1 P 故P 0 1 P 则 可见 不等概率时 每个符号的信息量不同 23 例题 一个信息源由0 1 2共3个符号组成 3个符号出现的概率分别是1 8 1 4和1 2 且每个符号出现都是独立的 如果消息序列长为18 其中0出现8次 1和2各出现5次 试求消息序列所包含的信息量 0符号所携带的信息量 log2 1 8 3bit1符号所携带的信息量 log2 1 4 2bit2符号所携带的信息量 log2 1 2 1bit消息序列的总信息量 I 3 8 2 5 1 5 39bit 24 例题 顺便引出 信息熵 的概念 某信源每天播报某地的天气预报 此地晴天 多云 阴 雨的概率分别为1 2 1 4 1 8 1 8求 1 晴 多云 阴 雨的各自所含信息量 2 信息串 晴 多云 阴 晴 晴 晴 多云 雨 所含的总信息量 3 此信源的每个消息的平均信息量 称为 信息熵 25 例题 顺便引出 信息熵 的概念 某信源每天播报某地的天气预报 此地晴天 多云 阴 雨的概率分别为1 2 1 4 1 8 1 8求 1 晴 多云 阴 雨的各自所含信息量 26 例题 顺便引出 信息熵 的概念 某信源每天播报某地的天气预报 此地晴天 多云 阴 雨的概率分别为1 2 1 4 1 8 1 8求 2 信息串 晴 多云 阴 晴 晴 晴 多云 雨 所含的总信息量 27 例题 顺便引出 信息熵 的概念 称为信息熵 因为其通用公式为 这个公式与物理热力学中的熵很相似 但热力学中的熵总是增加的 而信息熵在通信过程中则总是减小的 请注意其量纲 某信源每天播报某地的天气预报 此地晴天 多云 阴 雨的概率分别为1 2 1 4 1 8 1 8求 3 此信源的每个消息的平均信息量 称为 信息熵 28 平均信息量 平均信息量 等于各个符号的信息量乘以各自出现的概率之和二进制时 把P 1 P代入 则 29 平均信息量 下面计算多个信息符号的平均信息量 设各符号出现的概率为 则每个符号所含信息的平均值 平均信息量 为 30 例2 3 设由5个符号组成的信息源 其相应概率为 解 5个符号等概率出现时 31 例2 4 一信息源由4个符号A B C D组成 它们出现的概率为3 8 1 4 1 4 1 8 且每个符号的出现都是独立的 试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量 解 信源输出的信息序列中 A出现23次 B出现14次 C出现13次 D出现7次 共有57个 则出现A的信息量为 32 出现B的信息量为 出现C的信息量为 出现D的信息量为 33 该信息源总的信息量为 I 30 11 28 35 27 72 21 18 107 36 bit 每一个符号的平均信息量为 上面计算中 我们没有利用每个符号出现的概率来计算 而是用每个符号在57个符号中出现的次数 频度 来计算的 34 实际上 用平均信息量公式直接计算可得 总的信息量为 I 57 1 90 108 30 bit 可以看出 本例中两种方法的计算结果是有差异的 原因就是前一种方法中把频度视为概率来计算 当信源中符号出现的数目m 时 则上两种计算方法结果一样 当57个符号等概率出现时 35 通信中要寻求解决的问题 通信系统的目的是信息传输 接收端 信宿 要能最大的获取发送端 信源 的信息 要解决以下问题 1 发送信号的概率如何分布才能的到最大熵 2 最大熵是多少 36 当离散信源中每个符号等概出现 而且各符号的出现为统计独立时 该信源的平均信息量最大 此时最大熵 Hmax 37 图2 1熵与概率的关系 38 对于三元离散信源 当概率P1 P2 P3 1 3时信源最大熵H X max 1 585 bit 此结论可以推广到N元离散信源 减小或消除符号间的关联 并使各符号的出现趋于等概 将使离散信源达到最大熵 从而以最少的符号传输最大的信息量 这就是离散信源编码的目的 39 小结 信息是消息中包含的有意义的内容 消息发生的概率越小信息量越大 信息量的定义I loga P x 信息 平均信息量的计算 40 信息对学习通信原理的意义 信息这个概念贯穿了所有的通信原理 香农的信息论被认为是20世纪最重要的科学理论之一 也是高层次技术人才必不可少的基础知识我们要学习的通信技