西电通院考研复试资料(试题 课件)

2020 4 5 西安电子科技大学 1 第一章 引论 简介 一 通信系统模型二 Shannon信息论的中心问题三 信息的概念四 概率复习内容 2020 4 5 西安电子科技大学 2 一 通信系统模型 信源 信道 信宿信源是消息的来源 信道是消息传送媒介 信宿是消息的目的地 2020 4 5 西安电子科技大学 3 二 Shannon信息论的中心问题 信息论 又称为 通信的数学理论 是研究信息的传输 存储 处理的科学 信息论的中心问题 为设计有效而可靠的通信系统提供理论依据 具体地说 就是信源编码和信道编码 以下来看所要解决的具体问题 问题一 信源消息常常不能够完全发送 否则发送量巨大 比如 无尽的天空 因此优先捡有用的发送 问题二 信道因干扰而出现差错 如何进行检错和纠错 2020 4 5 西安电子科技大学 4 三 信息的概念 直观地认识信息和信息量 不使用定义 第一个重要概念 信道上传送的是随机变量的值 注意 1 这就是说 我们在收到消息之前 并不知道消息的内容 否则消息是没有必要发送的 2 消息随机变量有一个概率分布 3 消息随机变量的一个可能取值就称为一个事件 2020 4 5 西安电子科技大学 5 三 信息的概念 第二个重要概念 事件发生的概率越小 此事件含有的信息量就越大 不太可能发生的事件竟然发生了 令人震惊 例事件 中国足球队3 0力克韩国足球队 含有的信息量大 小概率事件发生了 事件信息量大 例事件 中国足球队0 1负于韩国足球队 含有的信息量小 大概率事件发生了 事件信息量小 2020 4 5 西安电子科技大学 6 三 信息的概念 第三个重要概念 消息随机变量的随机性越大 此消息随机变量含有的信息量就越大 例消息随机变量X 中国足球队与韩国足球队比赛的结果 则消息随机变量X含有的信息量小 随机性小 可预见性大 因此该消息随机变量含有的信息量小 例消息随机变量X 意大利足球队与德国足球队比赛的结果 则消息随机变量X含有的信息量大 随机性大 可预见性小 因此该消息随机变量含有的信息量大 2020 4 5 西安电子科技大学 7 三 信息的概念 第四个重要概念 两个消息随机变量的相互依赖性越大 它们的互信息量就越大 这里指的是绝对值大 例X 西安明日平均气温 Y 咸阳明日平均气温 Z 北京明日平均气温 W 纽约明日平均气温 则X与Y互信息量大 X与Z互信息量小得多 X与W互信息量几乎为0 2020 4 5 西安电子科技大学 8 四 概率复习内容 记号P A 表示事件A发生的概率 P A B 表示在事件B发生的条件下 事件A发生的条件概率 EX表示随机变量X的数学期望 离散型随机变量离散型随机变量X的所有事件为 x1 x2 xK 对应的概率为P X xk qk k 1 2 K 通常将此随机变量记为 X xk qk k 1 K 又X的分布列 分布矩阵 记为 2020 4 5 西安电子科技大学 9 四 概率复习内容 另一个离散型随机变量Y的所有事件为 y1 y2 yJ 对应的概率为P Y yj wj j 1 2 J 通常将此随机变量记为 Y yj wj j 1 J 又Y的分布列 分布矩阵 记为 2020 4 5 西安电子科技大学 10 四 概率复习内容 两个离散型随机变量X与Y连立 得到了二维离散型随机变量 X Y X Y 的所有事件为 xk yj k 1 2 K j 1 2 J 对应的概率为P X Y xk yj rkj k 1 2 K j 1 2 J 通常将此二维随机变量记为 X Y xk yj rkj k 1 K j 1 J X Y 的联合分布列 联合分布矩阵 为 2020 4 5 西安电子科技大学 11 四 概率复习内容 联合分布 边际分布 条件分布的关系 2020 4 5 西安电子科技大学 12 四 概率复习内容 rkj qkP Y yj X xk wjP X xk Y yj 如果X与Y相互独立 则对任何k 1 K j 1 J 都成立rkj qkwj 换句话说 对任何k 1 K j 1 J 都成立P Y yj X xk wj P X xk Y yj qk 数学期望 均值 2020 4 5 西安电子科技大学 13 四 概率复习内容 连续型随机变量连续型随机变量X的所有事件x有不可列无穷多个 对应的密度函数为fX x x 通常将此随机变量记为 X fX x 连续型随机变量Y的所有事件y有不可列无穷多个 对应的密度函数为fY y y 通常将此随机变量记为 Y fY y 我们知道 2020 4 5 西安电子科技大学 14 四 概率复习内容 两个连续型随机变量X与Y连立 得到了二维连续型随机变量 X Y X Y 的所有事件为 x y 对应的联合密度函数为f