信息论与编码复习1-2.ppt

2020 4 21 1 第1章绪论 重点掌握信息的特征信息 消息 信号的联系和区别通信系统的物理模型一般了解信息论理论的形成和发展过程信息论的研究内容 2020 4 21 2 信息的特征 信息的基本概念在于它的不确定性 任何已确定的事物都不含信息 接收者在收到信息之前 对它的内容是不知道的 所以信息是新知识 新内容信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识信息可以产生 也可以消失 同时信息可以被携带 贮存及处理信息是可以量度的 信息量有多少的差别 2020 4 21 3 消息 信号和信息 信号最具体 它是一物理量 可测量 可显示 可描述 同时它又是载荷信息的实体消息是具体的 非物理的 可描述为语言文字 符号 数据 图片 能够被感觉到 同时它是信息的载荷体 是信息论中主要描述形式信息是抽象的 非物理的哲学层表达 信息的物理层表达 信息的数学层表达 2020 4 21 4 通信系统模型简介 加密密钥 解密密钥 信源编码提高通信系统的有效性 信道编码提高通信系统的可靠性 加密编码提高通信系统的安全性 2020 4 21 5 第2章信源及信源熵 重点掌握信源的分类和数学描述自信息量 互信息离散信源熵离散序列信源的熵熵的性质一般了解连续信源熵冗余度 2020 4 21 6 信源分类 2020 4 21 7 信源的数学描述 单符号无记忆信源用一维离散型随机变量X来描述这些信息的输出 数学模型符号序列无记忆信源很多实际信源输出的消息往往是由一系列符号组成 这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源 设信源输出的随机序列为X 序列中的变量 2020 4 21 8 信源的数学描述 有记忆信源的联合概率表示比较复杂 需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征 2020 4 21 9 信源的数学描述 一阶马尔可夫信源 m阶马尔可夫信源 2020 4 21 10 自信息量 随机事件的自信息量定义为其概率对数的负值 即 I xi 含义 当事件xi发生以前 表示事件xi发生的不确定性当事件xi发生以后 表示事件xi所含有的信息量 2020 4 21 11 自信息量的特性 I xi 是非负值当p xi 1时 I xi 0当p xi 0时 I xi I xi 是先验概率p xi 的单调递减函数 即当p x1 p x2 时 I x1 I x2 两个独立事件的联合信息量等于它们分别的信息量之和 即 统计独立信源的信息量等于它们分别的信息量之和 2020 4 21 12 联合自信息量 两个消息xi yj同时出现的联合自信息量当xi yj相互独立时 有p xiyj p xi p yj 那么就有I xiyj I xi I yj xiyj所包含的不确定度在数值上也等于它们的自信息量 2020 4 21 13 条件自信息量 在事件yj出现的条件下 随机事件xi发生的条件概率为p xi yj 则它的条件自信息量定义为条件概率对数的负值 在给定yj条件下 随机事件xi所包含的不确定度在数值上与条件自信息量相同 但两者含义不同 联合自信息量 条件自信息量和自信息量 2020 4 21 14 信源熵 离散信源熵为信源中各个符号不确定度的数学期望信源熵的物理含义表示信源输出前信源的平均不确定性表示信源输出后每个符号所携带的平均信息量 2020 4 21 15 条件熵 在给定yj条件下 xi的条件自信息量为I xi yj X集合的条件熵在给定Y 即各个yj 条件下 X集合的条件熵在给定X 即各个xi 条件下 Y集合的条件熵条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值 条件熵H X Y 表示已知Y后 X的不确定度 2020 4 21 16 联合熵 联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值联合熵H XY 表示X和Y同时发生的不确定度 联合熵 信源熵和条件熵之间的关系 2020 4 21 17 互信息 定义 xi的后验概率与先验概率比值的对数事件xi是否发生具有不确定性 用I xi 度量 接收到符号yj后 事件xi是否发生仍保留有一定的不确定性 用I xi yj 度量 接收到某消息yj后获得的关于事件xi的信息量 用I xi yj 表示 2020 4 21 18 平均互信息 互信息量I xi yj 在X集合上的统计平均值为I X yj 在Y集合上的概率加权统计平均值 平均互信息 量 2020 4 21 19 平均互信息量的物理意义 H X Y 信道疑义度 损失熵信源符号通过有噪信道传输后引起的信息量损失 信源X的熵等于接收到的信息量加损失掉的信息量 H Y X 噪声熵 散布度它反映了信道中噪声源的不确定性 输出端信源Y的熵H Y 等于接收到关于X的信息量I X Y 加上H Y X 这完全是由信道中噪声引起的 2020 4 21 20 熵的性质 非负性H X H x1 x2 xn 0等号在p xi 1时成立对称性H x1 x2 xn H x2 x1 xn 熵函数只与随机变量的总体结构有关确定性H 0 1 H 1 0 0 0 0只要信源符号集中有一个符号的出现概率为1 信源熵就等于零 2020 4 21 21 熵的性质 香农辅助定理对于P p1 p2 pn 和Q q1 q2 qn 对任意概率分布pi 它对其他概率分布qi的自信息量取数学期望时 必不小于pi本身的熵最大熵定理离散无记忆信源输出M个不同的信息符号 当且仅当各个符号出现概率时 即等概率分布 熵最大 2020 4 21 22 互信息量与熵 2020 4 21 23 离散无记忆信源的序列熵 设信源输出的随机序列为X X1X2 Xl XL 序列中的变量Xl x1 x2 xn 信源的序列熵可以表示为信源序列中 平均每个符号的熵为离散无记忆信源平均每个符号的符号熵HL X 等于单个符号信源的符号熵H X 无记忆 无记忆 平稳 2020 4 21 24 离散有记忆信源的序列熵 若信源输出一个L长序列 则信源的序列熵为平均每个符号的熵为信源无记忆时满足平稳时 2020 4 21 25 离散平稳信源 结论1 H XL XL 1 是L的单调非增函数结论2 HL X H XL XL 1 结论3 HL X 是L的单调非增函数结论4 当L 时 H X 称为极限熵 2020 4 21 26 马尔可夫信源 若一个信源满足下面两个条件 则称为马尔可夫信源 某一时刻信源输出符号的概率只与当前所处的状态有关 而与以前的状态无关 信源的下一个状态由当前状态和下一刻的输出符号唯一确定 符号条件概率信源在某一时刻出现符号xj的概率与信源此时所处的状态si有关 用条件概率表示为p xj si 状态转移概率当信源符号xj出现后 信源所处的状态将发生变化 并转入一个新的状态 这种状态的转移可用状态转移概率p sj si 表示 2020 4 21 27 状态转移图 香农线图 齐次马尔可夫链可以用其状态转移图 香农线图 表示每个圆圈代表一种状态状态之间的有向线代表从某一状态向另一状态的转移有向线一侧的符号和数字分别代表发出的符号和条件概率 p x1 s2 0 8 p s2 s2 0 8 2020 4 21 28 稳定的马尔可夫信源 极限概率Wj一个不可约的 非周期的 状态有限的马尔可夫链 其k步转移概率pij k