《信息论习题课》PPT课件.ppt

信息论习题课 朱亮亮Email zjuzll IT 方博文Email bowen1028 2 1 A村有一半人说真话 3 10人总说假话 2 10人拒绝回答 B村有3 10人诚实 一半人说谎 2 10人拒绝回答 现随机地从A村和B村抽取人 p为抽到A村人的概率 1 p为抽到B村人的概率 问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息 通过改变p 求出该信息的最大值 2 2 一个无偏骰子 抛掷一次 如果出现1 2 3 4点 则把一枚均匀硬币投掷一次 如果骰子出现5 6点 则硬币投掷二次 求硬币投掷中正面出现次数对于骰子出现点数所提供的信息 2 5 设一个系统传送10个数字 0 1 2 9 奇数在传送时以0 5概率等可能地错成另外的奇数 而其他数字总能正确接收 试求收到一个数字后平均得到的信息量 X 测试者来自的村庄Y 测试者说话的状态 X 筛子出现的点数 x1 为1 2 3 4 x2为5 6Y 硬币投掷出现正反面的情况 2 9 若三个随机变量X Y Z 有X Y Z成立 其中X和Y独立 a H X H Z b H Y H Z c H X Y H Z d I X Z H Z H Y e I X Y Z H Z f I X Y Z H X g I Y Z X H Y h I X Y Z H X Z H Y Z 解题关键 X Y是独立的 Z是关于XY的函数 Z f X Y H Z X Y 0H Y Z X 0H X Y Z 0H Z X H Y X X H Y X 当变量超过两个时 常常需要用链式法则 H X Y Z H Z H X Y Z H X Y H Z X Y H X Y 2 10令X是离散随即变量 Y g X 是X的函数 求证H X H Y 解题关键 和2 9类似 使用链式法则H X Y H X H Y X H Y H X Y 解题关键 a 使用熵的可加性H X aH X1 1 a H X2 H a b 熵的凸性 所以有极大值 解答 Y的概率密度很容易得出 2 23 2 24 2 26同一类型 3 2 解题关键 使用切比雪夫不等式 其中可以求出L0L0 1884L0 471e7 解题关键 可以推出 由此可以得出典型列集合的上下限界 000110101111000110解题关键 使用后缀分解集法 每次用来分割的前缀和对应的重复码字组成的序列是模糊序列 解题关键 二元Huffman编码 将两个最小概率消息组合成一个新的消息D元Huffman编码 将D个最小概率的消息组合成一个新的消息其他的编码方法 shannon shannon Fano Elias 解题关键 二元Huffman编码 将两个最小概率消息组合成一个新的消息D元Huffman编码 将D个最小概率的消息组合成一个新的消息其他的编码方法 Shannon Shannon Fano Elias 算术编码 4 1 计算如下所示离散无记忆信道的容量 是准对称DMC信道用定理4 2 2 直觉上X0 X2 设X1 p 可以得出当P 0时 无法满足定理4 2 2 即达不到信道容量所以p 0 转化为一个准对称DMC信道 解题关键 这两道题都是和信道 使用和信道的信道容量公式2C 2C1 2C2再用p1 2c1 c p2 2c2 c弄清楚积信道 和信道 级联信道的概念和信道容量 解题关键 令Y X Z则Y Y mod2 则H Y X H Y X H Z C max I X Y max H Y H Z C max H Y H Z 则使H Y