信息论与编码_第二章习题.pdf

1 第二章习题 张亚飞 信息工程教研室 张亚飞 信息工程教研室 2011 2012学年第学年第1学期学期 2 第二章习题 2 1 u1u2 u3 1 2 1 2 1 3 2 3 2 3 1 3 1 21 20 1 302 3 1 32 30 p 1231 WPW WWW 1231 132 23 123 111 233 12 23 2 3 1 WWWW WWW WW WWW 1 2 3 10 25 9 25 6 25 W W W 因为是一阶马尔可夫信源 所以各符号的稳态分布等于各状态的稳态分布因为是一阶马尔可夫信源 所以各符号的稳态分布等于各状态的稳态分布 3 第二章习题 2 2 0 80 200 000 50 5 0 50 500 000 20 8 p 4 1 1i i WPW W 131 132 243 244 1234 0 80 5 0 20 5 0 50 2 0 50 8 1 WWW WWW WWW WWW WWWW 1 2 3 4 5 14 1 7 1 7 5 14 W W W W 4 第二章习题 2 3 1 bitxpxI xp ii i 170 4 18 1 log log 18 1 6 1 6 1 6 1 6 1 bitxpxI xp ii i 170 5 36 1 log log 36 1 6 1 6 1 2 5 第二章习题 2 3 其中其中11 22 33 44 55 66的概率是的概率是 3 两个点数的排列如下 共有 两个点数的排列如下 共有21种组合种组合 666564636261 565554535251 464544434241 363534333231 262524232221 161514131211 其他其他15个组合的概率是个组合的概率是 36 1 6 1 6 1 18 1 6 1 6 1 2 symbolbitxpxpXH i ii 337 4 18 1 log 18 1 15 36 1 log 36 1 6 log 6 第二章习题 2 3 4 参考上面的两个点数的排列 可以得出两个点数求和的概率分布如下参考上面的两个点数的排列 可以得出两个点数求和的概率分布如下 symbolbit xpxpXH XP X i ii 274 3 6 1 log 6 1 36 5 log 36 5 2 9 1 log 9 1 2 12 1 log 12 1 2 18 1 log 18 1 2 36 1 log 36 1 2 log 36 1 12 18 1 11 12 1 10 9 1 9 36 5 8 6 1 7 36 5 6 9 1 5 12 1 4 18 1 3 36 1 2 7 第二章习题 2 3 5 bitxpxI xp ii i 7105 1 36 11 log log 36 11 11 6 1 6 1 8 第二章习题 2 7 12340123 3 81 41 41 8 Xxxxx P 123414 13 12 6 87 81II xI xI xI xbit 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 平均每个符号携带的信息量为平均每个符号携带的信息量为 87 81 1 95 45 bit 符号符号 符号 91 1 8 1 4 1 4 1 8 3 bitHXH 此序列中平均每个符号携带的信息量与此序列中平均每个符号携带的信息量与H X 不同 因为序列中各符号 出现的概率不完全等于信源 不同 因为序列中各符号 出现的概率不完全等于信源X中个符号出现的概率 所以二者存在差异 由此可进一步理解信源熵是一个统计量 是表征信源的总体信息测度的 中个符号出现的概率 所以二者存在差异 由此可进一步理解信源熵是一个统计量 是表征信源的总体信息测度的 9 第二章习题 2 10 2 P Y 黑黑 X 黑黑 4 14 P Y 白白 X 黑黑 10 14 符号 918 0 15 10 15 5 bitHXH 1 符号黑 863 0 41 10 41 4 bitHXYH 3 P Y 黑黑 X 白白 5 14 P Y 白白 X 白白 9 14 符号白 940 0 41 9 41 5 bitHXYH 4 P Y 黑黑 1 3 P Y 白白 2 3 符号 918 0 3 2 3 1 bitHYH 10 第二章习题 2 12 11 1213 212223 313233 7 241 240 1 241 41 24 01 247 24 rrr rrr rrr 2 222 1 log 72411 2log4log 24log 4 247244 ij ij ij H X Yp x y p x y 2 3bit 符号符号 11 第二章习题 2 12 8 248 248 24P y3y2y1Y 2 1 3log 31 58 3 H Y bit 符号符号 2 3 1 58H X YH X YH Y 0 72bit 符号符号 12 第二章习题 2 14 0 1 1 2p xp x 0 0 3 4 1 0 1 4 0 1 1 8 1 1 7 8 p yxp yx p yxp yx 0 0 3 8 0 1 1 8 1 0 1 16 1 1 7 16 p xyp xy p xyp xy 0 7 16 1 9 16p yp y 联合概率 后验概率 联合概率 后验概率 0 0 6 7 1 0 1 7 0 1 2 9 1 1 7 9 p xyp xy p xyp xy Y的概率 的概率 13 第二章习题 2 14 0 0 0 log 0 0 1 0 0 0 log 1 0 log 0 1 61212 loglog0 4083bit 7777 i i i i p xy I X yp xy p x p xyp xy p xyp xy p xp x 符号 1 1 1 log 24714 loglog0 2358 9999 i i i i p xy I X yp xy p x bit 符号 0 0 1 1 0 3113 jj j I X Yp yI X y p yI X yp yI X y bit 符号 14 第二章习题 2 16 1 22 1010 0 3 0 7 0 3log0 7log0 8813 37 H XHbit 符号 2 2 1 1i i WPW W 11 2 12 2 1234 0 80 0857 0 20 9143 1 WWW WWW WWWW 1 2 0 3 0 7 W W 0 80 2 0 08570 9143 p 一阶马尔可夫信源 共有两个状态一阶马尔可夫信源 共有两个状态 15 第二章习题 2 16 2 log log 0 2 0 8 0 7219 H Xpppp Hbit 黑白 黑白 黑黑 黑黑 黑 符号 0 9143 0 0857 0 4220 H XHbit 白符号 0 512 ii i HXp s H X sbit 符号 3 H XHX 结果说明 当信源的消息之间有依赖性时 信源输出消息的不确定性减弱 本题中 当有依赖时前面已是白色消息 后面基本可以猜测是白色 前面 是黑色 后面绝大多数可猜测是黑色 这时信源的平均不确定性减弱 所 以 信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵 这表明信源熵正是反映信源平均不确定性的大小 结果说明 当信源的消息之间有依赖性时 信源输出消息的不确定性减弱 本题中 当有依赖时前面已是白色消息 后面基本可以猜测是白色 前面 是黑色 后面绝大多数可猜测是黑色 这时信源的平均不确定性减弱 所 以 信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵 这表明信源熵正是反映信源平均不确定性的大小 16 第二章习题 2 17 1 每个像素的亮度信源为每个像素的亮度信源为 2 每个汉字含有的信息量为每个汉字含有的信息量为 12128 111 128128128 aaa X P 每个像素亮度含有的信息量为每个像素亮度含有的信息量为 2 log 1287 H Xbit 像素 一帧图像中像素是独立的 则每帧图像信源就是离散亮度信源 的无记忆 一帧图像中像素是独立的 则每帧图像信源就是离散亮度信源 的无记忆N次扩展信源 每帧图像含有的信息量为次扩展信源 每帧图像含有的信息量为 6 2 1 10 N H XNH Xbit 帧 2 log 1000013 29 H Ybit 字 1000字描述此电视图像的信息量字描述此电视图像的信息量 4 1000 1 394 10 N H YH Ybit 千字 158041 N H X H Y 字 3 17 第二章习题 2 32 1 2 2 21 2 2 21 ppp Pppp ppp 1 2 3 1 3 1 3 1 3 W W W 3 1 1i i WPW W 1231 1232 123 3 123 1 22 1 22 1 22 1 pp p WWWW pp Wp WWW pp WWp WW WWW 18 第二章习题 2 32 0 1 2 1 2 2 p p H XH XH XHp 112 3 1 1 loglog 32 21 ii i p p HXWH X WHppp pp 3 2 log 31 585 H Xbit 符号 H XHX 2 3p 时等号成立 4 12 12 1 log 1 loglog0 122 HXppp pp pppp 2 3 pHX 时 取得最大值 0 0pHX 时 1 1 pHXbit 时 符号 19 第二章习题 2 33 1 2 3 1 3 1 3 1 3 W W W 3 1 1i i WPW W 121 232 13 3 123 1 1 1 1 p WpWW p WpWW pWp WW WWW 10 10 01 pp Ppp pp 20 第二章习题 2 33 0 1 2 1 H XH XH XHp p 111 3 1 1 loglog 31 ii i HXWH X WHp ppp pp 01 0 ppHX 或时即此时信源为确定性信源 0p 信源输出常数 1012p 信源周期地输出 21 第二章习题 某彩电系统 每帧图像认为由某彩电系统 每帧图像认为由5 105个像素组成 每 个像素可取 个像素组成 每 个像素可取127个不同的亮度电平和个不同的亮度电平和16个不同