信息论与编码基础 唐朝京 雷菁.pdf

第二章 离散信源 2 1 同时掷出两个正常的骰子 也就是各面呈现的概率都为 1 6 求 1 3 和 5 同时出现 这事件的自信息 2 两个 1 同时出现 这事件的自信息 3 两个点数中至少有一个是 1 的自信息量 解 1 bitxpxI xp ii i 170 4 18 1 log log 18 1 6 1 6 1 6 1 6 1 22 2 bitxpxI xp ii i 170 5 36 1 log log 36 1 6 1 6 1 22 3 bitxpxI xp ii i 710 1 36 11 log log 36 11 11 6 1 6 1 22 2 2 居住某地区的女孩子有 25 是大学生 在女大学生中有 75 是身高 160 厘米 以上的 而女孩子中身高 160 厘米以上的占总数的一半 假如我们得知 身高 160 厘米以上的某女孩是大学生 的消息 问获得多少信息量 解 设随机变量 X 代表女孩子学历 X x1 是大学生 x2 不是大学生 P X 0 25 0 75 设随机变量 Y 代表女孩子身高 Y y1 身高 160cm y2 身高 log6 不满足信源熵的极值性 17 0 16 0 17 0 18 0 19 0 2 0 654321 xxxxxx XP X 解 585 26log 657 2 17 0log17 016 0log16 017 0log17 018 0log18 019 0log19 02 0log2 0 log 2 222222 6 2 XH symbolbit xpxpXH i ii 不满足极值性的原因是 107 1 6 i i xp 2 11 每帧电视图像可以认为是由 3 10 5个像素组成的 所有像素均是独立变化 且每像素又取 128 个不同的亮度电平 并设亮度电平是等概出现 问每帧图像含 有多少信息量 若有一个广播员 在约 10000 个汉字中选出 1000 个汉字来口述 此电视图像 试问广播员描述此图像所广播的信息量是多少 假设汉字字汇是等 概率分布 并彼此无依赖 若要恰当的描述此图像 广播员在口述中至少需要 多少汉字 解 1 symbolbitXNHXH symbolbitnXH N 101 27103 7128loglog 65 22 2 symbolbitXNHXH symbolbitnXH N 13288288 131000 288 1310000loglog 22 3 158037 288 13 101 2 6 XH XH N N 课后答案网 课后答案网 2 12 设有一个信源 它产生 0 1 序列的信息 它在任意时间而且不论以前发生 过什么符号 均按 P 0 0 4 P 1 0 6 的概率发出符号 1 试问这个信源是否是平稳的 2 试计算H X 2 H X 3 X1X2 及H 3 试计算H X 4 并写出X4信源中可能有的所有符号 解 1 这个信源是平稳无记忆信源 因为有这些词语 它在任意时间 而且不论以前发生过什么符 号 2 symbolbitXHH symbolbitxpxpXHXXXH symbolbitXHXH i ii 971 0 971 0 6 0log6 04 0log4 0 log 942 1 6 0log6 04 0log4 0 2 2 2223213 22 2 3 4 22 4 4 4 0 4log 0 40 6log 0 6 3 884 0000000100100011 0100010101100111 1000100110101100 1101111011111011 H XH Xbit symbol X 信源中可能发出的所有符号为 2 13 设信源发出二重延长消息 i x yi 其中第一个符号为 A B C 三种消息 第二 个符号为 D E F G 四种消息 概率和 i P x ji P yx如题 13 表所示 求该二 次扩展信源的共熵 H XY A B C i P x 1 2 1 3 1 6 D 1 4 3 10 1 6 E 1 4 1 5 1 2 F 1 4 1 5 1 6 ji P yx G 1 4 3 10 1 6 解 课后答案网 课后答案网 ijiji P x yp x P yx 根据公式 先画出二重延长消息的联合概率密度 ij P x y A B C D 1 8 1 10 1 36 E 1 8 1 15 1 12 F 1 8 1 15 1 36 G 1 8 1 10 1 36 所以 34 11 3 415 2 ij ij H XYP x ybitsymbol 2 14 设有一概率空间 其概率分布为并有 若取 其中 21 pp 21q pppL 21 20pp 1 10 2 2 1 1 P P P P 因上式等号不成立 log 2 12 1 02 0 20 12 1 21 PP P PP 课后答案网 课后答案网 0log 2 12 1 ePP P HH HH 2 所以不能直接连接 1 2 66log2 660 72 2 661 9 sec2 sec i i i RH sPbitcbit P Q 可以通过适当编码在此信道中无失真传输 可对信源的 N 次扩展信源进行无失真信源编码 只要 N 足够大取适当的编码就能与信道 匹配 4 3 有一信源 它有六个可能的输出 其概率分布如下表所示 表中给出了对 应的码 A B C D E 和 F 1 求这些码中哪些是惟一可译码 2 对所有惟一可译码求出其平均码长L 习题 4 3 表 消息 i aP A B C D E F 1 a 1 2 00