第二章.离散信息的度量

1、第二章习题：21 同时抛掷一对质地均匀的骰子，骰子朝上面的点数称做骰子的点数，求 1）“3点与5点同时发生”事件的自信息； 2）“两个1点同时发生”事件的不确定性； 3）“至少有1个1点”事件所提供的信息量； 4）“两个点的和为5”事件所提供的信息量。22 某地区的女孩中有25%是大学生，在女大学生中有75%是身高 1米6以上的，而 女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女 孩是大学生”的消息，问获得多少信息量？2 3. 一副充分洗乱了的牌（52张），问 1) 任一特定排列所给出的信息量是多少？ 2) 若从中抽出13张牌，所给出的点数都不相同时得到多少信息量？2

2、4. 一个汽车牌照编号系统使用3个字母后接3个数字作代码，问一个牌照所提供的 信息量是多少？如果所有6个符号都用字母数字做代码，问一个牌照所提供的信 息量是多少？假定有26个字母，10个数字。2 7. 给定一概率分布和一个整数，定义， ，证明 ， 何时等式成立？2 8. 设随机变量集合，其中， 求证：，并确定等式成立条件。2 9. 已知随机变量X、Y的联合概率分布为PXY(ak ,bj)，满足：PX(a1)=1/2, PX (a2) = PX(a3)=1/4, PY(b1)=2/3, PY(b2) = PY (b3) =1/6， 试求能使H（XY）取最大值的XY 的联合概率分布。2 10. 设

3、和是两个随机变量集合，其值取自于一个有限群，定义， 证明： ；如果和是独立的，证明：211. 有两个离散随机变量集合，和为，若相互独立，求证 1）；2）；3）。212. 三离散随机变量，求证 1）； 2）。2. 13. 两随机变量集合，联合概率为 0 1 0 1/8 3/8 1 3/8 1/8 （一般乘积），试计算 1）， 2）， ； 3）。215. 设信源X的符号集为0，1，2， 其概率分布为：PX(0)=1/4, PX(1)=1/4, PX(2)=1/2， 每个信源符号通过两个信道同时传输，输出分别为Y、Z ，两信道转移概率如图所 示； x P(y/x) y x P(z/x) z 0 1

4、0 0 1 0 1 1/2 1 1 1 1 1 1/2 1 2 2 求：1）H(X) ,H(Y) ,H(Z) ,H(YZ)； 2) I(X；Y), I(X；Z)；3) I(X；Y/ Z), I(X；YZ)。216. 某城市天气情况与气象预报分别看成包含雨，无雨的随机变量集合X和Y，且 X与Y的联合概率为：P（雨，雨）=1/8，P（雨，无雨）=1/16，P（无雨，雨） =3/16，P（无雨，无雨）=10/16；（1）求气象预报的准确率；（2）求气象预报所 提供的关于天气情况的平均互信息I（X；Y）；（3）如果天气预报总是预报“无雨”， 求此时气象预报的准确率以及气象预报所提供的关于天气情况的平均

5、互信息I （X；Y）；（4）以上两种情况相比，哪种情况天气预报准确率高？从信息论的观点 看，哪种情况下的天气预报有意义？讨论题：进一步思考信息熵和热熵的本质联系和区别思考题2.1 ：“太阳从东边出来”，“行星撞地球”，“太阳从西边出来”，这样的几个事件如果发生提 供的信息量有什么不同？用实例说明为什么用概率的对数函数定义事件的自信息。2.2 试分析条件自信息和互信息的区别？2.3 盒中有12个外形相同的硬币。知道其中有一个重量不同的假币，但不知是比真币轻，还是比真币重。现用一无砝码天平对现有硬币进行称重来鉴别假币，无砝码 天平的称重有3种结果：平衡，左倾、右倾。如何用3次称重鉴别出假币并判断出轻或重？2.3 一个“20问题”游戏允许被测试者提出20个问题对另一个测试者的职业进行提 问，要求每个问题必须用“是”或“否”来回答。假定存在可能的职业； 1) 一个测试者可能有的关于另一个测试者的最大的不确定性；2) 得知对一个问题的答案为“是”或“否”后，不确定性的最大变化如何？