信息论与编码第二章复习资料

1、画出状态图(o) D. a并求出各符号稳态概率。解：由题可得状态概率矩阵为:状态转换图为:令各状态的稳态分布概率为，贝V：目勺勺吕回®目，回月凶勺目, 凶=勺凶稳态分布概率为：u=£, a =目，勺=E2-2.由符号集0, 1组成的二阶马尔可夫链，其转移概率为:P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|10)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。解：状态转移概率矩阵为：0. 80. 50. 30 2令各状态的稳态分布概率为、，利用（2-1-17 ）可得方程组。解方程

2、组得:2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是丨，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是 1的自信息量。解：（1） 3和5同时出现的概率为:（2）两个1同时出现的概率为:（3 ）两个点数的各种组合（无序对）为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3.4) ,(3,5),(3,6)(4.4) ,(4,5),(4,6)(5.5) ,(5,6)(

3、3,3),(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)1/36，其余的概率均为1/18所以，的概率为事件(4)两个点数之和概率分布为:信息为熵为:(5)两个点数之中至少有一个是 1的概率为： _凹|2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色100个球的颜色有下列三种情况:(1) 红色球和白色球各 50个;(2) 红色球99个，白色球1个；(3) 红、黄、蓝、白色球各 25个。分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。解：(1)设取出的红色球为，白色球为；有栄| ， . _则有：|=1事

4、件(2) 亠【,J ；则有：:=0.081 (事件)(3) 设取出红、黄、蓝、白球各为、，有则有：二Y /事件2-5、居住某地区的女孩中有 25淀大学生，在女大学生中有75% 身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如 得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少 信息量？解：设女孩是大学生为事件 A，女孩中身高1.6m以上为事件B,则 p(A)=1/4, p (B)=1/2，p ()=3/4，则P() x I BI () = ( 1() ) =1.422-6.掷两颗，当其向上的面的小圆点数之和是 3时，该消息所 包含的信息量是多少？当小圆点数之和是 7时，该

5、消息所包含的信息量又是多少？解：(1 )小圆点数之和为3时有(1,2 )和(2,1 ),而总的组合数为36,即概率为，贝V(2)小园点数之和为7的情况有(1,6 ), (6,1 ) (2,5 ) (5,2 )(3,4 )( 4,3 ),则概率为 |：僉|,贝V有2-7、设有一离散无记忆信源，其概率空间为出现14次，出现13次，出(1) 、求每个符号的自信息量；(2) 、信源发出一消息符号序列为,求该消息序列的自信息量及平均每个符号携带的信息量解：(1) 的自信息量为：的自信息量为：的自信息量为：的自信息量为：(2)在该消息符号序列中， 现12, 出现6次，所以，该消息序列的自信息量为：I ()

6、 =14 I ( ) +13 I () +12 I () +6 1()平均每个符号携带的信息量为:2-8 .试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解；设二进制、四进制、八进制脉冲的信息量为所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。2-10在一个袋中放5个黑球、10个白球，以摸一个球为实验， 摸出的球不再放进去。求：（1）一次实验中包含的不确定度；（2）第一次实验X摸出是黑球，第二次实验 Y给出的不确定 度;（3）第一次实验X摸出是白球，第二次实验 Y给出的不确定 度;（4）第二次实验包含的不确定度。解：(1) 一次实验的结果可能摸到的是黑球或白球，它们

7、的概率分别是.訂，匚。所以一次实验的不确定度为(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是 .二三|、.所以该事件的不确定度为°/符号(3) 当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球耳或白球，它们的概率分别是| 、| |所以该事件的不确定度为/符号(4)二次实验B出现结果的概率分布是p()(黑，黑)=0，p()(黑，白)=0， p()(白，黑)=3， p()(白，白)=E 所以二次实验的不确定度为H(B)=0.91 符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1, 2,、38数字标示，其中有2份涂绿色，18

8、份涂红色，18份 涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。(1) 若仅对颜色感兴趣，则计算平均不确定度；(2) 若对颜色和数字都感兴趣，则计算平均不确定度；(3) 如果颜色已知时，则计算条件熵。解：令X表示指针指向某一数字，则1,2, .,38Y 表示指针指向某一种颜色，则绿色，红色，黑色Y 是X的函数，由题意可知 I(1) 仅对颜色感兴趣，则H(c)= J 二一2耳 j I =0.2236+1.0213 =1.245(2) 对颜色和数字都感兴趣，则H()(n)=38(- | )21=5.249如果颜色已知时，则H () ()(h)=5.249-1.245=4.0042-12、两个实

9、验 X和 Y, , ，联合概率I为(1) 如果有人告诉你 X和Y的结果，你得到的平均信息量是多少？(2) 如果有人告诉你Y的结果，你得到的平均信息量是多少？(3) 在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少?解：（1）、(3)、2-13有两个二元随机变量 X和Y,它们的联合概率如右图所示并定义另一随机变量（一般乘积）X01Z010X %7/1/1%-T/8试计算:解:（ 1）1）(1)，刁，乂|，ri，| = |0， ，J0，(3)L2SI，z = xr的概率分布如下*1 一 同理:(000)=1/8, (010)=3/8, (100)=3/8, P(111)=1

10、/8(110)(001)(101)(011)=0匚T(2)由于| ;所以:则，0上i 一 *(3) 到由于同理有：2.16黑白传真机的消息元只有黑色和白色两种，即黑，白,一般气象图上，黑色的出现概率p（黑）=0.3，白色出现的概率p（白）=0.7。（1） 假设黑白消息视为前后无关，求信源熵H（X），并画出该信 源的香农线图（2） 实际上各个元素之间是有关联的，其转移概率为：P（白| 白）=0.9143 , P（黑 | 白）=0.0857 , P（白 | 黑）=0.2 , P（黑 | 黑） =0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。

11、解：（1）1符号P（黑|白）（黑）P（白|白）=P（白）0.70.3黑白0.70.3”P（黑|黑）=P（黑）P（白|黑）=P（白）（2）根据题意，此一阶马尔可夫链是平稳的（P（白）=0.7不随时间变化，P（黑）=0.3不随时间变化）=0.512符号2.20给定语音信号样值X的概率密度为一 -I求（X），并证明它小于同样方差的正态变量的连续熵。解:I x I2-23连续随机变量X和Y的联合概率密度为求匚：， 7 , _1解：|EB1随机变量X的概率密度分布为 _IJ，呈标准正态分布。其中数学期望为0,方差为S;随机变量Y的概率密度分布为|，也呈标准正态分布。其中数学期望为0,方差为（）。解: （

12、 1）（2）（3）2-25某一无记忆信源的符号集为0,1，已知（1）求符号的平均熵。（2）由100个构成的序列，求某一特定序列（例如有 m个0和100个1）的自由信息量的表达式。（3）计算（2）中的序列的熵2-26 一个信源发出二重符号序列消息（ 回，勺），其中第一个符号 可以是A, B, C中的任一个，第二个符号可以是D, E，F，G中的任一个。已知各个叵 为.址丨，敦.|,. 乂丨；各个值列成如下。求这个信源的熵（联合熵）AEcD%茹XB%X%FXK%KXo胎解： -2.29有一个一阶平稳马尔可夫链I ,各取值于集合列,已知起始概率P()为 一 ，转移概率如 下图所示ji12311/21/

13、41/422/301/332/31/30(1) 求bi的联合熵和平均符号熵(2) 求这个链的极限平均符号熵(3) 求 F 和它们说对应的冗余度 解: ( 1)1 = 112311/41/81/821/601/1231/61/120X，的联合概率分布为12314/245/245/24X2的概率分布为那么=1.209符号沁的联合概率分布为I 712317/247/487/4825/3605/1235/365/120那么=1.26符号I/符号所以平均符号爛|/符号(2)设ai23稳定后的概率分布分别为W123，转移概率距阵为又满足不可约性和非周期性/符号/符号1-p1-p图 2-132.32 一阶马尔可夫信源的状态图如图2-13所示，信源X的符号集为(0, 1, 2)。(1)求信源平稳后的概率分布P(0)(1) (2)