信息论与编码陈运主编答案完整版

1、信息论与编码课后习题答案详解2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0, 1,2, 3八进制脉冲可以表示8个不同的消息，例如：0, 1,2, 3, 4, 5, 6, 7二进制脉冲可以表示2个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H X( 1)= logn = log4 = 2 bit symbo/八进制脉冲的平均信息量H X( 2) = log n = log8 = 3 bit symbol/二进制脉冲的平均信息量H X( 0) = log n = log2 = 1 bit symb

2、o/所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2.2居住某地区的女孩子有25淞大学生，在女大学生中有75淞身高160厘米以上的，而 女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是 大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历X X1 (是大学生)X2 (不是大学生)P(X)0.250.75设随机变量 Y代表女孩子身高Y y1 (身高 >160cm)y2 (身高 <160cm)P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：p y( 1 / 幼=0.75 bit求：身高16

3、0厘米以上的某女孩是大学生的信息量p x p y( 1) ( 1 / x1 ) log 0.25 X0.75 = 1.415 bit 即:x( 1 / y1 ) = - log p x( 1 / y1 ) = - log =-0.5P y( 1)0.52.3(1)解:一副充分洗乱了的牌(含52张牌)，试问 任一特定排列所给出的信息量是多少？ 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量?(1) 52张牌共有52 !种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:P x( i )=I x( i ) =- log p x( i ) = log52! = 225.581 b

4、it52张牌共有4种花色、13种点数，抽取 13张点数不同的牌的概率如下:413P x( i )=C5213413I x( i ) = - log p x( i ) = - logC5213 = 13.208 bit 2.4设离散无记忆信源?P X(X )?<?x2 = 1 x3 = 2 x4 = 3?其发出的信息为1/4 1/4 1/8 ?(0223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有 14个0、13个1、12个2、6个3,因此此消息发出的概率是:p = ?辔？字 X?5 X ? 1?8?4?8?此消息的信息量

5、是：I =- log p =87.811 bit 此消息中平均每符号携带的信息量是：I n/ = 87.811/ 45= 1.951 bit2.5从大量统计资料知道，男性中红绿色盲的发病率为7%女性发病率为0.5%，如果你问一位男士：“你是否是色盲？ ”他的回答可能是“是”，可能是“否”，问这两个回答中各含 多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信 息量是多少？解：男士：p x( y ) = 7%I x( y ) = - log p x( y) = - log0.07 = 3.837 bit p x( n ) = 93%I x( n ) = - log

6、p x( n ) = - log0.93 = 0.105 bit|=-y=-+=|p x( )log p x()(H xL上 1I)0.366 bit symbo/i女士:) P x( )log p x()(信源?X ? x 2.6 设X2X3X5，求这个信源的熵，并解释为什么0.045 bit symbo/中 X( )? ?0.20.19 0.180.17 0.16 0.17?H(X) > log6不满足信源熵的极值性。解：H X ； - 亡 I "七：二i=-(0.2log0.2 + + + +=2.657 bit symbol/H X( ) > log 62 = 2

7、.585不满足极值性的原因是O2.7证明：HX3/X1X2) < H(X 3/X 1)，并说明当X, X 2, X 3是马氏链时等式成立。 证明:H X( 3 / X X12 ) - H X(3 / X1)=-x x x( i1 i2i3 )log p x( i3 / X x1 i2 ) +i1 i2 i3i1XXb x x( i1 i3 )log p x( i3 / Xi1)i3x x x( i1 i2i3 )log p x( i3 / x x1 i2 ) + 刀刀况 x x x( i1 i2i3 )log p x( i3 / x1)i1i2 i3i1i2i3 p x( i3 / Xi

8、1)刀XX i2i3 p X X X( i1 i2i3 )l°g p X( i3 / X %1 i2 )p x( i3 / 刈) 1?rog2 ei3 p X X X( i1 i2 i3 )?© X( i3 / X Xi1 i2 )-=?兀刀况 X x( i1 i2 ) (p *3 / 灯)-X X x( i1 i2i3 )?0g2 e?i1 i2 i3i1 i2 i3?=?Xp x x( ii i2 )?* p x( i3 / xii)?- 1?1bg2 eH X( 3 / X Xi 2) <H X( 3 / Xi)p x( i3 / x， X( N；X Xi 2X

9、n-i) >0? H X( N ) > H X( N / X Xi 2Xn-i)10时等式等等当 -=p X( i3 / X Xi 2i )? p X( i3 / Xi) = p X( i3 / X Xi 2i )? p X X( ii 2i ) (p Xi3 / Xii) = p X( i3 / X Xii 2i ) (p X Xi 2i )? p X( ii) (p X2 / Xi) (p Xi3 / Xii) = p X X X( ii 2 3i i )? p X( i2 / Xii) (p X3 / Xi) = p X X( i2 3i / Xii)等式等等的等等是Xi,

10、X2, X3是马氏链_2.8 证明：H(XX Xn) < H(X i) + H(X 2) + + H(X n)。证明:H X X( i2.X n ) = H X( i)+ H X(2 / Xi)+ H X( 3/ X Xi2 ) + .+ H X( n / X Xi 2.X n-i )I X( 2 ;Xi ) >0? H X(2 ) >H X(2/ Xi ) I X( 3；X Xi 2 ) >0? H X( 3 ) >H X(3 / X Xi 2 )H X(2 ) = 2H X( ) = - 2X( =1.942 bit symbol/H X(3 / X Xibi

11、t symbol/iH - = lim H X(N-> coN / X Xi2.X N-i ) = H X(n ) = 0.971 bit symbol/H X(4 ) = 4H X(X 4的所有符号:)=-4X( = 3.884 bit symbol/00000001001000110100010101100111100010011010101111001101111011112.10 一阶马尔可夫信源的状态图如下图所示。信源 求平稳后信源的概率分布；X的符号集为0,1,2(1)求信源的熵FUF2 ) = H X( 3 )=-刀 p x( i )log p x( i ) = - ( =

12、 0.971解：(1)?d e( 1 ) = p e p & 1 ) ( 1 /e" + p e( 2 ) (p e1 /e2 ) ?d e( 2 ) = p e( 2 ) (p es /e2 ) + p e( 3 ) (p e2 le)?d e( 3 ) = p e( 3 ) (p e3 /es ) + p e p & 1 ) ( 3 /& )?d e( 1 ) = p_p eg 1 ) + p p e? ( 2 )?d e( 2 ) = p p e?( 2 ) + p p e? ( 3 )?3 & 3)= p p e?( 3)+ p p e?

13、74; e( 1 ) = p & 2 ) = p e( 3 )?p e( 1 ) + p e( 2 ) + p e( 3 ) =1?d e( i ) =1/3?d e( 2 ) =1/3?p e( 3 ) =1/3 ?p x( 1 ) = p e( 1 ) (p X1 /e1 ) + p e( 2 ) (p x1 /e2 )_= p p eg 1 ) + p p 氓 2_) = (p + p)/3 = 1/3?p x( 2 ) = p e( 2 ) (p X2 /e2 ) + p e( 3 ) (p x le) =p p eg 2 ) + p p eg 3 ) = (p + p)/3

14、= 1/3(3 ) + p p e? ( 1 ) = (p + p)/3 =1/3?如 x( 3 ) = p e( 3 ) (p X3 /e3 ) + p e p x( 1 ) ( 3 /e ) = p p e?X ?012 ?P X( )? ?l/3 1/3 1/33 p e( 1 /e<)log p e( 1 /e" +/e )log p e( j /ei ) i j3 p e( 2 /e1)log p e( 2 /&) +e( 3 /e"log p e( 3 /e)+ 3 p e( /e )log p e( 1 /e3)+ 3 p e( 2 /e3)lo

15、g p e( 2 /e3) + 3 p e( _ /e3)log p e( 3 /e3)?-13-? 1 1 1 1 1 , 1=? ?p?logp + ? log + ？ ?log +?p?logp+ ? ?og +?p?ogr?3 ''3p p 3p ' p 3''3p ' p 3 ''?=-(p?og p + p?og p bit symbol)/2.11黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑)=0.3，白色出现的概率为P(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵

16、H(X)； 假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1 ，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵 H(X); 分别求上述两种信源的剩余度，比较H(X)和H(X)的大小，并说明其物理含义。解：(1)H X()=-刀 p x( i )log p x( i ) =- ( = 0.881 bit symbol/i?d e( 1 ) = p e p & 1 ) ( 1 /ej+ p e( 2 ) (p ei le)?d e( 2 ) = p e( 2 ) (p e? /e2 )+ p e p e( 1 ) ( 2 /& ) ?

17、d e( 1 ) = 0.8 (p &)+ 0.1 (p e2 )? e( 2 ) = 0.9 (p e)+ 0.2 (p e)?d e( 2 ) = 2 (p e1 )p炉；和乜*I* I 2讥ri7i卒g?d e( 1 )+ p e( 2 ) = 1 ® e( 1 ) = 1/3?d e( 2 ) = 2/3H- = - Xp e p & i ) ( j /e )log p e( j /e )?-?1x1xi j?3330.553 = bit symbo/n 1 = H 0 - H- = log2- 0.881 =11.9%44.7%H(X) > H 2(X

18、)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多, 能够进行较大程度的压缩。2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：(1)“3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的熵和平均信息量；(4)两个点数之和(即2, 3,12构成的子集)的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)I X( i ) = - log p X( i )=-I=4.170bitP x( i )=I X( i ) = - log p X( i )=-log=5.170 bit其他

19、15个组合的概率是IS两个点数的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11, 22,33, 44, 55, 66 的概率是H X(p x( i )log p x( i ) = - ?6X361 log361 +15X181 log181 ?=4.337 bit symbol/ i ?参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：尹 X(X)? =3612?3656176 368591910121 1811112361

20、?H X()=-力p x( i )log p x( i )=-?2D log 十 + 2XHog H 2XHog 1f 2X 11og1 + 2X5Hog 5 Hlog 1?363618181212993636 66?3.274 = bit symbol/P x( i )=X1仁n36I x( i ) = - log p x( i ) = - log1136= 1.710 bit2.13某一无记忆信源的符号集为0,1，已知P(0) = 1/4 , P(1) = 3/4。(1)求符号的平均熵；有100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m)个“ 1”)的自信息量的表

21、达式；计算中序列的熵。解：(1)厶? 1133?H X( ) = - p x( i )log p x( i ) = - ? '4log '4 + 43log 34?=0.811 bit symbol/ i ?p x( i ) = ?14? X?34?00- m =I x( i ) = - log p x( i ) = - log 3100- m4100= 41.5+ 1.585m bit匮15ItJ10340 ?H X( 100) = 100H X() =100X0.811= 81.1 bit symbol/ 2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分

22、成冷暖两个状态,调查结果得联合出现的相对频度如下：L冷'噬8忙厂冷跖爾若把这些频度看作概率测度，求:(1)忙闲的无条件熵；天气状态和气温状态已知时忙闲的条件熵；从天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下：?X ?X1 忙闲 X2 ?P X()?=?0363刀?H X( ) = -2 p x( i )log p x( i )=-勺0363 log10363 + 10340 Iog10340?= 0.964 bit symbol/ i ?(2)设忙闲为随机变量 X，天气状态为随机变量Y，气温状态为随机变量ZH XYZ()=-刀刀习 X y z

23、 i jk )log p x y z( i j k)i j k=-?12 log 12 + 8 log 8 + 27 log 27 + 16 log 16?103103 103103 103103 103103+ _8_fog 8 _+_5 log 15 +- dog 5 +2 Iogd2 s?5-103103 103103 103103 103103?=2.836 bit symbol/H YZ( )= - EE3 y Z jk )log p y Z j k ) j k=-?-20 log-20 + -23 log 23-+ 32og 32+ 28og 28-?103103 103103 1

24、03103 103103?1.977 = bit symbol/H X YZ( /) = H XYZ( ) - H YZ( ) = 2.83& 1.977 = 0.859 bit symbol/I X YZ( ;) = H X( )- H X YZ( /) = 0.964- 0.859 = 0.159 bit symbol/2.15有两个二元随机变量X和丫，它们的联合概率为X1=0X2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY (一般乘积)，试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ) 和 H(XYZ)；和和 l(X;Z/

25、Y)(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)H(Z/XY)；l(X;Y), l(X;Z), l(Y;Z), l(X;Y/Z), l(Y;Z/X)解：(1)PxP x y p x y pH X() =- Xpx( i )log p x( i ) = 1 bit symbol/iPy:3)= ( |3 2)二斗二 +X R 5H Y( ) =- X p y( j )log p y( j ) =1 bit symbol/jZ = XY的概率分布如下：?Z ?1 = 0Z2 = 1?P Z( )?=? 78

26、 18 ?H Z( ) =- Zk2 p Z k ) =- ?78 log 87 + 81log18?= 0.544 bit symbol/ p x( 1) = p x z( 1 1)+ p xz( 1 2) p x z( 1 2) = 0 p x Z 1 1) = p x( 1) = 0.5 p Z 1)=p x z( 1 1)+ p x Z 2 1)p x Z 2 2)p z( 2) = p x Z 1 2)+H? 113311 ?H XZ() =- p x z( ik )log p x Z ik ) =- ? '2log '2 + 83log83 + 8 llog8l?=

27、 1.406 bit symbol/p y( i)=p y z( i 1)+ p y z( i 2) p y z( 1 2) = 0 p y z( 1 1) = p y( 1) = 0.5 p z( 1) = p y z( 1 1)+ p y z( 2 1)p y z( 1 2)+ p y z( 2 2)刀刀? 1133)=- k p y z( j k )log p y z( j k ) =- ? 2log 2 + 8 log8 +1 ?8 log18? = 1.406 bit symbol/ j ?p x y z( 1 1 2) = 0 p x y z( 1 2 2)=P z( 2)=H Y

28、Z(0 p x y Z 2 1 2) = 0 p x y z( 1 1 1)+p x y z( 1 1 2) = p x y( 1 1) p x yz( 1 1 1) = p x y( 1 1) = 1/8 p x yz( 1 2 1)+ p x y Z 1 1 1) = p x z( 1 1)p x y z( 2 1 1)+ p x y z( 2 1 2) = p x y( 2 1)p x y z( 2 2 1) = 0p x y z( 2 2 1 )+ p x y z( 2 2 2 )=p x y( 2 2)H XYZ( ) =- EESp x y z( ii j k=-?1logt+?

29、8jk )log2 p x y Z i j k )H XY()=-H X Y(H Y XH X Z(H Z X(H Y Z(H Z Y(H X YZ(3log3+8 833 11?3log3 + 'log 1 ?= 1.811 bit symbol/8 8 8 8?刀刀?113p x y( ij )log2 p x y( ij ) =-? 8log 8 + 8 log8/?11333311 ?cc'- c c '-n3 + 83log83 + 81log8 1?= 1.811 bit symbol/)=H XY(卜 H Y( ) =1.811 1- = 0.811 bi

30、t symbol/)=H XY()- H X( ) = 1.811 1- = 0.811 bit symbol/)=H XZ( )- H Z( ) =1.40& 0.544 = 0.862 bit symbol/)=H XZ( )- H X( ) = 1.406- =10.406 bit symbol/)=H YZ( )- H Z( ) =1.40& 0.544 = 0.862 bit symbol/)=H YZ( )- H Y( ) =1.406- =1 0.406 bit symbol/)=H XYZ( )- H YZ( ) = 1.811 1.406 = 0.405 bi

31、t symbol/H Y XZ( / ) = H XYZ( )- H XZ( ) =1.811 1.406- = 0.405 bit symbol/ H Z XY( / ) = H XYZ( )- H XY( ) = 1.811 1.811- = 0 bit symbol/IX Y( ; ) = H X( )- H X Y( /) = - 1 0.811=symbol/I X Z( ;) = H X()- H X Z(/I Y Z( ;) = H Y( )- H Y Z( /) = - 10.189 bit)=-1 0.862 = 0.138 bit symbol/0.862 = 0.138

32、bit symbol/I X Y Z ；/) = H X Z(/ )- H X YZ( /) = 0.862- 0.405 =0.457 bit symbol/I Y Z X( ; / ) = H Y X / )- H Y XZ( / ) = 0.862- 0.405 = 0.457 bitsymbol/ I X Z Y( ; / ) = H X Y( / )- H X YZ(/ ) = 0.811- 0.405 =0.406 bit symbol/2.16有两个随机变量X和丫，其和为Z = X + 丫(一般加法)，若X和丫相互独立，求证：H(X)< H(Z), H(Y) < H(

33、Z) o证明：Z = X +YA P Z k / Xi ) = p Z( k - Xi ) = ?) y( j )(Zk - x ) Y(zk - Xi )?YH Z X( / )=-刀乂?p z( k / x )log p z( k / Xi) ?k )log p Z( k / Xi)=-力 p x( i)?刀p x dx p x e i x dx2.17给定声音样值X的概率密度为拉普拉斯分布Hc(X)，并证Hc明它小于同样方差的正态变量的连续熵。解:p x p x dx p x e 入 i x dx=-刀 p x( J?刀p y( j )log2 p y( j )?= HY( ) i?j

34、?H Z( ) > H Z X( / ) AHZ( ) > H Y()同理可得HZ( ) > H X( )o1-入Xpx()=丨入exdx其中:e xdxlog2 e-=e-入 xe-入 x log2 e-入 x o+a -/o+a e-入 x 0+a -o+x e-2'He (X) = log + log2 e = log symbo/ 入xxd(loge-入x )= -?e- 入 x 0+a ?0g2 e = log2 e2ebit入e y ydye y ydyexxdx = 0+xe y ydy:hr a xdx 4- J厂(-)211 二(3)=|匚(J T匚

35、:宀=10x dxx dx ex de2-入 x = -?e-入 x X2 o+a -/o+a e-入 xdx2 ?"=2/0+x xde 入 x =-入 2 ?入 x x o+a-12=入入+x e-入 xdx?He (X 正态)=1 log2n(T e 2 = log 2 n e > He (X) = log2入入m E x p x x dx+x e* 入 xdx2 = 2 J0+x e-入 x xdx2e2 x + y2 wn，求 H(X), H(Y),2.18连续随机变量X和丫的联合概率密度为：p x y( , ) =?n r16文档收集于互联网，如有不妥请联系删除?0

36、其他H(XYZ)和 l(X;Y)。xI I)（提示:解：r2- X2P x( ) = /*x2 p xy dy(r2- xz n r 2 dy = n r 2HeXr2Jr2 - x2厂Px2Jnrp x p x dx()logdxdxr 2 x dx2TJ 1丿k电斗1 -?irL"2 L()logV -P xlog p x r 2 x dx2eIloglog e bit symbolr 2x dx2n令 x = r cosn4sin g logsrin °d( cos°)r2 xdx4尸4 0222 j sin g logsin gd g nr刁4 n 2Si

37、n glOg gdg4 n 2g Igg rd +in g logsin gd gr ni cos2g ,4 ni cos2g,.,°dr。一 2 gdg+ 0/ - 2 g gsin gdgn其中:=n -A1 ?i n 2 logs in An 02 -Jo% 2 sin 2 A d logsin A ?Acos叫 %sin7t2 n 2 cos 2 AA dn log 2 e Jon 2 log 2 e JO n 2 1 + cos22 A1 log e % 2d A -1 log 2 e JO%2 cos2A A dp y()12 log 2 e -2 2 r - y122r

38、 . yn2 n log 2 esin 2 A 02卜则|r2- y212 r 2- y2= Jp xy dx( ) = / r2-y2 冗 r 2 dx =冗 r 2 (- r <y <r) p y( ) = p x()H (X) log rlog e bit/symbolHc (XY)=-JJp xy()log p xy dxdy()RHe ()=-f RP xy()log n r 2 dxdy =log n r 2 ffp xydxdy：)R=log2 n r 2 bit/symbolIc (X Y; ) = He (X) + H Ye( ) - He (XY)=2log2

39、n r - log2 e - log n r=log2 n - log2 e bit/symbol2.19每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有 一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此 图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描 述此图像，广播员在口述中至少需要多少汉字？解：1）H X() = log n = log128 = 7 bit symbol/H X( N ) = NH X( )

40、= 3 10X 5 X7 = 2.1 10X 6 bit symbol/ 2)H X() = logn = log10000 = 13.288 bit symbol/HX( N ) = NH X( ) =1000 13.288X=13288 bit symbol/ 3)x cN = H X( N ) = 2.1 10 6 = 158037HX( ) 13.288 2.20设X = X X1 2.X n是平稳离散有记忆信源，试证明:H X X( 1 2.X n ) = H X( 1)+ H X( 2 / XJ+ H X( 3 / X X1 2)+.+ H X( n/ X X1 2.X n-1)。

41、 证明：=-刀刀i1 i2H X X( 12.X n ) .jx x( i1 i2.XiN )log p x x( i1 i2.xiN )iN=- XX.x x( i1 i2.XiN)log p x( i1 ) (p 2 / xj. (p %n / Xi1.XiN-1)i 1 i2iN=-刀 刀?刀.p x x( ii i2.XiN )?og p x( h ) - XX ?X p xx( ii i2.XiN )?og p x( i2 / Xii )ii ?i2iN?ii i2 ? iN?- XX.XX x( ii i2.XiN )logp x( iN / Xii.XiN-i )ii i2 iN

42、=-X p x( ii )log p x( ii ) - XXp X x( ii i2 )log p x( i2 / Xii )iiii i2- XX.XX x( ii i2.XiN )logp x( iN / Xii. .XiN-1 )ii i2 iN=H X(i) + H X(2 / Xi) + H X(3 / X Xi2 ) +.+ H X(n / X Xi2.X n- i)2.2i设X = X Xi 2.X n是N维高斯分布的连续信源，且 Xi, X2,，X n的方差分别是cc (T i2, 22,., n2，它们之间的相关系数p (X Xi j ) = 0(ij, = i,2.,N

43、i,勺)。试证明：N维高斯分布的连续信源熵He (X)=He(Xi )+ He (X2 )+.+ He(X N )He (X) = He (X Xi2.X n ) = i2 XNi log2n c e i2证明：相关系数p (x Xij )= 0 ,(ij = i,2,., N, iMj），说明XX Xi 2. n:、比（X）=比（Xj兀心）=瓦（尤）十g （兀）+H上X J是相互独等的。1H (X )log2 e 2=log 2(7/胆 tr； +庇 cr；刁艺log 2旌硏1 Ni= 1?x 2.22设有一连续随机变量，其概率密度函数p x( ) = ?0(1) 试求信源X的熵HC(X)；

44、(2) 试求 Y = X + A (A > 0) 的熵 H(Y) ； (3) 试求 Y = 2X 的熵H(Y)。解：1)H Yc ()= -Jf y( )log f ydy()Hc (X) = - JRf x( )log f x dx( )= - Jr f x( )logbx dX2=-logb? JRf x dx( )- JRf x( )logx dx2=-logb- 2b JRx2 logxdx=-logb- 2ba3log a3-9 ebx3ba3Fx ( )x =,Fx ( )a = 1332 a3-logb?JRfy dy()-logb-2b JR(y-A)2 log(y -A

45、 d y)( 0 <x <a 其他'Hc (X) = - logb- ?og bit symbol/3e2)0 <x <a ? 0 <y - A <a A <y <a + AFy ( )y = P Y(< y) = P X(+ A <y) = P X(<y - A)=JAy A bx dxb3(y - A)3f y( ) = F y() = b y(- A)22ba3a3=-logb - log bit symbol/9eFy ( )y =b (y - A)3 ,F aY ( + A)=ba3 = 1332 a3H Yc

46、 ( ) = - logb-?og bit symbo/3 e3)y0 <x <a? 0<a2'0 <y <2ayFy ( )y = P 丫(w y)=P(2X <y) = P X()y2=J0b=-log 8 ?/Rf y dy()- JRf y()log y dy bx dx2=24b y3b 2f y( ) = F y()=一y8b 28 y dyH Yc ( ) = - JRf y( )log f y dy( )= - JRf y( )logb 2ba38a3ydy=-log _- log8 9 e2ba3a3 9- 2ba3=-logb l

47、og +9 e 3Fy ( )y =y3 ,Fy (2 )a =ba3 = 1 b243'H Yc ( ) = - logb-?og +1 bit symbo/2 a33 e信道转移矩?X ?x1x2 ?通过一干扰信道，接收符号为丫 = y1, y2 ，3.1设信源？?=?中 X( )?Q60.4?51?6_6?，求：阵为?1 3?44?(1)信源X中事件xi和事件X2分别包含的自信息量； 收到消息yj(j=1,2)后，获得的关于Xi (i=1,2)的信息量；(3) 信源X和信宿丫的信息熵；解:(4) 信道疑义度H(X/Y)和噪声熵H(Y/X) ； (5)接收到信息丫后获得的平均互信息

48、量。1)I x( 1) =- log2 p x( 1) =- log 0.62 = 0.737 bitI x( 2 ) =- log2 p x( 2 ) =- log 04=1.322 bit2)p y( 1) = p x p y( 1) ( 1 / x"+ p x( 2 ) (p y1 / X2 ) = 0.6 x0.4X0.6 p y( 2 ) = p x p y( 1) ( 2 / x"+p x( 2 ) (p y / x2 ) = 0.6 X +p y( 1 / x1)I X y( 1； 1)= log2p y( 1)I X y( 1； 2 ) = log23)_6

49、0.4X'0.45/6=log2= 0.474 bit0.6p y( 2 / x1) 1/6=-1.263 bit=log2p y( 2 ) 0.4 p y( 1 / x2 ) 1/4I x( 2； y1) = log2p y( 1)p y( 2 / X2)I x( 2； y2 ) = log2p y( 2 )log2=- 1.263 bit0.63/4=log2= 0.907 bit0.4H X( ) =- Xp x( i )log p x( i + 10 = 0.971 bit symboliH Y()=- 刀 p y( j )log p y( j + 10 = 0.971 bit

50、 symbol/jH Y X(/) =- XXp x p y( i ) ( j / x )log p y( j / x )5)ij(0.6=0.715 bit symbol/H X( ) + H Y X(/) = H Y( ) + H X Y( /)H X Y( /) = H X( ) + H Y X( /) - H Y()=0.971+ 0.715- 0.971 = 0.715 bit symbol/IX Y( ; ) = H X( ) - H X Y( /)=0.971- 0.715 = 0.256 bit symbol/?2 1?33?3.2设二元对称信道的传递矩阵为?12?33?(1) 若 P(0) = 3/4,P(1) = 1/4，求 H(X), H(X/Y), H(Y/X) 和I(X；Y);(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)bit symbol/0.811H Y X(=-(i j/ ) =- MLP x p y( i ) ( j / Xi )log p y( j / Xi )x+x+x+ x)xlog 102=0.918 bit symbol/p yP x y)=-x-+lxi = 058334 34 3C = max (I X Y; ) = lo