信息论与编码作业答案(新)超全.doc

信息论与编码作业答案(新)超全 信息论与编码习题参考答案 第一章 单符号离散信源 信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： 11 样本空间：N?c6c6?6?6?36 n12 ?I(a)?logP1?log18?4.17bitN36n1 (2)P2?2?I(a)?logP2?log36?5.17bit N36(1)P1? (3)信源空间： ?log?6?log36?4.32bit 36236 ?H(x)?15? 2436636836 ?log36?log?log?log36362363364 1036636 ?log?log?3.71bit 365366n1136 (5) P3?3?I(a)?logP3?log?1.17bit N3611 ?H(x)? 1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格内。 （1） 若仅有质点A，求A落入任一方格的平均信息量； （2） 若已知A已落入，求B落入的平均信息量； （3） 若A，B是可辨认的，求A，B落入的平均信息量。 解： 1 (1)?A落入任一格的概率:P(ai)?I(ai)?logP(ai)?log48 48 ?H(a)?P(ai)logP(ai)?log48?5.58bit i?1 48 (2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)?I(bi)?logP(bi)?log47 ?H(b)?P(bi)logP(bi)?log47?5.55bit i?148 1 47 (3)AB同时落入某两格的概率是P(ABi)?I(ABi)?logP(ABi) 48?47i?1 11?4847 H(ABi)?P(ABi)logP(ABi)?log(48?47)?11.14bit 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： 对于男士: 回答“是”的信息量：I(my)?logP(my)?log7%?3.84bit回答“不是”的信息量：I(mn)?logP(mn)?log93%?0.105bit平均每个回答信息量：H(m)?P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女： 回答“是”的信息量：I(wy)?logP(wy)?log0.5%回答“不是”的信息量：I(mn)?logP(mn)?log99.5% 平均每个回答信息量：H(m)?P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit 1.4某一无记忆信源的符号集为0，1，已知p0? 13 ，p1? 23 。 （1） 求符号的平均信息量； （2） 由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”） 的自信量的表达式； （3） 计算（2）中序列的熵。 解： 1122 （1）H(x)?p0logp0?p1logp1?log?log?0.918bit/symble 3333 12 （2）I(A)?mlogp0?(1000?m)logp?mlog?(1000?m)logbit 33 （3）H(A)?1000H(X)?1000?0.918?918bit/sequence H(A)?p0logp0? i?1m 1000?m ? i?1 p1logp1? m12(1000?m)2 log?log3333 1.5设信源X的信源空间为： a1 a2a3a4a5 a6?X： x?p：? ?p(X) 0.170.190.180.160.18 0.3 求信源熵，并解释为什么H(X)log6，不满足信源熵的极值性。 解： H(X)?p(ai)logp(ai) i?1 6 ?0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性， 这是因为信源熵的最大值是在?pi?1的约束条件下求得的，但是本题中 i?1r ?p i?1 6 i ?1.18不满足信源熵最大值成立的约束条件，所以H(X)?log6。 1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。 解： 由于亮度电平等概出现，由熵的极值性： 每个像素的熵是： H(x0)?p(ai)logp(ai)?log10?3.322bit/pels i?110 每帧图像的熵是： H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame ?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证: 增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化 ?每个像素的熵是： H(x1)?p(bi)logp(bi)?log300bit/pels i?1300 ? H(x1)log300 ?2.477?2.5H(x0)log10 ?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右. 1.8每帧电视图像可以认为是由3105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 每帧图象所含信息量: H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000 ?0.110000 ?每个汉字所包含信息量:H(c)?logp每个汉字所出现概率p? 描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n?6.322?105/frame H(c)?log0.1?最少需要6.322?105个汉字 1.9给定一个概率分布(p1,p2,.,pn)和一个整数m，0?m?n。定义qm?1? ?p，证明： ii?1 m H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)。并说明等式何时成立？ 证： 先证明f(x)?xlogx(x?0)为凸函数，如下： loge 又x?0x loge ?f?(x)?(?xlogx)?0 即f(x)?xlogx(x?0)为凸函数。 x?f?(x)?(?xlogx)? 又?H(p1,p2,.,pn)?pilogpi? i?1m i?m?1 ?plogp i n i 由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得： ? i?m?1 ?pilogpi?(n?m) i?m?1 n i?m?1 ?f(p) i n n?m ?(n?m)f( i?m?1 ?p n i n?m )?(n?m) i?m?1 ?p n i n?m log i?m?1 ?p n i n?m ?qmlog qmn?m 即? ?plogp i n i ?qmlogqm?qmlog(n?m) 当且仅当pm?1?pm?2?.?pn时等式成立。?H(p1,p2,.,pn)?pilogpi? m ?plogp i n i ?pilogpi?qmlogqm?qmlog(n?m) m i?1 i?m?1 i?1 m?H(p1,p2,.,pm,qm)?pilogpi?qmlogqm i?1 ?H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。 1.10找出两种特殊分布: p1p2p3pn，p1p2p3pm,使H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。解：n m H(p1,p2,.,pn)?pilogpi?H(q1,q2,.,qm)?qilogqi i?1 i?1 信息论与编码课程大作业 下范围之内) a) 信息理论方法的应用 b) 信息率失真函数与有损数据压缩技术 c) 信源编码及其发展动态 d) 论信源编码与信道编码 e) 论现代密码体制 f) 论通信与香农三大定理的关系 2、 论文格式要求 a) 按题目、名字学号、摘要、关键词、正文、结论、参考文献进行书写，格式要统一规范，图表要完备； b) 字体小四、宋体、1.5行距； c) 任意两个同学的论文不能相同，如相同20%以上则视为零分； 3、 论文内容要求 1） 论文不能写成综述性文章，必须是对技术