信息论与编码作业答案(新)超全

#/12信息论与编码作业答案(新)超全篇一：信息论与编码姜丹第三版答案信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是74页，的(1)(5)，,,,,还有证明熵函数的连续性、扩展性、可加性同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：11样本空间：N?c6c6?6?6?36n12??I(a)??logP1?log18?(2)P2?2??I(a)??logP2?log36?N36(1)P1?(3)信源空间：?log?6??log36?36236?H(x)?15?2436636836?log36＋?log??log??log3636236336410366362016??log＋?log?365366n1136(5)P3?3??I(a)??logP3?log?N3611?H(x)?如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为(Xa,Ya),(Xb，Yb)，但A，B不能同时落入同一方格内。(1)若仅有质点A，求人落入任一方格的平均信息量；(2)若已知A已落入，求8落入的平均信息量；(3)若A，B是可辨认的，求人，8落入的平均信息量。解：1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848?H(a)P(ai)logP(ai)?log48?i?148(2)?在已知A落入任一格的情况下，B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47?H(b)P(bi)logP(bi)?log47?i?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847H(ABi)P(ABi)logP(ABi)?log(48?47)?从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：对于男士:回答“是”的信息量：I(my)??logP(my)??log7%?回答“不是”的信息量：I(mn)??logP(mn)??log93%?平均每个回答信息量：H(m)??P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?对于女：回答“是”的信息量：I(wy)??logP(wy)??%回答“不是”的信息量：I(mn)??logP(mn)??%平均每个回答信息量：H(m)??P(wy)?logP(wy)?P(wn)?logP(wn)?-%?%-%?%?某一无记忆信源的符号集为{0,1},已知p0?13,p1?23（1）求符号的平均信息量；（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0”，(1000-m)个“1”)的自信量的表达式；(3)计算(2)中序列的熵。解：1122(1)H(x)??p0logp0?p1logp1log??log?/symble333312(2)I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)logbit33(3)H(A)?1000H(X)?1000??918bit/sequenceH(A)p0logp0?i?1m1000?m?i?1p1logp1??m12(1000?m)2log?log3333设信源X的信源空间为：a1a2a3a4a5a6?X：[x?p]：??p(X)求信源熵，并解释为什么H(X)>log6,不满足信源熵的极值性。解：H(X)p(ai)logp(ai)i?162????bit/symble可见H(X)??log6?不满足信源熵的极值性，这是因为信源熵的最大值是在?pi?1的约束条件下求得的，但是本题中i?1r?pi?16i?不满足信源熵最大值成立的约束条件，所以H(X)?log6。为了使电视图象获得良好的清晰度和规定的对比度，需要用5X105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率(6江/$)。解：由于亮度电平等概出现，由熵的极值性：每个像素的熵是：H(x0)??p(ai)logp(ai)?log10?/pelsi?110每帧图像的熵是：H(X)?5?105?H(x0)?5?105106bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30??106??107bit/s设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大倍左右。证:增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化?每个像素的熵是：H(x1)??p(bi)logp(bi)?log300bit/pelsi?1300?H(x1)log300(x0)log10?彩色电视系统每个像素信息量比黑白电视系统大倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高倍左右.每帧电视图像可以认为是由3X105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:每帧图象所含信息量:2016H(X)?3?105?H(x)?3?105?log128??106bit/symble1000?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率P?描述一帧图像需要汉字数n,H(X)?nH(c)H(X)?106n105/frameH(c)??最少需要？105个汉字给定一个概率分布(p1,p2,...,pn)和一个整数m，0?m?n。定义qm?1??p，证明：ii?1mH(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立？证：先证明f(x)??xlogx(x?0)为凸函数，如下：loge又x?0xloge?f??(x)?(?xlogx)0即f(x)??xlogx(x?0)为凸函数。x?f??(x)?(?xlogx)X?H(p1,p2,...,pn)pilogpi?i?1mi?m?1?plogpini由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：?i?m?1?pilogpi??(n?m)i?m?1ni?m?1?f(p)inn?m??(n?m)f(i?m?1?pnin?m)??(n?m)i?m?1?pnin?mlogi?m?1?pnin?m??qmlogqmn?m即??plogpini??qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。？H(p1,p2,…，pn)pilogpi?m?plogpinipilogpi?qmlogqm?qmlog(n?m)mi?1i?m?1i?1m?H(p1,p2,...,pm,qm)pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。找出两种特殊分布:pl三p2三p3三…三pn,pl三p2三p3三…三pm,使H(p1,p2,p3,…，pn)=H(p1,p2,p3,…，pm)。解：nmH(p1,p2,...,pn)pilogpi?H(q1,q2,...,qm)qilogqii?1i?1篇二：信息论与编码课程大作业信息论与编码课程大作业以下面方向为题，写一份论文报告：(题目可以自己定义,只要内容在以下范围之内)信息理论方法的应用信息率失真函数与有损数据压缩技术信源编码及其发展动态论信源编码与信道编码论现代密码体制论通信与香农三大定理的关系论文格式要求按题目、名字学号、摘要、关键词、正文、结论、参考文献进行书写，格式要统一规范，图表要完备；字体小四、宋体、行距；任意两个同学的论文不能相同，如相同20%以上则视为零分；论文内容要求论文不能写成综述性文章，必须是对技术的探讨与分析，研究并提出自己