信息论与编码英文课件 ch2例题与证明六.doc_第1页
信息论与编码英文课件 ch2例题与证明六.doc_第2页
信息论与编码英文课件 ch2例题与证明六.doc_第3页
信息论与编码英文课件 ch2例题与证明六.doc_第4页
信息论与编码英文课件 ch2例题与证明六.doc_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

思考题 已知12个球中有一个球的重量与其它球不同，其它球均等重。问用无砝码的天平至少须几次才能找出此球？解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为： 因为 3log3log243次测量可以找出该球具体称法略。例一一副充分洗乱了的牌（含52张牌），试问：(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？(1)任意排列共有种，则任一排列的自信息量为：。(2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类中分别进行。其概率为：， 信息量。例二 已知随机变量X和Y的联合概率分布满足：试求能使H(XY)取最大值的联合概率分布。H(X Y) H(X) + H(Y) 等号在X、Y独立时取得P() = P() = P() = P() = P() = P() = P() = P() = P() = 满足 H(XY) 取最大值例三求证：I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+I(X;Y)+I(Y;Z)+I(Z;X)例4令X为掷钱币直至其正面第一次朝上所需的次数，求H(X)P(X=n) = = H(X) = = = 2 bit例5一个无记忆信源有四种符号0，1，2，3。已知。试求由6000个符号构成的消息所含的信息量。解：先计算一个符号所含的平均自信息量，即信源熵HH= =1.9056bit无记忆信源由6000个符号构成的符号序列消息例6发出二重符号序列消息的信源熵为而一阶马尔可夫信源的信源熵为试比较这两者的大小，并说明原因。 解：根据公式，当Y和X为同一集合时，有，各种熵和条件熵均为非负值，当且仅当X中只含有一个确定性事件时才出现H（X）=0。当X中含有二个或二个以上事件时，有H（X）0，及H（X2）0，H（X|X）0，因为H（X）0所以H（X2）H（X|X）说明，在一般情况下，发二重符号序列的信源的信源熵H（X2）大于一阶马尔可夫过程的信源熵H（X|X）例7有一个马尔可夫信源，已知，试画出该信源的概率转移图，并求出信源熵。解：该信源的概率转移图为： 1/3 2/3 (x1) 1 (x2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论