第3章渐近均分性与香农第一定理_第1页
第3章渐近均分性与香农第一定理_第2页
第3章渐近均分性与香农第一定理_第3页
第3章渐近均分性与香农第一定理_第4页
第3章渐近均分性与香农第一定理_第5页
已阅读5页，还剩25页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第3章渐近均分性与香农第一定理3.1n次扩展信源1、n维离散平稳信源多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率均相同多符号离散信源通常抽象为n维离散平稳信源n维离散平稳信源与时间起点无关——一般记为从1开始2、n维离散平稳无记忆信源（n次扩展信源）及其模型n维离散平稳信源发出的消息中各符号相互独立Nnn维离散平稳无记忆信源——独立同分布，形式上相当于单符号离散信源的n次扩展（重复）——n次扩展信源3、n次扩展信源的熵①联合自信息②联合熵4、n次扩展信源的熵率求二次扩展信源的熵与熵率3.2渐近均分性定理1、n次扩展信源的渐进均分性取ε=0.01，求三次和四次扩展信源各消息的概率之和不小于0.99的分布特点三次扩展信源各消息的概率概率之和不小于0.99的分布特点四次扩展信源各消息的概率概率之和不小于0.99的分布特点n次扩展信源的符号序列分为两组，n越大，其中一组的概率之和越接近1，概率相差越小——渐进均分性2、渐进均分性定理任意给定ε>0，当n足够大，n次扩展信源的典型序列满足不满足该式的符号序列——非典型序列当n足够大由大数定理3.3香农第一定理信源的熵为H(X)，对n次扩展信源进行二进制信源编码，对任意给定的ε>0，只要码率R≥H(X)+ε，当n足够大，编码无失真如果码率R<H(X)-2ε，无论n多大，编码一定失真正定理当n足够大，n次扩展信源产生等概率的典型序列，其数量设二进制信源编码的码字数量为2nR，只要保证编码无失真——典型序列有一一对应的编码逆定理必然有部分典型序列没有对应的码字有一一对应码字的这些典型序列的编码无失真，其概率之和为译码正确概率1-Pe如果R<H(X)-2ε译码错误概率香农第一定理表明了n次扩展信源无

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论