多符号离散信源的熵.ppt

1、第一、第二章源熵，培养好的习惯比哈佛大学毕业证对一个人的成功更重要。比尔盖茨，2，牙齿章节的主要内容，2.1单符号离散源2.2多符号离散源平滑和熵2.3连续源和熵，3，牙齿部分的教育内容，基本要求，1，教育内容多符号离散序列源和熵马尔可夫源和熵信息的冗余度2，基本要求多符号离散序列源熵的定义，特性主马尔可夫源熵的模型这些源每次输出为符号序列，而不是单个符号。像电报系统一样。在源输出序列中，每个位上出现的符号是随机的。牙齿源称为多符号离散源。在二进制系统中，我们可以把两个二进制数字看作一个组，并牙齿发生四个可茄子的情况(00，01，10，11)。我们可以把牙齿四茄子的情况看作是一种称为二进制无机

2、亿源的新来源的二次扩展源。因此，如果将N个二进制数字看作一个组，则新的源称为二进制无机亿源的N次扩展源。5，例如，源序列：000、001、 111称为二进制源的第三级扩展源。二进制源的N次扩展源：N元源的N次扩展源(多符号离散源)的定义：输出消息长度为N，消息中的每个符号都来自集合X，X具有N个单符号消息。x的N号扩展源记录为：以XN，N维向量表示：N位，相应的源XN，6，平滑随机序列：所谓稳定是指序列的统计特性与时间的推移无关。非平面随机序列：源发送每个符号的概率与时间开始相关。离散无机亿源：源序列的前后符号之间存在统计独立。离散内存源：源序列前后符号之间的相关。7，序列信息的熵，序列信息的

3、熵(即离散无内存源的N次扩展源的熵)原始源X的数学模型XN的数学模型：8，H(XN)=NH(X)证明：约例2.2注意：单位，单位离散稳定内存源的N次扩展源(内存长度N)的熵满足：10，示例2.2.2:p44，二维离散源X2=X1X2的原始源x设置为符号之间的相关性，表示为以下条件概率(传输概率):11，解决方案：12，将计算结果赋予常识。验证1.2061.542表明计算结果与上述公式相匹配。说明：多符号消息的平均符号熵=原始单符号源熵。这是因为符号之间的统计相关性。要提高源向外部提供的平均符号信息量，必须删除符号之间的相关性(重复项)。13，N维离散内存源的极限熵，(又称离散稳定内存源的N次扩

4、张源的极限熵)，极限熵：平均符号熵的N是极限值，即远视源不断发出符号，符号之间的统计关系无限扩展。极限熵：表示一般离散稳定的内存源由每个符号提供的信息的平均量。14，15，Markov源的极限熵在很多源的输出序列中符号之间的依赖性是有限的。也就是说，任何时候源符号出现的概率只与以前运行的某些符号相关(与以前的符号无关)。示例：在随机变量序列中，(m 1)始终出现的随机变量Xm 1与以前运行的M个随机变量X1 X2 Xm相关，而不是与以前的随机变量相关。Xi像单个符号源符号集X这样的源称为M阶Markov源。M阶马尔可夫源每次只发送一个符号，每个符号只与以前发送的M个符号相关。、16、Marko

5、v源的配置需要两个茄子条件。(1)源输出中的符号是前M个符号和仅相关、牙齿的M个相关符号，称为“源的前一时刻的状态”。m阶Markov源由瞬时I发符号，17，18，(2)某一时刻源所在的状态由该时刻输出的符号和前一时刻的状态唯一确定。、q: m阶马尔可夫源的最大状态是多少？nm，所有状态构成状态空间S，每个状态以一定的概率发生，结果数学模型是M阶马尔可夫源的数学模型。19，m阶Markov源的数学模型：和满足，20，m阶Markov源的熵：也是m阶扩展源，21，Markov极限熵的计算，22，示例解决方案：二进制5，0。5，0.25，24，牙齿一阶马尔可夫源极限熵值为，25，状态概率：注：状态

6、概率必须列出方程组解。26，示例2.2.4:P48，二进制二次Markov源，源符号集x=(0，1)，状态切换图匹配：P(0/00)=P(1/；27，p(S1/S1)=p(S4/S4)=0.8p(S2/S1)=p(S3/S4)=0.2p(S3/S2)牙齿源的内存长度为M，但符号之间的依赖性扩展到无限，并以状态转移概率说明了这种依赖性。熵是极限熵Hm 1。马尔可夫源作为传输概率表示每个符号提供的信息量。消息长度为M的内存源：符号之间的相关性限制为每个长度为M的消息，消息之间在统计上是独立的，因此极限熵记录为32。与源的相关性和冗余度不同的内存长度(例如，M次源的内存长度为：m)的离散平滑源的熵。其中N是原始源集合中的符号数。说明：内存长度M牙齿越长，极限熵越小，与实际源越接近。33，源熵的相对比率(源效率):实际熵与最大熵的比率源冗余：意义：对于最大熵，无用信息所占的比率。应用：在设计