第三章离散信源.ppt

1、3.1源的数学模型和分类，第三章离散源，3.1.1源的数学模型，源：信息的来源，生成消息(符号)、消息序列和连续消息的来源，生成随机变量、随机序列和随机过程的来源。 来源的基本特性：有随机的不真实自我。 在电信系统中，收件人在收到消息之前发送的消息是不确定和随机的，因此可以描述要在随机变量、随机序列或随机过程中发送的消息，以及以样本空间及其概率测度概率空间发送的消息是离散消息象征符的形式。 2、连续源是发布时间和宽度上连续分布的连续消息(模拟消息)的源，例如语言、图像、图形等都是连续消息。 3.1.2根据源的分类以及来自该源的消息的时间和广泛分布情况，该源可分为离散源和连续源两种。 源、离散源

2、3360个字符、数据、电报随机序列、连续源3360个语音、图像随机处理、离散源、以及发布离散无存储器源象征符序列的无存储器源、发布象征符序列的无存储器源、以及发布象征符序列离散无记忆源：离散源在不同时刻发行的象征符之间没有依存性，相互统一独立，有记忆源：输出的随机序列x中的各随机变量之间有依存性，但记忆长度有限制。 通常，在不同时间在发出的象征符之间该源是相互依赖的，即，在源输出的平滑随机序列x中，该源在每个随机变量Xl之间是依赖的。 如果中国字序列依赖于前后文字的出现，就不能认为是互不相关的。 表示有记忆的源比表示没有记忆的源更加困难，表示有记忆的源发出的各象征符的概率是相关的。 有发行象征

3、符序列的存储源发行象征符序列的马尔可夫源、存储源，源发行的象征符序列的整体概率(即协作概率)反映存储源的特征，出现一个象征符的概率仅依赖于前面的象征符， 独立于上述象征符的时间对齐的马尔可夫源：上述条件概率是与时间起点I无关的随机波形源：源输出的消息在时间(或空间)和时间值也是连续的函数。 离散平稳源：输出的随机序列的各个随机变量是离散的，并且随机向量x的各个维度概率分布不会随时间移位。 连续稳态源：输出的随机序列的各随机变量是连续的，随机向量x的各维概率分布函数随时位移不变。 3.2离散无记忆源、离散无记忆源发行的各象征符相互独立，发行的象征符序列中的各象征符间没有统一的关联性，各象征符的出

4、现概率是自身的先验概率。 比如掷骰子，每次实验结果必定是16点其中一个面向上。 以离散随机变量x描述此源输出的消息。 定义3.2.1源x输出象征符定径套，将n设为来自源的信息象征符数，将按象征符发生的概率设为p(xi )，I=1，2，n。 这些个的消息象征符相互无关，并且x有时被称为离散无存储源。 在离散无存储源的数学模型概率空间中，假定在定义3.2.2源x中发生时间xi的概率为p(xi )，则该xi中包括的自信息量将定义3.2.3源的每个离散消息的自信息量的数学期望(即概率加权的统计的平均值)定义为源的平均信息量、熵函数的自变量由x表示，其描绘整个信息源，且为实质上不存储信息源的平均不确定度

5、的圈套。 实验后的熵为熵单位：以2为底，二进制位/象征符，源熵具有以下三种物理意义：信息熵H(X )表示源输出后，对每个离散消息提供的熵信息量。 该信息熵H(X )表示在源极输出之前的源极的平均不确定性。 信息熵H(X )反映了变量x的随机性。 二元熵函数的一个示例是对于0到1分布的随机变量所确定的熵： H(X)=-plogp-(1-p)log(1-p)=H(p )，H(p )，而如果p=0或者1，则二元熵函数的曲线是H(p)0 p，H(p)/bit，3.3离散无记忆源的扩展源，3.3.1最简单的离散源，以及来自一个离散源的每一个象征符消息的集合分别是p(xi): xi的先验概率，单象征符离散

6、源的数学模型概率空间，以及a，b、 源(c )一次可以将包括两个或更多个象征符的象征符序列用作消息并且该象征符序列的源(二次扩展源)、单一象征符的源(一次扩展源)、2、诸如无离散记忆二进制资源x的三次扩展源、以及三次扩展源X3=(X1，X2，X2 ) 以这种方式，创建具有8个消息象征符的对新源x、3和离散无记忆源x的n次扩展，并且在存在离散无记忆源x的情形中，可以以长度为n的序列的定径套来聚集输出消息序列。 也就是说，和新的来源一样。 新的源每次都输出长度为n的消息序列，并在n维离散随机向量中声明XN=，使得各自的分量为随机变量，它们都取相同的集合的值，并且分量之间的聚合校正独立，并且由随机向

7、量x构成的新源被称为离散无记忆源x的n维扩展源。 注意，3.3.3 N次增强源的熵和定义3.3.2离散无记忆源x的n次增强源XN的熵等于源x的熵的n倍(即，例如：有离散且平稳的无记忆源) 一个消息序列的每个二进制位出现的象征符是随机的，并且这种源称为多象征符离散源，其典型的前后象征符之间的出现是集成的。 发送信道源的象征符序列的概率分布与时间的起点无关，将该信道源称为多象征符离散稳态信道源。 (2)对有限的源符号定径套A=(a1、a2、aq )取值的随机序列是平滑的，即所有的非负整数i1、i2、 in、h和x 有时将子源称为离散平滑的源，在任意2个不同的时刻I和j，如果发送源的概率分布完全相同

8、，则称之为二维稳定源，除上述条件以外，联合概率分布也与时间起点无关，将源称为二维稳定源。 这样的来源随时发行两个象征符的概率是完全相同的。 n维联合概率都与时间起点无关的完全稳态源称为离散稳态源。、根据定义3.4.2稳态源的熵和信息熵，其中，在离散稳态源处具有存储源的联合熵被称为熵，3.4.3极限熵，定义3.4.2源输出或n长码序列，以及每编码熵(提供的信息量)被称为定理3.4.1 对于离散稳态源，有时条件熵不是随n的增加而增加的n给定时间节点，平均象征符熵条件熵平均编码熵是随n的增加而不增加的，条件多的熵在条件少熵以下， 说明条件熵必须小于或等于无条件熵对于离散稳态源而言，如果认为依赖关系为

9、无限长，则平均象征符熵和条件熵都可以使朝向非递增稳态源的信息熵(极限熵)一致。 条件熵或平均象征符熵可被用作稳态源极限熵的近似。3.5马尔可夫源、一个象征符出现的概率仅涉及先前的一个或有限象征符，且不依赖于较早的象征符，此性质具有马尔可夫性质。3.5.1设有限状态马尔可夫链、定义3.5.1xn、nN为随机序列，时间常数定径套n=0、1、2，对于其状态空间S=S1、S2、Sj，如果对于所有的nN，源在时刻m处于si状态，则在其以下n时时刻状态向Sj状态迁移的跃迁几率，在pij 将具有以下性质的m 1表记为pij(m )是基本关跃迁几率字pij(m)=pXm 1=j| Xm=i (i )， 也称为

10、jS )，基本跃迁几率也具有上述性质，将k步跃迁几率定义为p(k)ij(m )，通常，在定义3.5.2马尔可夫链中，如果是pij(m)=PXm 1=j|Xm=i=pij (i，jS )，则与从状态I转移到状态j的概率m无关，同时对于同时马尔可夫链，一头地跃迁几率具有以下性质： pij0 (i，jS )，一头地跃迁几率可以写成迁移矩阵形式，显然矩阵中的每行之和为1，每个元素为非负。 如果马尔可夫链中的状态空间有限，则称为有限状态的马尔可夫链的状态空间为无限集合，称为可以计算无限状态的马尔可夫链。 对于具有m r阶跃跃迁几率的一次马尔可夫链，写为(I，jS )，定义3.5.3如果一次马尔可夫链对所

11、有的I，j都满足不依赖于I的极限，则具有扫描性，pj称为稳态分布。 其中，pi是该马尔可夫链的初始分布。 另外，扫描性的直观意义无论质点从哪个状态Sj出发，在迁移级数n大于一盏茶的情况下，迁移至状态Sj的概率几乎等于某常数。 对于扫描性的有限状态马尔可夫链，据说存在一个素数W1，W2，Wr，且如果满足，则存在它的马尔可夫链的稳态分布。定理3.5.1设定马尔可夫链，其状态迁移矩阵P=(pij )、I、j=1、2、 r，其稳态分布若为Wj、j=1、2、r，则为3.5.2马尔可夫源，在某一时刻发行的象征符与源所在的状态相关，输出具有源的象征符的概率定义3.5.4信息源输出的象征符序列和状态序列如果满

12、足以下条件，则将该信息源称为模型信息源。(1)某个时刻的源象征符的输出与该时刻的源状态无关，即，(2)源状态仅由当前输出象征符和先前时刻的源状态唯一决定，即si=(xi1，xi2，xi2 )， 设为xi2的sQ Q=nm信源输出的随机象征符序列是x1、x2、x i-1、x i信源所在的随机状态序列是s1、s2、si-1， 对于si，该二进制序列被转换成对应的状态序列： m=2，Q=nm=22=4 s1=00 s2=01 s3=10 s4=11是s2 s3 s2 s4 s4 s3 s1，so，s 1，1/0.6，0 /的示例2-2 :源象征符定径套为0 求已知的象征符条件概率： p(0|00)=

13、1/2p(1|00)=1/2p(0|01 )稳态分布概率、状态转移概率矩阵、象征符条件概率矩阵、(1)1/2、(0)1/2、稳态分布概率、稳态后的象征符概率分布，例如源象征符定径套为0， 一个源开始时下一个单位时间：输出随机数X2与X1具有依赖性，p(x2|x1 )，再下一个单位时间：输出随机数X3与X2X1具有依赖性，p(x3|x1x2)，从第四单位时间起，随机变量Xi仅与前两个单位时间的随机变量Xi-2Xi-1具有依赖性xi-1xi-2x2x1)=p(xi|xi-1xi-2)(i3)并且，以等概率输出符号0和1，分别以到达状态s1和s2 :为s1、0.3和0.7的概率输出0和1，s3和s4为s2、0.4和0.6的概率输出0和1 3个单位时间以后，源必定处于s3 s4 s5 s6的4个状态的任意一个。 i3之后，源的状态迁移在下图中能够表示3360，10，11，01，00，(0)0.3，(0)0.4，(1)0.7，()的s0，(0)0.5，(1)0.5，s0的过渡状态s3 s4 s5 s6不能约闭合，具有扫描性从题意上讲，这个马尔可夫源的状态必然进入这个不可约闭集，所以在修正源熵时可以不考虑过渡状态和过渡过程。 由此，在获得稳态分布概率并且马尔可夫源稳定