秋信息论第2章离散信源与信息熵课件

1、秋信息论第2章离散信源与信息熵秋信息论第2章离散信源与信息熵2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。连续信源模拟通信系统离散信源数字通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。秋信息论第2章离散信源与信息熵22.1 信源的分类和描述信源输出为连续信号形式（如语音），可离散信源Xi Xj 离散无记忆信源：输出符号XiXj之间相互无影响；离散有记忆信源：输出符号XiXj 之间彼此依存。 离散信源无记忆有记忆发出单个符号发出符

2、号序列马尔可夫信源非马尔可夫信源秋信息论第2章离散信源与信息熵3离散信源Xi Xj 离散无记忆信源：输出符号XiXj之xiyj将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。秋信息论第2章离散信源与信息熵xiyj将一粒棋子随意地放在棋盘中的某列；秋信息论第2章离散就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X表示棋子位置：其中，代表随机事件的某一结果。秋信息论第2章离散信源与信息熵5就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。2.2 离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事

3、件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。2.2.1自信息量定义2.1 任意随机事件xi的自信息量定义为：秋信息论第2章离散信源与信息熵62.2 离散信源的信息熵信息的可度量性是信息论建立的基础；秋小概率事件所包含的不确定性大，自信息量大。大概率事件所包含的不确定性小，自信息量小。概率为1的确定性事件，自信息量为零。信息量的单位与公式中的对数取底有关。以2为底，单位比特（bit） ；以e为底，单位奈特（nat）；秋信息论第2章离散信源与信息熵7小概率事件所包含的不确定性大，自信息量大。信息量的单位与公式例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。秋信息论第2

4、章离散信源与信息熵8例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。秋信息论例：袋内红、白球各50个,随意从袋中摸出一球。秋信息论第2章离散信源与信息熵9例：袋内红、白球各50个,随意从袋中摸出一球。秋信息论第2章例：袋内红球1个、白球7个,随意从袋中摸出一球。秋信息论第2章离散信源与信息熵10例：袋内红球1个、白球7个,随意从袋中摸出一球。秋信息论第2定义2. 2 X中出现事件xi与Y中出现事件yj的联合自信息量定义为秋信息论第2章离散信源与信息熵11定义2. 2 X中出现事件xi与Y中出现事件yj的联合自信定义2.3 X中事件xi在Y中事件yj已出现的情况下再出现时所能提供的信息量定义

5、为条件自信息量当 互相独立时秋信息论第2章离散信源与信息熵12定义2.3 X中事件xi在Y中事件yj已出现的情况下再出现时xiyjxiyj将一粒棋子随意地放在8*8的正方形棋盘的某方格内；涉及两个随机事件。联合自信息量为秋信息论第2章离散信源与信息熵xiyjxiyj将一粒棋子随意地放在8*8的正方形棋盘的某方xi相对yj的条件自信息量为已知棋子所在方格的行，棋子所在列的位置？秋信息论第2章离散信源与信息熵14xi相对yj的条件自信息量为已知棋子所在方格的行，棋子所在列其中，一般地秋信息论第2章离散信源与信息熵15其中，一般地秋信息论第2章离散信源与信息熵17xiyj秋信息论第2章离散信源与信息

6、熵xiyj秋信息论第2章离散信源与信息熵有12块银元，其中有一块是假的。真假银元从外观看完全相同，但假银元的重量与真银元略有不同。求证，用一架天平称3次即可找出假银元，并知道假银元是轻是重。思考题秋信息论第2章离散信源与信息熵17有12块银元，其中有一块是假的。真假银元从外观看完全相同，但2.2.2平均自信息量 一个离散随机变量X，以不同的取值概率有N个可能取值, 是一个随机变量，不能用来作为整个信源的信息测度。秋信息论第2章离散信源与信息熵182.2.2平均自信息量 一个离散随机变量X，以不同的取值概率 定义2.4 随机变量I(xi)的数学期望定义为平均自信息量，又称作离散信源X的信息熵，简

7、称熵。熵函数的自变量是X,表示信源整体。集X的平均自信息量表示集X中事件出现的平均不确定性。即集X中每出现一个事件平均给出的信息量。熵这个名词是香农从物理学中的统计热力学借用过来的，在物理学中热熵是表示分子混乱程度的一个物理量。秋信息论第2章离散信源与信息熵19 定义2.4 随机变量I(xi)的数学期望定义为平均自信例：袋内100个球，其中80个红的，20个白的，若随机摸取一个，猜测其颜色，求平均摸取一次所能获得的自信息量。概率空间随机模取n次后总共所获得的信息量为平均模取1次所获得的信息量为熵从平均意义上表征信源的总体特征平均不确定性.随机摸取n次红球出现次数为np(x1),白球出现次数为n

8、p(x2)秋信息论第2章离散信源与信息熵20例：袋内100个球，其中80个红的，20个白的，若随机摸取一理解BIT二进制信源，如果0和1两个符号出现的概率都是0.5，这个信源平均每输出一个符号，我们就得到1bit信息。熵的单位与公式中的对数取底有关。H(X)以2为底，通信中最常用，单位比特（bit） ；He(X)以e为底，理论推导中较方便，单位奈特（nat）；秋信息论第2章离散信源与信息熵21理解BIT二进制信源，如果0和1两个符号出现的概率都是0.5定义2.5 联合熵联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。秋信息论第2章离散信源与信息熵22联合离散符号集合XY上的每个元

9、素对 的联合自信息定义2.6 条件熵在已知随机变量Y的条件下，随机变量X的熵称为集X对集Y的条件熵。是联合集XY上条件自信息量的数学期望。是已知一随机变量，对另一个随机变量的不确定性的量度当X表示信源的输出，Y表示信宿的输入时，条件熵H(X/Y)可表示信宿在收到Y后，信源X仍然存在的不确定度，即信道的损失。求条件熵为什么要用联合概率加权？秋信息论第2章离散信源与信息熵23定义2.6 条件熵是已知一随机变量，对另一个随机变量的不确定秋信息论第2章离散信源与信息熵24秋信息论第2章离散信源与信息熵26复习一下秋信息论第2章离散信源与信息熵25复习一下秋信息论第2章离散信源与信息熵27例：已知X，Y

10、p(0,0)=p(1,1)=1/8,p(0,1)=p(1,0)=3/8,计算条件熵H(X/Y)。,XY的联合概率为：解： 根据条件熵公式秋信息论第2章离散信源与信息熵26例：已知X，Yp(0,0)=p(1,1)=1/8,p(0,1命题2.1 联合熵等于信息熵加上条件熵。XY证明：秋信息论第2章离散信源与信息熵27命题2.1 联合熵等于信息熵加上条件熵。XY证明：秋信息论X和Y统计独立时秋信息论第2章离散信源与信息熵28X和Y统计独立时秋信息论第2章离散信源与信息熵302.2.3 熵的性质H(X)只是其概率分布的函数，当X有n个可能取值时，H(X)是其概率分布P=(p1,p2, pn)的n-1元

11、函数。秋信息论第2章离散信源与信息熵292.2.3 熵的性质秋信息论第2章离散信源与信息熵311.对称性：当概率矢量P=(p1,p2,pn)中的各分量的次序任意变更时，熵值不变。信源的熵仅与信源总体的统计特性有关。不能描述事件本身的具体含义和主观价值。A地天气情况晴 阴 雨B地天气情况晴 阴 雨A地人口60秋信息论第2章离散信源与信息熵301.对称性：当概率矢量P=(p1,p2,pn)中的各分量2.非负性秋信息论第2章离散信源与信息熵312.非负性秋信息论第2章离散信源与信息熵333.确定性(不确定性完全消失）集合X中只要有一个事件为必然事件，则其余事件为不可能事件。此时，集合中每个事件对熵的

12、贡献都为0，因而熵为0。确知信源具有最小熵零。秋信息论第2章离散信源与信息熵323.确定性(不确定性完全消失）集合X中只要有一个事件为必然事4.扩展性证明：因为 ,故上式成立。集中一个事件的概率相对于其他事件的概率很小时，对集合的熵值的贡献可忽略不计。秋信息论第2章离散信源与信息熵334.扩展性秋信息论第2章离散信源与信息熵355.可加性6.上凸性是概率分布的严格上凸函数秋信息论第2章离散信源与信息熵345.可加性6.上凸性是概率分布的严格上凸函数秋信息论第2章离凸函数的概念：定义 2.7 设 为一多元函数。若对任意 和定义域内的任意两个矢量x1,x2有则称f(x)为定义域上的严格上凸函数。有

13、则称f(x)为定义域上的上凸函数。有则称f(x)为定义域上的严格下凸函数。有则称f(x)为定义域上的下凸函数。秋信息论第2章离散信源与信息熵35凸函数的概念：定义 2.7 设 为一多元函数意味着在区间(x1,x2)内，任意一点的函数值总在连接x1和x2的函数值的连线的上方。对于一元函数，设x10有等号成立的充分必要条件是x=1。秋信息论第2章离散信源与信息熵37先证明不等式：lnxx-1令f(x)=lnx(x-1) 引理2.2等号成立的充分必要条件是则若证明：由引理2.1秋信息论第2章离散信源与信息熵38引理2.2等号成立的充分必要条件是则若证明：秋信息论第2章离熵函数的上凸性证明：是概率分布

14、的严格上凸函数，即有秋信息论第2章离散信源与信息熵39熵函数的上凸性证明：是概率分布的严格上凸函数，即有秋信息论第 对于离散随机变量，当其可能的取值等概分布时，其熵达到最大值。即：7.极值性（最大熵定理）引理2.2中qi 取1/n可证。秋信息论第2章离散信源与信息熵40 对于离散随机变量，当其可能的取值等概分布时，其熵达到8.信息熵不小于条件熵等号成立的条件是X和Y统计独立。秋信息论第2章离散信源与信息熵418.信息熵不小于条件熵等号成立的条件是X和Y统计独立。秋信息作业：2.1,2.4，2.5，2.6秋信息论第2章离散信源与信息熵42作业：2.1,2.4，2.5，2.6秋信息论第2章离散信源

15、与复习一下秋信息论第2章离散信源与信息熵43复习一下秋信息论第2章离散信源与信息熵45H是概率分布的严格上凸函数熵函数的性质：1.对称性2 非负性3 确定性4 扩展性5 可加性6 上凸性7 极值性8 信息熵不小于条件熵秋信息论第2章离散信源与信息熵44H是概率分布的严格上凸函数熵函数的性质：秋信息论第2章离散信信源X = ( X1 X2 XK )例：信源发出ASCII字符，A:1000001B:10000102.3 离散无记忆信源如果信源输出的随机矢量X=( X1 X2 XK )中，各随机变量之间是统计独立的，则称X为离散无记忆信源，其概率2.3.1 离散无记忆信源秋信息论第2章离散信源与信息

16、熵45信源X = ( X1 X2 XK )例：信源发出ASCIXK数学模型为对于离散无记忆信源X=( X1 X2 XK ),若X还具有平稳的特性，也就是其上的各维概率分布都相同，即X1 =X2= =XK=X，我们称之为离散平稳无记忆信源，或离散无记忆K次扩展信源，简记为XK。2.3.2 离散无记忆K次扩展信源的信息熵若X的数学模型为秋信息论第2章离散信源与信息熵46XK数学模型为对于离散无记忆信源X=( X1 X2 XK信源X的符号集合为 K次扩展信源XK符号集合为概率空间秋信息论第2章离散信源与信息熵47信源X的符号集合为 概率空间秋信息论第2章离散信源与信息熵4无记忆K次扩展信源的熵 秋信

17、息论第2章离散信源与信息熵48无记忆K次扩展信源的熵 秋信息论第2章离散信源与信息熵50离散无记忆K次扩展信源XK平均每个符号的信息熵等于单符号信源的熵。秋信息论第2章离散信源与信息熵49离散无记忆K次扩展信源XK平均每个符号的信息熵等于单符号信源2.4 离散平稳信源 实际信源通常不是一个简单的无记忆信源，因此，无记忆信源的理论适用范围是有限的。实际信源的输出一般是空间或时间的离散随机序列，而且序列中的符号之间有依存关系。T时刻信源输出的符号与时刻T有关，也与该时刻以前发出的符号有关。(例如每天的温度)仅讨论序列的统计性质与时间推移无关的平稳随机序列。秋信息论第2章离散信源与信息熵502.4

18、离散平稳信源 实际信源通常不是一个简单的无记忆信源，.xxxxxxxxxxxxxxxxA=0,1,2,3p(Xi=0)=p(Xj=0) =p(0 ) p(Xi=1)=p(Xj=1) =p(1) p(Xi=2)=p(Xj=2) =p(2) p(Xi=3)=p(Xj=3) =p(3) 例：ij1 一维平稳信源 任意时刻信源发出任意符号的概率分布完全相同。2.4.1 离散平稳信源的定义秋信息论第2章离散信源与信息熵51.xxxxxxxxxxxxxxxxA=0,1,2,32.二维平稳信源如果一维、二维联合概率分布都与时间起点无关，则该信源称为二维平稳信源。任意时刻信源连续发出两个符号的联合概率分布完全

19、相同。.xxxxxxxxxxxxxxxxijA=0,1,2,3p(XiXi+1=00)=p(XjXj+1=00) =p(00 ) p(XiXi+1=33)=p(XjXj+1=33) =p(33 )秋信息论第2章离散信源与信息熵522.二维平稳信源如果一维、二维联合概率分布都与时间起点无关，3 离散平稳信源如果各维联合概率分布均与时间起点无关，称为（完全）平稳信源。秋信息论第2章离散信源与信息熵533 离散平稳信源如果各维联合概率分布均与时间起点无关，称为（4 平稳信源的性质平稳信源的条件概率与时间起点无关，与关联长度有关。表示平稳随机序列前后的依赖关系与时间起点无关。秋信息论第2章离散信源与信

20、息熵544 平稳信源的性质平稳信源的条件概率与时间起点无关，与关联长2.4.2 平均符号熵定义 2.8 对于一个发出K个符号的离散信源XK=( X1 X2 XK )，若 X1 =X2 = = XK ，则其平均每个符号的信息熵（平均符号熵，符号熵）定义为秋信息论第2章离散信源与信息熵552.4.2 平均符号熵定义 2.8 对于一个发出K个符号的离对于二维平稳信源：秋信息论第2章离散信源与信息熵56对于二维平稳信源：秋信息论第2章离散信源与信息熵58例：设某二维离散信源X=的原始信源X的信源模型为中前后两个符号的条件概率7/92/901/83/41/802/119/11(1)若该信源为二维无记忆扩

21、展信源，求信源的熵。(2)若该信源为二维平稳信源，如表，求信源的熵。秋信息论第2章离散信源与信息熵57例：设某二维离散信源X=的原始信源X的信源模型为中前后两个符原始信源的熵为：由条件概率确定的条件熵为：由于符号之间的依赖性，条件熵比信源熵减少了0.672bit 二维离散无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit）7/92/901/83/41/802/119/11秋信息论第2章离散信源与信息熵58原始信源的熵为：由条件概率确定的条件熵为：由于符号之间的依赖信源X=平均每发一个消息所能提供的信息量，即联合熵则每一个信源符号所提供的平均信息量小于信源X所提供的平均信息量H

22、(X)=1.542bit，这是由于符号之间的统计相关性所引起的。秋信息论第2章离散信源与信息熵59信源X=平均每发一个消息所能提供的信息量，即联合熵则每一个信2.4.3 极限熵 N维平稳信源输出序列每N个符号一组；各符号X1XN取值于同一符号集A=a1,a2,aq 多符号离散平稳有记忆信源X的熵H(XN)是起始时刻随机变量X1的熵与各阶条件熵之和。 秋信息论第2章离散信源与信息熵602.4.3 极限熵 N维平稳信源输出序列每N个符号一组；各符秋信息论第2章离散信源与信息熵61秋信息论第2章离散信源与信息熵63命题2.3 离散平稳信源X有以下几点性质：（1） 随N的增加是非递增的；由信息熵不小于

23、条件熵的性质和信源的平稳性：秋信息论第2章离散信源与信息熵62命题2.3 离散平稳信源X有以下几点性质：由信息熵不小于N长符号序列的熵为（2）（3） 随N的增加是非递增的；（4）若 ，则 存在。秋信息论第2章离散信源与信息熵63N长符号序列的熵为（2）秋信息论第2章离散信源与信息熵6定义信源符号序列长度趋于无穷时的平均符号熵为极限熵。 命题2.4 对于一个离散平稳信源，若极限熵代表一般离散平稳有记忆信源平均每发一个符号提供的信息。则有：定义2.9 对于一个离散平稳信源X，若秋信息论第2章离散信源与信息熵64定义信源符号序列长度趋于无穷时的平均符号熵为极限熵。 命题2设有一个信源，它产生0，1序

24、列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算H(X2), H(X3/X1X2)及H；(3) 试计算H(X4)并写出X4信源中可能有的所有符号。解：(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号”(2) 秋信息论第2章离散信源与信息熵65设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。(1

25、) 试问这个信源是否是平稳的？(2) 试计算H(X2), H(X3/X1X2)及H；(3) 试计算H(X4)并写出X4信源中可能有的所有符号。解：(3)秋信息论第2章离散信源与信息熵66设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以2.5 马尔可夫信源 信源发出的消息符号，只与前面已经发出的有限个消息符号有关。秋信息论第2章离散信源与信息熵672.5 马尔可夫信源 信源发出的消息符号，只与前面已经发出2.5.1 有限状态马尔可夫链 设Xn为一随机序列，其状态空间(X所有可能取值)S=S1,S2,SJ，若对所有n0,1,2, 有 则称Xn 为马尔可夫链。秋信息论第2章离散信源与信息

26、熵682.5.1 有限状态马尔可夫链 则称Xn 定义解析考察时刻事件发生的概率，仅与前一时刻的随机变量取值有关。秋信息论第2章离散信源与信息熵69定义解析考察时刻事件发生的概率，仅与前一时刻的随机变量取值有举例释义包含了旧状态的所有信息。秋信息论第2章离散信源与信息熵70举例释义包含了旧状态的所有信息。秋信息论第2章离散信源与信息状态转移概率秋信息论第2章离散信源与信息熵71状态转移概率秋信息论第2章离散信源与信息熵73m时刻状态Si，经(n-m)步后转移到状态Sj的概率。为描述实际系统状态的转化情况，引入状态转移概率的概念。基本（一步）转移概率 pij(m) = p(Xm+1=Sj|Xm=S

27、i) k步转移概率 pij(k)(m)=p(Xm+k=Sj|Xm=Si)秋信息论第2章离散信源与信息熵72m时刻状态Si，经(n-m)步后转移到状态Sj的概率。为描述由于系统在任一时刻可处于状态空间中的任一状态，因此，状态转移时，转移概率是一个矩阵。秋信息论第2章离散信源与信息熵73由于系统在任一时刻可处于状态空间中的任一状态，因此，状态m时刻的k步转移概率矩阵为：秋信息论第2章离散信源与信息熵74m时刻的k步转移概率矩阵为：秋信息论第2章离散信源与信息熵7如果在马尔可夫链中，P(Xm+1=Sj|Xm=Si)= pij，即从状态i转移到状态j的概率与时刻m无关，则称这一类马尔可夫链为时齐马尔可

28、夫链，齐次马尔可夫链。有时也说它是具有平稳转移概率的马尔可夫链。齐次马尔可夫链的一步转移矩阵P为 转移概率与时间点无关，不等于概率分布与时间点无关，齐次性不等于平稳性。秋信息论第2章离散信源与信息熵75如果在马尔可夫链中，P(Xm+1=Sj|Xm=Si)= pi初始时刻的状态概率称为马尔可夫链的初始分布为完整描述马尔可夫链的统计特性，需知道初始时刻的状态概率和各时刻的一步转移概率。对于齐次马尔可夫链，已知初始分布和基本转移概率后，可以求得任意时刻的状态分布。 p(X0=Si)=pi 如果马尔可夫链中状态空间S=S1,S2,SJ是有限的，则称为有限状态马尔可夫链。秋信息论第2章离散信源与信息熵7

29、6初始时刻的状态概率称为马尔可夫链的初始分布为完整描述马尔可夫齐次马尔可夫链的初始分布为X0 =a,b,c =0.5,0.25,0.25 ，转移矩阵为X1 = X0 P=0.5,0.25,0.25a b cab c0.50.250.25X1 =0.5*0+0.25*1/2+0.25*1/2, 0.5*0+0.25*1/3+0.25*1/2, 0.5*1+0.25*1/6+0.25*0 X2 = X1 P = (X0 P) P = X0 P2X3 = X0 P3对于具有m+r步转移概率的齐次马尔可夫链，存在切普曼-柯尔莫哥洛夫方程秋信息论第2章离散信源与信息熵77齐次马尔可夫链的初始分布为X0

30、=a,b,c =0.5若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限 遍历性的直观意义是不论从哪一个状态出发，当转移步数足够大时，转移到状态Sj的概率都近似等于某个常数pj。且满足a b cabc则称齐次马尔可夫链具有遍历性，pj称为平稳分布。其中pi为该马尔可夫链的初始分布。pa ,pb ,pc =pa*paa+pb*pba+pc*pca, pa*pab+pb*pbb+pc*pcb, pa*pac+pb*pbc+pc*pcc 秋信息论第2章离散信源与信息熵78若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极若马尔可夫链的状态转移矩阵为P，稳态分布为W=(W1,Wr

31、)，则（1）（2）WP=W（3）W是该链的唯一稳态分布。稳态分布存在定理 设P是齐次马尔可夫链转移矩阵，则该链稳态分布存在的充要条件是存在一个正整数N,使矩阵PN 中所有元素均大于零。秋信息论第2章离散信源与信息熵79若马尔可夫链的状态转移矩阵为P，稳态分布为W=(W1,W马尔可夫链的转移矩阵为稳态分布是否存在，若存在求解。解得w1=1/3, w2=2/7, w3=8/21秋信息论第2章离散信源与信息熵80马尔可夫链的转移矩阵为稳态分布是否存在，若存在求解。解得w12.5.2 马尔可夫信源 1、信源的状态： 如果信源输出符号集合为A=a1,a2,aq，输出当前符号的概率仅与已经输出的前m个符号

32、有关，而与再前面的符号无关，则称这m个符号构成信源的状态Si，所有可能的状态集合S称为状态空间 秋信息论第2章离散信源与信息熵812.5.2 马尔可夫信源 秋信息论第2章离散信源与信息熵83例如：信源输出符号为0,1,2,3，输出当前符号的概率仅与已经输出的前3个符号有关，共有43个状态，状态空间为000 001 002 003010 011 012 013020 021 022 023030 031 032 033100 101 102 103330 331 332 333信源输出符号的不确定性问题变换成信源状态转换问题。在每个时刻，信源发出一个符号后，信源所处的状态发生变化，转入下一个新状

33、态。0 2 3 0 1 3 2 0 1t023秋信息论第2章离散信源与信息熵82例如：信源输出符号为0,1,2,3，输出当前符号的概率仅2、马尔可夫信源 信源输出仅与当时的信源状态有关，而与以前的信源状态无关。 信源状态由当时输出符号与前一时刻信源状态唯一确定 信源输出的符号序列和状态序列满足上列条件的信源称为马尔可夫信源 ，每个状态的符号数m称为马尔可夫信源阶数。秋信息论第2章离散信源与信息熵832、马尔可夫信源 信源输出的符号序列和状态序列满足上列条件的马尔可夫信源的输出符号序列完全由信源所处的状态决定。于是，一个讨论信源输出符号的不确定性问题变换成讨论信源状态转换的问题。状态之间的一步转

34、移概率p(Sj|Si)，由信源符号的条件概率 确定。即秋信息论第2章离散信源与信息熵84马尔可夫信源的输出符号序列完全由信源所处的状态决定。于是，一二进制二阶马尔可夫信源符号集为0,1，条件概率0:0:0:0:1:1:1:1:状态转移图状态转移矩阵马尔可夫链的状态转移图可以描述马尔可夫信源。秋信息论第2章离散信源与信息熵85二进制二阶马尔可夫信源符号集为0,1，条件概率0:0:03、马尔可夫信源的极限熵 秋信息论第2章离散信源与信息熵863、马尔可夫信源的极限熵 秋信息论第2章离散信源与信息熵88当时间足够长时，齐次遍历的m阶马尔可夫信源 秋信息论第2章离散信源与信息熵87当时间足够长时，齐次遍历的m阶马尔可夫信源 秋信息论第2章离0:0:0