中南大学信息论与编码课件Inf_T_C_1.3N.ppt

1、信息论与编码,张祖平/Zhang Zuping 电子信息工程系 School of Information Science and Engineering,Central South University , ,Information Theory bi)表示。 I(ai;bi) = 收到bi前，收信者对ai存在的不确定性 收到bi后，收信者对ai仍然存在的不确定性 无噪声情况 假定无噪声。有biai，那么收到bi后，对ai仍存在的不确定性为0，则I(ai;bi) 表示为I(ai;ai) ，并且简化的记作I(ai) 。 I(ai) = 收到ai前，收信者对ai存在的不确定性 收到ai后，收信者

2、对ai仍然存在的不确定性(0) = 收到ai前，收信者对信源发ai的不确定性。 我们称I(ai)为信源符号ai的“自信息量” ，也就是ai本身所含有的全部信息量，或者说收到ai获得的全部信息量。,信源符号的自信量,15,2013 秋季 信息11,Inf Theory i=1n，并且信源发出不同的符号是有不同概率的。 信源中各信息自信息量的数学期望（统计均值）来度量信源的信息量，这个统计量记作H(X)，即为信源X的“信息熵”，也是信源X的平均自信息量。,信源的信息熵,单位： bit/(信源)符号,2013 秋季 信息11,Inf Theory “ 两个点数不同” 的概率:1/18, 共有15种情

3、况.故平均信息量为: 4.337比特/符号 (4)3.274 (比特/符号)。信源模型 (5)1.711 (比特/符号)。至少有一个1出现的概率为 1/6+1/6-1/6*1/6=11/36,2013 秋季 信息11,Inf Theory & Coding-张祖平,28,2,2013 秋季 信息11,Inf Theory & Coding-张祖平,29,2,2013 秋季 信息11,Inf Theory & Coding-张祖平,30,2013 秋季 信息11,Inf Theory & Coding-张祖平,31,信息熵的代数性质,信源的总体信息测度，解剖数学性质,定理1.1 熵函数H(p1,

4、p2,pr)中的变量p1,p2,pr的顺序置换，不会引起熵函数值的变化 证明： H(p1,p2,pr)=-p1logp1-p2logp2-prlogpr,定理1.2 熵函数H(p1,p2,pr) 0 证明： H(p1,p2,pr)=-p1logp1-p2logp2-prlogpr 0pi 1 logpi 0,2013 秋季 信息11,Inf Theory & Coding-张祖平,32,信息熵的代数性质,定理1.3 熵函数H(p1,p2,pr)概率分量pi(i=1,2,r)的， 连续函数,定理1.5 设H(X)和H(Y)分别代表两个统计独立的信源X和Y的信息熵，则有： H(XY)= H(X)

5、+H(Y),2013 秋季 信息11,Inf Theory & Coding-张祖平,33,2013 秋季 信息11,Inf Theory & Coding-张祖平,34,信息熵的解析性质,定理1.7 设信源X的概率矢量为p:(p1,p2,pr),则熵函数H(p)是p的型凸函数,定理1.8 含有r(r1的正整数)个概率分量的信源X的熵函数H(X)= H(p1,p2,pr) logr,2013 秋季 信息11,Inf Theory & Coding-张祖平,35,2013 秋季 信息11,Inf Theory & Coding-张祖平,36,最大离散熵定理,定理1.9 在所有符号数（概率分量数）

6、为r(r1的正整数)的信源中，等概率信源的熵达到最大，其最大值为logr 直观地从H(X)= H(p1,p2,pr) =-p1 log p1-p2 log p2-pr log pr logr得出,2013 秋季 信息11,Inf Theory & Coding-张祖平,37,2013 秋季 信息11,Inf Theory & Coding-张祖平,38,熵函数的唯一性定理,定理1.10 倘若要求： （1）熵函数H(p1,p2,pr)是pi(i=1,2,r)的连续函数； （2）等概信源的熵函数H(1/r,1/r,1/r)是r的单调递增函数 （3）熵函数H(p1,p2,pr)具有递推性，则熵函数的唯一形式是：,2013 秋季 信息11,Inf Theory & Coding-张祖平,39,本章小结,信源的数学模型 信源空间表示： 信源符号的自信量感谢 I(ai)=-logp(ai) 信源的信息熵 H(X)=- p(a1)logp(a1)- p(a2)logp(a2)- p(ar)logp(ar) 信息熵的代数性质 顺序无关，大于等于0，连续，独立变量相加等 信息熵的解析性质 型凸函数 logr 最大离散熵定理 等概率信源的熵达