中南大学信息论与编码课件Inf-T-C-1.3N讲课稿

信息论与编码(biānmǎ)张祖平/ZhangZuping电子信息工程系SchoolofInformationScienceandEngineering,CentralSouthUniversity,zpzhang@InformationTheory&Coding第一章单符号(fúhào)离散信源第一页，共40页。信息熵的代数性质信源的数学模型信源符号的自信量信源的信息熵本章(běnzhānɡ)主要内容(MainContent)信息熵的解析性质最大离散熵定理熵函数的唯一性定理2013秋季(qiūjì)信息112*第二页，共40页。信源的数学模型2013秋季(qiūjì)信息113*第三页，共40页。什么(shénme)是信源信源就是信息的来源，是产生消息、消息序列以及连续消息的来源。信源可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种方式的消息表现出来，可以是符号，如文字、语言等，也可以是如图像、声响等等。什么(shénme)是单符号离散信源信源信道信宿2013秋季(qiūjì)信息114*第四页，共40页。信源的分类连续(liánxù)信源：发出在时间上或幅度上都是连续(liánxù)分布的连续(liánxù)消息的信源(1)时间连续(liánxù)，幅度离散(2)时间离散，幅度连续(liánxù)(3)时间连续(liánxù)，幅度连续(liánxù)离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源什么是单符号(fúhào)离散信源2013秋季(qiūjì)信息115*第五页，共40页。信源的分类无记忆信源：信源不同时刻发出的消息之间互不干扰、互相(hùxiāng)独立有记忆信源：信源不同时刻发出的消息相互依赖什么(shénme)是单符号离散信源无记忆信源和有记忆信源谁比较常见(chánɡjiàn)？举例2013秋季信息116*第六页，共40页。信源的分类单符号信源：信源每次只发出一个符号代表一个消息多符号信源：信源每次发出一组含两个(liǎnɡɡè)以上符号的符号序列代表一个消息什么是单符号(fúhào)离散信源单符号信源和多符号信源属于(shǔyú)离散信源吗？2013秋季信息117*第七页，共40页。信源的分类结合单符号与多符号、无记忆和有记忆的离散信源，有四种(sìzhǒnɡ)：（1）发出单个符号的无记忆离散信源；（2）发出符号序列的无记忆离散信源；（3）发出单个符号的有记忆离散信源；（4）发出符号序列的有记忆离散信源。什么(shénme)是单符号离散信源本章主要讨论：单符号离散信源（无记忆）2013秋季(qiūjì)信息118*第八页，共40页。信源的状态空间信源的可能取值的集合。对单符号(fúhào)离散信源而言，是所有可能输出的单个符号(fúhào)的消息的集合。可用符号(fúhào)集合A={a1,a2,…,aq}来表示，取值是有限或可数的。更常见的是用数学中一维离散型随机变量X来表示。信源的数学模型2013秋季(qiūjì)信息119*第九页，共40页。

信源的数学模型先验概率：是指根据以往经验(jīngyàn)和分析得到的概率2013秋季(qiūjì)信息1110*第十页，共40页。

信源的数学模型2013秋季(qiūjì)信息1111*第十一页，共40页。练习(liànxí)箱子(xiāngzi)中有32个球，红球16个，黄球8个，蓝球和白球各4个从箱子(xiāngzi)中每次拿一个球，记录颜色，并放回。把上述看作一个单符号离散信源，请写出其信源空间。2013秋季(qiūjì)信息1112*第十二页，共40页。信源符号的自信量2013秋季(qiūjì)信息1113*第十三页，共40页。信息的度量问题信源发出某一消息后，它到底能提供多少信息量？对单符号离散信源，信源发出某个符号，此符号能带来多少信息量？香农的第三个论点“不确定性论”香农说：在通信中，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。信息量=通信前的不确定性–通信后的不确定性信息就是用来消除不确定性的东西(dōngxī)！这为我们度量信息指明了方向！比如：老师讲述某题目的解法，有的学生可能听完就全会了。有的学生可能由于听音乐、讲小话、开小差、玩手机，导致听得似懂非懂。信源符号(fúhào)的自信量2013秋季(qiūjì)信息1114*第十四页，共40页。有噪声情况信源发某一符号ai，信道(xìndào)中有随机噪声干扰，收信者收到的是ai的某种变型bi。收信者从bi中获取关于ai的信息量,以I(ai;bi)表示。I(ai;bi)=收到bi前，收信者对ai存在的不确定性—收到bi后，收信者对ai仍然存在的不确定性无噪声情况假定无噪声。有bi＝ai，那么收到bi后，对ai仍存在的不确定性为0，则I(ai;bi)表示为I(ai;ai)，并且简化的记作I(ai)。I(ai)=收到ai前，收信者对ai存在的不确定性—收到ai后，收信者对ai仍然存在的不确定性(0)=收到ai前，收信者对信源发ai的不确定性。我们称I(ai)为信源符号ai的“自信息量”，也就是ai本身所含有的全部信息量，或者说收到ai获得的全部信息量。信源符号(fúhào)的自信量152013秋季(qiūjì)信息1115*第十五页，共40页。自信量I(ai)两种含义：（1）收到ai前，收信者对信源发ai的不确定性（2）收到ai后，ai提供的所有信息量自信量自信量与概率公式信源是以一定先验概率来发送ai的。“到ai前，收信者对信源发ai的不确定性”就可以表述为“信源发送符号ai的不确定性”。不确定性和可能性（概率）有关系(guānxì)的，所以自信息量I(ai)一定可以表达为信源发符号ai的先验概率p(ai)的某一函数信源符号(fúhào)的自信量2013秋季(qiūjì)信息1116*第十六页，共40页。I(ai)=f[p(ai)]的推理（1）小概率事件，不确定性大，一旦出现必然使人感到(gǎndào)意外，因而产生的信息量就大；大概率事件，不确定性小，因而信息量小。信源符号(fúhào)的自信量2013秋季(qiūjì)信息1117*第十七页，共40页。I(ai)=f[p(ai)]的推理（2）由（1）可以得到I(ai)与p(ai)成反比，也就是单调递减（3）分析一下极值情况今天太阳照常从东边升起今天太阳从西边(xībian)升起来了！！！信源符号(fúhào)的自信量2013秋季(qiūjì)信息1118*第十八页，共40页。自信量的度量公式从前面的推理，香农得到了自信量的度量公式自信量的度量公式的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit,binaryunit）”；底为e，单位为“奈特（nat,natureunit）”；底为10，单位为“哈特（hat,Hartley）”；根据(gēnjù)换底公式得：1nat=1.44bit,1hat=3.32bit；一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写。信源符号(fúhào)的自信量这里的比特(bǐtè)和计算机二进制数的比特(bǐtè)有什么区别和联系2013秋季信息1119*第十九页，共40页。自信息量的特性１２３非负性；４单调递减性；５可加性。关于可加性两个相对(xiāngduì)独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息满足可加性。信源符号(fúhào)的自信量2013秋季(qiūjì)信息1120*第二十页，共40页。练习(liànxí)证明自信息量的可加性！两个相对独立的不同的消息所提供的信息量应等于(děngyú)它们分别提供的信息量之和，即自信息满足可加性。条件(tiáojiàn)概率的独立性:设A，B为两随机事件，A,B相互独立。那么A,B同时发生的概率P(AB)=P(A)*P(B),2013秋季信息1121*第二十一页，共40页。练习(liànxí)某地二月份天气的概率分布统计如下，这四种气候的自信息量分别(fēnbié)为多少？从自信量的数值可以看出信息背后的事件类型(lèixíng)：晴天的自信量是1bit，那么就可以知道晴天发生的概率是一半，那当地天气可以概括的分为晴天和非晴天两种，是一个是否问题2013秋季信息1122*第二十二页，共40页。信源的信息熵2013秋季(qiūjì)信息1123*第二十三页，共40页。自信量I(a)使信息度量成为可能，但I(a)有局限I(a)只能表示具体符号a所提供的信息量，不能反映信源的总体(zǒngtǐ)信息量，因为信源可以发出多个不同的符号，X={ai;i=1…n}，并且信源发出不同的符号是有不同概率的。信源中各信息自信息量的数学期望（统计均值）来度量信源的信息量，这个统计量记作H(X)，即为信源X的“信息熵”，也是信源X的平均自信息量。信源的信息熵单位(dānwèi)：bit/(信源)符号2013秋季(qiūjì)信息1124*第二十四页，共40页。信息熵具有以下三种物理含义：1、表示信源输出前，信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量3、反映了变量X的随机性。信源熵是信源的平均不确定的描述。一般情况下它并不等于平均获得的信息量。只有在无噪情况下，接收者才能正确无误地接收到信源所发出的消息，消除了H(X)大小(dàxiǎo)的平均不确定性，所以获得的平均信息量就等于H(X)。信源的信息熵2013秋季(qiūjì)信息1125*第二十五页，共40页。练习(liànxí)有一布袋内放l00个球，其中(qízhōng)80个球是红色的，20个球是白色的。如果被告知摸出的是红球，那么获得的信息量是：I(a1)＝－logp(a1)＝－log0.8=0.32（比特）如被告知摸出来的是白球，所获得的信息量应为：I(a2)＝－logp(a2)＝－log0.2=2.32（比特）平均(píngjūn)摸取一次所能获得的信息量为：H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特/符号）2013秋季信息1126*第二十六页，共40页。练习(liànxí)同时掷两个正常的骰子，求(1)“3和5同时出现”这事件的自信息量；(2)“两个1同时出现”这事件的自信息量；(3)两个点数的各种组合(无序对)的熵；(4)两个点数之和(即2,3..12构成(gòuchéng)的子集)的熵；(5)两个点数中至少有一个是1的自信息量(1)4.17(比特/符号(fúhào))，提示：3和5同时出现的概率为=1/6*1/6*2=1/18(2)5.17(比特/符号(fúhào))，提示：两个1同时出现的概率1/6*1/6=1/36(3)“两个点数相同”的概率:1/36,共有6种情况;“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:4.337比特/符号(fúhào)(4)3.274(比特/符号(fúhào))。信源模型(5)1.711(比特/符号(fúhào))。至少有一个1出现的概率为1/6+1/6-1/6*1/6=11/362013秋季信息1127*第二十七页，共40页。22013秋季(qiūjì)信息1128*第二十八页，共40页。22013秋季(qiūjì)信息1129*第二十九页，共40页。信息熵的代数性质2013秋季(qiūjì)信息1130*第三十页，共40页。信息熵的代数(dàishù)性质信源的总体(zǒngtǐ)信息测度，解剖数学性质定理1.1熵函数H(p1,p2,…,pr)中的变量p1,p2,…,pr的顺序置换，不会引起(yǐnqǐ)熵函数值的变化证明：H(p1,p2,…,pr)=-p1logp1-p2logp2-…-prlogpr定理1.2熵函数H(p1,p2,…,pr)≥0证明：H(p1,p2,…,pr)=-p1logp1-p2logp2-…-prlogpr0≤pi≤1

logpi≤02013秋季信息1131*第三十一页，共40页。信息熵的代数(dàishù)性质定理1.3熵函数(hánshù)H(p1,p2,…,pr)概率分量pi(i=1,2,…,r)的，连续函数(hánshù)定理1.5设H(X)和H(Y)分别(fēnbié)代表两个统计独立的信源X和Y的信息熵，则有：H(XY)=H(X)+H(Y)2013秋季信息1132*第三十二页，共40页。信息熵的解析性质2013秋季(qiūjì)信息1133*第三十三页，共40页。信息熵的解析(jiěxī)性质定理(dìnglǐ)1.7设信源X的概率矢量为p:(p1,p2,…,pr),则熵函数H(p)是p的∩型凸函数定理1.8含有(hányǒu)r(r>1的正整数)个概率分量的信源X的熵函数H(X)=H(p1,p2,…,pr)≤logr2013秋季信息1134*第三十四页，共40页。最大离散熵定理2013秋季(qiūjì)信息1135*第三十五页，共40页。最大离散(lísàn)熵定理定理1.9在所有(suǒyǒu)符号数（概率分量数）为r(r>1的正整数)的信源中，等概率信源的熵达到最大，其最大值为logr直观地从H(X)=H(p1,p2,…,pr)=-p1logp1-p2log