《应用熵学》教学课件

1、应用熵学1 熵学基础1.1 基本概念1.1.1熵是物质系统状态的一个函数。用S1和S2分别表示系统在状态1和状态2时的熵函数值，则在可逆过程中系统由状态1变到状态2时熵的增量为第1页，共42页。 定理1 可逆循环中系统的熵变等于零。 定理2 封闭系统中任何不可逆过程导致熵的 增加，熵只有对可逆过程才是不变的。1.1.2信息熵 在信息系统中，熵的获得意味着信息的丢失。一个系统有序程度越高，则熵就越小，所含的信息量就越大；反之，无序程度越高，则熵就越大，信息量就越小。信息和熵是互补的，信息就是负熵。第2页，共42页。离散型分布的熵一个随机试验A（随机事件），设它有n个可能的（独立的）结局：a1,a

2、2, ,an,每一结局出现的概率分别是P1,P2, ,Pn它们满足以下条件 0Pi 1(i=1,2, ,n)及我们引入函数： Hn=H(P1,P2, ,Pn)=-k 作为随机实验A实验结果不确定性的量度，式K中是一个大于零的恒量，量Hn叫做信息熵.第3页，共42页。 条件熵： 假设由发出信号x1,x2,xm组成了信息源x，其概率空间为P(x)=P(x1) ,P(x2) ,P(xm)。接收信号y1,y2,yn的集合y的概率空间为P(x/y)=P(xi/yj)|i=1m,j=1n。在多数情况下，m=n。 P(xi/yj) 表示收到信号为yj后原发送信号是xi的概率。由于传输信号的信道中存在干扰和噪

3、声等原因，yj与xi可能相同，也可能不同，这里存在不确定性。信息源x的这种不确定性，用熵 表示。它称为在收到信号条件下信源的熵。其平均值 称为收到信号后信息源的条件熵。第4页，共42页。 性质1 H(xy)=H(x)+H(y/x) 性质2 H(x/y)是非负的。当对j=1n有P(yi)0 时，则当且仅当H(x/yi)=0(j=1n)时， H(x/y)=0成立，且H(x/y)=H(y) 性质3 H(x/y) H(x) 例1 假设某电报系统里一类消息发送12个信号，其中6个M为6个空号S，即P(M)=P(S)= 。在传输时，使 的M收成空号S，有半数的空号收成M。求收信者收到一个消息后所获得的平均

4、信息量。第5页，共42页。解：根据题意，发送一个消息：M M M M M M S S S S S S 收到的信息为：M M M M M S S S S M M MP（发M）= ，P（发S）= P(收M/发M）= ，P（收S/发M）= P(收M/发S）= ，P（收S/发S）=P（收M）= P（发M） P(收M/发M）+ P（发S） P(收M/发S）=P（收S）=P（发M） P(收S/发M）+ P（发S） P(收S/发S）=解：根据题意，发送一个消息：M M M M M M S S S S S S 收到的信息为：M M M M M S S S S M M MP（发M）= ，P（发S）= P(收M/

5、发M）= ，P（收S/发M）= P(收M/发S）= ，P（收S/发S）=P（收M）= P（发M） P(收M/发M）+ P（发S） P(收M/发S）=P（收S）=P（发M） P(收S/发M）+ P（发S） P(收S/发S）=第6页，共42页。P（发M/收M）=P（发M） P（收M/发M） P（收M） =P（发S/收M）=P（发S ） P（收M/发S ） P（收M） =P（发M/收S ）=P（发M） P（收S /发M） P（收S ） =P（发S/收S ）=1- P（发M/收S ）=H(y)=H(y/发M)=H(y/发S)=0.301H（y/x)=I(xy)=H(y)- H（y/x)=0.02805

6、Hart第7页，共42页。另一方面H(x)=H(x/收M)=H(x/收S)=I（yx)=H(x)-H(x/y)=0.02806Hart于是验证了 I（xy)= I（yx)第8页，共42页。连续型分布的熵设信息源x和y发送信号x和y具有连续分布的密度函数P(x)和P(y)，联合密度函数为f(x,y)，则熵值 分别称为信息源和的信息熵。它们表示其不确定性信息量。相应的联合熵为 条件熵为 第9页，共42页。他们具有如下性质：（1）当x在有限集合S中均匀分布时的熵最大。（2）对于密度函数P(x)，当x0时等于0，且均值为a，则指数分布 P(x)= 达到最大熵为（3）当一维密度函数P(x)是方差为 的正

7、态分布时的熵最大，最大值达 （4）H(xy)=H(x)+H(y/x)=H(y)+ H(x/y) H(y/x) H(y), H(xy) H(x)+ H(y)当且仅当x与y独立时等号成立。第10页，共42页。 1.2极大熵准则 1.2.1极大熵准则模型 建立如下规划问题模型：(MP) max- s.t. Fk= k=1,2,m,且mB或BA。若H(A)H(B)，则认为信息A的准确度高于信息B定义规定较优信息的准确度高第37页，共42页。定义6 在n维欧氏空间上的半峰凸凹函数是指，在凸凹函数的极点处将其平分成两份的其中一份构成的函数。对单变量而言，单调不降（若为半峰严格凸凹函数时，则为单调递增）的那

8、半部分称为半峰升函数，相应地；另一半部分称为半峰江函数。定义7 信息I在n维状态空间 上的条件概率 。若 ，则称信息I 为最差信息。 最差信息传递矩阵为零矩阵。第38页，共42页。定理1 最优信息的传递熵为零定理2 传递熵是半峰降函数定理3 后验概率 是信息条件概率 的单调增函数，其中定理4 记 的足标j集合为J，则 0表示空集定理5 传递矩阵中元素 只与 有关，且 是其递增线形函数。第39页，共42页。4.2 IBayes决策分析4.2.1相关概念定义8 称 为信息A的经济机会损失式中 它表示由于信息A的不准确带来的风险应折合的经 济损失。 为信息的传递熵，系数 是为了使 落在 之间而设的。定理6 最优信息的 最差信息的定理7 信息越准确，它的机会经济损失值越小第40页，共42页。定义9 信息A的价值 VA=CS+CAA式中,CS为市场上信息A的售价，V是用成本和准确度对信息的价值做全方位衡量的一个物理量。定理8 一个完整IBayes的算法步骤（1）若J=0，用先验IBayes决策，无需后验信息，算法结束；否则转（2）.（2）计算EMVN，转（3）。（3）用拟获取的后验信息A修正先验信息，并计算EMVy ，转（4）（4）计算E(A),H(A)和CAA，转（5）第4