有限制条件下的熵

1、苏州大学本科生毕业设计（论文）本 科 毕 业 设 计（论 文）学院(部)数学科学学院题 目限制条件下的熵年 级2014级专业数学与应用数学（基地）班 级基地班学号1407402013姓 名张存伟指导老师赵云职称教授论文提交日期2018年5月10日目录第1章 前言1第2章 有序加权平均算子简介2 第2.1节 有序加权平均算子的定义2 第2.2节 有序加权平均算子的与或度及离散度2 第2.3节 有序加权平均算子的最大熵权重3第3章 最大熵原理3第3.1节 熵的定义 3第3.2节 最大熵原理 3第4章 最大熵权重的求解4第4.1节 构造Lagrange函数5第4.2节 寻求wj与wn的关系式5第4.

2、3节 wn的最终确定7第5章 实例与应用8摘要：有序加权平均算子作为一种常用于决策分析的方法，已得到学者们的广泛研究，而其中很重要的一个研究问题便是其权重向量的确定。通过最大熵原理，我们可以求得其权重向量，本文将利用Lagrange乘数法求解其最大熵权重并与其他方法获得的权重向量做简单比较。关键字：OWA算子，最大熵，Lagrange插值Abstract：As a method commonly used in decision analysis, the ordered weighted average operator has been widely studied by scholars

3、, and one of the important research problems is the determination of its weight vector. Through the maximum entropy principle, we can get its weight vector. This paper will use the method of Lagrange multipliers to solve its maximum entropy weight and make a simple comparison to weight vectors infer

4、red by other methods.Key Words：OWA operator, maximum entropy, Lagrange multipliers第1章 前言：有序加权平均(ordered weighted averaging,OWA)算子是由美国著名学者Yager在1988年提出的，这是一种介于最大算子与最小算子之间的一种信息集结方法1。并且近年来被广泛应用于决策分析、模糊逻辑控制器、专家系统等诸多领域。与其他算法相比，OWA算子的最大特点是首先依照由大到小的顺序对给定的数据信息进行重新排序，然后再对重新排列的新数据序列进行分析。使用OWA算子进行信息决策通常包括以下3个步

5、骤：（1） 依照由大到小的顺序对所给的数据信息进行重新排列；（2） 确定并按照某种方法对数据赋予权重进而确定权重向量；（3） 用第（2）步中所得到的权重向量对重新排列过的数据进行集结分析。在使用OWA算子进行决策分析的过程中，上面3个步骤中，最困难同时也是最重要的是（2）中如何确定OWA算子的权重向量。构造不同的权重向量，我们得到的OWA算子也将会不同。Yager曾就语言量化提出了一种用于确定OWA算子权重的方法2。在已知样本观测数据和集结值的情况下，Yager和Filev提出了一种新的权重向量获取方法3。在部分权重的信息已经知道的情况下，文献4给出了一种通过线性目标规划从而确定OWA算子权重

6、向量的办法。在确定OWA算子权重的诸多方法中，OHagan在1988年利用最大熵提出了一种新的权重确定方法：在已知决策者主观决策因素（orness）一定的情况下，通过将权重的熵（disp）最大化来获取OWA算子的权重，通过这种方法求得的权重也被为最大熵OWA（MEOWA）权重5。借用最大熵原理，可以将求解OWA算子的最大熵权重归结为一个约束优化问题，本文将使用Lagrange乘数法来解决这个约束优化问题得到最大熵OWA权重。第2章 有序加权平均算子简介在详细介绍之前，我们首先引入一些符号，我们用R表示实数集，Rn表示n维实数集。W=(w1,.,wn)T为n维向量。第2.1节 有序加权平均算子的

7、定义定义1：F：RnR是一n元映射，W=(w1,.,wn)T为与其相关联的n维权重向量且满足：w1+.+wn=1, 其中0wi1 , i=1,.,n 。如果有F(a1,.,an)=wibi，其中bj是集合a1,.,an中第j大的元素。我们则称F为n元有序加权平均算子(ordered weighted averaging operator)，简称F为n元OWA算子。第2.2节 有序加权平均算子的与或度及离差为了描述OWA算子的性质，Yager曾引入了两个相关函数来刻画OWA算子的权重向量W。定义2：对于任一OWA算子，W为与之相关联的加权向量,则其“或”度量为: orness(W)= ，其“与”

8、度量为： andness(W)=1-orness(W)= 。显然有orness(W) ，andness(W)0,1。“或”度量和“与”度量分别表示了权重向量W“或”运算和“与”运算的程度。定义3： 对任一OWA算子，W为与之关联的加权向量,则其离散度（也可称之为熵）定义为：disp(W)=-，显然有0 disp(w) ln(n)。离散度（熵）是用来表示经过该权重向量进行合成运算后所有信息被充分利用的程度。我们总是希望OWA算子能够尽可能地利用所给的信息，根据离散度的这个定义，我们自然希望OWA能有最大的离散度（最大熵）。第2.3节 有序加权平均算子的最大熵权重由有序加权平均算子的定义可以知道O

9、WA算子在实际过程中所起的作用很大程度都取决于其关联的权重向量。自然OWA算子的最佳权重向量的确定便成了OWA算子的一个重要的研究问题。历史上对OWA算子的权重确定已有很深的研究。其中OHagan在1988年利用最大熵提出了一种新的权重确定方法：在已知决策者主观决策因素（orness或andness）一定的情况下，通过将权重的熵（disp）最大化来获取OWA算子的权重，通过这种方法求得的权重也被为最大熵OWA（MEOWA）权重5。第3章 熵 第3.1节 熵的定义 熵起初只是热力学中的一个概念，我们这里所要讨论的熵不是热力学上的熵，而是信息熵。20世纪40年代，被誉为“信息论之父”的shanno

10、n首先在信息论中提出了有关信息熵的概念。对于给定的一个概率分布p(x)，则熵的定义为：H(p)=-p（x）logp(x)。信息熵是用来表示不确定度的一个度量，不确定度越大，则熵值越大，我们把它搞清楚所需要的信息量也就越大。极限情况，当一个随机变量均匀分布时，我们将会得到最大的熵值；而当其完全确定时，则有熵值为零。第3.2节 最大熵原理 最大熵原理也被称为最大信息原理，我们一般认为是由Jaynes首次系统提出的。它是一种选择随机变量统计特性最符合客观情况的准则。通常情况下我们是很难确定随机变量的概率分布，大多数情况下我们可以获得的信息或是数值是很有限的，我们很可能仅能测得其数学期望、方差，亦或是

11、部分条件下的特定值。然而符合我们测得信息的分布往往不止一种甚至有无穷之多，但在符合已知信息的分布中有一种分布的熵值最大。最大熵原理告诉我们，我们应该选择该分布来作为该随机变量的分布。这是一种最符合客观现实条件的处理方法。因为根据熵的定义，我们可以知道熵的大小本质上是其所描述的随机变量的不确定性的大小，在熵最大的时候，随机变量的不确定性最大，随机变量也最随机，此时我们对随机变量的预测也最困难。在这个意义上出发，最大熵原理可以理解为：对于一个已知部分信息的随机变量，我们对其未知分布的最客观最合理的推断就是符合已知信息条件下的最随机或是最不确定推断，这是我们唯一可以作出的合理的选择，因为但凡我们做出

12、了其他选择，这说明我们带入了其他主观的偏好或是猜测，而这些偏好和猜测是无法从我们已知的信息中得出的。最后用简单的两句话来解释最大熵原理：1. 满足已知信息（约束条件）2. 不做任何未知假设（剩下的等概率）第4章 最大熵OWA权重的求解有序加权向量的确定在实际应用中是非常关键的问题,而基于最大离散度（最大熵）求取加权向量就是一种较为完善的方法，它在给定的与或度下能够充分合理利用所有数据信息。对于任一OWA算子，W为其权重向量，对给定与度量为的条件下求取最大熵权重便是本章的主要内容，这个问题用数学语言可以归结为如下的一个约束优化问题：Maximize -wiln(wi)Subject to and

13、ness（W）= = , 01 （1） w1+.+wn=1,0wi1 , i=1,.,n 。第4.1节 构造Lagrange函数首先，若n=2,由andness(w1,w2)=我们可以推出w1=1-,w2=。对于=0或者1时，此时的权重向量分别为(1,0,0,0)T，(0,0,0,1)T。考虑n3且01的情况,接下来我们令L(W,1,2)= -wiln(wi)+1(-)+2(wi-1),1,2R。令其一阶偏导为0有：=-lnwj-1 + 1 + 2 =0，j=1,2,.,n. （2）= =0 ,= 1 = 0 。令（2）中j=1， 有lnw1 1 + 2 = 0，2 =lnw1+1令（2）中j

14、=n， 有lnwn 1+ 1+ 2 = 0, 1+2=lnwn+1, 1 =lnwnlnw1由（2）可知lnwj = -1 + 1+ 2 = lnw1 + (lnwnlnw1) j =1 , 2 , . ,n 即lnwj = lnw1 + lnwn ，进而可得，即（3）这样我们便得到了wj用w1和wn表示的表达式，为了求得权重向量W=(w1,.,wn)T，接下来我们只要求出w1和wn即可。第4.2节 寻求wj与wn的关系式如果w1=wn ，根据（3）式则有w1=w2=.=wn= , 此时disp(W)=lnn,为=0.5时我们要求的权重。现在考虑w1wn 的情况。我们记u1 =, u2 =。这

15、样我们可以将（3）式改写成wj = ， j = 1 , 2 , . , n 。根据第一个条件：andness(W) = ，我们有 = (n-1) ,因为 = = 所以 由于，所以有， (4)由第二个约束条件：，即 ，从而有 。 (5)所以 (6)结合（4）式以及（6）式，可得 , 从而有 (7)现在让我们来重新考察（5）式 两边同时取n次方，得 (8)从而我们便得到了关了wn的一个n+1次方程（8），我们接下来的工作便是根据方程（8）来确定wn，继而确定w1和wj，并最终确定权重向量W。第4.3节 wn的最终确定我们首先引入两个函数= , = 。为了找到wn从而确定权重向量W,我们只要解决方程

16、，其中是关于wn的n+1次函数一，是关于wn的一次线性函数。不失一般性,我们可以假设 andness(W) = 0.5，倘若 andness(W)= 0.5记此时的最大熵权重为W,记andness = 1 - 0.5时的最大熵权重为WR，由Yager的证明6,我们可以知道wi=wn-i+1R，并且有disp(W)=disp(WR)。这样对于任意andness(w)= 0.5，我们可以通过考虑andness(w)=1-来解决。我们将 wn =代入函数、及其导数，可以发现所以 与总是相切于点wn =。但是倘若wn=，此时我们有w1=w2=.=wn= , 此时disp(W)=ln(n),=0.5。考

17、察的图像，显然有。令= 0，其有唯一解 = 且在点处小于0，所以点是区间0，内的最大值点现在我们将证明函数 在开区间 (0,1/n) 内只能与相交于1次。这将保证问题(1)最优解的唯一性。事实上，=有唯一解 =2=2 (因为0.5。我们考虑=1-0.6=0.4时的权重。由方程w5(5-1)0.4+1-5w55= (5-1)x0.45-1(5-1)x0.4 - 5)w5+ 1可得w5=0.1278由（7）式 w1=0.2884再由（3）式 w2=0.1566 w3=0.1920 w4=0.2353最大熵权重向量W=(0.2884,0.1566,0.1920,0.2353,0.1278)T那么n=

18、5,=0.6时的最大熵权重向量W=(0.1278,0.2353,0.1920,0.1566,0.2884)T此时disp(W)=1.5692。参考文献1Yager RR Ordered weighted averaging aggregation operators in multi-criteria decision making,IEEE Trans.on Systems,Man and Cybernetics,1988,18:183-190.2 Xu ZS，An over view of methods for determining Owa weights.International Journal of Intelligent Systems,2005,20(8):843-865.3 Filev D,Yager RR.On the issue of obtaining owa operator weights.Fuzzy Set and System,1998,94(2) :157-169.4 Xu ZS,Da Q.L.The uncertain owa operator.International Jou