基于模糊积分的数据融合实用教案

1、数据融合是由美国JDL实验室数据融合专家组(DFS)提出的并给出了一般的概念模型。最初用于军事领域，现在广泛应用于机器人，交通管制，故障诊断等民生领域。最初数据融合用于处理传感器的信息融合，由于传感器的固有特性，单一传感器的信息通常不完备以及抗干扰的需要，经常使用同类或异类传感器的组合来获得互补(h b)的信息或增加抗干扰的能力。现在不仅局限于传感器，从各方面采集得到的原始数据和分类器处理的结果都可以通过融合技术进行加工。如Sung-Bae cho和Jin H.Kim使用基于模糊逻辑多神经网络融合解决在线手写字符识别问题。Alexandre lemieux等构造了一个灵活的多分类器系统用于人脸

2、识别系统。国内有哈尔滨工业大学权太范等人出版了信息融合一书，北京理工大学，浙江大学等学校都在研究信息融合问题处理雷达图像识别系统第1页/共28页第一页，共29页。首先介绍一下模式识别中的分类(fn li)过程，分类(fn li)通过对具有类别标记的实例(数据) 进行训练,得出一个能够预测新实例类别的模型。第一步信息获取，收集大量的数据。这些数据中可能含有冗余和错误信息，对数据预处理，选取重要信息，删除错误的信息。将预处理后的信息输入分类(fn li)器，分类(fn li)器根据一定的学习算法得到分类(fn li)的模型或规则，常用的分类(fn li)器，如：KNN、神经网络、决策树、SVM、贝

3、叶斯分类(fn li)器、粗糙集等。根据所得到的模型或规则预测未知样本的类别，做出决策。 信息获取预处理分类器设计分类器决策图1 分类识别(shbi)过程第2页/共28页第二页，共29页。这里重点介绍神经网络的BP算法。神经网络由神经元和权重构成，神经元即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连接的强度。神经网络通过训练，从样本中学习知识，并且将知识以数值的形式存储于连接权中。神经网络的分类过程分成两部分，首先学习网络的权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类别。BP算法被称作反向(fn xin)传播算法，

4、主要思想是从前向后（正向）逐层传播信息；从后向前（反向(fn xin)）逐层传播输出层的误差，间接算出隐层误差。图2 神经网络结构图信息误差第3页/共28页第三页，共29页。第一阶段（正向过程）输入(shr)信息从输入(shr)层经隐层逐层计算各单元的输出值；根据下式计算每层的输出值： 第二阶段（反向传播过程(guchng)）输出误差逐层向前算出隐层各个单元的误差，并用此误差修正前层的值。在BP算法中常采用梯度法修正权值，为此要求输出函数可微，通常采用Sigmoid函数作为输出函数。 （1） 计算误差： （2） 按照梯度方向计算各层权重的修正量： 其中 的计算公式为 （3） 修正各层权重： （

5、4）重复上述过程(guchng)直到算法收敛，即误差小于给定的阈值。 )(jjiiijjnetfOOwnetjjjyyE2)(21ijijijOwEtw)(jkkjkjjjjjjwOOOOOy非输出层的计算方法输出层的计算方法)1()1()()()() 1(twtwtwijijij算法分为两个(lin )阶段：第4页/共28页第四页，共29页。例：有两组数据点，第一组数据为（0，0）（0，1），第二组数据为（1，0）（1，1）是。构造一个三层的神经网络，由于(yuy)数据有两个属性，设计两个输入节点；输出有两类，设计两个输出节点。当第一组数据输入时，第一个输出节点为1；当第二组数据输入时，第二

6、个输出节点为1 ，用BP算法训练网络。第5页/共28页第五页，共29页。例：有两组数据点，第一组数据为（0，0）（0，1），第二组数据为（1，0）（1，1）是。构造一个三层的神经网络，由于(yuy)数据有两个属性，设计两个输入节点；输出有两类，设计两个输出节点。当第一组数据输入时，第一个输出节点为1；当第二组数据输入时，第二个输出节点为1 ，用BP算法训练网络。信息0.360.510.58who1=0.12who2=0.90400wih1=0.82wih2=0.20b=0.556-1第6页/共28页第六页，共29页。b 0.55-0.57 例：有两组数据点，第一组数据为（0，0）（0，1），第

7、二组数据为（1，0）（1，1）是。构造一个三层的神经网络，由于数据有两个属性，设计两个输入节点；输出(shch)有两类，设计两个输出(shch)节点。当第一组数据输入时，第一个输出(shch)节点为1；当第二组数据输入时，第二个输出(shch)节点为1 ，用BP算法训练网络。Wih1 0.82- 0.82wih2 0.20-0.196who1 0.12- 0.15who2 0.90-0.86信息(xnx)误差(wch)0.360.510.58wih1=7.2 wih2=-0.32 b=5.62who1=-3.78 who2=3.7810第7页/共28页第七页，共29页。数据融合一般分为两个层次

8、，特征层和决策层。特征层的融合是数据的属性的联合，分别从所有信息提取特征，然后经过关联处理组成联合特征向量，这样一方面可以降低数据属性的维数，另一方面可以提高数据质量，从而改善分类效果。决策层的融合首先根据各分类器传送的信息独立做出决策，然后通过(tnggu)关联处理与决策层融合推理获得最后的联合推断结论。第8页/共28页第八页，共29页。 随着数据维数的增长，单分类器处理数据的能力和效率都有所不足；而且单分类器适用于特定类型的数据，对于混合型的数据单分类器很难得到较好的分类效果，因而可以采用不同类型的分类器处理不同类型的数据。在识别过程中每个分类器单独处理不同的输入的数据，独立决策，最终把各

9、个分类器的结果融合得到一个一致的决策。多分类器融合过程存在三个子问题：需要多少个分类器，以什么方式组合这些分类器以及当多个分类器分类结果不一致时，在没有先验知识的前提下，如何统一结果。分类器的组合方式有以下四种。虽然上述前个问题应该同时考虑，但它们通常被单独考虑看作覆盖优化和决策优化策略。在覆盖优化中，组合规则是固定的。一种方法就是针对不同的分类器随机选择要度量输入特征的子集。另一种方法是用不同的数据集训练数据，可以采用Boosting方法。通过GA算法可以同时解决(jiju)这两个问题得到最优解。第9页/共28页第九页，共29页。图3 分类器组合的四种(s zhn)结构 (a)并行结构 (b

10、)门限结构 (c)叠加结构 (d)层级结构第10页/共28页第十页，共29页。多分类器的组合有四种结构：并行结构、门限并行结构、叠加结构和层级结构。并行结构中所有分类器同时激活(j hu)，然后用组合算法对所有分类器的结果进行综合；在带门限的并行结构中分类器的结果必须在可信度超过门限的情况下才参加组合；在叠加结果中分类器依次激活(j hu)排除不可能的结果，一旦目标中的准则得到确定分类完成；而在层次结构中，如同决策树一样，对给定的特征只有一条之路上的分类器被激活(j hu)将目标分类逐渐细化这种结果对充分利用不同种类的特征分辨能力非常有效，且有很强的适应能力。return第11页/共28页第十

11、一页，共29页。遗传算法：遗传算法从达尔文的生物进化论得到启迪。主要思想是：生物通过遗传和变异，依照“适者生存”的原则，从简单的地基生物发展到复杂的高级生物。首先介绍几个术语：（1）基因链码：生物的性状是由生物遗传基因的链码所决定的。使用遗传算法时，需要把问题的每一个解编码而成为一个基因链码，如在-10，10范围内求一个函数的极值，假定(jidng)9是其中的一个解，我们可以用9的二进制形式1001表示这个解对应的基因链码，其中每一位代表一个基因。每个基因链码代表问题的一个解，也别称作一个个体。遗传算法的编码方法很多根据具体的问题有不同的方法，如哈夫曼编码等。基因(jyn)第12页/共28页第

12、十二页，共29页。（2）群体.一个群体就是若干个体的集合。由于每个个体代表问题的一个解，所以一个群体就是问题的一些解的集合.如P=x1,x2,x100就是100个解（个体）构成的群体。（3）交叉。选择群体中的两个个体x1，x2以这两个个体为双亲做基因链码的交叉，从而产生两个新的个体x1，x2作为他们的后代，简单的交叉方法是：随机的选取一个截断点将x1，x2的基因链码在截断点处切开，并交换后半部分，从而组合(zh)生成两个新的个体x1，x2,这是最简单的单点交叉，还有双点交叉。交叉算子100 1011011 0011100 0011011 1011第13页/共28页第十三页，共29页。（4）变异

13、。对于群体中的某个个体，即基因链码，随机的选取一位，即基因，将该基因位翻转（0变1，1变0）如： (5) 适应度。每个个体对应于优化问题的xi ,每个解xi 对应于一个函数值fi ，fi 越大（如果优化问题要求取最大值），则表明xi越好，即对环境的适应度越高，所以可以用每个个体的函数值fi作为对环境的适应度。遗传算法中每个个体不断地对环境进行学习和适应，通过交叉和编译产生了新的个体，交叉类似于遗传，这些后代继承了双亲的优良特性，通过变异产生了不同于双亲的特性。 下面是算法的基本框架：1010000110100101第14页/共28页第十四页，共29页。步骤：(1) 初始化群体。设定群体包含po

14、psize条基因(jyn)链码。(2) 计算每条基因(jyn)链码的适应函数值fitness(i)，以及相应的选择概率和累积概率求总的适应值；计算每条基因(jyn)链码的选择概率；计算每条基因(jyn)链码的累积概率；(3) 选择：按照群体中适应函数值的大小，依概率随机选择popsize条基因(jyn)链码进行交叉，适应函数值大被选中的概率就大。popsizeiifitnessF1)(Fifitnesspi)(ijjjpq1第15页/共28页第十五页，共29页。(4) 单点交叉：设交叉的概率为pc。从选中的基因链码中，随机的选择popsize*pc条基因链码交叉，单点交叉的位置随机生成。(5)

15、 变异：设变异概率pm，从上述所有基因链码中依概率选择一条基因链码，随机生成一位变异。(6) 设Generation gap 为G，对子代排序选择popsize*G个适应函数值较大染色体覆盖母代中的相应的适应函数值小的染色体；(7) 如此(rc)循环若干代，直至满足迭代条件结束；否则转（1）。 第16页/共28页第十六页，共29页。我的问题是如何统一(tngy)结果，即决策层的融合。常用融合方法如：投票法、贝叶斯算法、证据理论、可能性理论、模糊积分等。投票法是根据最多数分类器分类的结果指定代分类物体的类别的。下例是四个分类器识别10个数据的结果的一情况，这10个数据有两种分类分别是+和-。根据

16、投票法我们可以断定最后一个物体是+类，而很难做出定出第一个的类别。情况： 分类器 1：+- 分类器 2：-+ 分类器 3：+ 分类器 4：-+投票法简单，但没有考虑分类器间的交互影响。贝叶斯方法将待识别物体分到具有最大后验概率的类中。但是很多情况下很难得到待识别物体的先验概率或者先验和后验概率计算复杂，因而不是很实用。证据理论是贝叶斯方法的一种改进，它巧妙地解决了需要事先知道先验概率的问题，是在不确定条件下进行强有力推理的方法。第17页/共28页第十七页，共29页。可能性理论反映了实际被感知对象和期望观测之间的相似性，试验结果表明被感知对象和物体被观测的次数没有任何关系。 投票法实质上是经典可

17、加性的lebegue积分模糊积分。该测度定义于各个(gg)分类器组成的离散空间上，并且各个(gg)分类器的权值为1。该方法假设各个(gg)分类器的作用独立。因而若干个分类器对分类任务所起的作用就等于各个(gg)分类器所起作用的简单加权和。然而在实际应用中，多个分类器相互作用是不可忽视的。模糊测度利用了非负单调的集合函数，即所谓的模糊测度来取代加权值，并且利用了与模糊测度相关的模糊积分：Sugeno和Choquet函数代替了普通的加权求和法。被看作是非线性可加函数，从多个分类器的一致和相互冲突的结果中找出最大一致性的结果。 第18页/共28页第十八页，共29页。 为一有限集和。下面的定义是Sug

18、eno关于模糊测度的概念定义1： X上的模糊测度是一个集合函数： ，其中 是 的幂集，满足(mnz)如下条件：（1）（2）因此模糊测度是一个单调而且归一化的集合函数。它可以作为概率测度的一种扩展，即将概率测度中的可加性条件替换为条件更弱的单调性条件。,21nxxxX 1 , 0)(:XPg)(XPX1)(;0)(Xgg)()(,BgAgthenBAifXBA第19页/共28页第十九页，共29页。0g01)1 (11且Kiig从模糊测度的定义可知，两个不相交子集的并集的测度不能直接从这两个子集中计算出。因而，Sugeno引入了所谓 的模糊测度，它满足如下的额外特性(txng)，对所有的 ，且 ，

19、有：即两个不相交子集的并集的测度可以直接从其组成成分的测度中求得。当 ， 是概率测度。 可以按照下式确定：上式 的解存在而且唯一。gXBA, BA)()()()()(BgAgBgAgBAg第20页/共28页第二十页，共29页。gX 1 , 0:Xf)(xfgAgfgfSgxf)(,min(sup)()()(1 , 0)(xfXxfgX, 0:Xf)(xfgdfgfEg0)()()(xfXxf模糊积分是定义在模糊测度基础上的一种非线性函数，它具有融合多元(du yun)信息的能力，常用的模糊积分有Sugeno积分和Choquet积分，定义如下定义2：设 为 上的一个模糊测度，且设 。则 相对于

20、的Sugeno积分为： 其中定义3：设 为 上的一个模糊测度，且 设。则 相对于 的Sugeno积分为： 其中第21页/共28页第二十一页，共29页。A)(xfXxkxf)(xfKfff21)()(1kkKkgAghfSKkkkkgAghhfE11)()()(0, 1,021hKkxxxAkk且在有限集合 上，函数 在点 处的值用， 表示。如果函数 的值满足 ，则可以证明Sugeno积分(jfn)和Choquet积分(jfn)可以按照下式计算： 其中第22页/共28页第二十二页，共29页。设 ，映射(yngsh) 称为模糊密度函数。注意到当 是一个 模糊测度，由 模糊测度的性质可知，当 ， 的

21、值可以按照如下的子式递归计算：因此计算相对于一个 模糊测度的Sugeno积分和Choquet积分，只要求关于模糊密度。其中第 个密度值 可以解释为第 个分类器对于最终评价的重要程度。通过最小值操作符比较证据值和密度值得出的结果可以解释为实际可能性和之间的一致性程度。因此Sugeno积分和Choquet积分是寻找实际值 和期望值 之间最大程度的一致性。)(kkxgg ikgx gggKk, 1)(kAg111)()(gxgAg)()()(11kkkkkAggAggAggkkgkfg第23页/共28页第二十三页，共29页。举例说明密度函数的定义：1对每一个分类器构造混淆矩阵，定义如下： ，其中当

22、时， 就是分类器 将物体划分到正确类的个数；当 时， 就是分类器 将 类物体划分到 类的个数。如有150个样本数据，这些数据分成3类，每类50个。分类结束后得到的混淆矩阵为：第1行的数据说明有43个样本正确分类，有5样本本应该属于(shy)第1类，却错误分到了第二类，有2个样本本应属于(shy)第一类，而错误的分到第三类。假定正确划分的个数总是大于错误划分的个数。即 而且 （这条规则适用于大多数合理的分类器）kijkpP Jji2 , 1,ji kijpkrji kijpkricjc4910345225430iipijiipp 第24页/共28页第二十四页，共29页。Ijkijkiikippg1/21)()(/*/wmmkwmmkkikigg*/ kig2 根据下式初始化模糊密度： 3 在分类过程(guchng)中，根据分类的正确率，奖励分类正确的分类器，增加其模糊密度；惩罚错误分类的分类器，降低其模糊密度。模糊密度的修正公式为： 是不断更新的模糊密度。第25页/共28页第二十五页，共29页。mk /mjkipppmjki