多传感器信息融合基本原理及应用

1、Jan. 2 0 0 6Vol. 13 ,No. 12006年1月 第13卷第1期控制工程Cbntiol Engineering of China© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,No. 1© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,

2、No. 1:1671-7848 (2006)01-0048-04马平'，吕锋'，杜海莲I，王瑞'，牛成林'(i.华北电力大学自动化系.河北保定071003 : 2.问北何范大学电于系.河北石家庄050031）:全面系统地阐述了多传感器信息融合技术的信息融合理论、模型、算法和应用. 并对目前信息融合在机器人、故障诊断、图像处理等领域的应用现状进行了剖析。信息融合 技术虽然发展迅連.但由于信息融台技术理论尚待完善.在融合算法、融合模型以及关联的 二义性等方面还存在问题。信息融合理论在多传感器分布检测、异类多传感器融合以及建立 信息融合数据库利知识库轸方面将有进一步发

3、展。:信息融台：Bayes推理；Deny ster Shat er证据理论；机器人；故障诊断；图像处理:1P212: ATheory and Application of Multi-sensor Information FusionMA Ping , L U Feng , DU Harlian , WANG Riu , N1U Cheng-Un(1 Department of Aukinxrtion North China Hectric Ibuvr Uniwrsity Banding 071003 . China :2. Hectrical Department. Hebei bbmul

4、Uniwrsty Shijiazhuang 050031 China)Abstract: The information fusion lheory . nvdel algorithm and application ot inultr sensor irfomiation fusion are elatorated so that lhe reader can understand it fully and systenialically The application status is discussed in lobuts , fault diagnosis , and image p

5、wcessing The information lechmlogy developmem is fast but its ihoory is wailing for perfect. so there are some questions on fusion algorithm. mndel and relevancy ambig uous and elc. The multi-sensor distributix« detection different multr sensor fusion and the construction erf data base and knou

6、iedge base and etc. will have much nure devekipmeiU.Key words: infbnmtion fusion: Bayes reasoning: Dempster Shafer evidence theory: intelligent inbot: fault diagnosis: image processing© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,No. 1

7、© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,No. 1传统的倍号采集往往由单一的传感器来完成, 即使采用多个（种）传感器也仅是从多个侧面孤立地 反映目标信息。实际上，在大多数情况下，必须同 时处理多个信号.而这些信号一般又来自多个信号 源.即多传感器。但是多传感器也带来了信息冗余 甚至矛盾。所以必须通过对各种传感器及其观測信 息的合理支配与使用.将其采集的信息依据某种优 化准则组合，产生对观測环境一致性的解释和描 述，

8、因此迫切要求对信息进一步处理。“信息融合” 就是对多传感器的数据进行多级别、多方面、多层 次的处理，即组合或融合来自多个传感器或其他信 息源的数据，以获得综合的、更好的估计。目前国内在多传感器融合方面的研究尚处于初 始阶段.对这方面系统介绍的文献也相对较少，多 传感器融合是一个复杂的信息处理过程所要研究 的问题多，而且解决问题的方法也很多，因此有必 要对目前的研究情况进行系统的介绍。2由于信息融合的定义都是功能性的描述，美国 国防部JDL从军事应用的角度将数据融合进行定 义山,Waltz和Llinas对其进行了补充和修改,给出 了较完整的定义：一种多层次的、多方面的处理过 程，这个过程是对多源

9、数据进行检测、结合、相 关、估计和组合以达到精确的状态估计和身份估 计，以及完整及时的态势评估和威胁估计。近年来信息融合技术在基本理论和实现方法上 得到极大的完善，显示出自身极大的优越性山，主 要表现在：容错性好；系统精度高；信息处理速度 块；互补性强；信息获取成本低等方面。© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,No. 1© 1994-2006 China Academic Jounuil Electr

10、onic Publishing House. All rights reserved, Jan. 2 0 0 6Vol. 13 ,No. 1:20M-12-03;: 2005-01-17:国家自然科学基金资助顶目（60374020）:河北省自然科学基金资助项目（F2（XM000180）:河北省科技攻关许助项目（04213573）:马 平（1961-）.女.湖南长沙人.教授.研究生导师.主要从事多源信息融合、控制系统故障诊浙、多变量鲁捧控制等方 面的敦学与科研工作© 1994-2006 China Academic Jounuil Electronic Publishing House

11、. All rights reserved, 50控制工程第13卷了机类方法这类方法研究对象是随机的, 在多传感器倍息融合中常采用随机类方法包括很© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 50控制工程第13卷数据融合的关键问题是模型设计和融合算法 数据融合模型主要包括功能模型、结构模型和数学 模型。功能模型从融合过程出发，描述数据融合包 括哪些主要功能和数据库.以及进行数据融合时系 统各组成部分之间的相互作用过程；结构模型从数 据融合的组成出发，说明数据融合

12、系统的软、硬件 组成.相关数据流、系统与外部环境的人机界面: 数学模型是数据融合的算法和综合逻辑，算法主要 包括分布检测、空间融合、属性融合、态势评估和 威胁估计算法等.下面从3个方面分别进行介绍。1）信息融合的功能模型目前已有很多学者 从不同角度提出了佰息融合系统的一般功能模型, 最有权威性的是DFS （美国三军政府组织一实验室 理事联席会仃DL）下面的C?I技术委员* （TPC"）数 据融合专家组）提出的功能模型0该模型把数据融合分为3级。第1级是单源或 多源处理，主要是数字处理、跟踪相关和关联；第 2级是评估目标估计的集合.及它们彼此和背景的 关系来评估整个情况；第3级用一个系

13、统的先验目 标集合来检验评估的情况。多，这里只介绍前3种方法。aBayes推理方法把每个传感器看作是一个 Bayes估计器.用于将每一个目标各自的关联概率 分布综合成一个联合后验分布函数.然后随观測值 的到来不断更新假设的该联合分布似然函数.并 通过该似然函数的极大或极小进行信息的最后融 合。虽然Bayes推理法解决了传统的推理方法的某 些缺点.但是定义先验似然函数比较困难.要求对 立的假设彼此不相容.无法分配总的不确定性.因 此，Bayes推理法具有很大的局限性。b. DenpsterShafer的证据理论 是一种广义的 推理方法，它是通过集合表示命题，把对命 题的不确定性描述转化为对集合的

14、不确定性描述, 利用概率分配函数、信任函数、似然函数来描述客 观证据对命题的支持程度.用它们之间的推理与运 算来进行目标识别|。DS证据理论可以不需要先 验概率和条件概率密度，并且能将“不知道”和 '环确定”区分开来，但是它存在潜在的指数复杂 度问题和要求证据是独立的问题。c. Kilnwn滤波融合算法 它利用测量模型的统© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 50控制工程第13卷其简化模型如图1所示。平稳的随机过程.它要求系统具有线性的动力学模计

15、特性.递推确定在统计意义下最优的融合数据估 计，适合于线性系统的目标跟踪，并且一般适用于型，且系统噪声和传感器噪声是高斯分布白噪声模 型，并且计算量大，对出错数据非常敏感。（2爪工智能方法近年来，用于多传感器数据 融合的计算智能方法有：小波分析理论、模糊集合 理论*别、神经网络问、粗集理论和支持向量机© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 50控制工程第13卷2）信息融合的结构模型 数据融合的结构模 型有多种不同的分类方法.其中一种分类标准是根 据传感器数

16、据在送入融合处理中心之前已经处理的 程度来进行分类。在这种分类标准下，融合结构被 分为传感器级数据融合、中央级数据融合及混合式 融合.还可以根据数据处理过程的分辨率来对融合 结构进行分类。在这种情况下，融合结构为像素 级、特征级和决策级融合。3）多传感器信息融合实现的数学模型信息 融合的方法涉及到多方面的理论和技术，如信号处 理、估计理论、不确定性理论、模式识別、最优化 技术、模糊数学和神经网络等这方面国外已经做了 大量的研究0目前，这些方法大致分为两类：随机类方法和 人工智能方法。等，限干篇幅只介绍小波变换和神经网络方法。3小波变换 是一种新的时频分析方法，它在 多信息融合中主要用于图像融合

17、，即是把多个不同 模式的图像传感器得到的同一场景的多幅图像，或 同一传感器在不同时刻得到的同一场景的多幅图 像，合成为一幅图像的过程。经图像融合技术得到 的合成图像可以更全面、精确地描述所研究的对 象。基干小波变换的图像融合算法为：首先用小波 变换将各幅原图像分解.然后基于一定的选择规 则，得到各幅图像在各个频率段的决策表，对决策 表进厅一致性验证得到最终的决策表，在最终决策 表的基础上经过一定的融合过程，得到融合后的多 分辨表达式，最后经过小波逆变换得到融合图 像'叭b.神经网络方法是在现代神经生物学和认 知科学对人类信息处理研究成果的基础上提出的.它有大规模并行处理、连续时间动力学

18、和网络全局 作用等特点，将存储体和操作合二为一。利用人工 神经网络的高速并行运算能力，可以避开信息融合 中建模的过程.从而消除由于模型不符或参数选择 不当带来的影响.并实现实时识别。由于神经网络 的种类繁多，学习算法多种多样，新的结构和算法 层出不穷，使得目前对神经网络数据的研究非常广 泛。最初信息融合技术是为了满足战争的需求.目 前军事领域仍是信息融合的最大应用领域，发展也 最快.主要应用在预警系统、武器系统的指挥和控 制、情报保障系统、军事力量的评估和指挥系统以 及天地一体化信息融合系统。随着L冲传感器技术 和电子芯片的发展，信息赴令技*在民用方面也得 到了广泛的发展.下亞详细介沼数据融合

19、在智能机 器人、故障诊断和图像处理方面的应用。 信息融合在机器人研究领域中的应用机器 人技术是一门综合技术.集光机电液倍于一身，多 感觉传感器系统与机器人相结合，形成感觉机器人 和智能机器人3。机器人演奏、机器人足球比赛、 机器人摔跤等需要高度信息融合技术.工业机器人 则成为典型的多传感器集成和融合系统，这里主要 介绍信息融合技术在移动机器人和工业机器人方面 的应用3。如何精确地获得自身的位置并由此规划运动路 径，是自主式移动机器人冋研究领域中一直得到 关注的问题。轮式移动机器人由于轮子打滑及測量 模型噪声等原因.存在累计误差问题。为了进一步 提高移动机器人的定位精度.文献151采用扩展 lm

20、an滤波对这两种传感器信息进行融合.即通过 激光扫描器提供的信息不断修正光电编码器的定位 信息，提高了定位精度。工业机器人在工业系统中主要完成物料搬运、 制造、装配、检测等，现已有一些较为成熟的应用 例子.如Hitaclii公司研制的应用于电子产品装配 线上的工业机器人将三维视觉传感器和力传感器测 出的数据进行融合。Qorgia理工学院研制的机器人 融合视觉和触觉传感器的信息。还有Sen等人研 制的用于机械产品装配生产线上、Smith和Nilan等 人研制的用于产品包装、Kremers等人研制的适用 于加工制造业的一些工业机器人。2）信息融合技术在故障诊断领域中的应用 基于信息融合的故障诊断方

21、法，是通过多传感器获 取设备状态的特征信号.并进行多层关联组合、数 据选择.从而获得对诊断对象故障倍息更可靠的认 识和对潘在故障发展趋势的态势评估。文献16针对某泵压式供应系统液体火箭发动 机的泄漏故障.利用系统故障症状的分散性.提出 了一种基于模糊数据融合技术的系统故障诊断方 法。文献17构造了神经网络信息融合中心，对来 自多传感器的残差信号进行了预处理和离散小波变 换，使用改进BP算法对神经网络分类器训练以进 行相应的故障模式识别。文献18利用不同采样速 率多传感器观测对象.充分考虑多尺度、多信息融 合状态估计精度和强跟踪滤波器理论在处理非线性 系统时变参数与状态估计的能力，实现了变压器故

22、 障的在线诊断。3）倍息融合技术在图像处理方面的应用遥 感图像的信息融合能使各种空间、波谱和时间分辨 率的图像纳入统一的时空内.融合构成一种新的图 像，増加信息量.实现多种信息的互补.改善了图 像的质量和有效性。文献【19把同一目标的不同传 感器茯得的图像数据利用小波包变换进行融合.得 到目标较为清晰的融合图像。文献20提出了一种 针对SAR（合成孔径雷达）图像保留边缘的融合方 法，在计算量不显蓍增加的前提下，提高了边缘检 测的质量。在医学方面CT与NMR具有不同的成像机理, CT能够清晰表达骨骼信息.而NMR能够清晰表达 软组织信息，文献21提出了一种新的基于小波变 换的系数取大融合算法，从

23、而既可清晰地表现骨组 织佰息，又可清晰地表现软组织倍息，这对临床医 学具有十分重要的意义。512211）未形成基本理论框架和有效广义模型及算 法 虽然数据融合的研究已经相当广泛，但是目前 对信息融合的研究都是根据问题的种类.各自建立 融合准则.并在此基础上形成所谓最佳融合方案, 而且目前很多研究工作是基础研究、仿真性工作。2）关联的二义性是数据融合中的主要障碍 在进厅融合处理前.必须对信息进行关联.以保证 所融合的信息是来自同一目标。所以.信息可融合 性的判断准则及如何进一步降低关联的二义性已成 为融合研究领域亟待解决的问题。3）数据融合方法与融合系统实施问题数据 融合系统的设计实施目前还存在

24、许多实际的问题: 传感器动态测量误差模型的建立、传感器系统优 化、复杂动态环境下系统实时性、大型知识库的建 立与管理、与其他领域的很多新技术的'慷接与融 © 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 第1期谢卷等：重叠分解补偿阵的选择及对控制性能的影响 77 合J如人工智能技术、计算神经网络计算、遗传 算法、进化计算、虚拟现实技术性等，这些尚无成 熟理论。4）融合系统的容错性和稳健性没有得到很好 的解决 冲突（矛盾）信息或传感器故障所产生的错 误信息等的

25、有效处理，即系统的容错性或稳健性也 是信息融合理论研究中必须考虑的问题。尽管信息融合技术20多年来已有了很大的发 展.但仍然还有很多领域有待于进一步的研究与探 特点，并在机器人、故障诊断、图像处理等民用领 域中.充分发挥了强大的侑息处理优势.几乎一切 需要信息处理的系统都可以应用信息融合，利用信 息融合技术可得到比单一倍息源更精确更完全的判 断。随着科学技术的发展，尤其是人工智能技术的 进步，数据融合的基础理论将更加完善.兼有稳健 性和准确性的融合算法和模型将不断推出.研究数 据融合的数据库和知识库也会取得重大进展。在将 来，多传感器信息融合技术以军事应用为核心.将 不断地向工业、农业等领域渗

26、透，进而取得更为广 泛的应用。© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 第1期谢卷等：重叠分解补偿阵的选择及对控制性能的影响 77 索.目前主要包括:&传感器分布检測研究 分布式检测融合自© 1994-2006 China Academic Jounuil Electronic Publishing House. All rights reserved, 第1期谢卷等：重叠分解补偿阵的选择及对控制性能的影响 77 提出至今已形成了比较完善的

27、理论体系。目前对该 领域的研究主要有：在各检测器性能时变的条件 下.如何自适应估计各检测器性能并进行分布式检 测融合是目前的一个方向：在信号参数模糊下的分 布式检测融合问题：在信号参数随机变化下的分布 式检测融合问题：微弱信号的检测融合问题。 异类多传感器信息融合技术研究却异类 多传感器佰息融合由于具有时间不同步，数据率不 一致及测量维数不匹配等特点，因而具有很大的不 确定性。在异类多传感器信息融合中.如何利用各 传感器信息进行航迹起始.如何综合利用位置、动 态及特征和属性参数改善目标跟踪性.如何合理利 用互补信息以改善对目标的识别及如何实现检测跟 踪的联合优化都是需要进一步研究和解决的问题。

28、 传感器资源分配与管理技术研究多个传感 器构成了多传感器系统的互补体系.因此必须按照 某些工作准则适当地管理这些传感器.以便获得最 优的数据采集性能。传感器管理的内容通常包括: 空间管理、模式管理和时间管理。这一方面主要包 括：传感器性能预测，传感器对目标的分配方法. 传感器空间和时间作用范围控制准则传感器配置 和控制策略，传感器接口技术，传感器对目标分配 的优先级技术.以及传感器指示和交接技术。F究数据融合用的数据库和知识库.高速并行检索和推理机制 利用大型空间数据库中数据和 知识进行推理是融合系统过程中的关键任务.因此 深入研究和探讨空间数据库的知识库.高速并行推 理机制应成为未来的研究重

29、点之一 o综上所述.多传感器信息融合技术涉及到多学 科、多领域.且具有多信息量、多层次.多手段等(I Wald L Some terms of reference in data fusion geoscience and reniHe sensing J IEEE Transactions on Geoscience andSensing, 1999 37(3) : 11901193.2 J Waltz E .Llinas J Multi sensor data fusion |M|. Boston: Ar tech H)use J 991 3 王耀南李树涛多传感器信息融合及其应用综述J 控

30、制与决策.2001 ,16(5) :518-5224 Varshncy P K. Multi sensor dala fusion |J |. El ectiumcs & Q)nmumcation Engineering Journal997 ,9(6) :245-253.5 Hall D L Mathematical techniques in multi sensor data fusion MJ.Boston:Aitcch bbuse9926 Kein L A. Sensor and data fusion concepls and application MJ.北京：北京理工大

31、学出版社20(M(7| Xu L J . Chen YZ. Cui P Y Inpiovemenl of DS evidential theory in multi sensor data fusion system C Huangzhou: ftucceding of【he 5th Xbrld Cbngress on httelligent G)ntiul and Automation .20048 Russd F. Ranponi G. Fuzzy met tods for multi sensor data fir sionC. Irvine : IEEE Trans on Inst r

32、um Meas .1994.9 J Clianussol I Mauris G, Lambert P. Fuzzy fusion techmques for linear features detection in multitenporal SAR images | J IEEE Trans on Geosci Rennte Sening . 1999 .37(3) : 1292- 1305.(10| Wan W 9 Fraser D. Multi source data fusion wilh multiple self organizing nupsJ IEEE Trans on Gbo

33、sci Renute Sening, 1999 37(3) :1344*134911晃锐【张科李言俊一种基于小浪变换的图像融合算 法J 电子学报.2004 .32(5) :75O753121 Lid R C .Pliang S H H .Su KL. Multievel mulGsensDr based decision fusion for intelligent animal robot | J Seoul: Pkt ceedings of 2001 IEEE International G)rference on Rohotics and Automation .2001 13罗志增蒋静

34、坪机器人感觉与多信息融台北京： 机械工业出版社2002141 Freire E leodianD B F Mario S F “ al A new npbile rer hot conliol approach via fusion of oontfol signals J 【EEE Transactions on Systems, Man and Cybernetics 2004 .(34): 419-429115 | Li Y.Gto F Lin TQ 刃 al. Study on multi-senior data fusion for the wheeled mobile folvt

35、C . Imelligent Cbntn>l and Air toniation .2004 16 何平杨保华王本利模糊数据融合技术在系统故障 诊断中的应用J |电机与控制学报,20(M .8(1) :515617 3iang J F. Thao D Y. Fault diagnosis to structural crack on FNN and data fusion J . Jourmd of Sliip Mechanics .2004 .8(2) :55-60.(下转第77页)0000 '00M24(00 Mi40000式中 M2| =0000000 W| 0;M24 =

36、 0 0000000 /r)i o这里将要对肋进行优化，其遗传算法控制参 数的取值分别为：群体规模M =50交叉概率Pl. =0. 85.变异概率p.n =0.001 ,终止代次D = 800 参数m未优化时的值是22.214 4这里将其取值 范围定为120.45。利用Matlab中遗传算法的工 具箱搜索到了满足给定指标要求的M：I =|0 0 0 0 0 0 0 25.02 0 , M>, = OOOOOOOO25.O2,从 而得到补偿阵M,计算出此时的性能指标为J = 6.900 7e+003o情形2利用包含原理的约束条件扩展原系统。可按照传统方法选择如下变换阵和补偿阵：V=diag

37、 b XI J)1"丄,U 二【9 ( J )丄通过计算可得出此时电力系统分散AGC控制 的性能指标为7=6.218 9e+003o而采用遗传算法优化时，根据A阵的结构，可 将M阵转化为如下块结构：0-M2()0000(17)00000Md-M2(1设M阵中的M门=|0 00 0 w, 00阻m | 贮 =| w? 0 0 0 0 mi 0 0 m2 o 这里要对 wi 加2 加3 这 三个参数进行优化。根据系统实际情况它们的取值范围分别是 |0.3 J.3JJ - 0.045 ,0.955 ,0.4 t0.90遗传算法的控制参数选择同上求得满足给 定指标要求的M阵子块为M12 =

38、OOOOO.3O 0 0.046 0.400 49,M42 = |0.400 49:0:0 :0 ;0 ;0. 3 :0:0; 0.446 , 此时7=6.062+003。在这两种情形下补偿阵M中的寻优参数均与 系统的频率变化量片"和功率变化量", 加有关因而适当调整这些参数可使电力系统 AGC的控制性能得到改善。4本文研究的重叠分解补偿阵选择方法已成功应 用于互联电力系统的AGC控制设计中，仿真结果证 明佗能很好地改善系统的控制性能。该方法应用 的关橹在干遗传算法寻优过稈中参数的合理选择. 如补偿阵参数的寻优范围及各种控制参数等。另 外可针对不同的控制问题选取不同的寻优目

39、标函 数。本文方法也可以应用在自动高速公路系统以及 其他复杂工业系统的控制设计中°1 Siljak D D. Decentralized contiul of oonplex systemsM. New Y)rk: Academic ,1991 2 Rossell J M. G)ntribution to decentralized contiul of large scale systems via overlapping nvdelsD. Barcelpna Spain: lech Univ Catalunya998.3 Bakule L .Rodellar J Rossell

40、KM. Structure of expansorreon- IracGon nutriccs in lhe inclusion principle for dynamic systems |J . SIAM J Matrix Analysis Applicat, 2000 .21 (4) : 1136- 1155.4 Bakule L Rodellar J .Rossell J M. Generalized selection of conplemeiitarj, matrices in the inclusion principle J IEEE Transactions on Autom

41、atic Cbntml ,2000 .45(6) : 1237-1243.5 Chen X B Stanko vic S S. Osvriapping deconposilion and de centralized LQG contiul for intcrconnecled power systems C Beijing:Roc of IEEE SMC96 .1996.(6 Ikeda M .Siljak D D. Overlapping decentralized oontml uith iiput state .and outputii)clusion J Cbntiul Theory and AJ vanced Technology t 1986 .2(2) : 155-172.Giipperfield A .Honing P.R)hlhei