多生物特征融合

多生物特征融合识别

内容提要一、多特征融合的基本方法二、多特征融合的可行性分析三实验方案与性能评价四下一步工作一多特征融合的基本方法1.1、研究背景随着单生物特征（包括语音，人脸，指纹，虹膜和签名等）识别技术的不断成熟，人们开始将研究转移到多特征融合上以进一步提高识别的精度和准确度。成为一个新兴领域，它融合了多个学科的知识，近几年已有不少学者致力于多特征融合的研究。一多特征融合的基本方法1.2、多特征融合的基本策略多特征融合技术的一个核心问题就是融合策略问题，即选择在哪个层次级别上融合的问题。根据生物特征识别的基本方法，目前多特征融合在四个层次上进行。即数据层，特征层，匹配层和决策层。也有人将在较高层次融合的匹配层和决策层统称为决策层融合。一多特征融合的基本方法1.2、多特征融合的处理流程图（图一所示）图一二多特征融合的可行性分析2.1各层融合[1,2]的基本特点

数据层的融合:在生物特征样本的采集中利用数据融合的方法，对采集的样本进行评估以获得更加有效(或者更加可信)的生物特征样本。

特征层的融合:对来自不同源的多个生物特征样本(不同种类、不同个体、不同采集器或者不同采集条件等等)分别提取特征;或者对单一的生物特征样本利用不同的特征提取算法来获取样本的特征(全局的、局部的或者纹理的、细节的),然后利用数据融合的方法对这些特征进行处理，得到一个修正的、更加鲁棒的特征模板。二多特征融合的可行性分析2.1各层融合的基本特点

决策层的融合:对采集层、特征层和匹配层的处理分别进行评估，然后利用数据融合的方法将评估结果在匹配层进行表达，使得各层的处理效果(有效性或者可靠性)在最后的匹配计算中得到体现，获得更加客观的识别结果。该层通常和匹配层的融合合并在一起称之为决策层融合，对于简单生物特征识别(或者称之为单生物特征识别)来说，匹配层输出的结果往往是单一的(相似度、匹配百分数、汉明距)某种距离的表达，然后根据一个确定的阈值，作出是与非的判别;但是对于多生物特征的识别来说，匹配输出的结果往往是一个多维的向量，向量中的每一个成员都表示一个不同来源的匹配结果，决策层融合算法的研究目的就是在这样的一个向量空间做类内和类间的划分。目前在决策层融合技术[3]研究最多的就是基于贝叶斯网络、基于D-S证据理论和基于神经网络的融合算法。二多特征融合的可行性分析2.2生物特征的选取

在多特征融合方案中，根据不同的应用场合选取两个或多个生物特征进行融合；此外，不同的生物特征识别率也存在着区别，这是多生物特征识别融合必须考虑的问题。考虑在远距离视频监控和目标识别应用场合中，选取较为易于获取的生物特征进行融合将会获得更好的识别效果。这些生物特征包括人脸、语音和步态。在前面开发的模式识别自主学习系统中，已经实现了人脸识别，语音识别和步态识别模块，这也是进行多生物特征融合的基础。

二多特征融合的可行性分析2.3融合策略分析（决策层的融合）

对于语音和人脸的融合，由于人脸识别和语音识别在单生物特征识别的条件下，已经获得了较高的识别率，这时采取在较高层次的决策层融合比原始数据层次的融合效果更好。这个时候最简单有效的是采用加权融合[4,5]的方法，融合流程如下：1、对于语音和人脸通道分别通过相应的识别器进行识别。人脸识别采用算法成熟且效率高的PCA方法，采用距离分类器进行类别判决，而语音采用GMM算法最后得到概率，通过概率大小进行判决。

二多特征融合的可行性分析2.3融合策略分析（决策层的融合）2、把距离和概率归一化。由于每个模块的匹配模型不一样，输出的匹配分数形式也不同，像后验概率、距离等。必须把这些量纲进行归一化，统一到【0，1】区间。对于人脸识别，假设有N个欧式距离值{dn}，n=1，2...N,根据最大最小归一化方法，利用公式（一）得到每个对应模板的匹配分数score（i），i=1，2，…..N。

二多特征融合的可行性分析2.3融合策略分析（决策层的融合）

公式一匹配分数计算公式二多特征融合的可行性分析2.3融合策略分析（决策层的融合）生物特征识别在实际应用中主要有一对一的身份验证和一对多的身份识别。在身份识别中，我们假设待识别样本是数据库中的其中一个，那么必然满足

这时候的匹配分数可以看作测试样本与模板数据库中的每个样本之间的相似度。同理可以对声音和步态的识别结果使用类似的方法进行匹配结果归一化，得到语音和步态的响应的匹配分数。二多特征融合的可行性分析2.3融合策略分析（决策层的融合）3、融合权重的分配。在得到人脸识别子系统和语音及步态的输出匹配分数后，如何分配权重是整个融合系统的核心问题。这里存在两个方面的权重分配问题：一、如何分配各个子系统所占的权重，即人脸识别子系统得到的匹配分数与语音和步态子系统得到的匹配分数哪个占的权重大些。二、如何分配每个子系统内部各个识别结果所占的权重。

二多特征融合的可行性分析2.3融合策略分析（决策层的融合）3、融合权重的分配。

这里权重的分配所遵循的原则是匹配分数大的所占权重越大，反而越小。加权后的测试样本最终的匹配分数计算方法如公式（二）所示：公式（二）二多特征融合的可行性分析2.3融合策略分析（决策层的融合）3、融合权重的分配。在上面公式中，

表示联合匹配分数，这个结果表征了待测样本与模板之间的联合相似度，相似度越高表示待测样本属于这个类的可能性越大，反之可能性越小。这里的关键问题是如何选取合适的策略来分配权重，即如何确定三个参数的值权重的选取遵循下面的原则：要能够有效地对不同类别和同一类内不同模板之间进行很好的区分。二多特征融合的可行性分析2.3融合策略分析（决策层的融合）

4、融合系统权重的算法设计。一般来说，如果一个识别模型分类后排在第一的类别得到一个很高的匹配分数，而其他的类别匹配分数都相对比较低，那么我们认为这个识别系统的可靠性比较高，如果每个类别的匹配分数相差不大，那么系统的可靠性就比较低。根据这个原则，拟