生物识别系统中基于匹配信息积累的模板自动选择方法

1、生物识别系统中基于匹配信息积累的模板自动选择方法摘要：为了解决生物识别系统因样本类内差异引起的识别性能下降，定义了用于评估模板价值的可代表性和 不可替代性概念,并提出了基于认证信息最大化和不可替代权重最大化两种模板自动选择方法。在不同生物特 征数据库中进行了实验，各对比实验的等错误率结果验证了方法的优越性。所提方法可以通过降低错误拒绝率 显著改善多种类型生物识别系统的识别性能。关键词：生物识别；模板选择；信息积累；类内差异Information accumulation methods for automatic biometric template selectionAbstract: Fo

2、r biometric systems, intra-class variations may lead to degradation of recognition performance. This paper defined representativity and irreplaceability to evaluate the value of templates, and proposed two biometric template selection methods. The first algorithm was to maximize the passail informat

3、ion, another one was to maximize the irreplaceable weights. According to the indicator of equal error rate, the experimental results on datasets from different biometric traits demonstrate the superiority. The proposed approaches can improve the performance of biometric systems by decreasing the fal

4、se rejection rate.Key words： biometrics; template selection; information accumulation; intra-class variationso引言生物识别系统通过生理或行为特征进行身份辨识，其性能 很大程度上受制于所面临特征类内差异的种类和数量。缺乏 对类内差异的处理能力将增加错误拒绝真实用户的频率,即错 误拒绝率（FRR）槌。特征类内差异大致可以分为永久性差 异和非永久性差异两大类。永久性差异也称为模板老化，主要 由人的生理特征变化和传感器老化造成3-非永久性差异是 一种具有短期效应且不可预测的类内差异，如光照和姿

5、态在样 本间的差异,皮肤上出现的装饰或污渍等&句-许多文献分析 了类内差异对生物识别系统的影响7,8，但解决方案的研究相 对较少。特别是近年来，对这一课题的研究几乎停滞不前，这 也是本文工作的主要动力之一。因此，如何评估现有模板价 值，并从输入样本中选择新模板是一个具有挑战性并且至关重 要的课题当前模板选择方法大致可分为顺序模式和批处理模式两 大类。前者通过收集有价值的信息，将它们构造成一个超级模 板&项。对于此类方法，生物特征之间需要精确配准,并且应 用环境固定。一些接触式生物识别系统采用了这种框架，但它 们不适合应用于非接触式系统。后者一般通过模板更新的方 式，从输入样本选择新模板替换现有

6、模板例如， DENT!采用分层聚类策略来选择最能代表类内差异的模板 集,MIDESTS选择与其余样本具有最大相似度的模板。随 后，为了提高它们的性能,研究者提出了其他基于聚类S和 基于相似度项的方法。此外还提出并验证了利用信息熵、 蚁群优化18和图最小割19进行模板选择的方法。然而它们 均不是通用型框架，只适用于特定的生物特征-此外,模板选择是一种半监督过程加，因此在模板重选时 可能会引入假样本,这会造成错误识别率（FAR）增加-为 了解决这个问题,可以采用严格的更新阈值筛选候选样本。然 而这会造成候选者与当前模板高度相似,模板集不能保存丰富 的类内差异信息西-另一个方法是协同更新,这类方法证

7、明 了如果一种生物特征的识别结果具有高置信度,就可以辅助其 他生物特征的识别和更新-虽然协同更新在策略上优于自更 新，但其局限性在于仅适用于多模态生物特征识别系统-利用识别过程中产生的匹配信息，本文提出了两种简单而 且有效的通用模板选择方法-MPC算法基于最大化成功认证 信息hitpount-在批处理模式下，MPC使用通过表累积hitcount, 并最终根据表中信息进行模板重选和离群点去除- MIW基于最大化不可替代性权重pass-count-在顺序模式下， MIW使用命中表累积pass-count,并根据表单内容实时更新当 前模板集-两种方法的流程如图1所示,蓝色方框和箭头表示 通用模块和数

8、据流向，橙色表示MIW算法的数据流向,绿色表 示MPC的处理模块和数据流向（见电子版）。系统提取用户 特征5后与模板集T和候选模板集Tc产生了匹配信息-MIW 计算pass-count并通过命中表累积，根据表中信息指导T和Tc中模板的交换MPC使用通过表累计hitpount,在计数器达到 预设的重选周期Rd后执行模板重选匹配信息%或用户T+Tcpc信息积累 重选择周期 累加hcIpc交换 模板集T匹配信息%或用户T+Tcpc信息积累 重选择周期 累加hcIpc交换 模板集T候选模板集通过表命中表Fig. 1 Flow chart of proposed method1模板价值评估通过对当前模板

9、集T中模板的评估，模板选择方法会周 期性地将低价值模板更新为输入样本序列中的新模板。模板 更新的周期称为重选周期Rd-重选周期内进行候选模板集T- 生成和匹配信息积累两个过程，并最终根据积累的信息评估模 板价值，从TUTe中选择价值最高的子集作为新模板集T* o 输入样本与TUTe进行匹配时会生成多种匹配信息。模板价 值可以从可代表性和不可替代性两个方面进行评估可代表性，模板应对类内差异的处理能力。在样本序 列的识别过程中，模板能够成功辨识的样本数量越多,证明它 处理类内差异能力越强，因此价值越高。通过相似度阈值很容 易获取辨识结果，因此模板的可代表性也很容易被评估。不可替代性，即模板的唯一性

10、。如果某样本能够并且 只能与部分模板匹配，那么这些模板具有不可替代性，因为失 去这些模板系统的识别性能将显著下降。可以通过计算TU Te的匹配成功率来评估模板的不可替代性。对于样本s，TU Te的通过率越低，认证成功模板对5的不可替代性越高。2基于最大化成功认证信息的模板选择方法2. 1通过表通过表是一种二元表单，基于最大化成功认证信息的模板 选择方法(MPC)使用样本通过表？5、模板通过表At和联合通 过表Ap累积成功认证信息pass-count-?5记录在相似度阈值t，控制下样本5在TUTe中认证成 功的次数。若样本包含A个实例，?5是一个A X ( K + 7)的表 单，其中：和7分别是

11、T和Te大小，?5( 5，t)可以根据式(1)计 算得到。0 if score ( 5，t) t,，说明样 本5与当前模板过于相似，5的不可替代性不足，因为当前模板 集中已经有实例可以替代它的作用。否则,5被视为包含了当 前模板集中可能不存在的类内差异信息,需要将其按式(3)的 方式替换Te中的一个实例tR，并参与到后续的模板竞选。t = arg min pc( t)t Te pc( f) = pc( t)( 3).t =若5没有通过T的认证，但5和Te之间的得分超过t5,这 表示虽然5认证失败,但它可能包含了有利于扩充Te类内差 异的信息，因此可以用于更新A5的Te部分。算法1中给出了 候选

12、模板选择和信息积累的详细步骤图2样本通过表、模板通过表和联合通过表示例Fig. 2 Example of the sample pass table,template pass table and joint pass table算法1认证信息积累与候选模板选择输入：T,* ,tt，包含A个样本的输入序列S = 51，5 输出：Te，更新后的样本通过表A5oTc = A / Tc初始化for i = 1 to A doif score( s.) 奴 thenif score( T,s.) t then更新样本通过表A5( 5., TU Tc)elseTc = TeU5i找到新候选模板end i

13、felse更新样本通过表A5( 5. , Tc)end ifend for2. 3 MPC方法论构建对于一个模板集T = , /：和相似度阈值t5，可以通 过式(4)得到样本序列中认证成功的实例集合。为了降低 FRR,应将心T)最大化。为方便书写，将TUTe写做T。模板 选择问题在此被定义为从T中选择满足式(5)的子集T= -K TOC o 1-5 h z x( T) = U 5 I score( t. ,5) 孔( 4)i = 1尸=arg max月 T)( 5)T具有高置信度，因此为了降低T*中假样本(离群点) 造成的影响，可以将式(5)转换为最大化T子集认证能力的 求解，如式(6)所示。

14、操作符I I表示集合中元素的数量。T* = arg max Ix( T) CT I( 6)tta其中:x( T) pc( T* )T* k Tend ifend for3基于最大化不可替代性权重的模板选择方法根据第2章的讨论,MPC的时间复杂度为。()，其中K 是模板集的大小。当系统实时性要求较高，MPC的应用场景 可能会受到限制。因此本文提出另一种基于最大化不可替代 性权重的轻量级方法MIW。MIW以顺序模式执行。模板的不可替代性权重hit-count 可以使用命中表Ah累计。Ah是一种一维表单，结构如图3所 示。MIW与MPC采用相同的候选模板集生成策略，因此MIW 的候选模板集同样包含了

15、丰富的类内差异信息。斗口 小)彖“hc(hehehit-count图3命中表结构示例Fig. 3 Example of the hit table对于一次认证过程，hit_count值hc可以通过式(8)计算。 其中表示逻辑二值运算符，如果中的语句为真，值为 1,否则值为0。8表示成功识别s的模板数，显然hc (1。hc 越大,表示可以识别s的模板越少。以一个极端的情况为例， 当只有唯一的模板t*与s之间相似度得分超过t,，那么8 = 1, hc = 1。这表示对于类似于s的样本来说，广完全不可替代。 对于识别成功的8个模板tK ,w = ( w1 ,w2,8),根据式(9) 更新Ah。MIW

16、算法的详细步骤在算法3中给出。K + 78 k ! score( ( T + Tc) - ,s) t,im 7k1(8)hc = 1 /8Ahf) = Ahf) + hc( 9)算法3 MIW算法输入：T, Tc,Ah,ts ,tt,输入样本s。输出：更新后的T和Tc。8 = 0/ /初始化hit-count计数器if score( ，s) ts thenif score( + c，s) tt then8 = 8 + 1记录被命中模板的索引号，存在队列Idx中else根据Ah获取Tc中hit-count最小模板的索引idTc.d = s /替换掉选中的候选模板end ifend iffor .

17、 = 1 to 8 doid = Idx(.)hc = 1 /8;Ah( id) = Ah( id) + hc /更新命中表end forfor i = 1 to size( T + Tc) do根据Ah找到Tc中最大的hit-count hcc及对应模板索引号idc 根据Ah找到T中最小的hit-count 0c及对应模板索引号idt if hcc hct交换写和Tc.。end ifend for4实验与分析为了产生足够的模板重选回合来评估方法有效性，测试主 体需要包含多个样本。因此实验选择在以下三个数据库进行。Bionta掌纹数据库(DB1)和掌静脉数据库(DB2)为本课 题组连续30个月

18、对60掌采集，每日采集0 10次，每次只保 留1帧图像，每掌约800 1 000个样本。CMU Multi-PIE公开人脸数据库四(DB3)包含337个测 试者，在4个采集周期中，以15个视点和19个光照条件捕获。 每个测试者包含超过1 000个样本。实验使用等错误率(EER)作为评估指标。EER是被广泛 认可的用于评估生物识别系统安性能的指标。由于所提方法 的主要目的是降低FRR,所以FRR也被独立测试。参与对比 的方法包括:a)随机选择,从测试数据库中随机选择模板作为 基准方法，无模板重选过程；b)对比方法，经典的模板选择方 法DENT12以及近些年发表的模板选择方法Mdist* 19、H

19、GD- Fusion8 ,ETU13、WAT1J 和 FSFDP22。4. 1实验参数选择模板重选周期Dd=50。因为如果Dd过小,周期内无法累 积足够的匹配信息,Dd过大会造成模板重选次数不足。用于 离群点检测的通过计数阈值妇=3。模板集和候选模板集的 大小分别为K =5和7 = 15。人脸匹配的相似度阈值为 t, =0.75,掌纹和掌静脉匹配的相似度阈值为0.78。触发阈值* =1.25 x *，。实验中如果没有特别声明，将会采用以上的 参数4.2算法时效性分析特定参数下对精确运行时间的比较对于实际系统没有指 导意义，因为每个系统的参数选择差别很大，而且许多系统不 需要实时运行模板重模块，

20、因此实验将时间复杂度作为分析 指标模板重选算法主要包含数据准备和样本分配两个步骤。 基于聚类的方法在数据准备阶段计算相似度矩阵，时间复杂度 均为。（/），而MPC和MIW不需要数据准备过程，因为匹配 信息的积累已经在识别过程中完成。在样本分配阶段，MPC在CK _ 7个组合中选择最大passcount 子集，因此MPC的时间复杂度为。（/） o MIW仅在更新 命中表Ah时交换或替换模板，因此MIW的时间复杂度仅为 。（/） o对于DENT、Mdist*、ETU和WAT在样本分配阶段的时 间复杂度为。（/） o值得说明的是虽然HGD-Fusion时间复杂 度同样为。（/），但其需要三个复杂度为

21、。（/）的方法顺序 运行后进行融合,因此实际复杂度要高于其他方法。FSFDP复 杂度为。（/!） o4.3实验结果实验首先以FRR作为测试指标，本文方法和基准方法在 不同相似度阈值下的结果如图4所示。从图中可以看到，在大 多数情况下本文方法与基准方法之间的曲线有明显间隔。在 图4（ b）中，当*，=0.67时，矩形标志处MIW算法出现FRR高 于随机选择的情况。对其分析发现，当0. 65（*，（0. 69时阈值 比较宽松，样本容易满足触发条件，因此发生多次模板重选。 在第3章已经说明，MIW会在每次认证后进行模板重选,因此 造成模板集不稳定,即模板振荡。模板振荡造成系统识别效果 存在偶然性。对

22、于顺序模式执行的MIW,认证阈值越宽松影 响越大。而MPC由于重选周期的缓冲作用，会将模板振荡的 影响转移在Tc中，所以影响较小。模板集引入假样本会导致FAR增加，从而极大损害系统 安全。因此实验进一步评估了各对比方法将假样本选做模板 的概率，这被称为误差爬升（creep-in of errors） 21。结果在表2 中给出，其中随机方法的结果是十次实验取得的平均值。方法FRRcreep-in errorsrandom33.2； 26.4； 34.3-DENT29.8； 20.3； 33. 115.2； 9.6； 8.3HGD-Fusion28.5； 23.6； 31.71.7； 0.0； 3

23、.9ETU31.2； 28.4； 35. 112.3； 7. 1； 4.2WAT25. 4； 19. 8； 37. 58.5； 2. 8； 9.4FSFDP27. 6； 16. 7； 27. 54. 1； 3. 5； 6. 8MIW27. 3方法FRRcreep-in errorsrandom33.2； 26.4； 34.3-DENT29.8； 20.3； 33. 115.2； 9.6； 8.3HGD-Fusion28.5； 23.6； 31.71.7； 0.0； 3.9ETU31.2； 28.4； 35. 112.3； 7. 1； 4.2WAT25. 4； 19. 8； 37. 58.5；

24、2. 8； 9.4FSFDP27. 6； 16. 7； 27. 54. 1； 3. 5； 6. 8MIW27. 3； 16. 9； 27. 10.0； 1.3； 1.7MPC22. 2； 15. 0； 11.90. 0； 0. 0； 0. 0表2对比方法的误差爬升和FRR结果Tab. 2 FRR and creep-in errors on DB1, DB2 and DB3, respectively / %别性能wad*65 0.7 0.75 0.8 0.85 0.9 similarity threshold0.7 0.75 0.8 0.85 0.9 similarity threshold

25、(c)result on DB30.7 0.75 0.8 0.85 0.9 similarity threshold(b)result on DB2(a)result on DB1size of template size(a)result on DB1size of template size(B)result on DB2size of template size(c)result on DB3图5本文方法与随机方法在不同模板集大小下的FRR对比 Fig. 5 FRR with respect to different template sizes, comparison of rando

26、m selection and the proposed template selection methods图4不同相似度阈值下的FRR对比结果Fig. 4 FRR with respect to different similarity thresholdloos50 100 150 200 250 300 350 400 450 500 day interval图6 DB1和DB2中样本在不同采集间隔的平均得分Fig. 6 Average similarity scores of samples on DB1 and DB2 that captured on different days

27、为了使FSFDP可以参与对比，实验将FSFDP的峰（peaks） 值设置为5,WAT使用了文献10提供的样本配准方法。图7 报告了不同方法在三个数据库中的EER，虚线表示基准方法 的结果。结果表明当K较小时（例如K =2或K =5），所有方 法在掌纹和掌静脉数据库中均优于随机选择,但优势会随着K 的增加而减小。人脸数据库中的结果恰恰相反。考虑到上面 的讨论，人脸样本的类内差异比掌纹和掌静脉更丰富，如果wad*65 0.7 0.75 0.8 0.85 0.9 similarity threshold0.7 0.75 0.8 0.85 0.9 similarity threshold(c)resu

28、lt on DB30.7 0.75 0.8 0.85 0.9 similarity threshold(b)result on DB2(a)result on DB1size of template size(a)result on DB1size of template size(B)result on DB2size of template size(c)result on DB3图5本文方法与随机方法在不同模板集大小下的FRR对比 Fig. 5 FRR with respect to different template sizes, comparison of random selection and the proposed template selection methods图4不同相似度阈值下的FRR对比结果Fig. 4 FRR with respect to different similarity thresholdloos50 100 150 200 250 300 350 400 450 500 day interval图6 DB1和DB2中样本在不同采集间隔的平均得分Fig. 6 Average similarity scores of samples