CN111783663B 一种用于人证核验设备性能检测的算法测评系统及检测方法 （公安部第三研究所）

一种用于人证核验设备性能检测的算法测本发明公开了一种用于人证核验设备性能按配置规则调用大规模人脸测试数据库与预处口调用控制并获取被检设备的特征提取与特征2所述设备接口调试模块可通过被检设备厂商提供的API动态链接库文件与算法配置文所述数据库调用模块、数据预处理模块与数据集管理模块配合形成系统的数据集来按配比规则确定现场采集数据集的数量和下载人脸测试数据库中的所述自动化测试模块在计算机或服务器环境下用于配合数据集管理模块将单人数据集中对应目标集和探测集中的人脸图像分别通过设备接口调试模块依次依据测试程序调征数据通过被检设备的人脸识别算法进行特征比对，自动化测试模块获取特征比对结果，所述质量评判模块通过调用图像算法模块对被检设备可同时对被检设备采集到的证件可视化人脸图像进人脸图像质量评3备现场采集的人脸图像进行图像质量评判。按配比规则确定现场采集数据集的数量和下载人脸测试数据库中的数据通过测试函数接口调用控制并获取被检设备的特征提取与特征比通过图像算法按设定技术要求对现场采集的活体人脸图像进行自动通过图像算法按设定技术要求对采集到的证件可视人脸图像进行自4检测方法包括人证核验设备的错误接受率(FAR)和错误拒绝率(FRR)性能指标测试的具体5在多个行业领域得到了规模化应用。基于人脸识别技术对识别对象和其证件照片或/和所验证、社保人员身份验证和考场考生身份验证等需要进行人员身份验证及管理控制的场[0005]本发明设计的算法测评系统及检测方法适用于通过人脸识别技术进行人证核验[0006]本发明设计的用于人证核验设备性能检测的算法测评系统，包括数据库调用模[0007]所述设备接口调试模块可通过被检设备厂商提供的API动态链接库文件与算法配6[0009]所述自动化测试模块在计算机或服务器环境下用于通过测试程序调用被检设备[0010]所述质量评判模块通过调用图像算法模块对被检设备采集到的现场活体人脸图像，并可同时对被检设备采集到的证件可视化人脸图像进人脸图像质量评判性能指标检模块将被检设备现场采集的人脸图像经预处理后作为本次测试数据库中的现场采集数据合对被检设备现场采集的人脸图像进行图像质量评判。等测试；所述图像质量评判模块通过调用图像算法模块对上传图像进行人脸图像质量评[0019]通过测试函数接口调用控制并获取被检设备的特征提取通过质量评判模块分析处理得出图像质量评7[0024]进一步地，所述检测方法包括各类人证核验设备的错误接受率(FAR)和错误拒绝[0025]本发明设计的算法测评系统和检测方法能够实现人证核验设备的人脸图像质量、[0035]图6为本发明的检测方法中错误接受率(FAR)和错误拒绝率(FRR)性能指标自动化8有的20名人员真人实测的测试方案无法适应对人证核验设备或1:1人证核验设备进行高效试操作端(PC端)100和测试服务器(SERVER端)200，同时配合存储服务器(SERVER端)300来模块。本测试服务器(SERVER端)200可用于与存有人脸测试数据库的存储服务器(SERVER端)300进行交互实现数据集与检测过程的综合[0044]如图2所示，本实例方案中的设备接口调试模块130位于测试WEB用于与被检设备400进行测试接口调试。该设备接口调试模块130可通过设备厂商提供的API动态链接库与算法配置文件实现测试接口函数调用，对接自动化测试模块确保推送目标集与探测集中的人脸图像至被检设备上运行人脸识别算法后获取测试[0045]本方案中的数据库调用模块110与数据预处理模块120运行于测试WEB界面(PC端)集人脸数据库。其中大规模人脸测试数据库通过测试服务器200与存储服务器(SERVER端)300交互下载获取；现场采集人脸数据库通过PC端100与被检设备400进行测试接口调用获[0048]数据库调用模块110为本次检测准备从存储服务器按配置规则批量下载的数据[0049]数据集管理模块230可对数据预处理模块准备的现场采集的人脸图像形成的数据9并按自动化测试模块140所设定的测试步骤依次采用测试程序调用被检设备的人脸识别算[0053]而自动化测试模块140配合数据集管理模块230将单人数据集中对应目标集和探测集中的人脸图像分别通过设备接口调试模块130依次依据测试程序调用不同的接口函数试服务器(SERVER端)200的图像算法模块240对接配合，通过图像算法模块240对被检设备采集到的现场活体人脸图像和证件可视化人脸图像进行质量评判。[0055]这里的图像算法模块240用于对人脸图像按照相应标准中相关技术要求进行符合[0056]作为举例，图像算法模块240用于对被检设备导出的现场采集的人脸图像按照设定标准技术要求进行自动化测试，而质量评判模块150配合图像算法模块产生的数据进行[0057]作为举例，(1)图像算法模块对从被检设备导出的现场采集的活体人脸图像进行评判；[0058](2)图像算法模块对从被检设备导出的现场采集的可视化人脸图像进行自动化测[0059](3)图像算法模块对从被检设备导出的现场采集的证件照片进行自动化测试，给务器(SERVER端)200的用户管理模块250与项目管理模块220对接配合，用于系统对用户按[0065]作为举例，本测试结果模块160对每台被检设备通过自动化测试模块和图像质量[0066]项目统计模块250以被检设备为单元进行管理，每台被检设备开展多次不同要求可方便地利用下载的大规模人脸测试数据库与预处理后的设备现场采集数据库按配置规的特征提取与特征比对等测试结果，实现人脸图像质量、错误接受率(FAR)和错误拒绝率[0068]使用本算法测评系统及检测方法对人证核验设备进行关于错误接受率(FAR)和错[0078]10)开展测试第一阶段：特征提取。自动化测试模块驱动设备接口调用模块初始[0079]11)开展测试第二阶段：特征比对。自动化测试模块驱动设备接口调用模块初始度值精确到0.0001的每次比对的相似度及[0082]图3所示为本实例基于算法测评系统对人证核验设备性能指标进行检测的实施流[0088](6)算法测评系统根据与人证核验设备有关性能指标要求，通过使用位于PC端的数据预处理模块与质量评判模块和位于测试服务器(SERVER端)的图像算法模块联动进行[0089](7)检测系统根据与人体安全检查设备有关的性能指标要求，通过使用位于PC端的自动化测试模块与测试结果模块进行错误接受率([0090](8)按检测要求完成每次检测项目测试后生成测试结果，计算并统计形成报表并[0091](9)审核测试过程中可能出现的下载测试数据库中数据异常情况并上报至存储服块通过调用图像算法模块对上传图像(这里上传的图像为直接来自被检设备导出的人脸图[0098](6.2)与测试服务器(SERVER端)中的图像算法模T35678-2017中4.2的相关技术要求。由图像质量评判模块通过对获取的人脸图像进行比T35678-2017中4.2的相关技术要求。由图像质量评判模块通过对获取的人脸图像进行比[0103]数据预处理模块针对被检设备现场采集的人脸图像作为本次测试数据库中的现[0110](7.3)采用厂商提供的动态链接库(.dll文[0112](7.4)将两个来源的数据库通过数据集[0113](7.5)通过设备函数接口调用模块[0114](7.6)通过设备函数接口调用模块[0116](