版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
信息技术生物特征识别人脸识别系统测试方法2023-09-07发布I 12规范性引用文件 l3术语和定义 14缩略语 15一般要求 25.1概述 25.2测试环境 25.3测试工具 25.4测试数据库 26功能测试 46.1视图采集 46.2视图解析 46.3数据存储 46.4人脸比对 56.5人脸识别决策 66.6人脸识别管理 66.7应用开放接口 87性能测试 87.1技术测试 87.2场景测试 附录A(资料性)人脸识别测试C语言接口函数 A.1文件格式 A.2接口函数 A.3测试流程框架 A.4接口函数说明 附录B(规范性)活体检测测试方法 B.1测试数据 B.2活体检测性能测试方法 B.3活体呈现测试方法 B.4测试指标及计算方法 附录C(资料性)测试结果记录参考格式 参考文献 ⅢGB/T42981—2023本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位:上海商汤智能科技有限公司、中国电子技术标准化研究院、北京眼神科技有限公司、上海依图网络科技有限公司、云从科技集团股份有限公司、上海点与面智能科技有限公司、联想中天科技有限公司、深圳云天励飞技术股份有限公司、京东科技控股股份有限公司、福州数据技术研究院有限公司、罗克佳华科技集团股份有限公司、上海市计量测试技术研究院、公安部第三研究所、同方威视技术股份有限公司、北京建筑大学、北京尊冠科技有限公司、熵基科技股份有限公司、国家工业信息安全发展研究中心、杭州海康威视数字技术股份有限公司、广东中科臻恒信息技术有限公司、广州广电运通金融电子股份有限公司、厦门市美亚柏科信息股份有限公司、科大讯飞股份有限公司、深圳市腾讯计算机系统有限公司、新大陆数字技术股份有限公司、北京百度网讯科技有限公司、厦门熵基科技有限公司、北京旷视科技有限公司、青岛海信网络科技股份有限价公司、华为技术有限公司、平安科技(深圳)有限公司、中国汽车工程研究院股份有限公司、北京小米移动软件有限公司、建信金融科技有限责任公司、圣点世纪科技股份有限公司、深圳市捷顺科技实业股份有限公司、厦门瑞为信息技术有限公司、杭州宇泛智能科技有限公司、北京澎思科技有限公司、浙江大华技术股份有限公司、北京邮电大学、蚂蚁科技集团股份有限公司、山东海博科技信息系统股份有限公司、义乌好耶网络技术有限公司、广东好太太科技集团股份有限公司、广东必达保安系统有限公司、福建海景科技开发有限公司、北京集创北方科技股份有限公司、北京曙光易通技术有限公司、上海电力大学、西安凯虹电子科技有限公司、广州艾翔科技有限公司、北京清微智能科技有限公司、国网区块链科技(北京)有限公司、中科视语(北京)科技有限公司、广州麦仑信息科技有限公司、深圳慧鲤科技有限公司、上海阵量智能科技有限公司。韩东明、季顺杰、周亮、杨顺天、林锋、张晋芳、刘旭华、邵洁、胥建民、杨三国、王博、赵丽花、王金桥、1信息技术生物特征识别人脸识别系统测试方法本文件规定了人脸识别系统测试的一般要求,描述了人脸识别系统的功能测试方法、性能测试方法以及活体检测测试方法。本文件适用于第三方检验检测机构开展人脸识别系统测试,开发和应用人脸识别系统的相关机构参照本文件开展测试活动。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T35273信息安全技术个人信息安全规范GB/T40660信息安全技术生物特征识别信息保护基本要求GB/T41772—2022信息技术生物特征识别人脸识别系统技术要求3术语和定义GB/T41772—2022界定的以及下列术语和定义适用于本文件。技术测试technologytest用事先收集好的测试数据对人脸识别系统或组件进行功能或性能测试。场景测试scenariotest采用真实测试对象现场通过人脸识别系统的方式进行功能或性能测试。下列缩略语适用于本文件。FAR错误接受率(FalseAcceptanceRate)FNIR错误拒绝辨识率(False-NegativeIdentificationRate)FPIR错误接受辨识率(False-PositiveIdentificationRate)FRR错误拒绝率(FalseRejectionRate)FTER注册失败率(FailureToEnrolRate)LDFAR活体检测错误接受率(LivenessDetectionFalseAcceptanceRate)LDFRR活体检测错误拒绝率(LivenessDetectionFalseRejectionRate)25一般要求本文件针对GB/T41772—2022中规定的人脸识别系统功能要求和性能要求进行测试,给出技术测试和场景测试两种测试方法。其中,功能测试中,视图采集、现场注册功能采取场景测试,其余功能主要采取技术测试的方法;若采取场景测试,则由测试对象面向人脸识别系统采集设备,实际运行人脸识别系统各项功能并确认各项功能能否正常实现。性能测试中,人脸注册失败率、识别时间、人脸验证错误接受率和错误拒绝率、人脸辨识错误接受辨识率、人脸辨识错误拒绝辨识率同时给出技术测试方法及场景测试方法。5.2测试环境除特殊规定外,基本测试环境要求如下:a)环境温度:15℃~35℃;e)环境噪声:小于60dB。注1:环境温度、相对湿度、气压参考GB/T2421测量和试验用标准大气条件,并与SJ/T11608—2016中关于温度、湿度、气压的要求保持一致。注2:照度和噪声参考GB/T41804—2022中标准环境条件。5.3测试工具测试工具包括软硬件平台,其中:a)硬件平台:测试系统的性能应满足被测系统运行基本要求,如CPU主频大于2.0GHz、内存大于4GB或等同性能的硬件平台;b)操作系统:应为主流操作系统;c)进行测试时,应提供测试接口函数,其中人脸识别测试C语言接口函数见附录A;d)其他测试工具,如照度计、声级计等。5.4测试数据库测试数据库主要包括人脸检测数据库、人脸识别性能测试数据库。人脸检测数据库包括人脸图像检测数据库和人脸视频检测数据库。人脸视频检测数据库用于人脸视频解析功能测试,人脸识别性能测试数据库能用于人脸图像解析、数据存储、人脸比对、人脸识别决策等功能测试及人脸注册失败率、响应时间等性能测试。5.4.2人脸检测数据库5.4.2.1人脸图像检测数据库人脸图像检测数据库要求如下。b)应包含不少于10000张图像,其中:1)包含人脸的图像数量为90%,且不少于5万个人脸;32)不包含人脸的图像数量为10%。c)对图像中的人脸进行标注,其中:1)人脸图像质量满足GB/T41772—2022中表1待识别人脸样本质量要求;2)每两个相邻人脸的交并比不大于0.5。d)对标注结果进行人工确认。e)根据确认后的结果记录图像中真实人脸数量A。。5.4.2.2人脸视频检测数据库人脸视频检测数据库要求如下。a)视频格式与构成:1)应采用H.264、H.265、SVAC、MPEG4或AVS文件格式录制,每秒录制25帧;2)清晰度应不低于720P;3)每组视频5段,每段内容持续时间应不少于10min,总长应不少于50min。b)采集条件:1)在室内和室外的实用现场采集,可在正面光、侧面光或逆光等光线多变条件下,人脸可有局部阴影或高光变化;3)部分人脸可短暂遮挡或局部遮挡。c)视频中人员累计出现的总人次数不少于400人次,场景中可多人同时出现,符合如下条件人员作为被测试对象:1)发髻不遮挡眉毛、不佩戴口罩;2)至少应有两眼间距不少于30像素的人脸图像;像,累积出现的所有人员计入应检测人员。注:如果测试对特殊人群的检出率,需要设置专项测试数据库,如戴口罩人员的检出。5.4.3人脸识别性能测试数据库人脸识别性能测试数据库分为人脸注册基础库、配合式待识别人脸图像基础库、非配合式待识别人脸图像基础库等,满足如下要求:a)样本质量:应满足GB/T41772—2022中表1的要求;b)样本格式:人脸图像格式可为BMP,JPEG,PNG,JPEG2000,TIFF,GIF等;c)性别分布:男性占50%±5%,女性占50%±5%;d)年龄分布:宜包含不同年龄段人脸图像;e)图像数量:每个对象在每种人脸图像基础库中的人脸图像数量为10张~20张。5.4.4测试数据库安全要求测试数据库安全要求如下:a)测试数据库的收集、委托处理、共享、转让等应满足GB/T35273及GB/T40660中关于信息b)测试数据应进行脱敏处理;c)测试数据库应加密存储;d)测试数据库存储设备应由专人负责保管。46功能测试6.1视图采集视图采集功能测试方法如下:a)测试对象站在采集设备前方;b)启动视图采集功能;c)系统调用视图采集子系统;d)查看系统能否采集人脸图像或视频;e)移动测试对象位置,查看系统能否自动判别采集对象位置并根据需要自动调节;f)查看人脸识别系统是否具备语音提示、字体大小调节等适老化功能。6.2视图解析视图解析功能测试方法如下。a)人脸图像解析功能测试方法:1)系统提供模拟调用服务接口功能,调用视图解析接口;2)输入50张人脸图像,可包含人脸图像质量较差的图像和人脸假体图像,提交视图解析子系统进行解析;3)查看视图解析子系统能否检出人脸图像中的人脸,给出质量判断和活体检测结果及提取人脸特征项;查看活体检测数据记录格式是否满足GB/T41815.2的相关要求;4)查看系统对质量判断未通过的人脸图像是否提示重新采集或重新上传;b)人脸视频解析功能测试方法:1)系统提供模拟调用服务接口功能,调用视图解析接口;2)输入5段包含人脸的视频,可包含人脸图像质量较差的视频和人脸假体视频,提交视图解析子系统进行解析;3)查看视图解析子系统能否检出视频中的人脸,给出质量判断结果和活体检测结果及提取人脸特征项;4)查看系统对质量判断未通过的人脸视频是否提示重新采集或重新上传;5)查看系统能否对视频中的人脸目标进行跟踪;活体检测性能测试应按照附录B规定的方法。6.3数据存储6.3.1人脸参考存储人脸参考存储功能测试方法如下:a)系统提供模拟调用服务接口功能,调用数据存储接口;b)输入50个测试对象的人脸参考,提交系统存储在人脸注册数据库;c)查看系统能否输出每个测试对象的人脸参考对应的唯一人脸参考标识符;d)删除某一测试对象的人脸参考标识符,查看该人脸参考标识符及对应的人脸参考是否失效;e)利用人脸参考标识符,使用人脸参考查询功能,查看系统是否返回与人脸参考标识符关联的人脸参考信息,以此判断人脸参考标识符及对应的人脸参考是否有效;f)当人脸参考存储在人脸识别系统外(例如令牌)时,查看人脸识别系统能否正常读取人脸参考进行比对并输出比对结果。56.3.2实时采集数据存储实时采集数据存储功能测试方法如下:a)系统提供模拟调用服务接口功能,调用数据存储接口;b)输入50个测试对象的人脸探针,提交系统存储在实时采集数据库;c)查看实时采集数据库是否存储了输入的人脸探针;d)查看人脸识别系统能否查询、删除特定的人脸探针;e)删除后,查看实时采集数据库内是否还有删除的人脸探针;f)当人脸识别系统具备实时采集数据存储功能时,判断是否有存储实时采集数据的必要性。现场注册功能测试方法如下:a)测试对象站在采集设备前,确保系统可以采集到满足GB/T41772—2022中表1注册人脸样本质量要求的人脸图像;b)查看注册过程中,人脸识别系统能否与测试对象进行交互,如提示配合、注册成功等;c)使用现场采集的同一测试对象的一张或多张人脸图像进行注册;d)通过数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项等;e)更换采集设备的种类,重复上述过程,记录人脸识别系统可支持的采集设备种类。非现场注册功能测试方法如下:a)系统提供模拟调用服务接口功能,调用非现场人脸注册功能,将已存储的同一测试对象的一张或多张满足GB/T41772—2022中表1注册人脸样本质量要求的人脸图像,注册进系统;b)通过查看数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项。6.3.3.3批量人脸样本导入功能批量人脸样本导入功能测试方法如下。a)系统提供模拟调用服务接口功能,调用批量人脸样本导入功能。b)将多张满足GB/T41772—2022中表1注册人脸样本质量要求的人脸图像批量导入到人脸识别系统中并进行注册。批量导入的数量,宜考虑系统支持的最大容量。c)通过查看数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项等。6.4人脸比对1:1比对功能测试方法如下:a)系统提供模拟调用服务接口功能,调用1:1比对接口;b)完成指定人脸参考和指定人脸探针的比对;c)查看比对结果,系统是否输出相似度得分;d)查看系统是否保存相似度得分高于阈值的比对结果;e)查看是否可对比对结果进行检索和导出。1:N比对功能测试方法如下:6a)系统提供模拟调用服务接口功能,调用1:N比对功能接口;b)完成人脸探针与指定范围内的所有人脸参考的比对;c)当设定比对结果中需要输出的候选者列表数量为k时,查看系统是否输出k个候选者的人脸参考及其对应的相似度得分;d)查看相似度得分高于阈值的结果是否均被保存;e)查看是否可对比对结果进行检索导出。6.4.3异常情况判断及处理异常情况判断及处理功能测试方法如下:b)查看系统的反馈及处理情况,如是否进行有效提示等。6.5人脸识别决策6.5.1人脸验证决策人脸验证决策功能测试方法如下:a)系统提供模拟调用服务接口功能,调用人脸注册功能注册一张人脸图像;b)系统提供模拟调用服务接口功能,调用人脸比对功能;c)使用同一人的不同的人脸图像进行比对;d)查看系统是否根据设置的阈值输出相似度得分及决策结果;e)使用不同人的人脸图像进行比对;f)查看系统是否根据设置的阈值输出决策结果;g)查看系统能否将决策结果传输至管理子系统。6.5.2人脸辨识决策人脸辨识决策功能测试方法如下:a)系统提供模拟调用服务接口功能,调用人脸注册功能注册多张不同的人脸图像;b)系统提供模拟调用服务接口功能,调用人脸比对功能;c)系统提供模拟调用服务接口功能,使用1张未注册人员的人脸图像进行比对;d)查看系统是否根据设置的阈值输出相似度得分及决策结果;e)系统提供模拟调用服务接口功能,使用1张已注册人员的人脸图像进行比对;f)当设定比对结果中需要输出的候选者列表数量k=1时,查看系统是否根据阈值输出相似度得分及决策结果;当k>1时,查看是否根据阈值输出按照相似度得分排序的k个候选者列g)查看系统能否将决策结果传输至管理子系统。6.6人脸识别管理阈值设置功能测试方法如下:a)查看系统是否设置了质量判断初始阈值;b)修改当前设置的质量判断初始阈值;c)修改阈值后进行识别操作,查看通过质量判断的人脸图像质量得分是否不低于设定阈值;d)查看系统是否设置了相似度得分初始阈值;e)修改当前设置的相似度得分初始阈值;7f)修改阈值后进行识别操作,查看比对通过的相似度得分是否不低于设定阈值6.6.2操作日志管理操作日志管理功能测试方法如下:a)输入日志的操作类型、操作时间、操作人员或其他模糊信息等进行查询;b)导出返回的日志数据,包括操作类型、操作时间、操作人员等。权限管理功能测试方法如下:a)为人脸识别系统定义的各角色分配权限;b)使用各角色登录人脸识别系统进行操作;c)查看各角色能否在系统赋予的权限范围内正常操作;d)查看关键角色进行关键操作,如阈值设置,是否由第二角色确认。接口配置功能测试方法如下:a)查看应用开放接口类型;b)根据需求,分别对人脸注册、1:1比对、1:N比对、活体检测等应用开放接口类型进行配置;c)完成接口配置后,分别进行人脸注册、1:1比对、1:N比对、活体检测等相关操作,查看是否能够操作成功。增加用户功能测试方法如下:a)增加用户,并将其人脸参考注册进人脸识别系统;b)使用新增加的用户操作人脸识别系统;c)查看能否正常使用人脸识别系统进行相关操作。修改用户信息功能测试方法如下:a)修改用户信息;b)使用修改后的用户信息操作人脸识别系统;c)查看能否正常使用人脸识别系统进行相关操作。删除用户功能测试方法如下:a)删除用户信息;b)使用删除后的用户信息操作人脸识别系统;c)查看是否无法继续使用人脸识别系统进行相关操作。查询用户功能测试方法如下:a)输入用户ID或其他模糊信息进行查询;8b)查看是否可获取返回用户信息。停用用户功能测试方法如下:a)停用用户;b)使用停用用户的信息进行系统操作;c)查看停用的用户信息是否不能进行系统操作。启用用户信息功能测试方法如下:a)启用已经停用的用户;b)使用启用用户的信息进行系统操作;c)查看启用的用户能否操作人脸识别系统。其他管理功能根据提供的功能说明书进行测试。6.7应用开放接口应用开放接口测试方法如下:a)根据需求,分别对人脸注册、1:1比对、1:N比对、活体检测等应用开放接口类型进行配置;b)完成接口配置后,分别进行人脸注册、1:1比对、1:N比对、活体检测等相关操作,查看系统能否提供相关服务;c)查看相关文件,确认提供服务的算法、设备是否按照GB/T28826.2进行了登记。7性能测试7.1技术测试人脸图像检测性能测试方法如下:a)输入人脸检测样本库,其中人脸图像中的真实人脸数量为A。;b)人脸检测算法自动标注人脸图像;c)统计人脸图像中标注为人脸的总数A₁;d)确认A,中非人脸总数A₂;e)按照公式(1)和公式(2)计算人脸检出率和人脸误检率:人脸检出率=(A₁-A₂)/A。×100% (1)式中:A。——人脸图像中的真实人脸数量;A₁——人脸图像中标注为人脸的总数;A₂——人工确认A,中非人脸总数。人脸误检率=A₂/A₁×100% (2)式中:A₁——人脸图像中标注为人脸的总数;9GB/T42981—2023A₂——人工确认A₁中非人脸总数。7.1.1.2人脸视频检测人脸视频检测性能测试方法如下:a)确认人脸视频检测样本库,其中视频中应检出人脸图像的总人次数B。;b)调整人脸检测参数,设置全画面为检测区域;c)输入第一段人脸检测视频;d)播放该段视频完成人脸图像检测与提取;e)输出检测出的人脸图像截图;f)重复c)~e)直至依次完整输入指定数量的人脸检测视频;g)查看检测结果,统计人脸检测结果中未被检出人脸图像的人次数B₁以及检出的人脸图像的总数B₂、检出的人脸图像中非人脸图像数B₃;h)按照公式(3)和公式(4)计算人脸检出率和人脸误检率:人脸检出率=(B。-B₁)/B。×100% (3)式中:B₀——视频中应检出人脸图像的人次总数;B₁——人脸检测结果中未检出人脸图像的人次数。人脸误检率=B₃/B₂×100% (4)式中:B₂——检出的人脸图像总数;B₃——检出的人脸图像中非人脸图像数。7.1.2人脸注册失败率人脸注册失败率测试方法如下:a)将从人脸注册基础库选取的C₁张人脸图像输入到受试算法的特征项提取功能,其中每个测试对象不少于5张,成功提取人脸特征项并生成特征文件的人脸图像状态标记为“注册成功”,未成功提取特征项且生成特征文件的人脸图像状态标记为“注册失败”;b)统计标记为注册失败的全部人脸图像数量C,,按照公式(5)计算FTER:式中:FTER——注册失败率;C₁——全部人脸图像数量;C₂——标记为注册失败的全部人脸图像数量。7.1.3人脸识别性能7.1.3.1人脸验证性能人脸验证性能包括错误接受率和错误拒绝率,测试方法具体如下。a)从人脸注册基础库选取人脸图像,构造D个测试对象的人脸注册集,每个测试对象有且仅有一张人脸图像。b)从配合式待识别人脸图像基础库构造a)中D个测试对象的人脸探测集,注册集中的人脸图像在探测集中有唯一对应的人脸图像。c)将人脸探测集中的人脸图像与人脸注册集中的人脸图像进行交叉比对并输出相似度得分。d)记录测试结果,包括正确对应关系注册照和探测照相似度得分、非正确对应关系注册照和探测照相似度得分,测试结果记录参考格式见附录C。e)第一种指标计算方式,固定错误接受率FAR,如FAR在万分之一时,错误拒绝率FRR的计算方法如下:1)按“(D²-D)/10000”的公式计算得出万分之一FAR下,得出表C.3中序号M(M取整数,小数向前进一位),及与之对应的相似度得分N,作为相似度阈值;2)根据相似度阈值N找到表C.2中对应的序号O;3)则FAR为万分之一下,FRR=1-O/D。f)第二种指标计算方式,在不固定FAR的情况下,测试固定阈值下的性能指标,计算方法见公式(6)和公式(7):1)根据“非正确对应关系注册照和探测照相似度得分记录”,统计超过阈值的测试结果数量,即为错误接受的数量P;2)根据“正确对应关系注册照和探测照相似度得分记录”,统计未超过阈值的测试结果数量,即为错误拒绝的数量Q。 (6)式中:FAR——错误接受率;P——错误接受的数量;D——测试对象总数量。FRR——错误拒绝率;Q——错误拒绝的数量;D——测试对象总数量。注1:当每个对象在探测集有x个不同样本时,总的比对次数为xD²,正确对应关系注册照和探测照的比对次数为xD,非正确对应关系注册照和探测照的比对次数为Dx(D-1),即(xD²-xD)。此种情况为常用情况。注2:当每个对象在注册集和探测集分别有x个不同样本时,则总的比对次数为x²D²,正确对应关系注册照和探测照的比对次数为x²D,非正确对应关系注册照和探测照的比对次数为(x²D²-x²D)。注3:附录C中测试结果记录包括构造相似度得分“测试结果表”,并按照相似度得分从高到低排序,共D²行,见表C.1;“正确对应关系注册照和探测照相似度得分表”,从输出结果文件中,筛选出正确对应关系的探测照和注册照比对数据,见表C.2;“非正确对应关系注册照和探测照相似度得分表”:去除表C.2中的D个对比结果,其余(D²-D)个为实际不匹配的比对数据,见表C.3。注4:当不考虑获取失败率时,特征项提取失败,比对得分为0计入测试总数;当考虑获取失败时,特征项提取失败、比对得分为0不计入测试总数。本文件不考虑获取失败率,因此特征项提取失败,比对得分为0计入测试总数。注5:参考测试数据库规模见GB/T41772—2022中表2。人脸辨识性能包括FPIR和FNIR,测试方法具体如下。a)从人脸注册基础库中选取人脸图像,构造E。个测试对象的人脸注册集,每个测试对象有且仅有一张人脸图像。b)从配合式待识别人脸图像基础库或非配合式待识别人脸图像基础库中选择人脸图像,构造a)中E。个测试对象的人脸探测集,即目标人探测集,每个对象在探测集中可有多个人脸图像,目标人探测集人脸图像数量记录为E。c)从配合式待识别人脸图像基础库或非配合式待识别人脸图像基础库中选择人脸图像,构造E。个测试对象以外的测试对象的人脸图像数据集作为人脸探测集,即非目标人探测集,每个测试对象可有多个样本,非目标人探测集人脸图像数量记录为E₂。GB/T42981—2023d)对目标人探测集中每个人脸图像与注册集的所有人脸图像进行比对,并根据要求保留包含相似度得分且相似度得分靠前的前k个注册集人脸图像;记录比对结果,比对结果数量为E₁。e)对非目标人探测集中每个人脸图像与注册集的所有人脸图像进行比对,并根据要求保留包含相似度得分且相似度得分靠前的前k个注册集人脸图像;记录比对结果,比对结果数量为E₂。f)统计测试结果,并按照公式(8)和公式(9)计算FPIR和FNIR。1)统计非目标人探测集比对结果,若比对结果中包含来自注册集的样本图像,则为错误接FPIR=E3/E₂×100%…………(8)E₂——非目标人探测集比对结果数量;E₃——非目标人探测集比对错误接受结果数量。2)统计目标人探测集测试结果,若比对结果中不包含和对应注册集人脸图像来源一致的目标人探测集人脸图像,则为错误拒绝,记录错FNIR=E₄/E₁×100% (9)E₁——目标人探测集比对结果数量;E₄——目标人探测集比对错误拒绝结果数量。注1:目标人探测集测试时,当k=1时,如果对应的注册集人脸图像与目标人探测集人脸图像来源于同一对象,则辨识正确;当k>1时,若比对结果中包含和目标人探测集人脸图像来源一致的注册集人脸图像,则辨识正确。注2:非目标人探测集测试时,当k=1时,如果比对结果中为超过阈值的注册集人脸图像,则为错误接受;当k>1时,若比对结果中包含超过阈值的注册集人脸图像,则为错误接受。注3:参考测试数据库规模见GB/T41772—2022中表3。记录7.1.3.1中步骤c)总比对时间T₁和比对次数,计算人脸验证平均响应时间见公式(10):平均响应时间=T₁/D²……(10)D²—-人脸验证性能测试总比对次数;T₁——人脸验证性能测试总比对时间。平均响应时间=T₂/(E₁+E₂) (11)E₁——目标人探测集比对结果数量;E₂——非目标人探测集比对结果数量;T₂—-人脸辨识性能测试总比对时间。7.2场景测试测试前应制定详细的测试方案,测试方案从测试环境设计、测试对象的组成、测试对象的通行方式、测试流程等方面进行具体规定,指导测试的进行:b)测试对象的组成应考虑人脸识别系统实际应用的对象构成;c)测试对象的通行方式应模拟应用场景下使用该系统的人群的典型通行方式。人脸注册失败率、人脸验证性能指标及响应时间、人脸辨识性能指标及响应时间测试步骤如下。a)人脸注册:选择特定数量的测试对象,每个测试对象分别在正常光照、背面光、侧面光等不同光照下进行人脸注册,过程中记录总通行次数,注册成功次数、注册失败次数。b)人脸验证及响应时间:测试对象在配合情况下面向人脸识别系统采集装置并进行人脸识别,每个测试对象识别的次数应固定且相同。测试过程记录以下内容:1)使用运行日志记录人脸识别系统的每个功能模块的启动时间和结束时间;2)根据日志,统计每次从采集子系统视图采集完成到系统返回识别结果的时间;3)统计测试对象总的通行次数、发生错误接受的次数和错误拒绝的次数。c)人脸辨识及响应时间:根据实际应用场景,用户在配合情况下或模拟真实场景面向或通过人脸识别系统采集装置并进行人脸识别。根据实际应用场景,每人可在不同情况下进行识别,每人识别的次数应固定且相同。测试过程中记录以下内容:1)使用运行日志记录人脸识别系统的每个功能模块的启动时间和结束时间;2)根据日志统计每次从系统采集端人脸采集完成到返回识别结果的时间;3)统计测试对象总的通行次数、发生错误接受的次数和错误拒绝的次数。d)清除被测系统内测试数据或恢复出厂设置。e)根据步骤a)统计数据计算人脸注册失败率。f)根据步骤b)统计结果计算人脸验证的响应时间及错误接受率和错误拒绝率。g)根据步骤c)统计结果计算人脸辨识的响应时间及FPIR和FNIR。(资料性)人脸识别测试C语言接口函数A.1文件格式A.1.1文件生成接口函数采用C语言开发时,接口函数应在动态链接库中输出,支持多线程。可编译为32位或64位版本。A.1.2文件名称在主流平台上,应对动态链接库文件进行命名,如32位版本下可命名为XXX_32.dll或XXX32.so;64位版本下可命名为XXX_64.dll或XXX_64.so。A.2接口函数接口函数见表A.1。表A.1接口函数序号函数名称说明1FR_Init实现初始化算法功能2FR_GetFeatureLen获取指定类型的特征项的长度3FR_Detect实现人脸检测跟踪功能4FR_FeatureExtract实现特征项提取功能5FR_Enroll实现注册功能6FR_BatchEnroll实现批量人脸样本导入注册功能7FR_FeatureMatch实现特征比对功能8FRVerify实现人脸验证功能9FR_Identify实现人脸辨识功能FR_Release实现释放算法资源功能FR_GetVersion版本信息获取A.3测试流程框架A.3.1概述本测试流程框架针对功能、性能测试中的技术测试部分,不针对场景测试,主要分人脸识别算法库测试流程和人脸识别系统测试流程。其中,人脸识别算法库测试由被测单位提供人脸识别相关算法,人脸识别系统测试由被测单位提供人脸识别系统。人脸识别算法库测试包含人脸检测、人脸特征项提取和特征比对的测试,其中人脸检测测试流程框架见图A.1;人脸特征项提取和特征比对测试流程框架见图A.2。测试软件程序入口测试软件程序入口初始化算法F'RInit读取测试图片TRDetect输出检测结果否是否完成读取是释放算法资源TRKelease检测性能统计测试软件统计结果部分输出统计结果检山率误检率测试软件程序退山算法库测试部分注:图中测试系统中凡涉及接口函数内部的处理过程由被检测方提供的算法库完成,其他由检验检测机构提供的测试软件完成。图A.1人脸检测测试流程框架测试软件程序入口测试软件程序入口初始化算法获取特征项程度TRGetFeatureLen读取测试图片人脸特征项提取FR_FcatureExtract特征项保存输出检测结果否是否完成读取是读取保存的特征项循环进行特征比对输出相似度得分列表释放算法资源FRRelease注册和识别性能统计输出统计结果FTERFARFRR测试软件程序退出测试软件统计结果部分算法库测试部分注:图中测试系统中凡涉及接口函数内部的处理过程由被检测方提供的算法库完成,其他由检验检测机构提供的测试软件完成。图A.2人脸特征项提取和特征比对测试流程框架A.3.3人脸识别系统测试流程框架人脸识别系统测试包含人脸注册和人脸识别测试,其中人脸注册测试流程框架见图A.3,人脸识别测试流程框架见图A.4。测试软件程序入π测试软件程序入π初始化算法人脸识别系统测试部分否是否完成注册是释放算法资源FRRelcase注册性能统计测试软件统计结果部分输山统计结果测试软件程序退出被测人脸识别系统输山注册结果注:图中测试系统中凡涉及接口函数内部的处理过程由被检测方提供的算法库完成,其他由检验检测机构提供的测试软件完成。图A.3人脸注册测试流程框架被测被测人脸识别系统测试软件程序入口初始化算法人脸验证人脸辨识输山验证或辨识结果通过pczJRL传输地址进行人脸识别系统测试部分否是否完成注册是释放算法资源FRRclcase验证或辨识性能统计测试软件统计结果部分输出统计结果测试软件程序退山图A.4人脸识别测试流程框架A.4接口函数说明A.4.1初始化初始化函数定义见表A.2。表A.2初始化函数API函数功能说明初始化算法SDK功能,算法初始化成功后,才能进行特征项提取和特征比对参数描述输入:nReserved:保留字,默认为0。输出:无返回0:初始化SDK成功,其他值失败,详见错误代码表A.14A.4.2获取特征项长度获取特征项长度函数定义见表A.3。表A.3获取特征项长度函数API函数intFR_GetFeatureLen(FeatureTypetype,int*pnTemplateLen)功能说明获取指定类型的特征项的长度参数描述输入:——type:特征项类型,用于注册或识别,具体见表注。输出:——pnTemplateLen:输出特征项数据块长度,单位为字节返回0:表示获取特征项长度成功,其他值为失败,详见错误代码表A.14注:FeatureType定义如下:enumFeatureType{FEATURE_FOR_ENROLL=0,FEATURE_FOR_IDENTIFY};A.4.3人脸检测跟踪人脸检测跟踪函数定义见表A.4。表A.4人脸检测跟踪函数API函数intFR_Detect(DetectTypetype,constunsignedchar*puclmgData,intnWidth,intnHeight,PixelFormatformat,FaceResult*parrFace,int*pnFaceCount,intnReserved=0)功能说明对输入的一张图像进行人脸检测或进行人脸跟踪,连续调用本函数,可实现对连续张图像进行人脸跟踪。参数描述输入:——type:检测类型,用于人脸图像或人脸视频,具体见表注。——puclmgData:人脸图像像素数据指针,不包含图像格式头信息,puclmgData[0]对应图像左上角像素值。nWidth:人脸图像宽度。——nHeight:人脸图像高度。——format:人脸图像格式,具体见表注。——pnFaceCount:输入可检测到的最大人脸数量。——nReserved:保留字,默认为0。输出:——parrFace:输出检测到的人脸目标序列指针。——pnFaceCount:输出检测到的人脸数量返回0:表示人脸检测或人脸跟踪成功,其他值为失败,详见错误代码表A.14structFaceAttribute{unsignedcharsex;//0-男1-女unsignedcharhair;//unsignedcharmask;//0-没戴口罩1-戴口罩unsignedcharglass;//0-没戴眼镜1-戴眼镜structFaceResult{intid;//检测出的人脸编号,若为跟踪结果,则表示跟踪到的人脸编号floatconfidence;表A.4人脸检测跟踪函数(续)一一FaceAttributeattribute;DetectType定义如下:enumDetectTypeDETECT_IMAGE=0,DETECT_VIDEOPixelFormat定义如下:enumPixelFormatGrayscale=0,BGR,RGB,RGBAA.4.4特征项提取特征项提取函数定义见表A.5。表A.5特征项提取函数API函数intFR_FeatureExtract(constunsignedchar*puclmgData,intnWidth,intnHeight,PixelFormatformat,FaceResult*pFace,unsignedchar*pucTemplate,intnTemplateLen,int*pnlmgQuality,intnReserved=0)功能说明对输人的一张人脸图像进行特征项提取参数描述输入:——puclmgData:人脸图像像素数据指针,不包含图像格式头信息,puclmgData[0]对应图像左上角像素值。——nTemplateLen:输入的特征项数据块长度。——nWidth:人脸图像像素宽度。——nHeight:人脸图像像素高度。——format:人脸图像格式,具体见表注。——nTemplateLen:输入的特征项数据块长度。——nReserved:保留字,默认为0。输出:——pFace:输出检测到的人脸目标指针,用于判断特征提取是否成功。——pucTemplate:人脸特征项数据指针。——pnlmgQuality:输出图像的质量得分,0质量最差,100质量最好返回0:表示特征项提取成功,其他值为失败,详见错误代码表A.14{A.4.5注册注册函数定义见表A.6,批量注册函数见表A.7。API函数intFR_Enroll(constunsignedchar*eResult*pFace,int*pnlmgQuality,char*pczID,char*pczURL,intnReserved=0)功能说明对输入的一张人脸图像进行注册参数描述输入:puclmgData:人脸图像像素数据指针,不包含图像格式头信息,puclmgData[0]对应图像左上角像素值。——nWidth:人脸图像宽度。——nHeight:人脸图像高度。——format:人脸图像格式,具体见表注。——pczID:图像身份标识符,该字符串最大长度为64字节。——pczURL:该参数为NULL,表示注册的数据可以保存在本地数据库中,否则保存在服务器中。——nReserved:保留字,默认为0输出:—pFace:输出检测到的人脸目标指针,用于判断注册是否成功。——pnlmgQuality:输出图像的质量得分,0质量最差,100质量最好返回0:表示人脸图像注册成功,其他值为失败,详见错误代码表A.14注:PixelFormat定义如下:enumPixelFormat1Grayscale=0,BGR,RGB,RGBA表A.7批量注册函数API函数intFR_BatchEnroll(Facelmage*pfacelmage,intnImageCount,FaceResult*pFaceList,int*pn-lmgQualityList,char**pczIDList,char*pczURL,intnReserved=0)功能说明实现人脸图像批量注册参数描述输入:——pfacelmage:人脸图像序列指针。——nlmageCount:人脸图像序列的数量。——pczIDList:用户身份标识符序列,跟pfacelmage一一对应。——pczURL:该参数为NULL,表示注册的数据可以保存在本地数据库中,否则保存在服务器中。——nReserved:保留字,默认为0。输出:—-pFaceList:输出检测到的人脸目标列表指针,列表长度与nlmageCount一致,用于判断批量注册是否成功。 pnlmgQualityList:输出图像的质量得分序列返回0:表示批量人脸图像注册成功,其他值为失败,详见错误代码表A.14注:Facelmage定义如下:unsignedchar*puclmageData;//不包含图像格式头信息,puclmgData[0]对应图像左上角像素值GB/T42981—2023A.4.6特征比对特征比对函数定义见表A.8。表A.8特征比对函数API函数intFR_FeatureMatch(constunsignedchar*pucDatal,intnDatalLen,constunsignedchar*pucData2,intnData2Len,float*pfSim,intnReserved=0)功能说明比较两个输入的特征数据,返回相似度得分参数描述输入:——pucDatal:待比对的第一个人脸图像特征数据块指针。——nDatalLen:待比对的第一个人脸图像特征数据块长度,单位为字节Byte。——pucData2:待比对的第二个人脸图像特征数据块指针。——nData2Len:待比对的第二个人脸图像特征数据块长度,单位为字节Byte。——nReserved:保留字,默认为0。输出:——pfSim:相似度得分指针,范围为0~100,相似度得分精确到小数点后4位返回0:表示特征比对成功,其他值失败,详见错误代码表A.14A.4.7人脸验证1:1验证函数定义见表A.9。表A.9人脸验证函数API函数intFR_Verify(constunsignedchar*puclmgData,intnWidth,intnHeight,PixelFormatformat,intnListCount,char**pczIDList,float*pfSimList,char*pczURL,intnReserved=0)功能说明输入一张人脸图像,与目标集的指定身份标识符的人脸图像序列进行比对,返回相似度得分列表参数描述输入:——puclmgdata:人脸图像像素数据指针,不包含图像格式头信息,puclmgData[0]对应图像左上角像素值。——nWidth:人脸图像宽度。——nHeight:人脸图像高度。——format:人脸图像格式。——nListCount:输入待验证的目标集中指定身份标识符的人脸图像数量。——pczIDList:输入待验证的目标集中指定身份标识符列表的首地址,内存由测试机构的测试程序分配。——pczURL:该参数为NULL,表示注册的数据可以保存在本地数据库中,否则保存在服务器中。——nReserved:保留字,默认为0。输出:——pfSimlist:返回相似度得分列表的首地址,内存由测试机构的测试程序分配。返回的相似度得分在0~100之间,相似度得分列表和指定身份标识符列表一一对应返回0:表示人脸验证比对成功,其他值为失败,详见错误代码表A.14A.4.8人脸辨识人脸辨识函数定义见表A.10。表A.10人脸辨识函数API函数pnRetCount,char**pczIDList,float*pfSimList,char*pczURL,intnReserved=0)功能说明输入一张人脸图像,与目标集的每张人脸图像进行比对,返回排名靠前的候选者列表和相似度得分参数描述输入:puclmgdata:人脸图像像素数据指针,不包含图像格式头信息,puclmgData[0]对应图像左上角像素值。-nWidth:人脸图像宽度。——nHeight:人脸图像高度。——format:人脸图像格式。——pnRetCount:输入可返回的最大结果数量。——pczURL:该参数为NULL,表示注册的数据可以保存在本地数据库中,否则保存在服务器中。——nReserved:保留字,默认为0。输出:——pnRetCount:实际返回的结果数量,按照相似度得分从大到小排列。——pczIDList:返回的人脸编号列表的首地址,内存由测试机构的测试程序分配。——pfSimlist:返回相似度得分列表的首地址,内存由测试机构的测试程序分配。返回的相似度得分在0~100之间,按从大到小排列,相似度得分列表和人脸编号列表一一对应返回0:表示人脸辨识比对成功,其他值为失败,详见错误代码表A.14A.4.9资源释放模板内存释放函数定义见表A.11。表A.11模板内存释放函数API函数功能说明释放由FR_Init函数申请的资源参数描述输入:——nReserved:保留字,默认为0。输出:无返回0:表示释放资源成功,其他值失败,详见错误代码表A.14A.4.10版本信息获取版本信息获取函数定义见表A.12。表A.12版本信息获取函数API函数intFR_GetVersion(unsignedchar*pucCode,intnReserved=0)功能说明获取算法版本号,code长度为6,版本信息格式为XXXXYY,XXXX为开发者代码,YY为版本号。例如“123401”,则pucCode的填写方式为:pucCode[0]=‘1’,pucCode[1]=‘2’,pucCode[2]=‘3’,pucCode[3]=‘4’,pucCode[4]=‘0',pucCode[5]='1’参数描述输入:——nReserved:保留字,默认为0。输出:——pucCode:长度为6个字节的算法版本号内存数据库指针,由调用者分配返回0:表示获取版本号成功,其他值失败,详见错误代码表A.14A.4.11图像格式图像格式函数定义见表A.13。表A.13图像格式函数代码格式1BMP23PNG4JPEG20005TIFF6A.4.12错误代码表错误代码见表A.14。表A.14错误代码表错误代码参数错误内存分配错误功能未实现未知错误初始化失败获取版本信息错误资源释放错误人脸特征项提取错误1:1人脸比对错误1:N人脸比对错误人脸检测跟踪错误服务器通信错误厂商自定义的错误代码(规范性)活体检测测试方法B.1测试数据根据假体攻击的类型及活体检测要求,活体检测测试数据设计见表B.1所示。测试总次数应能满足性能指标的要求。表B.1活体检测攻击测试数据测试对象类型测试数据数量测试数据准备条件二维攻击类型静态图像纸质相片(打印纸、相纸相纸、哑粉纸、铜版纸、激光纸等)制作80个不同测试对象的纸质人脸相片共640张,每个测试对象2张,每张打印4份,其中20个测试对象是黑白相片,20个测试对象是近红外相片,其余20个测试对象是彩色相片电子相片采集80个不同测试对象的电子人脸相片共80张,每人1张动态图像录制视频采集50个不同测试对象的录制视频共50段合成视频合成10个不同测试对象的合成视频共10段三维攻击类型面具塑料/纸质/硅胶等制作10个不同测试对象的仿真面具共10个,每人1个:硅胶:5个;塑料、纸质或:5个头模泡沫/树脂/全彩砂岩/石英砂/硅胶等制作10个不同测试对象的仿真头模共10个,每人1个活体呈现数据由不少于10个活体人脸测试对象参与测试其中各项测试数据的要求如下。a)测试对象男女比例1:1。b)包含不同年龄段的测试数据。c)二维样本质量:人脸图像为测试对象正常状态下采集,无边框且清晰;采集方案包括如下因素:1)角度:其中人脸的水平转动角、俯仰角和倾斜角不大于±20°;3)完整度:人脸轮廓和五官清晰,无浓妆,图像脸部区域应无编辑修改性处理,眼镜框应不遮人脸部分。每组每个测试对象的4张相片中,3张随机抠取五官(抠去眼睛、嘴巴、鼻子),1张无抠取。e)分辨率:纸质相片的打印分辨率应不小于300dpi。g)动态图像:录制视频由测试对象正常状态下录制(需与活体呈现测试对象测试背景相同),测试对象的人脸应在视频采集区域内,视频录制帧率大于或等于25帧/s,时长大于或等于10s;视频分辨率为1920×1080像素,人脸的俯仰角和倾斜角不大于±30°,倾斜角不大于士20°。合成视频参考录制视频要求,可采用采集的静态相片进行合成
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 切口感染预防:术前沐浴证据更新
- 船舶钳工达标强化考核试卷含答案
- 电影放映员岗前安全综合考核试卷含答案
- 变配电运行值班员成果竞赛考核试卷含答案
- 胶印版材生产工安全培训效果知识考核试卷含答案
- 硝酸生产工安全实操考核试卷含答案
- 煤矿智能掘进员测试验证模拟考核试卷含答案
- 轮胎翻修工风险识别强化考核试卷含答案
- 异丁烯装置操作工达标水平考核试卷含答案
- 车辆通行费收费员变更管理模拟考核试卷含答案
- 江苏省淮安市2026届九年级英语第一学期期末统考试题含解析
- 手机摄影培训课件
- 高渗盐水治疗脑水肿及颅内高压专家共识解读 3
- GB/T 45860.1-2025光纤激光束焊机的验收试验第1部分:光纤输送机的激光组件
- 多学科围手术期气道管理国际专家共识2025年版
- 《幼儿园班级管理 》课件-第一章 幼儿园中的班级
- GB/T 4447-2025船舶与海洋技术海船起锚机和起锚绞盘
- 维保工作管理制度
- TSG21-2025固定式压力容器安全技术(送审稿)
- 尼康S8100数码相机使用说明书
- 国家基本比例尺地图编绘规范 第4部分 15000 110000地形图编绘规范 征求意见稿
评论
0/150
提交评论