(高清版)GBT 29268.6-2022 信息技术 生物特征识别性能测试和报告 第6部分：运行评价的测试方法

第6部分：运行评价的测试方法国家市场监督管理总局国家标准化管理委员会 I Ⅱ 1 1 1 3 35.1运行评价目标 35.2运行性能指标 35.3运行评价方法 35.4确定运行性能 45.5在评估运行系统中使用的技术和场景评价方法 4 4 46.2应用特性 56.3测试方案 86.4性能测量 6.6记录保存 附录A(资料性)非强制性性能指标和报告 附录B(资料性)运行测试中的子事务事件 附录C(资料性)运行测试规范示例 附录D(资料性)确定测试规模的方法 附录E(资料性)运行系统监督 附录F(资料性)操作熟练度测试 20附录G(资料性)运行测试报告大纲示例 21 I本文件等同采用ISO/IEC19795-6:2012《信息技术生物特征识别性能测试和报告第6部分：——第2章对应ISO/IEC19794-6——第3章对应ISO/IEC19794-6:2012中的第4章；——第4章对应ISO/IEC19794-6:2012中的第2章。ⅡGB/T29268《信息技术生物特征识别性能测试和报告》拟由七个部分构成。——第1部分：原则与框架。目的在于规定生物特征识别系统性能测试和报告的通用原则与框架。——第2部分：技术与场景评价的测试方法。目的在于规定生物特征识别性能测试中技术和场景——第3部分：模态特定性测试。目的在于规定生物特征识别系统中模态间特定性差异的性能测——第4部分：互操作性性能测试。目的在于规定生物特征识别格式相关联的互操作性的测试——第5部分：访问控制场景与分级机制。目的在于规定通用的生物特征识别系统中访问控制场 真实应用场景进行测试，考虑人员在注册或识别事务中出现的生物特征样素，例如访问控制场景。运行测试是指由实际用户组成测试对象在实际应用场景中进行测试。对于测环境和系统设计不再受限于可重复测试的目的，而是根据操作使用而变化。不GB/T29268分别从上述三种测试类型对生物特征识别性能测试和报告进行了规范，并规定了原 1 下列文件中的内容通过文中的规范性引用而(Informationtechnology—Biome环境适应性acclimatization生物特征采集主体biometriccapturesubject2GB/T29268.6—2022/其个性化的生物特征数据已储存在生物特征系统的个体。生物特征探针biometricpr3 —获取会影响系统性能的目标群体和环境参数的信息；—获取性能数据作为未来系统进行测试基准。性能会随着主体的习惯而改善，或者随着长时间之后主体的生物特征特性与注册参考差距越来越大而运行测试的识别指标与技术和场景测试不同。在技术和场景测试中，可以测量错误接受率和错误从系统接受和拒绝的数量确定错误接受率和错误拒绝率将需要额外的观察或控制，来确定身份声技术和场景测试中的性能计算通常排除主体没有提供理想呈现或没有正确遵循指示的拒绝情况。4 用非受控的一组测试对象集合收集的数据(即一组反映运行系统的 访问控制系统的直接观察并不揭示拒绝是由于生物特征识别错误还是门禁系统操作除了基于系统的实际运行使用的测试外，场景和技术评价也可以在确定运行性能的某些方面仅在实时运行中测试可能无法测量运行性能的所有方面。根据评价的目的，某能只通过特定测试来确定。为了得出统计学上的有效结论，实验者应将生物特征识别系统纳入运行测试准则。由于生物特5 6●物理访问控制；●逻辑访问控制；●监视或筛查；●检查员协助辨识。7d)注册时应用的质量评价标准或阈值。识别测试，实验者应在可行的范围内确定并报告系统的比对尝试限制和 6.2.6环境环境条件可以在运行性能等级上发挥重要作用。应考虑所有相关环境条件。GB/T29268.3—2012给出了不同模态和运行设置要考虑的物理环境条件。这些包括但不限于：—-相对湿度应尽最大程度报告运行系统受控的环境条件。应避免引入任何通常不包含最全面和最有信息量的数据可以在生物特征识别设备事务的单个位置(如在行人通道N处)以及在测应考虑部署因素对系统可用性的影响。这些因素可能包括社会安全、人体—专用于测试执行的尺寸面积；8环境适应性应反映运行应用的环境。应报告测试人员适应生物特征特性运行环境的方式和程度，在实际执行前，应在实际情况下确定和报告受试者熟悉受试装置的程度。可以根据受试者与特定设备或设备类型进行交互的时间周期及其使用频率(例如每日几次，每日一次，每周一次)来报告熟测试组熟练度应与目标群体相似。待测人员可以在测试之前适应设备，主体熟练度受到主体识别事务频率以及系统运行参数的影响，例如每个对于新安装生物特征识别设备的测试，实验者应在数据采集之前为待测人员提供足够的时间熟悉系统，旨在预测设备的长期性能。这个时间可以被规定为特定的周期(例运行测试方案由机构希望采集的性能信息的类型指导，见6.1,并受应用程序和运行环境特性的约运行评价测试方案提纲见附录C。确定群体数量的统计方法规范见附录D。监测和评价运行系统性能的长时间趋势的测试方案要素见附录E。操作熟练度测试方案要素见附录F。以运行测试为目的的数据采集应尽可能少地影响主体和公众对系统印象，以正常使用和操作影响9b)尽量减少这些修改对性能的影响；c)估计和记录修改对性能影响。b)运行系统可修改的程度。——生物特征识别系统输出的比对分数和质量分数的范围以及用于测生物特征识别系统运营者之间的关系。实验者应报告受试者是否在与机构常物特征识别系统，或者是否特别为了测试目的而使用。待测人员还可以包括一应记录测试群体代表目标人群的程度。宜报告测试群 用于辨识测试对象的标识符类型： ——确定测试组成员与系统(测试多个系统或组件的情况下)交互生物特征识别系统的运行测试通常需要使用个人数据。有时这种数据(例如对象数据和标识符)需测试方案应规定要执行的运行测试的事务数量。测试结果中所需的置信水平将建立最小测试规对于系统拒绝率或系统辨识率的测量，每个测试对象的事务频率和数量应与征识别系统对象的正常事务相匹配。应报告测试组成员执行事务的频率。中建立采集对象身份标识和交互合法性的真实标注。这些事务可能与用于测量系统拒绝率或系统辨识统维护)的并发活动。如果在评价过程中发生可能影响或使结果无效的意外事-—记录测试群体与系统的交互方式；实验者应在测试报告中包含电子数据表和日志等数据采集元素的示例，无论是以截图还是复制形式。数据采集应尽可能自动化，自动化程度应以不影响性能结果为准运行评价应具备不借助被测生物特征识别系统确定测试对象身份的方法。衡量错误拒绝率或错误识别率的运行评价应包括真实事务，其中测试对象衡量错误接受率的运行评价应包括假冒攻击事务，其中测试对象的真实身假冒攻击试验的生成是运行测试的一个难题。以下是可以生成具有已知真——与系统的运行使用一致：测试组成员可以在运行系统上执行假冒攻击事务。可以利用被模拟的对象标签或令牌来执行比对。这直接反映了假冒者在系统中匹配的能力。出于安全性冒测试。这种测试对主路径操作没有影响。测试组成员可以针对一个或多个生物特征参——在场景环境中：测试组成员可以在配置有与运行系统相同的阈值的非运行击事务。用运行系统采集的真实的测试对象数据进行测试和合成，需要——一种方法可以将吞吐量定义为在完整队列的条件下通过适当的时间单位(分、小时)完成事务——另一种方法可以将吞吐量定义为遇到没有队列的系统时单人事务的预期(平均)时间。这种方不同的定义将导致吞吐量的不同测试结果。应报告测试事务时间的方法。通过生物特征识别操作员或测试员的直接观察采集定时数据，系统也可支持自动采集事务中一些点的计时数据。自动记时点与 (资料性)可能需要或允许一个或多个呈可能需要或允许一个或多个尝生物特征识别系统的用户交互1背景与范围目标描述评价标准，产生比较或绝对性能表现的2描述评价的采集设备，包括适用的标识符，描述部署采集设备的启用软件，包括识别，构建和版本(如适用)描述生物特征注册和比对算法处理引擎，包括识别、构建和版本(如适用)软件开发工具包(SDK)描述用于实施设备和应用软件的工具包和开3熟练度应描述用于评价的熟练度水平，以及与运行应4描述参测人员的数量，选择方法和人口统计学控制(如果有的话)以介绍：描述验证性能数据和标准的流程，根据该流的数据将被排除在分析之外(资料性)确定测试规模的方法D.1一般性性能评价应该计划使用足以支撑测试目标的测试规模(即测试事务次数)。测试的规模影响所获得的性能结果的准确性，误差率最低可以达到哪个量级；存在一个重要的结果的可能性(测试力)以及将随机结果误认为重要结果的可能性，将随机效应误解为显著的可能性(测试的显着性水平)。测试事务次数之间的关系以及结果的统计意义取决于评价测试的假设。在生物特征识别系统评价——使用不同传感器的两个子系统之间的拒绝率是否存在差异?——改变环境条件是否会提升拒绝率?——系统性能是否在指定的错误拒绝率范围之内?以下示例显示了在这种情况下确定测试规模的一般方法。D.2比对测试规模的比例评价研究了两种不同传感器(A和B)的系统拒绝率是否不同。实验将使用每个传感器对n个真实验证事务进行抽样。令pA和ps表示每个传感器的拒绝的真实概率。检验统计量D将是观察到的两样本拒绝率之间的差异。同时，如果|D|超过测试标准c,零假设(pʌ=ps)将被拒绝。为了计算所需的测试规模，实验者应该决定：——δ值代表本质性的规模差别；为了本示例的目的，假设验证事务在统计上是独立的。D近似服从均值为pA-ps,标准差约为√2p(1-p)/n(其中p=(pA+ps)/2可能由运行系统的观察得出)的正态分布本示例中所用的值为δ=0.06,P'=0.80,a=0.10和p=0.12。即：b)如果pA=ps,测试最高有10%的概率发现|D|>c并拒绝零假设。0.06-0.842√0.21/n>c>n>(1.645+0.842)²(0.21)/(0.06)²假设所需的性能是达到低于P₀的拒绝率。测试统计量X将是观察到的拒绝次数，如果X不大于测试标准c,系统将被接受为在规范内执行。显着性水平α意味着如果真实的拒绝率超过po,那么不正确地接受系统的会议表现的机会最多为a。选择值P'和8,其中希望如果拒绝率低于po一δ,则至少有概率P',系统将被接受为满足要求。这些可以通过诸如Excel的工具对二项分布(类似于D.2)或小的p。进行正态分布来解决这些问E.2方法(资料性)操作熟练度测试利用的所有或部分测试对象是非熟悉性测试人群。操作熟练——通过比较以前未习惯的测试对象的初始程度与在测试过程中习惯的同一组测试对象的最终——通过将以前习惯的测试对象的性能与在测试过程中变得习惯的一组测试对象的性能进行II1背景与范围总结本文档的目的和内容，并描述与其使用相关的任何安全或隐私保护注意事项和版本号(S)应用特点简要描述正在评估的操作。它描述了评价中操作的概念，评价所基于的操作限制以2列出测试报告中引用的所有文档的数量、标3对本报告的测试结果进行了说明，对系统和组描述与测试计划的偏差，例如与计划相比的测试对象和事务对所测试的系统和组件的设计，操作或测试提供任何推荐的改进议的讨论及其对系统和组件的影响4详细的测试结果(x范围通过测试中的性能指标)(x=项目唯一的测试标识符)总结测试结果。摘要包括执行特定评价所需的注册，列出发生测试用例/测试程序偏差的每个测试用例(y=测试用例的项目唯一标识符)由项目唯一标识符标记出发生一个或多个偏差的测试用例，并提供：a)对偏差的描述，例如发生偏差的测试用例和偏差的性质，例遵循的程序步骤，调度偏差(可以使用红线测试程序来显示偏差);b)偏离的理由；c)评价偏差对测试用例有效性的影响5可能在图或附录中呈现本报告涵盖的测试事件的按时间顺序的记录。此测试日志a)执行测试的日期、时间和位置；b)用于每个测试的硬件和软件配置，包括所有硬件的部件号、型号、商、版本标识和校准日期，以及所使用的软件组件的版本号和名称；c)每个测试相关活动的日期和时间，参与测试的个人的身份以及证明人的身份(如适用)表G.1运行测试报告的大纲示例(续)6本