信息技术 生物特征样本质量 第1部分：框架

1GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023信息技术生物特征样本质量第1部分：框架本文件根据需要为任一或所有生物特征样本类型确立了以下内容：a)在质量度量的规范和使用中用到的术语和定义；b)生物特征质量得分的目的和解释；c)以质量评分规范化为目的而推进开发生物特征样本数据集的动力；d)质量评估算法结果的交换格式；e)质量得分的聚合方法；f)质量评估算法效率的评价方法。本文件不包括以下内容：a)规定样本、模块或系统质量得分的最低要求；b)质量评估算法的规范化；c)用于人工检查的生物特征样本或参考的效用评估。本文件适用于生物特征样本质量度量的表达、解释和交换，以及质量评估算法效率的评价和质量评估算法结果的交换，为各种生物特征样本质量的规范化提供指导。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。ISO/IEC2382-37信息技术词汇第37部分：生物特征识别（Informationtechnology—Vocabulary—Part37:Biometrics）注：GB/T5271.37—2021信息技术词汇第37部分：ISO/IEC19785-2信息技术公用生物特征识别交换格式框架第2部分：生物特征识别注册机构（Informationtechnology—CommonBiometricExchangeFormatsFramework—Part2:Biometricregistrationauthority）ISO/IEC39794-1信息技术可扩展的生物特征识别数据交换格式第1部分：框架（Informationtechnology—Extensiblebiometricdatainterchangeformats—Part1:Framework）3术语和定义ISO/IEC2382-37、ISO/IEC39794-1界定的以及下列术语和定义适用于本文件。3.1获取保真度acquisitionfidelity2GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023在获取过程中得到的生物特征样本的保真度（3.8）。3.2生物特征关联特性biometriccharacter与生物特征获取过程中不受控的生物特征特性关联的属性。[来源：ISO/IEC2382-37:2022,37.09.15,有修改，删除了注]3.3生物特征效用biometricutility生物特征样本支持生物特征识别性能（3.11）的程度。注1：样本来源的特性、经过处理的生物特征样本的保真度（3.8）以及生物特征样本呈现的符合性，有助于生物[来源:ISO/IEC2382-37:2022,37.09.16]3.4环境environment采集生物特征发生的物理场景和条件。3.5误不匹配与丢弃特性falsenon-matcherrorversusdiscardcharacteristicFNM-EDC通过量化丢弃低质量得分（3.16）样本在改进（即降低）误不匹配率方面的效率来评价质量评估算法（3.13）有效性的方法。注：误不匹配与丢弃特性是质量评估算法性能（3.11）的图形表示，其绘制了在固定比对决策阈值下误不匹配率3.6误匹配与丢弃特性falsematcherrorversusdiscardcharacteristicFM-EDC通过量化丢弃低质量得分（3.16）样本在改进（即降低）误匹配率方面的效率来评价质量评估算法（3.13）有效性的方法。注：误匹配与丢弃特性是质量评估算法性能（3.11）的图形表示，其绘制了在固定比对决策阈值下误匹配率与丢3.7提取保真度extractionfidelity在生物特征项提取过程中得到的样本的那部分保真度（3.8）。3.8保真度fidelity生物特征样本所能表现其源生物特征特性的程度。3GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023注：样本的保真度包括多个组成部分，这些组成部分来源于一个或多个处理步骤：3.9解释interpretation与其他数据一起分析质量得分（3.16）的过程，以给出该得分的上下文及相关含义。3.10原生质量度量nativequalitymeasure不受数据格式和/或值范围限制的质量评估算法（3.13）的输出。3.11性能performance对生物特征识别系统的误匹配率、误不匹配率、注册失败率、获取失败率、处理时间或吞吐率的评估结果。3.12质量quality生物特征样本满足其目标应用的指定要求的程度。[来源:ISO/IEC2382-37:2022,37.09.14]3.13质量评估算法qualityassessmentalgorithm质量算法qualityalgorithm计算质量度量（3.15）的算法。3.14质量分量qualitycomponent对可能有助于计算统一质量得分（3.16）的生物特征样本的度量。注：表达质量分量的特征在ISO/IEC29794系列的具3.15质量度量qualitymeasure质量得分（3.16）或质量分量（3.14）。3.16质量得分qualityscore用以完成或实现比对决策的生物特征样本的适应度值。[来源:ISO/IEC2382-37:2022,37.09.13]3.17质量得分规范化qualityscorenormalization为提高尺度和解释（3.9）的一致性，对质量得分（3.16）的重新调节。4GB/T33767.1—20XX/ISO/IECFDIS29794-1:20233.18质量得分规范化数据集qualityscorenormalizationdatasetQSND以质量得分（3.16）标注的、用于质量得分规范化（3.17）的生物特征样本的数据集。注：目标质量得分可能是基于使用相关样本产生的性能（3.11）结果来分配，或者基于数据集获取过程中记录的3.19质量得分百分位数qualityscorepercentilerankQSPR在已标识的控制数据集中，低于指定质量得分的生物特征样本质量得分（3.16）的百分位数。3.20原始质量得分rawqualityscore未被质量得分（3.16）创建者或接收者解释（3.9）过的并且本质上不能单独提供上下文信息的质量得分。4缩略语下列缩略语适用于本文件。BDB：生物特征数据块（BiometricDataBlock）CBEFF：公用生物特征识别交换格式框架（CommonBiometricExchangeFormatsFramework）CDF：累计分布函数（CumulativeDistributionFunction）DET：检测错误权衡（DetectionErrorTrade-off）FERET：面部图像数据库（FacialImageDatabasedevelopedbytheU.S.governmentinthe1990s）FMR：误匹配率（FalseMatchRate）FNMR：误不匹配率（FalseNon-MatchRate）QAID：质量评估算法标识符（QualityAssessmentAlgorithmIdentifier）QSND：质量得分规范化数据集（QualityScoreNormalizationDataset）QSPR：质量得分百分位数（QualityScorePercentileRank）QVID：质量评估算法供应商标识符（QualityAssessmentAlgorithmVendorIdentifier）5符合性如果生物特征样本质量块的结构和数据值符合第7章的格式要求，则应认为其符合本文件。语义符合性测试将在ISO/IEC29794系列的具体模态部分中处理，其中给出了符合性测试集（一组代表从差到好的各种质量的生物特征样本）和通过参考实现获得的相关质量得分。6生物特征样本质量准则6.1参考模型5GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023在生物特征识别中，术语“质量”用于描述生物特征样本的几个不同层面，这些层面有助于生物特征识别系统的整体性能。为了规范化，本文件定义了用于区分质量的不同层面的术语、定义和参考模型，见图1。生物特征样本的质量取决于其品质和保真度。质量（品质、保真度和效用）与系统性能之间的关系，见图2。生物特征样本的效用反映了该样本对生物特征识别性能的影响。图1质量参考模型图解图2质量和系统性能之间的关系6.2质量层面：品质、保真度、效用目前，根据上下文的不同，生物特征识别领域使用的术语“质量”有不同的含义。三种主要用法主观上表达了以下含义：a）样本的品质：基于样本生物特征特性的固有属性的质量表达。例如，磨损的摩擦脊品质较差，眼睑下垂（眼皮下垂）导致虹膜品质较差；b）样本对其生物特征特性的保真度：基于保真度的质量表达反映了样本代表其生物特征特性的准确程度。样本保真度是由在不同处理过程中起作用的保真度组成的；c）生物特征识别系统中样本的效用：基于效用的质量表达反映了个体样本对生物特征识别系统6GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023整体性能预测的正面或负面影响。基于效用的质量取决于样本或参考的品质和保真度，以及正在评估其性能的具体生物特征识别系统的细节。这意味着效用不一定是样本在所有系统中具有一致的通用属性。与仅基于品质或保真度的质量度量相比，基于效用的质量旨在更能预测系统性能（例如，在误匹配率、误不匹配率、注册失败率和获取失败率方面），见表1。术语“质量”并不仅仅取决于采集设备的特性，如采样率、传递函数、方向性、灵敏度、动态范围和位深、图像分辨率、像素密度、像素尺寸或灰度/彩色位深，尽管这些因素会影响样本效用并可能影响整体质量得分。所获取样本的品质和效用取决于特征项提取子系统生成的特征项。例如，同一指纹图像的品质和效用可能在细节点识别方面很低（因为细节点太少），但在光谱模式识别方面却很高。由于避免不同人群所表现的人口统计学差异对生物特征识别的所有应用至关重要，质量度量不宜基于与年龄、人种、性别、性特征、宗教或公认残疾相关的表现进行衡量。出于这个原因，宜尽可能地描述质量度量，以便能够识别具有潜在人口统计学差异的指标。表1对保真度、效用和品质之间关系的说明低高低保真度低且品质低导致效用较低。重新采集能提高效用。若条件允许，建议使用其他生物保真度高且品质低导致效用较低。重新采集不能提高效用。建议使用其他高品质高而保真度低的样本通常效用不高。通过重新采集或信具有高品质和高保真度的样本表明采集到了有用的样本。预计这种样本效6.3质量度量数据的用例6.3.1概述本文件将“效用”的定义限定为基于生物学特性和行为特性识别个体的自动化系统性能。用于人工检查或法医应用的生物特征样本和参考的效用评估超出了本文件的范围。6.3.2实时质量评估操作员、自动化系统或生物特征数据主体能使用生物特征样本的实时质量评估和由此产生的质量度量，以帮助提高所采集的生物特征样本的平均质量。这种反馈能用于手动或自动决策，以确定是否需要再次尝试采集，或者确定接受样本还是丢弃样本，而不用于注册或比对。在决定是否接受（或保留）样本、丢弃样本、重新尝试采集或宣布获取失败或注册失败的情况下，通过协助操作员或增加自动质量控制系统为整体系统性能的改进提供了机会。质量度量数据能够被保留，待以后使用，例如，用于确定在采集下一个样本时是否宜替换注册样本。6.3.3在不同的应用中使用所获取的生物特征样本能够用于包含几种不同特征项提取和比对算法的多个应用中。在样本获取并评估其质量时，这些应用程序和算法可能是未知的。样本的质量评估宜尽可能广泛地预测各种用途和生物特征识别系统算法的效用。建立通用质量标准的第一个挑战是定义一种度量，该度量要具有足够的适应性，以便在具有不同效用指标的应用中与不同的比对算法配合使用。因此，一种质量评估算法可能只会对有限数量的生物特征识别系统产生预测效用的度量。计算和应用多个质量得分能提高对各种故障模式的可预测性。第二个挑战是，比对算法从探针与参考的比对中产生得分，并受到每个探针和参考质量的影响。如果参考以聚合样本或平均样本的形式存在，或者是一个模型，则可能不一定为参考分配质量得分。7GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023第三个挑战是，参考数据库通常是在各种策略驱动的约束（隐式或显式）下策划或创建的。例如，空白的指纹图像或空白的细节点文件通常会从指纹数据库中删除。作为参考的面部图像仅限于符合ISO/IEC39794-5:2019D.1要求的面部图像。声纹识别模型能够使用特定的音频采集通道开发。探针与参考比对的相似度得分会受到探针收集模仿参考收集的程度和管理策略的影响。因此，在开发质量评估算法时，有必要尽可能完整、清晰地阐明参考创建和管理过程的前提。例如，一种人脸图像质量评估算法适用于符合ISO/IEC39794-5:2019D.1的全正面参考人脸图像，而另一种人脸图像质量评估算法适用于户外人脸图像。在产生原始生物特征样本的采集设备和应用的背景下，算法特定的质量得分的可解释性是有用的。在生成和应用质量得分的上下文中对其进行解释的能力对于设置比对决策阈值（或识别阈值）尤为重要。6.3.4作为测量统计使用质量得分能用于监控操作条件和过程。示例2：如果产生质量得分的生物特征样本是从多个地点或不示例3：如果人脸图像质量是在车辆管理部门的发证服务别质量低于平均水平的服务台，或者在数周或6.3.5相关统计数据的积累可靠的质量得分能用于测评用户和交易以积累统计数据，这些统计数据给出诸如“给定手指A质量为X的样本，从手指A（或手指B）得到质量为Y的样本的可能性是多少”的条件概率。这将通知系统和/或操作员，如果尝试再次采集，是否有可能获得更高质量的样本。6.3.6基于样本的参考数据库改进将质量度量与将进入参考数据库的样本关联起来，对于维护和改进参考数据库的效用是很重要的。对样本质量度量的跟踪可能发现操作者表现、环境条件或生物特征样本采集设备性能变差。样本质量度量的跟踪宜作为生物特征识别系统操作规程的重要组成部分。通过替换或扩充来改进样本参考数据库，以使用最高质量的生物特征样本。通常，替换决策与处理数据系统的比对器性能相关。6.3.7基于质量的条件处理生物特征样本能够根据质量度量进行不同的处理。特别是低质量的生物特征样本会使用不同于高质量生物特征样本的算法或阈值来处理。质量得分不宜用于呈现攻击的检测。对信号的操纵（例如，通过添加噪声）可能会在生成威胁向量时影响质量。6.3.8以质量为导向的融合当应用多模态或多样本生物特征融合时，样本的相对质量能够用于指导或增强融合过程。在多实例系统中，每个贡献通道的权重能够根据生物特征样本的质量来确定。例如，在十指指纹识别系统中，预计小指的权重会更小。6.3.9不同系统质量度量的交换在不同系统之间进行规范化的质量度量交换，对于保持本地或远程系统硬件和软件组件的模块化互换性，以及在发生这种交换时质量度量的完整性是有用的。8GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023例如，通过使用规范化的质量度量交换，若更换某个组件，则该组件的质量度量使用者只需进行最低限度的修改即可。6.3.10通过质量得分减少工作量在大规模生物特征识别系统中，基于最近质量得分的智能搜索能减少生物特征辨识的计算量，从而减少交易时间。更准确地说，不同生物特征类型（人脸、虹膜和指纹）上表现出的质量得分的可变性能够转化为快速索引的优势。根据数据库的大小和属性，根据样本质量的变化，能够显著减少每个生物特征特性的搜索空间。基于质量的处理将提高效率，但由于所使用的质量评估算法可能失效，可能对整体识别精度产生不利影响。6.3.11从一系列生物特征样本中选择最佳样本对于给定数据主体的一系列生物特征样本，质量得分能用于选择最佳样本。当接收系统只需要一个样本，而发送系统需要从几个采集的样本中决定传输哪个样本时，这个操作是有用的。7数据交换格式字段定义7.1抽象描述7.1.1概述质量块的结构见图3。数据结构是为交换质量度量值而设计的。ISO/IEC29794系列的其他部分能够使用该数据结构来编码特定模式的质量分量（例如，指纹图像中的细节点数量、所采集人脸的姿态角）。如果未尝试进行质量评分，则不应存在质量块。如果生物特征样本有一个以上的质量度量，则应采用质量块序列。图3质量块的结构7.1.2质量评估算法标识符块抽象值：从1到65535的两个整数的序列；9GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023内容：该数据元素应标识所使用的质量评估算法。应由两个要素组成：——质量评估算法供应商标识符（QVID——质量评估算法标识符（QAID）。QVID应为根据ISO/IEC19785-2注册的生物特征识别组织标识符之一。QAID应为与给定QVID相关联的质量评估算法标识符之一。产生不同结果的质量评估算法的不同版本应分配不同的QAID，以允许唯一标识。注1：ISO/IEC19785-1:2020的7.1.6规定生物特征识别产品注2：使生物特征数据的接收者能够区分由不同质量评估算法生成的质量度量，并且，如有必要，则在处理或分析过程中调整期间的差异。QVID和QAID的组合是一种能够快速实施的解决方案，但只能实现部分质量得分规范化的目标。这种方法并不排除，而是补充了进一步标准化通用质量评分方法的工作（即本质上包含某种程度注3：ISO/IEC29794系列的其他部分规定了ISO/IEC29794序列该部分中定义的质注4：如果算法供应商在国内生物特征识别注册机构注册，则使用GB/T28826.2分配质7.1.3质量度量（质量得分或质量分量）或差错抽象值：0到100的整数或failureToAssess（评估失败）；内容：质量度量应以0到100之间的整数嵌入质量块中。如果质量评估算法的输出是浮点数或在0到100的范围之外，则应将其转换（即缩放）到[0,100]，并四舍五入到最接近的整数，以便嵌入质量块中。抽象值failureToAssess应表明质量评估算法失败。质量得分可区分不同的性能水平。当与根据规定的收集策略形成的参考进行比对时，质量得分应预测性能指标，如误匹配率和误不匹配率。质量得分将质量分量统一为一个值，以整体的方式表示整个生物特征样本的质量。质量得分值越高意味着生物特征效用越高。对于质量分量，此条件不一定适用。示例1：特定的人脸图像质量评估算法能生成质量得分，以预测符合ISO/IEC39794-5:2019D.1的全正面人脸图像质量得分可以是几个质量分量的组合。例如，指纹图像的质量得分能够反映指纹的清晰度或摩擦脊均匀性，或者正确标识的细节点数量，以及其他分量。与较高的质量得分值不同，较高的质量分量值并不一定意味着较高的生物特征效用。为了预测性能，质量得分可对生物特征比对器和图像或信号处理算法的已知故障模式/敏感度进行建模。为了实现某种通用性，质量得分宜基于一类系统（例如，基于细节点数据的指纹比对算法）共同的敏感度集。如果生物特征识别系统使用来自多个供应商的组件，则质量得分宜反映出对所使用的每种算法都很重要的性能方面。注1：由于很难找到一个通用的、不特定于供应商的、但又能充分表明性能的质量度量，因此应用多个质量评估算每当生物特征样本经过转换时（例如，下采样或进一步压缩），宜重新评估转换样本的质量，并将其与转换样本相关联。示例2：在整个身份管理系统中，生物特征样本能够按照多种格式存储（例如，集中存储的高分辨率手指图像和存原生质量度量可按照公式（1）进行转换。Qs,i=minmax0,100,100)……（1）式中：Qs,i——生物特征样本i的经过转换的质量度量；Qn,i——生物特征样本i的原生质量度量；GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023min(Qn)——原生质量度量的最小值；max(Qn)——原生质量度量的最大值。minQn和maxQn可根据经验计算。注2：极大极小函数的线性性质[见公式（1）]允许准确估另一种将原生质量度量转换到[0,100]的方法是Sigmoid函数，如公式（2）所示：Qs,i=………………式中：Qs,i——生物特征样本i的经过转换的质量度量；Qn,i——生物特征样本i的原生质量度量；Qn,0——表示拐点；w——Sigmoid函数的斜率。参数Qn,0和w应由质量评估算法的开发人员或生物特征识别系统操作员选择。Sigmoid函数输出值（Qs,i）与原生质量度量值Qn,i的关系见图4。注3：Sigmoid函数用于连续特征的非线性归一化。与使用线性归一化相比，非线性归一化允许关注那些质量值，图4Sigmoid函数7.2XML编码ISO/IEC39794-1定义了质量块的XML编码。相关示例见附录A。7.3已标记二进制编码ISO/IEC39794-1定义了ASN.1中质量块的抽象语法。生物特征数据块的已标记二进制编码依据ASN.1非典型编码规则（ISO/IEC8825-1）进行编码，并应用于描述数据块的ASN.1模块。相关示例见附录A。8质量评估算法结果的规范化交换GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023质量评估算法供应商宜能够以规范化的方式向生物特征识别行业提供其质量评估算法的结果。另一方面，ISO/IEC19794系列和ISO/IEC39794系列生物特征数据块的使用者能有效地检索和处理这些信息，以便评价该质量评估算法的输出对其实现的价值。这种方法有以下好处：a）质量评估算法供应商和使用者都能从技术改进中受益，这在广泛使用质量得分的开始阶段是必要的；b）在一些应用中，如果有必要的基础设施，则可以自动检索更新；c）使用者与集成商可以将QAID的评价结果返回给质量评估算法供应商（进行评价）；d）随着时间的推移，规范化测试集将不断发展，原因如下：1)公布测试集符合质量评估算法供应商的利益，这对很多使用者也是有益的；2)随着时间的推移，对新测试集的需求将减少，生物特征识别行业将对新测试集的使用进行严格检查。e）测试集的不断完善将促进QSND的发展。为便于交换，应提供以下内容：a）质量评估算法供应商ID；b）质量评估算法ID；c）算法输出值理论上的最大和最小值；d）所用测试集的唯一名称（例如，人脸识别中的“FERET-Grayscale”数据库）；e）已经处理的样本列表（例如，人脸识别中的FERET数据库的子库“Duplicate1”）。任何人都可以发布新的测试集（生物特征样本和命名规则）。宜使用类似XML的自描述语言描述数据集及评估结果。评估结果有可能由注册中心或供应商网站（通过注册中心的链接访问）维护。使用XML实现的示例见附录B。9规范化质量得分数据的规范化是指质量得分数据的接收者对其进行处理，以给出其本地的上下文和含义的过程，例如，使来自不同算法的质量得分具有相似的含义。通过特定的质量评估算法将原始质量得分分配给生物特征样本。为了解释原始得分，得分的接受者应掌握一些上下文信息。能够提供以下信息：a）非固有的元数据或离线数据（例如，标准）。这些数据用来指导接收者解释得分。由于质量得分伴随着用于生成相关样本的质量得分的算法标识（即QAID），因此能使用供应商提供的数据（例如，推荐阈值）来配置接收软件，以最佳地处理样本。该算法还能用于执行分析，以充分优化给定本地应用和数据得分的解释。通过不同的算法标识，能区分由不同算法创建的得分，例如，根据质量得分的不同来源可使用不同的阈值。b）固有的规范化质量得分的形式。质量得分数据的规范化提供了关于得分的上下文信息。QAID支持供应商自定义的测量尺度，使得这些尺度可与0～100尺度相关联。例如，接收者可对质量得分与其比对器在处理样本时得到的误匹配率和误不匹配率之间的关系做分析。例如，该分析结果可用于规定样本获取或丢弃的操作质量阈值。这种方法为接受者提供了必要的信息，以一种与自身的环境和应用相关的方式来解释得分，并允许在单个系统中使用不同算法或算法的不同版本。质量得分规范化数据集(QSND)的目的是通过规范化质量得分或质量得分百分位数(QSPR)提供质量得分的一致性解释。QSPR实现了定量的样本质量得分的通用表达和解释，即质量评估算法“X”认为与QSN（质量得分规范化）语料库中的数据相比，生物特征样本“Y”具有质量百分位数“Z”。通过在规范化的样本语料库上运行指定的质量评估算法，并将所有可能的原始得分结果与百分位数对应，可以实现原始质量得分到百分位数的转换。GB/T33767.1—20XX/ISO/IECFDIS29794-1:202310成对质量比对得分来自探针与参考样本的比对，两者都可能附有质量得分。在某些应用中，没有关于探针或参考（符合任何收集的最佳实践或要求）的符合性假设。如6.2所述，效用被分配给作为结果的比对得分，不宜仅将其视为探针或参考是否符合任何收集要求的函数。宜解决分配单个质量得分的问题，该得分可以预测性能，并能反映参与比对的两个生物特征样本所计算的比对得分。成对质量的分配对于使用动态识别阈值、比对分数级融合或评价质量评估算法的应用是有用的，详见第11章。假设来自数据主体i的探针样本（qi1）和来自数据主体j的参考样本（qj2）是来自相同生物特征和模式的表示。如果i和j是不同的数据主体，并且样本代表相同的生物特征实例(例如，同样的食指)，则比对是“不配对的”。如果i和j是相同的数据主体，并且样本代表相同的生物特征实例(例如，同样的食指)，则比对是“配对的”。探针样本的质量为qi1，参考样本的质量为qj2。将探针样本与参考样本进行比对得到比对得分sij，该得分必须与单个质量度量QSij相关联。用于分配单个质量度量的函数将被称为F，适用于公式（3）：QSij≌Fqi1,qj2))………（3）成对质量函数F的选择取决于质量度量的特性及其建议的用途。根据模态选择合适的F，可包括探针和参考质量度量的最小值、平均值、差值或其他关系。这些将在ISO/IEC29794系列的其他部分中进行讨论。每个探针和参考的比较只产生一个比对得分，不过，数据主体i和j可能有多个探针和参考，因此，每个i和j可能有多个sij值。为了简化，在本文件中对每个i和j仅考虑一个比对得分的情况。11评估11.1概述本章列出了用于评估生物特征样本质量评估算法性能的几种方法，即通过评估质量得分如何预测生物特征识别子系统的性能。无论生物特征参考是否满足目标应用的指定要求，都可以应用这些方法。在11.2至11.5的计算方法中，如果质量评估不适用于参考样本，则只会用于探针样本的质量评估。11.2误不匹配与丢弃方法用于比较评估生物特征样本质量评估算法的一个度量项是误不匹配与丢弃特性的曲线，在参考文献[10]中作为误不匹配与拒绝曲线引入。目的是表明如何有效地丢弃具有低质量得分的样本，从而改进(即降低)误不匹配率。假设一个应用，其中来自同一数据主体的相同生物特征模态i具有质量得分qi1和qi2)的一对样本（上标为1和2），经比对后产生相似度得分sii，其中存在N对这样的样本。由于统一的质量得分预计会随着质量的提高而提高，因此引入质量阈值u来定义可接受的质量水平，并定义低质量记录的集合D(u)，如公式（4）所示：DU=ii:Fqi1,qi2)<U}…………………（4）其中，会选择最适合操作需要和约束的函数作为成对质量函数F。很多情况下，质量得分可使用Fqi1,qi2))=minqi1,qi2)来合并，因为较低质量的样本会导致较低的相似度得分，或者，如果在评GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023估或操作中已有意将参考样本qi1设置为具有高质量的样本，则简单地使用Fqi1,qi2=qi2。然后，对于不在集合D(u)中的样本对，将误不匹配率计算为低于某个临界识别阈值t的配对相似度得分（例如，来自同一主体的同一手指的比对得分)的分数（即误不匹配数量占全部配对的比对数量的比例）。识别阈值t是固定的，而质量阈值u在特定于算法的质量得分域中变化，以显示在所选识别阈值下误不匹配率对质量阈值的依赖关系。相关示例脚本，参见附录D。对于识别阈值t，误不匹配率的值作为丢弃样本百分比的函数[取决于质量阈值u，参见公式(4)]能用图形表示。如果质量得分与配对的相似度得分完全相关，则设置识别阈值t以给出总体误不匹配率x，然后丢弃具有最低质量得分的x%的样本，将导致误不匹配率为零。对于一个好的质量评估算法，误不匹配率宜随着小部分的丢弃而迅速下降。能够从两个或多个样本中计算比对得分。基于多个样本的比对得分计算误不匹配与丢弃特性不在本文件的范围内。图5给出了两个识别阈值的误不匹配与丢弃特性的示例，这两个阈值分别对应0.1%和0.01%的误匹配率，这是由NFIQ2[6]、开源指纹细节点比对软件[7]、[8]与指纹数据库计算的质量得分，其中，指纹数据库的样本由光学指纹采集设备采集[9]。图5在对应于0.1%和0.01%的初始FMR的两个不同识别阈值下，误不匹配与丢弃特性示例11.3误匹配与丢弃方法在某些应用中误匹配是常见的和重要的，或者当特定的识别算法在低质量样本上导致不配对的高相似度得分时，评价质量评估算法是否能预测哪些样本将导致错误匹配是有价值的。此外，为了检验丢弃低质量样本对性能的全面影响，宜同时考虑误不匹配与丢弃特性的关系以及误匹配与丢弃特性的关系。类似于上面的误不匹配与丢弃方法，误匹配与丢弃方法的目的是表明如何有效地丢弃具有低质量得分的样本，从而改进(即降低)误匹配率。假设一个应用，其中来自不同数据主体i和j的具有质量得分qi和qj的一对生物特征样本，经比对后产生相似度得分sij。由于质量得分预计会随着质量的提高而提高，因此引入质量阈值u来定义可接受的质量水平，并定义低质量记录的集合D(u)，如公式（5）所示：GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023DU={ij:Fqi,qj<U},i≠j…………………（5）其中，使用Fqi,qj=minqi,qj来合并质量值，因为较低质量的样本会导致较低的比对得分，或者，如果在评估或操作中已有意将参考样本qi设置为具有高质量的样本，则简单地使用Fqi,qj=qj。然后，对于不在集合D(u)中的样本对，将误匹配率计算为不配对的相似度得分(例如，不同数据主体的人脸图像的比对)超过某个识别阈值t的分数（即误匹配数量占全部不配对的比对数量的比例）。识别阈值t是固定的，而质量阈值u在特定于算法的质量得分域中变化，以显示所选识别阈值下误匹配率对质量阈值的依赖关系。相关示例脚本，参见附录D。误匹配率的值作为识别阈值t的质量阈值u的函数能用图形表示。图6给出了两个识别阈值的误匹配与丢弃特性的示例，这两个阈值分别对应0.1%和0.01%的误匹配率，这是由NFIQ2[6]、开源手指纹细节点比对软件[7]、[8]与指纹数据库计算的质量得分，其中指纹数据库的样本由光学指纹传感器采集[9。]图6在对应于0.1%和0.01%的初始FMR的两个不同识别阈值下，误匹配与丢弃特性示例11.4DET与丢弃方法用于比较评估生物特征样本质量评估算法的第三个度量项是DET与丢弃图。这种方法适用于任何类型的参考(样本、模板、模型)。目的是表明如何有效地丢弃具有低质量得分样本，从而改进DET图。这种方法的优点是同时考虑了误不匹配和误匹配，并且它不需要临界识别阈值，因为包含了所有可能的阈值。假设一个应用，将来自相同或不同生物特征数据主体i和j的具有质量得分qi样本与具有质量得分rj参考样本进行比对，以产生相似度得分sij，其中N对样本来自相同的数据主体，M对样本来自不同的数据主体。能够根据这些得分创建两个直方图，即sij的配对的直方图，其中i=j，和sij的不配对的直方图，i≠j。这些能为所有sij<t创建两个累积分布函数，即MatedCDF（t）和NonMatedCDF（t每个直方图都有一条累积曲线。当t在依赖于比对算法的整个分数值范围内增加时，能够通过绘制误不匹配率（FNMR）=1-MatedCDF(t)与误匹配率（FMR）=NonMatedCDF(t)的值来创建DET。引入质量阈值u来GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023定义可接受的质量水平，并定义低质量记录的集合D(u)，如公式（6）所示：Du={qi<uORrj<u}…………………（6）如果质量评估不适用于参考样本（即不计算rj），则Du={qi<u}。对于若干质量阈值u，丢弃集合D(u)中的样本比对，并计算一组DET曲线。对于好的质量评估算法，随着质量阈值u的增加，误不匹配率宜在广泛的误匹配率值范围内降低。11.5样本接受率或丢弃率本节定义了两个相关度量项，用于评价质量评估算法的性能，这些算法用于决定是否保留生物特征样本以供进一步处理。第一个度量项是错误率，表示当生物特征样本由下游比对子系统做出正确匹配决策时被错误丢弃的生物特征样本的比例。错误的样本丢弃率(RISD)由质量得分向量q、配对的比对得分向量s、识别阈值t和质量阈值u组成的一组测试输出来评估的，如公式(7)所示:RISDqi−uSi−t……………式中：N——向量中的样本数；H(x)——当x<0时，阶跃函数等于0，当x≥0时,阶跃函数等于1。公式（7）给出了质量得分低于质量阈值u但比对得分高于识别阈值的样本比例。第二个度量项也是错误率，表示当生物特征样本最终导致比对子系统的误不匹配时被错误保留的生物特征样本的比例。该错误率被称为错误的样本接受率RISA，相关计算如公式（8）所示：RISAu=ΣHqi−u1−HSi−t))……………（8）公式（8）给出了具有高质量得分但最终无法识别的样本比例。GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023（资料性）生物特征质量记录编码示例A.1ASN.1示例遵循ISO/IEC39794-1中定义的抽象语法的ASN.1值表示法的示例如下：qualityBlocks{{algorithmIdBlock{organization257,scoreOrErrorscore:50}}A.2XML示例遵循ISO/IEC39794-4中定义的XSD的XML示例如下：<fir:qualityBlocks><cmn:qualityBlock><cmn:algorithmIdBlock><cmn:organization>257</cmn:organization><cmn:id>56</cmn:id></cmn:algorithmIdBlock><cmn:scoreOrError><cmn:score>50</cmn:score></cmn:scoreOrError></cmn:qualityBlock></fir:qualityBlocks>A.3二进制示例ISO/IEC39794-4中定义的指纹图像质量数据块的已标记二进制编码的质量块的十六进制转储如A00780020101A103GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023（资料性）质量评估算法结果的规范化交换示例B.1概述如第8章中所述，质量评估算法供应商宜能够向生物特征识别行业提供质量度量，包括原始质量得分和原生质量度量（不一定是0到100范围内的整数）。特别是公共数据集生成的质量得分交换将有助于提供技术见解，并允许质量得分的使用者检查和理解质量得分与样本的内在信息内容之间的关系。本附录提供以XML格式交换此类信息的示例。B.2质量交换文档示例本节提供了一个XML编码示例，该示例中id=123的供应商“SampleVendor”在测试集“FERET-grayscale”和“FERET-color”上进行测试，并发布了id=456的算法“SampleAlgo_v10”的测试结果。该示例的XML文档可从/iso-iec/29794/-1/ed-3获得。<?xmlversion="1.0"encoding="UTF-8"?><iso:isoVendorQualityReportxmlns:iso="/iso-iec/29794/-1"qualityVendorId="123"qualityAlgorithmId="456"qualityAlgorithmMinValue="0.0"qualityAlgorithmMaxValue="100.0"><iso:testSets><iso:testSetname="FERET-grayscale"location="/humanid/feret/feret_master.html"><iso:samplename="ID-00001fa010_930831"qualityValue="73.64"/><iso:samplename="ID-00002fa010_930831"qualityValue="48.91"/></iso:testSet><iso:testSetname="FERET-color"ocation="/humanid/colorferet/home.html"><iso:samplename="ID-00002_931230_fa"qualityValue="51.26"/><iso:samplename="ID-00002_931230_fb"qualityValue="82.17"/></iso:testSet></iso:testSets></iso:isoVendorQualityReport>B.3XML质量交换文档示例的信息模式GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023该XSD可在/iso-iec/29794/-1/ed-3获得。<!--Permissionisherebygranted,freeofchargeinperpetuity,toanypersonobtainingacopyoftheSchema,touse,copy,modify,mergeanddistributefreeofcharge,copiesoftheSchemaforthepurposesofdeveloping,implementing,installingandusingsoftwarebasedontheSchema,andtopermitpersonstowhomtheSchemaisfurnishedtodoso,subjecttothefollowingconditions:THESCHEMAISPROVIDED"ASIS",WITHOUTWARRANTYOFANYKIND,EXPRESSORIMPLIED,INCLUDINGBUTNOTLIMITEDTOTHEWARRANTIESOFMERCHANTABILITY,FITNESSFORAPARTICULARPURPOSEANDNONINFRINGEMENT.INNOEVENTSHALLTHEAUTHORSORCOPYRIGHTHOLDERSBELIABLEFORANYCLAIM,DAMAGESOROTHERLIABILITY,WHETHERINANACTIONOFCONTRACT,TORTOROTHERWISE,ARISINGFROM,OUTOFORINCONNECTIONWITHTHESCHEMAORTHEUSEOROTHERDEALINGSINTHESCHEMA.Inaddition,anymodifiedcopyoftheSchemashallincludethefollowingnotice:THISSCHEMAHASBEENMODIFIEDFROMTHESCHEMADEFINEDINISO/IEC29794-1,ANDSHOULDNOTBEINTERPRETEDASCOMPLYINGWITHTHATSTANDARD--><xs:schemaxmlns:xs="/2001/XMLSchema"xmlns:vc="/2007/XMLSchema-versioning"xmlns="/iso-iec/29794/-1"vc:minVersion="1.0"targetNamespace="/iso-iec/29794/-1"elementFormDefault="qualified"attributeFormDefault="unqualified"><xs:annotation><xs:documentationxml:lang="en">ISO-IEC29794-1Edition1VendorQualityReport</xs:documentation></xs:annotation><xs:elementname="isoVendorQualityReport"type="isoVendorQualityReportType"/><xs:complexTypename="isoVendorQualityReportType"><xs:sequenceminOccurs="0"><xs:elementname="testSets"type="testSetsType"/></xs:sequence><xs:attributename="qualityVendorId"type="xs:int"use="required"/><xs:attributename="qualityAlgorithmId"type="xs:int"use="required"/><xs:attributename="qualityAlgorithmMinValue"type="xs:float"use="required"/><xs:attributename="qualityAlgorithmMaxValue"type="xs:float"use="required"/></xs:complexType><xs:complexTypename="testSetsType"><xs:sequencemaxOccurs="unbounded">GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023<xs:elementname="testSet"type="testSetType"/></xs:sequence></xs:complexType><xs:complexTypename="testSetType"><xs:sequenceminOccurs="0"maxOccurs="unbounded"><xs:elementname="sample"type="sampleType"/></xs:sequence><xs:attributename="name"type="xs:ID"use="required"/><xs:attributename="location"type="xs:anyURI"use="required"/></xs:complexType><xs:complexTypename="sampleType"><xs:attributename="name"type="xs:ID"use="required"/><xs:attributename="qualityValue"type="xs:float"use="required"/></xs:complexType></xs:schema>GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023（资料性）基于效用的质量得分在样本为基础的系统中的聚合过程本附录对在样本集上适当进行基于效用的质量得分的聚合过程给出了建议，如整个企业范围的汇总。其结果是一个有助于质量监测汇总值。质量汇总通常在使用情况类似的样本中进行，例如，企业的所有注册样本的质量汇总，或者企业的所有验证样本的质量汇总。在用户与生物特征识别系统频繁交互的操作中（如考勤应用），可以基于每个用户进行质量得分的汇总。这将揭示是否存在持续产生低质量样本的个体。C.2方法假设企业收集生物特征样本，并使用质量评估算法度量每个样本的质量。质量得分与配对的相似度得分呈单调关系，即质量得分越高，相似度得分越高。在这种情况下，质量得分被量化为L级，这样（在不失一般性的前提下）q=0...L，其中q=0和q=L分别表示最低和最高的质量得分。如果在运行情况下，在给定时间间隔内收集的生物特征样本数量为n，并且由nq个质量为q的生物特征样本组成，则可以计算所有n个样本的平均质量。然而，算数平均值并不是汇总质量得分的首选方法，因为所有样本无论其质量得分如何，都被赋予相同的权重。如果质量为q的生物特征样本t的预期效用是uq=Uq，则质量的更好汇总表述如公式（C.1）所示：………如果效用uq(t)实际上是对生物特征验证系统在阈值t运行时质量为q的样本的误匹配或误不匹配错误率的估算，其错误是可以估算的，则q-(t)将是对预期错误率的估算。接下来，将引入不同等级质量评估算法的效用uq(t)计算过程，从而使汇总的质量得分成为预期错误率的估算值。假设一个同时使用探针样本和参考样本的生物特征验证系统，该系统的语料库包含来自N个主体的N对生物特征样本。第一个样本代表参考样本，第二个样本代表探针样本。每对样本都有整型的质量qj1和qj2)，其中j=1,…,N。对这些样本运用V个比对算法，得到以下结果：——N个配对的相似度得分Sjjv；——最多N(N-1)个不配对的相似度得分sj（j≠k）。其中，v=1,…,V，且V≥1。a）对于每种比对算法v和从0到L的每个可能质量得分i，根据公式(C.2)计算FNMRvτv,i。FNMRvτv,i是指在决策得分阈值τv处的误不匹配率，对应于使用比对算法v的配对得分、质量为i的探针样本与质量优于或等于i的参考样本的特定预期系统误不匹配率或误匹配率（质量因数或fom，f）。质量得分越高表明质量越好。for(v=1,…,V)for(i=0,…,L)endend从而得到以下数组：GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023FNMR1(τ1,1)FNMR2(τ2,1)…FNMRV(τV,1)FNMR1(τ1,L)FNMR2(τ2,L)…FNMRV(τV,L)FNMRFNMR1(τ1,L)FNMR2(τ2,L)…FNMRV(τV,L)V=1相当于使用单一比对算法。如果V>1，则针对每种比对算法计算相似度得分和FNMR。b）按照公式（C.3）计算权重ui：…………因此，整个企业的聚合质量如公式（C.4）所示：pi……其中pi是质量为qi的样本分数。计算出的Q值不会在使用者熟悉的范围内。如果所有样本都是最佳质量（即,q=L结果将是Q=uL。同理，最坏的情况是企业中的所有样本的质量都是q=0，即Q=u0。因此，这种表述会使质量汇总的范围为[u0，uL]。公式（C.4）适合作为基于多种算法总体FNMR的样本集合的一般质量因数。不过，建议将[u0，uL]转换到推荐范围[0，100]，即0为最低质量，100为最佳质量。这能通过以下任一方法实现：1)如公式（C.5）所述，将质量汇总数Q（即，预期错误率）与原生质量范围关联起来：=U−1=U−10uipi………其中，U−1是参数对i,ui的函数逼近（例如，分段线性插值）。2)将[u0，uL]映射（例如，线性映射）到[0,100]。因此，映射到[0,100]的质量汇总由公式（C.6）给出：=100Σ…………………公式（C.3）中的权重是对在某固定阈值上计算的观察到的误不匹配率的估算值。这些权重在特定阈值上最准确，而对于其它阈值下运行的生物特征识别系统则不准确。在验证应用中，当操作阈值固定为τ时，质量评估算法的使用者能够根据列出的步骤确立其权重。注：公式（C.3）中的权重是共识估算值。这意味着它们是使用一组比对算法中观察到的误不匹配率估算出来的。因此，这些权重未必是任何一种算法或一组指定算法的权重。公式（C.3）中的权重，除GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023（资料性）计算效用预测性能指标的示例代码用于计算错误与丢弃特性的Python脚本可从/iso-iec/29794/-1/ed-3上获取。已测试的CPython最低版本为3.5.6，numpy版本为1.7.0。importnumpyasnpdefcompute_edc(pair_comparison_scores,pair_quality_scores,comparison_threshold,comparison_function):Thisdocstringiswritteninthenumpydocstyle.Parameterspaircomparisonscores:arraylikeThepairwisebiometriccomparisonscores(floating-pointorinteger).Thisdoesnotneedtobesorted,butthecomparisonscoresneedtocorrespondtothe`pair_quality_scores`,sothat`zip(pair_comparison_scores,pair_quality_scores)`representsthepairwisecomparison&qualityscores.pairqualityscores:arraylikeThepairwisebiometricqualityscores(floating-pointorinteger).Itisassumedthathigherqualityscoresmeanbetterquality,sothatcomparisonswithlowerqualityscoresarediscardedfirst.Pairwisequalityscorescanbederivedastheminimumofthepairs'correspondingsamplequalityparisonthreshold:floatorintThe`pair_quality_scores`arecomparedagainstthis`comparison_threshold`viathe`comparison_function`todeterminewhichofthecomparisonsrepresentan"error"inthecomputedEDC.comparisonfunction:np.ufuncChoosingthisfunctiondependsonwhetherhigherorlowercomparisonscoresmeanhighersimilarity,anditdependsonwhetherafalsenon-matcherrorvsdiscardcharacteristicorafalsematcherrorvsdiscardcharacteristicistobecomputed.The`pair_comparison_scores`aretheleft-handsideofthecomparison,GB/T33767.1—20XX/ISO/IECFDIS29794-1:2023`comparison_threshold`istheright-handside.E.g.ifhighercomparisonscoresmeanhighersimilarity,errorvsdiscardcharacteristic,and`np.greater_equal`canbeusedtocomputethefalseerrorvsdiscardcharacteristic.Returns-------tuple[np.ndarray,np.ndarray]The`discard_fractions`andthecorresponding`error_fractions`ofthecomputedEDCarereturned.ForEDCplots,the`discard_fractions`aretypicallyplottedonthex-axis,`error_fractions`onthe"""#Createanumpyarrayandsortitbyquality:scores=np.array(list(zip(pair_comparison_scores,pair_quality_scores)),dtype=[("comparison","f8"),("quality","f8")],)scores.sort(order="quality")#RuntheEDCcomputations:#Thearrayindicescorrespondtothediscardcounts,so0comparisonsarediscardedatindex0.comparison_count=len(scores)#Computethe(binary)per-comparisonerrorsbycomparingthecomparisonscoresagainstthecomparisonthreshold:error_counts=np.zeros(comparison_count,dtype=np.uint32)comparison_function(scores["comparison"],comparison_threshold,out=error_counts)#Thencomputethecumulativeerror_countssum:#Thetotalerrorcountwillbeatindex0,whichcorrespondsto0discardedcomparisons(orsamples).#Conversely,atindexcomparison_count-1onlyonecomparisonisn'tdiscardedandtheerrorcountremains0or1.error_counts=np.flipud(np.cumsum(np.flipud(error_counts),out=error_counts))#UsuallytheEDCshouldmodeltheeffectofdiscardingsamples(insteadofindividualcomparisons)basedonGB/T33767.1—20XX/ISO/IECFDIS29794