人像一比一比对测试方案.docx

人像一比一比对测试方案 2015年5月目录1人像1:1比对测试介绍31.1测试目的31.2测试重点31.3测试内容41.4测试指标42测试数据和环境准备52.1测试数据准备52.1.1查询照准备52.1.2登记照准备62.2测试硬件形式62.3测试网络环境63测试过程及说明73.1测试流程方法说明73.1.1静态人像比对测试方法73.2参测单位输入输出73.2.1测试输入73.2.2测试输出83.3测试结果84测试计划与安排105系统安全与数据安全101 人像1:1比对测试介绍1.1 测试目的人脸识别技术是基于人的面部特征信息进行身份识别的一种生物识别技术，通过先进、成熟的人脸识别技术可以全面的提升互联网线上远程开户等业务的拓展和服务能力提升，并通过柜台开户优化、VIP身份识别等功能优化线下业务。人脸识别技术的应用顺应了当前互联网金融趋势，全面推进业务创新拓展。人脸识别技术在近两年飞速发展，计算机识别能力已超过人眼平均水平。同时，人民银行近期下发远程开户意见征求稿，微众、网商等互联网银行已对人脸识别技术探索应用。人脸识别技术在金融行业的使用正在迅速扩散。人脸识别技术在金融领域应用的核心在于取得判断申请人当前人像照与申请人对应的个人证件照是否为“同一人”。无论业务场景如何变化，归其根本还是两张静态图片的1：1比对。因此在金融领域人脸识别技术的测试中，将静态人像1：1比对的结果做为衡量人像识别产品性能的根本指标。人像1：1比对测试使得在自己的业务场景下，更好地了解行业技术的成熟度，比较各厂商识别能力。1.2 测试重点根据业务场景，验证人像识别技术在具体业务上提供服务的能力。主要包括： 金融领域需要人脸识别技术较低误报率。人脸识别技术测试最常用的两个指标是“误报率”和“通过率”，所谓“误报率”是指：不同人照片比对判断错误的比例（换句话说：将不同人的两张照片识别为同一个人），“通过率”是指：相同人照片比对判断正确地比例（换句话说：将同一个人两张照片识别为同一人的比例）。对于金融领域而言，比较两者，误报率尤为重要，因为：金融领域往往都是资金流动交易，若“误报率”较高，则更容易将伪冒者识别通过非本人的账户身份，一旦发生资金操作，会带来极大风险和隐患，故，银行人像识别需求应希望较低的“误报率”。 测试数据量的大小，决定测试结果的参考性。测试场景和数据越接近真实业务场景，测试结果对于实际应用的参考越大。测试数据量越大，越能够体现识别系统真实性能，考虑到现场测试环境，一般建议最好测试比对次数在百万量级以上，以符合真实环境业务需求。1.3 测试内容基于申请人当前拍摄照片（查询照）与申请人提供信息（如姓名和身份证号码）对应的登记照片进行静态人像比对，从而判断是否同一人。登记照片指证件照片或者证件水印照片。1.4 测试指标1. 误报率：不同人的查询照和登记照判断为同一人照片的比例；误报率=将不同人的查询照和登记照判断为同一人照片的次数/总比对次数。2. 通过率：同一人的查询照和登记照判断为同一人的比例；通过率=将同一人的查询照和登记照判断为同一人的次数/数据集中查询照和登记照为同一人照片的总次数3. 万分之一误报率下，通过率：在每10000次比对误报1次的前提下，对相同人照片判断正确的比例4. 十万分之一误报率下，通过率：在每100000比次对误报1次的前提下，对相同人照片判断正确的比例2 测试数据和环境准备2.1 测试数据准备根据金融领域应用场景和测试结果的可参考性，应准备超过1000人的查询照和登记照各一张。2.1.1 查询照准备准备超过1000人的生活照，照片质量建议： 光照均匀，明亮，无反光或阴影；光源需是自然光或者室内明亮白光 自然无化妆 人像端正，无明显的抬头、低头、侧脸 人像清晰较清晰，人脸的双眼皮、皱纹等明显细节特征 人像大小在150x150或以上 （截取脸部头像后）图像大小一般在5KB(JPG图像)以上 神态自然，可微笑（但不露齿），无大笑、皱眉等明显表情 五官可见，眉毛、眼睛基本不被刘海、眼镜等遮挡 拍摄距离在2米以上，无拍摄距离过近导致的明显失真参考样例2.1.2 登记照准备准备超过1000人的身份证件照,是。如无法直接提供身份证件照，可提供每个人的真实姓名、身份证号码，通过公安身份平台（或接口方式）获取对应地证件照片（可能含有水印）。或者使用身份证翻拍照，身份证翻拍照的照片质量建议见附件。2.2 测试硬件形式测试可通过一下任何一种方式进行：1. 测试硬件：建议配置高于CPU一颗i7-3770，内存大于等于8G，硬盘大于等于200G。2. 由参与测试厂商自行携带服务器设备。3. 通过云服务进行测试。2.3 测试网络环境参与测试厂商自行提供本次人脸识别测试的系统平台，测试期间如需要通过网络获取公安证件照，提供内网/外网，或自行准备3/4G 无线网络。3 测试过程及说明3.1 测试流程方法说明3.1.1 静态人像比对测试方法a) 测试数据输入，由参测单位启动测试，将 A、B 两个文件夹导入识别系统中，（A 文件夹存有所有查询照）（ B 文件夹存有所有登记照），命名规则分别为：A 文件夹 A1.jpg-An.jpg，B 文件夹 B1.jpg-Bn.jpg。b) 各参测单位分别在各自识别系统中比对 A文件夹中每一张照片和B文件夹中每一张照片。生成比对结果，包括每次比对的相似度和用时。根据标准格式输出csv文本文件。3.2 参测单位输入输出3.2.1 测试输入n A、B两组照片文件夹，A 文件夹内是生活照、B 文件夹中是登记照；3.2.2 测试输出n A-B.csv 文本文件（格式：图片 A、图片 B、是否本人、比对分值、耗时长ms）3.3 测试结果a)根据各参测单位提交结果分别整理，归纳分成两张表，“测试照片通过表”和“测试照片不通过表”，根据相似度数值降序排列（从高到低）。如下图所示：说明：根据参测单位照片依次比对相似度取值结果，填入“测试照片通过表”中的“相似度取值”列中。a) 通过率计算：首先，通过上面的测试结果我们可以得出几个参数值： A和B比对通过的人数量是 N ； A和B比对不通过的人数量是 A*B N ； 不通过的数据中， D 为序列号，E为相似度值，在同一行 ； 通过的数据中，F的取值为相似度值 E的总次数；b) 误报率在万分之一下，通过率的计算公式：步骤一： 总测试比对次数/ 10000 得出万分之一误报率下，不通过数据表中序列号，与之对应的相似度值 E ,如果测试数据是1000对照片，则D=1000*1000/10000=100（D 取整数，小数向前进一位），找到其对应的E值，假设E=78步骤二： 根据“不通过表”相似度 E 找到“通过表”中对应的序列号F。假设F=923得出：万分之一误报率下，通过率=F/N；例子中的通过率为92.3%。c) 误报率在 十万分之一下，通过率的计算公式：与上面类似，D=(A*B)/100000得出：十万分之一误报率下，通过率=F/N；4 测试计划与安排测试时间为： 月 日 时。各参测厂商携带程序和可能需要的硬件设备按时到达测试现场。5 系统安全与数据安全为了确保系统和数据的安全，将采取以下几个措施：1、与参加测试单位之间签订保密协议，明确此次测试数据只能用于该项目。2、完成测试后，测试单位对系统内所存储的个人敏感及人像数据彻底清除。翻拍身份证照参考标准不符合要求