人脸识别(私有化)v1.0产品白皮书03

人脸识别私有化产品白皮书目录TOC\o"1-5"\h\z一、产品背景 3一、产品概述 3二、产品特点 3三、产品架构 4关键技术 4技术流程 5产品架构 6推荐机器配置 6四、产品详细介绍 7人脸检测 71:1人脸比对 71：N人脸检索 8人脸属性 10人脸特征 11活体检测类产品及配套SDK 12（1）动作活体 13（2）数字活体 14（3）反光活体 14（4）静默活体 15静态防翻拍 16五、产品优势 17六、产品适用场景 18七、客户价值 19八、典型案例 20产品背景近年来，人工智能在得益于深度神经网络技术的突破下又一次得到爆发式的发展。其中计算机视觉尤其突出，特别是人脸识别技术，在经历了几十年的发展后，在精度上首次超越了肉眼识别的能力。人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别的技术主要包括检测，配准，属性分析，特征提取，比对，活体检测这几大类。人脸识别技术率先在多个行业以及场景下得到落地，使得一些企业和用户大幅度降本增效，提高了业务效率和安全性。例如：在安防行业，应特定的场景需求，孕育了一批基于视频图像的人脸识别技术和产品；在金融行业，人脸识别技术也在为提高金融体系的安全性起到了前所未有的作用；本白皮书主要介绍了腾讯云人脸识别私有化产品，该产品主要基于腾讯优图实验室的算法模型来进行打磨和产品化。产品概述腾讯云人脸识别私有化产品种类繁多，以提供人脸识别的基础能力为主。大致能分为四类。第一类为人脸比对检索产品，包括1:1人脸比对和1：N人脸检索产品；第二类为活体检测产品，包含数字活体检测、动作活体检测、反光活体检测、静默活体检测这几种产品；第三类为人脸识别辅助产品，包含人脸属性提取、人脸特征提取、静态防翻拍等产品，他们更多的是要和其他产品进行搭配使用；前三类产品都是基于后端服务，在服务器端进行部署的产品，其技术形态上类似于一种微服务，并向外提供API能力。最后一类是基于前述三类能力封装的离线SDK产品，他们主要是配套各类活体检测产品的终端SDK，目前支持Android和IOS操作系统。产品特点安全性本产品是私有化部署产品，即产品和服务都部署在客户自建的机房或托管的机房内，所有的数据、网络、服务都非常可控。确保了一定的安全性。先进性人脸识别私有化产品主要是基于腾讯优图实验室的算法模型来进行产品化。优图的人脸识别算法目前在行业内属于领先地位，自2014年以来多次获得国际大奖，以及顶级学术论文发表。例如，2014年优图人脸检测刷新FDDB世界纪录；2017年在国际LFW无限制条件下人脸验证测试中刷新世界纪录；同年，在MegaFace中在100万级别人脸识别测试中刷新世界纪录；2018年优图提出的DSFD人脸检测算法，在两个权威的人脸检测数据局WIDERFACE和FDDB上，军取得世界第一。易用性人脸识别私有化产品，以提供人脸识别基础能力为主。产品在部署安装上，以微服务的技术形态来进行实现。在物理机或虚拟机上都可以直接部署，进行简单的配置之后，变能够成功完成产品的交付。产品以提供完备的API接口来提供能力和服务。产品的配套接口文档、开发指引都能够直观、便捷地帮助用户上手。在多个已交付项目中，用户都能比较简单地快速将这些基础产品能力融合到他们的业务流程系统中去。灵活性人脸识别私有化产品由于已经是最小算法产品颗粒度(或者称之为原子引擎颗粒度)，因此他们相互之间还可以灵活搭配、编排和组合来满足不同的用户场景需求。例如在金融行业的用户开户场景下，可以由活体检测+1:1人脸比对两个产品来配套形成一个解决方案；在某些场景下，也可以通过活体检测+1：N人脸检索来达到确认用户身份的作用，满足类似贵宾厅VIP识别等场景的需要。另外，在部署方式上。人脸识别私有化产品也比较灵活，可以直接部署在用户的服务器上，也可以以容器化方式通过腾讯云智天枢平台来进行部署。三、 产品架构(一) 关键技术1、人像采集技术在出入口控制、视频监控等安防领域中，人脸识别的环境是复杂多样的，各种光照条件会直接影响人脸图像的采集效果。因此有效的ISP图像采集技术是保证人脸识别效果的必要前提。安防芯片、图像传感器、镜头等硬件的技术发展，逐步实现了在各种逆光、低照、动态范围较大等场景下，都能较好地获取清晰的人脸画面，在人脸识别私有化产品中，硬件往往是与软件、算法能力配合的重要能力之一。2、基于深度学习的人脸识别算法传统的人脸识别技术，由于场景适应性较差，无法满足实际应用的要求，因此当时的人脸识别大都是在特定场合下使用，无法普及开来。随着深度学习的成熟和普及，将深度学习应用到人脸识别成为一个主流的技术趋势。基于深度学习强大的泛化能力和鲁棒性，人脸识别终于可以在更加广泛的应用领域中施展身手。基于深度学习的人脸识别算法，配合海量的不同场景的人脸图像库训练模型，逐步实现了人脸识别应用在实际生活中。3、活体检测技术为了保证人脸识别的有效性，防止各种恶意攻击，在人脸识别产品中实现有效的活体检测技术是一个重要的前提条件。当前业界的活体检测技术方案很多，主流技术方案有配合式的活体检测、非配合式的红外活体检测、基于深度信息的活体检测等，每种方法都有其优劣势。在实际应用中一般是根据活体检测严格程度，选择一种或多种技术方案组合起来，实现有效的活体检测功能。腾讯云活体检测主要应用在配合式的活体检测，提供读数、反光、静默、读数等检测方式。（二）技术流程传统典型的人脸识别流程主要包含人脸预处理、特征提取、特征变换和相似度计算等几个步骤。在这些步骤中，人工设计的特征提取方式和特征变换方式往往是决定算法优劣的关键所在。人们通常会定义并尝试一种、或者组合多种不同的特征提取方法，然后使用一些无监督或有监督的方式来对特征做不同的变换。传统人脸识别算法流出由于传统的人脸识别需要精细定义特征和特征变换，所以强烈依赖于研发人员的人工经验。而深度学习则极大简化了这一步骤，我们人脸识别产品中主要应用深度学习人脸识别算法流程。深度学习人脸识别电法流程产品架构产品本身是原子化引擎，可直接部署在服务器上，以微服务的形式通过API接口来提供服务。上层的应用、与业务系统的集成、包括类似API网关、负载均衡等都由客户自行开发，灵活处置。具体见下图：推荐机器配置私有云性能依赖机器的具体配置，建议使用CPU配置好的物理机，配置最好不低于Intel(R)Xeon(R)CPUE5-2670v3低于GHz以上配置，单核配3g以上内存，300g以上硬盘，操作系统Centos7.2。因此最低配置要求如下：硬件配置|配置参数 配置数量 备注

CPUIntel(R)Xeon(R)CPUE5-2670v3@2.6GHz,12核2硬盘三星850PRO256GB2.5寸SSD1或300GSAS内存三星16GBDDR4-2133ECC-R8单核配3g以上内存操作系统Centos7.2四、产品详细介绍（一）人脸检测“人脸检测（FaceDetection）”是检测出图像中人脸所在位置的一项技术。人脸检测算法的输入是一张图片，输出是人脸框坐标序列（0个人脸框或1个人脸框或多个人脸框）。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也有一些人脸检测技术输出的是正朝上的矩形，或者是带旋转方向的矩形。常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。开发过程中，我们可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、或“人脸数量上限”的方式来加速算法。（二）1:1人脸比对腾讯云人脸识别技术基于优图实验室世界领先的深度学习能力以及腾讯亿级的人脸数据集和多平台的人脸识别实践经验，以99.80%的准确率在LFW数据库刷新了2017人脸识别最新世界纪录，同时在国际权威海量人脸识别数据库MegaFace中，以83.290%的最新成绩在100万级别人脸识别测试中拔得头筹，技术业界领先。当前可支持用户自拍与高清证件照（公安照或身份证自拍照或身份证芯片照），自拍与网纹证件照片间的比对。对于自拍这手持身份证等模式，可支持通过最大脸模式和身份证OCR来取得一张照片上的不同人脸。同时，算法对年龄、姿态、光照、侧脸均具有很强的抗干扰能力。＞产品功能通过对两张照片进行人脸检测、特征提取和人脸比对，设定相似度阈值，根据相似程度判断两张照片是否为同一个人。》输入输出输入两张照片，返回相似度分数值。或者输入两张照片和相似度阈值，返回是否为同一人的判断结果。＞典型场景（1）人证核验在一些业务办理的窗口，近年来陆续都开始需要进行人证核验。一般会要求用户在读卡器上刷一下身份证，通过身份证信息能获取到一张用户的身份证证件照片。同时会要求用户对准摄像头，窗口工作人员会利用摄像头采集一张用户的照片。通过1:1人脸比对，来判断该证件是否属于该名用户，那么也就确认了用户的真实身份了。＞产品优势人脸比对技术算法先进，准确率高，在各业务场景的技术指标：误通过率（FAR）自拍高清通过率自拍-网纹通过率0.1%99%99%0.01%99%99%（三）1：N人脸检索腾讯云人脸识别1：N模块基于优图自研深度学习和集群计算的人脸检索引擎，以一张包含人脸的照片作为检索目标，可在亿级人脸库中进行检索，准实时返回检索结果，并进行有效排序，高准确率排查人脸信息。目前人脸识别1:N模块产品为用户提供检测、提特、入库、检索等一些列服务接口以实现静态图片比

对能力；产品主要由两个模块组成（1）离线人脸提特征服务（2）静态图片人脸检索服务。离线人脸提特征服务主要用于大批量建库提特征，如首次建库时的提特征操作。静态图片人脸检索服务主要负责人脸库的管理及静态检索等功能。典型人脸识别1：N的架构如下图所示:Web前端人脸检测、配准待征提取Web前端及网站后台主要负责展示上传图片功能，上传的图片进行识别后，人脸识别集群Web前端人脸检测、配准待征提取Web前端及网站后台主要负责展示上传图片功能，上传的图片进行识别后，人脸识别集群显示识别的结果。同时通过Web前端可以对人脸库进行相应的管理工作，比如人脸库入库操作、删除库操作等。人脸识别服务器集群，主要通过服务器集群，针对大规模（超1000万规模）人脸库进行快速、准实时的人脸识别服务。通过聚合Server实现高并发的请求转发，通过识别Server实现人脸识别服务。数据库与缓存为快速识别提供支持。离线服务主要完成大规模人脸库入库操作，入库图片先进行人脸检测、配准等操作，然后提取特征，完成后将人脸库特征同步至服务器集群，为识别及存储做准备。同时通过Web前端可以完成人脸库增量入库功能。＞产品功能通过预先建立的有身份人员照片作为底库（量级为N），输入待查询人员照片进行1:N检索，按照相似度进行倒序排列，返回与待查询人员相似度最高的底库人员照片。用于待核查人员的身份甄别。»输入输出当底库N建库完成后，输入一张查询照以及需要被查询的库名，便可以返回若干张人员照片(按相似度分数从高到低排列)。＞典型场景(1)视频监控截图确认嫌疑人身份某小区居民家中被一男子抢劫，案件发生后，民警调取案发地点附近的监控探头，找到嫌疑人的视频截图，以该照片为线索，确认嫌疑人身份。(2)网络照片确认嫌疑人身份随着移动互联网的快速发展，网络人脸影像越来越多，这些影像信息可以用于人员身份确定。例如利用QQ空间照比中入室盗窃网友财物的犯罪嫌疑人，快速抓获嫌疑人到案。(3)秘拍取证照片确认嫌疑人身份利用手机防盗软件、ATM机摄像头等暗拍照片比中目标人员，为破案提供重要线索。(4)走失老人/儿童身份认定腾讯人脸识别私有化产品在跨年龄识别上有着比较好的表现，例如能对老年人/儿童查询照进行有效比对，通过照片比对查到目标的身份信息，帮助目标回家。＞产品优势(1)高精度在3000万规模的底库中，Top1的命中率为95%以上。可以理解为在城市级的常住人口库中，对一张照片进行身份查询，那么有95%的概率下，第一张返回的照片，即是该照片中人员的真实身份。(2)高性能单机支持亿级人脸库规模检索，并能在1秒内返回检索结果。(四)人脸属性“人脸属性识别(FaceAttribute)”是识别出人脸的性别、年龄、姿态、表情等属性值的一项技术。一般的人脸属性识别算法的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的属性值。人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐（旋转、缩放、扣取等操作后，将人脸调整到预定的大小和形态），然后进行属性分析。常规的人脸属性识别算法识别每一个人脸属性时都是一个独立的过程，即人脸属性识别只是对一类算法的统称，性别识别、年龄估计、姿态估计、表情识别都是相互独立的算法。但最新的一些基于深度学习的人脸属性识别也具有一个算法同时输入（输出）性别、年龄、姿态等属性值的能力。A输入输出输入一张照片和一些人脸属性检测参数，返回图中人脸的位置信息与对应的属性。＞典型场景人脸属性一般用于视频图像的结构化处理，例如对抓拍相机采集的图片进行结构化处理并作为抓拍人脸的附加信息进行保存。通过不同的属性，可以在业务层面进行筛选和过滤，用于快速定位到某一类特定人员，如检索出戴眼镜和口罩的长发老年男子。＞产品优势支持的属性种类比较多，目前包括：性别、年龄、是否有眼镜、是否有口罩，胡子、是否戴帽子、头发长度、是否有刘海、发色、表情、肤色。（五） 人脸特征提取“人脸特征提取（FaceFeatureExtraction）”是将一张人脸图像转化为一串固定长度的数值的过程。这个数值串被称为“人脸特征（FaceFeature）"，具有表征这个人脸特点的能力。人脸提特征过程的输入也是“一张人脸图”和“人脸五官关键点坐标”，

输出是人脸相应的一个数值串（特征）。人脸提特征算法都会根据人脸五官关键点坐标将人脸对齐预定模式，然后计算特征。近几年来，深度学习方法基本统治了人脸提特征算法，这些算法都是固定时长的算法。早前的人脸提特征模型都较大，速度慢，仅使用于后台服务。但最新的一些研究，可以在基本保证算法效果的前提下，将模型大小和运算速度优化到移动端可用的状态。0.84-0.232.581,010.04-1.23》输入输出输入带人脸的图片，返回对应的人脸位置信息和特征/质量分＞典型场景该产品不做单独售卖，作为比对类产品（如1:1和1：N）的一个必要组成部分。＞产品优势适应性强：支持多种复杂场景，如强光、弱光、黑夜等光照不理想的场景，戴有眼镜、帽子、口罩等遮挡物的场景，以及侧脸等头部姿态角度不理想的场景等。准确性高：对于一般生活场景中的人脸，达到99%的准确率和98%的召回率。速度快：在桌面设备、移动设备上均拥有高速性能，并在实际场景中不断优化。（六）活体检测类产品及配套SDK在通过人脸进行身份验证的过程中，通常会受到各式各样的攻击，常见攻击有照片攻击、视频（翻拍或合成）攻击、3D纸片面具攻击等。

常见攻击演示（照片、视频、面具）因此，需要通过构建综合且强大的活体检测能力来防范层出不穷的攻击，腾讯云可根据不同场景提供种类丰富且能力极强的不同活体能力。其中，根据不同场景可分为：•线上远程手机端场景：随机数字活体、动作活体、光线活体、静默活体等。活体防范效果演示图＞产品功能活体检测种类多样，有动作活体、数字活体、反光活体以及静默活体。在试用过程中，需要前后端（即终端设备和后端服务）进行搭配使用。对照片、视频、面具、人头模型、屏幕翻拍、3D动画等各种类型的攻击都能进行有效识别。在错误率0.1%的情况下，通过率超过95%。（1）动作活体动作活体产品包括了动作活体和静默活体（即不做动作），该活体检测方式依靠前端设备上的动作活体SDK进行视频流采集。在视频流采集过程中，基于SDK开发的APP会要求用户根据指令做一系列动作（如点头、眨眼、张嘴等）。视频流采集过后，将传输到后端服务上进行活体判断。另外，动作活体本身带有1:1功能，可以上传一张人脸照片，产品能将该照片与视频中的人做比对甄别是否是同一人。动作活体方案特点：.交互简单：用户仅需通过系统提示进行相应的简单动作，通过率高。.高安全度：可以抵御各类常见攻击。.高适应性：不受语言、噪音等环境影响。.多平台：需要实时捕获动作，一般结合离线SDK,支持Android,IOS等多平台。.网络要求低：可纯移动端离线SDK实时判断（也可端+后台判断）。.终端质量控制：对于APP可提供额外的移动端离线质量控制模块。对应指标：误通过率通过率0.10%99.90%0.01%99.00%数字活体数字活体依靠前端设备上的数字活体SDK进行数据采集，基于SDK封装的APP会要求用户读取4位随机数字，并采集整个过程的视频。当视频传到后端数字活体服务端后，会对语音、唇动图、人脸图进行提取，进行多维度的活体判断。另外，数字活体本身带有1:1功能，可以上传一张人脸照片，产品能将该照片与视频中的人做比对甄别是否是同一人。反光活体光线活体检测技术是腾讯云最新活体专利技术，刷脸更便捷，用户无需任何交互动作，保持刷脸姿态1秒即可，在iphone6s手机本地运算中，总过程变光+活体判断小于2$,是已知的性能最好的远程活体检测技术之一。该技术通过屏幕反射发出不同颜色和强度的随机光信号并同时采集人脸图像，来分析用户人脸的3D成像，并且验证采集的时效性，再与防翻拍进行结合，可很好的分辨人脸皮肤和假体的差异。融合活体技术与密码学策略，将投射光线组合作为验证码，在检测过程中进行自编解码，完成实时的自动校验，在保证更好体验的同时，安全性得到大大提升。另外，反光活体本身带有1:1功能，可以上传一张人脸照片，产品能将该照片与用户做比对甄别是否是同一人。光线活体检测技术特点：无任何交互，且活体能力强，是目前已知最强的活体能力之一。无需结构光等3D硬件，可在任意普通移动设备实现人脸3D判别。高适应性：不受语言、噪音等环境影响。支持多平台，支持纯移动端应用或端+后台请求等多种方式，支持Android/Ios平台。5.网络要求低：可纯移动端离线SDK实时判断（也可端+后台判断）。6.终端质量控制：对于APP可提供额外的移动端离线质量控制模块。对应指标：误通过率通过率0.1%99.9%0.01%99%（4）静默活体静默活体是动作活体的一种特殊情况，即不要求做任何动作的动作活体。详见动作活体。》输入输出静默活体和动作活体都是传视频到后端服务；数字语音是传抽取的语音、唇动图、人脸图到后端服务；＞典型场景（1）银行、证券、保险等金融领域远程开户在进行远程用户身份核实与确认时，通过检测上传视频中客户身份的真实性，保证用户账户的安全性，并节省人力审核成本。（2）网约车平台身份确认利用在线人脸核身服务，能够准确快速的核实司机和乘客身份，约束和减少犯罪事件的发生，保障司乘安全。（3）市政领域身份确认应用于身份证补办、居住证申领、出入境证件申领等业务，需要对用户的身份进行精准的核实。使用远程人脸核身服务，将大大提升市政的办理效率，也大大降低用户的成本。静默活体技术特点：.无任何交互，且活体能力强，适合手机终端等场景。.支持多平台，支持Android/Ios平台。.适用场景广，不受语言、噪音等环境影响。.终端质量控制：对于APP可提供额外的移动端离线质量控制模块。误通过率通过率0.1%99.9%0.01%99%（七） 静态防翻拍＞产品功能静态防翻拍是用于判断人脸图片是否为翻拍图片。》输入输出输入含人脸的图片，返回置信度分数。＞典型场景在无人值守的场景下，可以有效防止某些用户通过翻拍他人照片，去攻击刷

脸认证系统的风险。五、产品优势(1)高精度：国际权威MegaFace竞赛100万规模人脸检索首选识别率世界第一(83.290%)o针对安防场景，采集大量网络图像街拍图像和监控视频图像;融合海量异源数据，进行模型训练。确保技术在真实应用场景下的精准度。(2)人脸质量评估：针对被识别人员非配合的场景，自动判断光线、姿态、角度等因素，选择最优的人脸图片用于检索，提高人脸检索精度。(3)解决人脸变化难点：自研人脸演变模型，即使被识别人随着年龄增长,皮肤、肌肉、骨骼发生明显变化，也能正常识别。(4)突破人脸遮挡难点：自研去遮挡技术，有效减少眼镜、口罩、帽子等遮挡物对人脸识别精度的影响。(5)亿级检索能力：单机支持亿级人脸规模，1s内返回检索结果。(6)高速入库：单机入库速度超过2000/秒，支持集群化平行扩展，并对人脸规模无限制。(7)用户量最多：服务日均调用量达十几亿。(8)算法先进性：研究方法最全：高维LBP、PCA、LDA联合贝叶斯、度量学习、迁移学习、深度神经网络。祖母模型解决极深网络训练瓶颈，实现业界最大千层人脸识别深度学习网络业界领先深度学习训练平台RapidFlow,将技术迭代速度提高5倍产品适用场景产品是原子化引擎颗粒度的基本能力单元，因此具有通用性和普适性。从行业来讲，金融、政务、教育、医疗等行业只要涉及私有化部署人脸识别需求的,都能进行产品支持。从场景来说，身份识别、身份查询、身份甄别都是比较常见的使用场景。如银行的刷脸远程开户、各类APP的刷脸登陆、企业或贵宾室的刷脸身份确认通行、安防领域的嫌疑人身份查询检索、机场火车站的刷脸人证票核验等都是非常普遍的场景。例如：人身核验在一些业务办理的窗口，近年来陆续都开始需要进行人证核验。一般会要求用户在读卡器上刷一下身份证，通过身份证信息能获取到一张用户的身份证证件照片。同时会要求用户对准摄像头，窗口工作人员会利用摄像头采集一张用户的照片。通过1:1人脸比对，来判断该证件是否属于该名用户，那么也就确认了用户的真实身份了。远程开户在进行远程用户身份核实与确认时，通过检测上传视频中客户身份的