人脸数据库发展的特点及方向

1、人脸数据库开展的特点及方向 梁元错来源：计算机与网络2021年第04期摘要：根据人脸数据库开展至今的历史，划分了人脸数据库开展的2个主要历史时期，介 绍了这2个历史时期中一些典型的人脸数据库，以此归纳出这2个历史时期中人脸数据库的主 要特点。通过列举人脸数据库在不同历史阶段开展时产生的变化并加以分析，总结出了这些变 化发生的原因。同时还依据人脸数据库开展的特点，提出了一些未来可能出现并开展的人脸数 据库及其使用方法。关键词：人脸数据库;人脸识别;开展趋势中图分类号：TP392文献标志码：A文章编号：1008-1739 (2021) 04-64-4Development Characterist

2、ics and Direction of Face DatabaseLIANG Yuankai(College of Mathematics, South China University of Technology, Guangzhou 510000. China)Abstract： The development of human face database can be divided into two main historical periods according to the development history of face database. Sonic classic

3、human face databases in these two historical periods arc introduced, and the main characteristics of human face databases in these two historical periods are summarized. The changes of face database in different historical periods are enumerated and analyzed, and then the reasons of these changes ar

4、e summarized. Based on the development characteristics of face database, some possible face databases and their using methods are proposed.Keywocds： face database; face recognition; development trend。引言如中科院算所著名研究员山世光所说：“人脸识别技术史本质是测评人脸库更替史工人 脸数据库的核心功能是供人脸识别技术进行算法性能的分析和测试。其中，人脸识别技术是人 脸识别、人脸检测、关键点识别等检测

5、技术的统称。人脸数据库的开展历史大致可以划分为 2000年以前和2000年以后2个开展阶段，本文将对这2个阶段的典型人脸数据库进行分析和 比照，说明它们之间的差异以及产生差异的原因，并展望人脸数据库未来可能的开展。1早期人脸数据库早期的人脸数据库是指产生于2000年以前的人脸数据库。一般认为，对人脸识别的研究 始于1964年Bledsoe和Chanl于Panoramic Research Inc上发表的一份关于人脸自动识别的报 告。1964-1990年，人脸识别的开展较为缓慢，且被视为一般的识别问题。此阶段的处理方法 包括基于剪影分析的人脸识别、基于人脸低维表示的人脸识别等方法。在一个人群密度

6、较大且不断运动的场地中，试图捕捉一个特定对象的运动轨迹，那么目标对 象的人脸会产生正向、侧向乃至背向的变化，并会被遮挡。对动态视频，可以将其分解为静态 图像来处理，但这可能导致一些问题：运动中的人脸在静态图像中会呈现较严重的晃动和模 糊、人脸在运动中发生的改变（如佩戴眼镜）可能影响识别结果和目标的隐匿会使识别出的运 动路径失去连贯性。1990年初，美国吸引了大量面部识别领域的专家参与人脸识别研究，激发了全球范围内 一批典型人脸数据库的产生，这一时期的人脸数据库突出显示了早期人脸数据库的特点。ORL人脸数据库ORL人脸数据库是典型的用于进行人脸识别测试的人脸数据库，内含来自40名对象，每 人10

7、张，共400张的256级灰度人脸图像，均为PGM格式，大小均为92 pixelxl 12 pixel。这 些人脸图像拍摄时的表情、面部细节、光照条件各异，所有图像中的人脸位于图像正中，占图 片整体面积比例较大，有些图像中的人脸有一定程度的侧向偏移。ORL人脸数据库中的人脸受到了较强的限制，如人脸在图像中的位置和比例、被摄者的 拍摄姿势、面部偏转角度等变化较少，因而适用于一些基于图像分割的人脸识别算法3-4,例 如连续密度隐马尔可夫模型法5。此类方法较依赖人脸数据库中人脸图像的自然特性，迁移 性较差。ORL人脸数据库是早期人类数据库中格式规范化的典型代表。FERET人脸数据库FERET人脸数据库

8、是自1994年起逐步建立的人脸数据库，内含超过14 000张在不同姿 态、光照条件下拍摄的，来自近1 200名被摄对象的灰度人脸图像。FERET人脸数据库中的一 些图像是相同对象在不同时间拍摄的，这些图像被称为“重复集”。重复集的提出意味着人脸数 据库在建立时首次考虑了时间这一被识别对象的外观变化尺度。FERET人脸数据库拥有相较于同时代产品大得多的样本量，已初步具有近期人脸数据库 大容量的特点，成为了具有相对客观评价测试能力的人脸数据库，但对被摄对象仍限定较多。 故FERET人脸数据库可被视为早期和近期人脸数据库的分界。早期的人脸数据库被摄者人数较少、拍摄环境布置刻意、被摄者配合，导致人脸图

9、像的格 式统一，因而适用的识别算法一般只在较为理想的环境下表现良好，实际应用价值较低。2近期人脸数据库人脸识别技术于2001年首次被用于大规模犯罪分子搜查活动，标志着人脸识别正式转化 为具有经济社会价值的技术。此阶段逐渐产生了包括人脸检测、人脸关键点检测、情绪识别在 内的不同类型、多种侧重的人脸识别算法需求。Wider Face人脸数据库Wider Face人脸数据库适用于进行人脸检测测试，其中包含3万多张大小为1024 pixelxl024pixel的彩色图片,共计有约40万张人脸,且其中大量的人脸尺度较小。图片中的 人脸几乎均有标注，其中最小者可至10 pixelxlO pixeloWid

10、er Face人脸数据库是目前难度最大的人脸检测测试集之一。该人脸数据库中的人脸图 片基于61种事件类型进行分类，同时包含了姿态、遮挡、化妆、光照及模糊等各类人脸识别 难点。附属于每种类型事件的图片被随机分为训练集、验证集和测试集，占比依次为40%, 10%, 50%,其中测试集未对人脸进行标注，需将测试结果交由官方比对，保证了检验结果的 公正性。Wider Face人脸数据库中的图像划分为Easy, Medium, Hard三个检测难度，一些典型算 法在这3种难度下识别的准确率如图1所示。(a) tel(b) Medium set(c Hard wl图1典型算法在Wider face人脸数据

11、库3种难度的数据 集下的识别率(a) tel(b) Medium set(c Hard wlFRGC人脸数据库FRGC人脸数据库基于FRGC工程产生，用于人脸识别，其中的50 000张人脸图像于 2002-2004年间采集。在FRGC人脸数据库的一个图像组中，含有同一被摄对象的4张在限制 条件下的图像、2张非限制条件下的图像和1张三维图像，其中三维图像包括三维形状信道和 纹理信道，如图2所示。4张限制条件下的二维图像2张非限制条件下的二维图像(c)三维形状信道和纹理信道图2 FRGC人脸数据库中的人脸图像FRGC人脸数据库中的图像分为训练集和验证集，其中训练集包括一个静止训练集和一个 三维训练

12、集。前者包括来自222名被摄者的6 388张受限静态图像和6 388张非受限静态图像 后者是来自943个主题的图像集(包括三维扫描图像以及对应的受限和非受限静态图像)的图 像构成的，可用于训练三维或三维到二维算法的训练集，验证集由来自466个主题的4 007个 图像集构成。2.3 LFW人脸数据库LFW人脸数据库9适用于人脸识别测试，含13 000多张图像，来自互联网上的超过5 700名国外名人，其中有1 600多人在LFW人脸数据库中有2张及以上的图像，剩下约4000 人只有1张。所有图像的格式均为250 pixelx250 pixel的JPEG图像，大多数为彩色。LFW人脸数据库中的人脸几

13、乎不受任何限制（唯一要求是可被典型的Viola-Jones检测器 识别）。其中被摄对象有性别、种族、年龄、装饰等区分，图像中的人脸有不同的姿态、光影 条件、背景等区别，甚至一张图片中会有多张人脸（只有包含图像中心像素的人脸会被标 记）。使用LFW人脸数据库时，一般从中抽取6 000对人脸对（其中约3 000对来自同一名人 物，其余那么不然），再逐次输入一对人脸对，由识别算法判断是否为同一人，即可计算算法的 判断准确率。这种方法简单易懂，而由于LFW人脸数据库对包含其中的人脸图片要求很少， 几乎没有规律可循，故算法测试一般能取得较好效果。3不同时期典型人脸数据库产生的变化及原因近期人脸数据库相对

14、于早期人脸数据库产生的变化人脸图像的质量提升相较于早期人脸数据库，近期人脸数据库质量的提升主要表达在：图像的数量大量增加：近期人脸数据库内所含图像数量一般为10 00050 000张。被摄对象特征更加多样：近期人脸数据库一般为数百人到数千人，被摄对象本身的特征 更加多样，除神态、表情、姿势等方面外还出现了肤色、发型、图案、特定装饰等更多样的人 脸特征。清晰度显著提升：近期产生的人脸数据库，如Wider Face人脸数据库中的图像大小与 ORL人脸数据库相同，但到达了 1 024 pixelx 1 024 pixel o由灰度图像为主变为彩色图像为主：近期的人脸数据库中的人脸图像多为彩色，被摄对

15、 象的特征更加明显10。人脸图像的理想程度降低早期人脸数据库中的人脸被严格控制，使得人脸在图像中处于自然分布，导致其中图像与 实际应用场景有较大不同。多数近期的人脸数据库中人脸的放置更贴近实际场景，特殊化处理 较少，如Wider Face人脸数据库满足的识别需求类型更加多样化针对某种特定的目的或需求，近期人脸数据库的设计性更强。设计性的增强不代表对人脸 的限制性增强，表达在图片的数量和某一类图片在人类数据库中所占的比例上等非图像本身的 属性进行规划，而限制性表达的是对人脸的控制。提供者对人脸数据库的后续更为关注近期人脸数据库的提供者对人脸数据库的更新更加频密，例如LFW人脸数据库会不定期 更新

16、，更新消息将会被发布于官网U,甚至出现了由商业公司提供并维护的人脸数据库，如 BioID人脸数据库。变化产生的原因321技术条件的提高主要有计算机储存容量和计算能力的提升、图像处理技术的开展12和资源获取手段的增 多3个方面。近年来互联网的迅猛开展、公共社交平台与新兴媒体的兴起拓宽了数据库的样本，特别是 非限制场景下样本的来源。同时，拍摄工具轻便化和拍摄结果的优质化提高了非限制场景，特 别是偶发场景下所拍摄图像的可用性。322高效而通用的识别算法的提出和开展1990年前，人脸识别建模方法主要是基于人脸本身特征的方法;1990-2000年主要是基于线 性子空间的距离比拟或统计学方法;2000年后

17、，光照锥技术、支持向量机等方法出现13。2006年出现的深度学习，至今仍是主流人脸识别方法。总体上看，提出时间越晚的算法往往 有越高的识别能力和效率，使得一些早期人脸数据库的使用价值被挖掘殆尽，如ORL人脸数 据库和FERET人脸数据库的首选识别率均已到达99%14。近年来，基于深度学习，FRGC A 脸数据库和LFW人脸数据库也正在接近使用价值上限。另一方面，适用于人脸识别的算法的通用性增强，可应对非限制条件，这是人脸识别具备 实际应用价值的基础条件。人脸识别等技术应用场景的增加伴随人脸识别技术与产业经济的日渐融合，人脸识别技术的应用场景随之多样化。例如， 在身份识别这一应用领域，利用了人脸

18、检测、人脸识别及人脸关键点识别等技术身份识别还 可细化地应用于人口出入境管理、嫌疑人身份鉴别、敏感人物动向监视、游戏自动登录、家政 机器人服务对象识别等方面，每一个细化方面对人脸识别技术的精准度、正确率和反响速度等 都有不同要求。324研究氛圉的改善人脸识别技术已广泛受到各大高校和研究所的重视，研究人脸识别技术的气氛相较早些年 更加浓厚。同时，人脸识别技术的商业价值也吸引了商业公司的注意，为人脸识别研究提供了 资金来源。4人脸数据库的开展方向4.1针对复杂运动对象的人脸数据库在一个人群密度较大且不断运动的场地中，试图捕捉一个特定对象的运动轨迹，那么目标对 象的人脸会产生正向、侧向乃至背向的变化

19、，并会被遮挡。对动态视频，可以将其分解为静态 图像来处理，但这可能导致一些问题：运动中的人脸在静态图像中会呈现较严重的晃动和模 糊、人脸在运动中发生的改变（如佩戴眼镜）可能影响识别结果和目标的隐匿会使识别出的运 动路径失去连贯性。FRGC人脸数据库中的图像分为训练集和验证集，其中训练集包括一个静止训练集和一个 三维训练集。前者包括来自222名被摄者的6 388张受限静态图像和6 388张非受限静态图像； 后者是来自943个主题的图像集（包括三维扫描图像以及对应的受限和非受限静态图像）的图 像构成的，可用于训练三维或三维到二维算法的训练集，验证集由来自466个主题的4 007个 图像集构成。2.

20、3 LFW人脸数据库LFW人脸数据库9适用于人脸识别测试，含13 000多张图像，来自互联网上的超过5 700名国外名人，其中有1 600多人在LFW人脸数据库中有2张及以上的图像，剩下约4000 人只有1张。所有图像的格式均为250 pixelx250 p仅e1的JPEG图像，大多数为彩色。LFW人脸数据库中的人脸几乎不受任何限制（唯一要求是可被典型的Viola-Jones检测器 识别）。其中被摄对象有性别、种族、年龄、装饰等区分，图像中的人脸有不同的姿态、光影 条件、背景等区别，甚至一张图片中会有多张人脸（只有包含图像中心像素的人脸会被标 记）。使用LFW人脸数据库时，一般从中抽取6 00

21、0对人脸对（其中约3 000对来自同一名人 物，其余那么不然），再逐次输入一对人脸对，由识别算法判断是否为同一人，即可计算算法的 判断准确率。这种方法简单易懂，而由于LFW人脸数据库对包含其中的人脸图片要求很少， 几乎没有规律可循，故算法测试一般能取得较好效果。3不同日寺期典型人脸数据库产生的变化及原因3.1近期人脸数据库相对于早期人脸数据库产生的变化3.L1人脸图像的质量提升相较于早期人脸数据库，近期人脸数据库质量的提升主要表达在：图像的数量大量增加：近期人脸数据库内所含图像数量一般为10 00050 000张。被摄对象特征更加多样：近期人脸数据库一般为数百人到数千人，被摄对象本身的特征 更

22、加多样，除神态、表情、姿势等方面外还出现了肤色、发型、图案、特定装饰等更多样的人 脸特征。清晰度显著提升：近期产生的人脸数据库，如Wider Face人脸数据库中的图像大小与 ORL人脸数据库相同，但到达了 1 024 pixelxl 024 pixel o由灰度图像为主变为彩色图像为主：近期的人脸数据库中的人脸图像多为彩色，被摄对 象的特征更加明显10。3.L2人脸图像的理想程度降低早期人脸数据库中的人脸被严格控制，使得人脸在图像中处于自然分布，导致其中图像与 实际应用场景有较大不同。多数近期的人脸数据库中人脸的放置更贴近实际场景，特殊化处理 较少，如Wider Face人脸数据库。满足的识别需求类型更加多样化针对某种特定的目的或需求，近期人脸数据库的设计性更强。设计性的增强不代表对人脸 的限制性增强，表达在图片的数量和某一类图片在人类数据库中所占的比例上等非图像本身的 属性进行规划，而限制性表达的是对人脸的控制。提供者对人脸数据库的后续更为关注近期人脸数据库的提供者对人脸数据库的更新更加频密，例如LFW人脸数据库会不定期 更新，更新消息将会被发布于官网11,甚至出现了由商业公司提供并维护的人脸数据库，如 BioID人脸数据库。3.2变化产生的原因321技术条件的提高主要有计算机储存容量和计算