第9章-人脸识别.ppt

人脸识别技术FaceRecognitionTechnology 吴士泓 2 人脸识别的意义与感性认识人脸识别的现状人脸识别的过程人脸识别的方法人脸的关键技术人脸识别系统的开发与试验工具 3 人脸识别的感性认识 人脸识别的意义人体生物认证技术人脸识别的系统 人脸识别是一个活跃的研究领域 是人类视觉最杰出的能力之一 虽然人脸识别的准确性要低于虹膜 指纹的识别 但由于它的无侵害性和对用户最自然 最直观的方式 使人脸识别成为最容易被接受的生物特征识别方式 人脸识别是人体生物认证技术的一种 首先我们谈谈人体生物认证技术 人体生物的生物特征包括生理特征和行为特征两大类 人体的生理特征主要包括人脸 指纹 掌纹 掌形 虹膜 视网膜 静脉 DNA 颅骨等 这些特征是与生俱来的 是先天形成的 而行为特征包括声纹 签名 步态 耳形 按键节奏 身体气味等 这些特征是由后天的生活环境和生活习惯决定的 这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的 表1对各种生物认证技术作了一个简单的比较 生物特征识别 人脸 脸部热量图 指纹 手形 手部血管分布 虹膜 视网膜 签名 语音 7 基于生物特征的身份认证 生物特征 生理特征 行为特征生理特征 whatyouare 与生俱来 如DNA 脸像 虹膜 指纹等行为特征 whatyoudo 后天习惯使然 如笔迹 步态等 8 人体生物特征的起源于传统的身份认证的问题 基于知识的身份认证 whatyouknow 容易忘记容易被盗容易攻击基于令牌的身份认证 whatyouhave 容易丢失容易被盗容易伪造知识 令牌 我们必须寻找更加可靠便捷的身份认证方法 人体生物认证 10 常用生物特征的比较 A Jain L HongandS Pankanti Biometrics PromisingFrontiersforEmergingIdentificationMarket CommunicationACM 2000 人脸识别的意义 BillGates 以人类生物特征进行身份验证的生物识别技术 在今后数年内将成为IT产业最为重要的技术革命 12 生物特征的评估 普遍性Universality唯一性Uniqueness恒久性Permanence易采集性Collectability系统性能Performance achievableidentificationaccuracy resourcerequirements robustness 用户接受程度UserAcceptance防欺骗能力ResistancetoCircumvention 13 各种生物特征市场份额的统计 生物认证技术市场收入的预测 14 15 人脸识别的应用 人脸识别系统在金融 证券 社保 公安 军队及其他需要安全认证的行业和部门有着广泛的应用典型应用罪犯调查访问控制人员考勤重用门票驾驶执照 电子商务信用卡准考证身份证 北京奥运开幕式人脸识别门票查验现场 观众人脸身份验证 中科院人脸识别技术成功用于奥运会开幕式8月8日 数万名观众由国家体育场鸟巢的100多个人脸识别系统快速身份验证关口有序入场 参加2008北京奥运会的开幕式 据悉 该验证系统是由中科院自动化所研制的 9 11 事件是生物特征认证技术在全球发展的一个转折点 9 11 以后生物识别技术的重要性被全球各国政府更加清楚地认识到 传统的身份鉴别技术面临反恐任务时所表现出来的缺陷 使得各国政府在研究与应用上对生物特征识技术开始了大规模的投资 在美国 三个相关的法案 爱国者法案 边境签证法案 航空安全法案 都要求必须采用生物识别技术作为法律实施保证 总体上来说 国外生物认证技术的应用已经进入了以政府应用为主的阶段 深圳康贝尔人脸识别系统 人脸识别门禁系统人脸识别大型场馆准入系统 人脸识别在银行金库的应用 中国人民银行规定所有的金库安防监控系统都要有人脸识别功能 联合国的国际民用航空组织 ICAO 已对188个成员国发布了航空领域使用生物特征认证技术的规划 提出将在个人护照中加入生物特征 包括指纹识别 虹膜识别 面相识别 并在进入各个国家的边境时进行个人身份的确认 目前 此规划已经在美国 欧盟 澳大利亚 日本 南韩 南非等国家和地区通过 从2004年底就开始实施了 人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究 主要有美国 欧洲国家 日本等 著名的研究机构有美国MIT的Medialab AIlab CMU 卡耐基 梅隆大学 的Human ComputerInterfaceInstitute MicrosoftResearch 英国的DepartmentofEngineeringinUniversityofCambridge 剑桥大学 等 综合有关文献 目前的方法主要集中在以下几个方面 综合有关文献 目前的方法主要集中在以下几个方面 1 模板匹配 2 示例学习 3 神经网络 4 基于隐马尔可夫模型的方法除此以外 基于AdaBoost的人脸识别算法 基于彩色信息的方法 基于形状分析的方法 以及多模态信息融合的方法 国外都进行了大量的研究与实验 研究现状 国际上对人脸及人脸面部表情识别的研究现在逐渐成为科研热点 国内外很多机构都在进行这方面的研究 尤其美国 日本 进入90年代 对人脸表情识别的研究变得非常活跃 吸引了大量的研究人员和基金支持 EI可检索到的相关文献就多达数千篇 美国 日本 英国 德国 荷兰 法国等经济发达国家和发展中国家如印度 新加坡都有专门的研究组进行这方面的研究 其中MIT CMU Maryland大学 Standford大学 日本城蹊大学 东京大学 ATR研究所的贡献尤为突出 国内的研究工作主要是集中在三大类方法的研究 基于几何特征的人脸正面自动识别方法 基于代数特征的人脸正面自动识别方法 基于连接机制的人脸正面自动识别方法 人脸识别的过程 32 人脸识别的过程 登记过程识别过程一对一的验证过程一对多的辨别过程 33 登记过程 34 一对一的验证过程 35 一对多的辨别过程 人脸识别系统 所谓人脸识别系统 是指不需要人为干预 能够自动获取人脸图像并且辨别出其身份的系统一个人脸识别系统至少要包含三个部分 即数据采集子系统 人脸检测子系统和人脸识别子系统 人脸检测与人脸识别的研究内容 1 人脸检测 FaceDetection 人脸检测 FaceDetection 是指在输入图像中确定所有人脸 如果存在 的位置 大小 位姿的过程 人脸检测是自动人脸识别系统中的一个关键环节 2 人脸识别人脸识别细分为两类 一类是回答我是谁的问题 即辨认 Identification 另一类是回答这个人是我吗 即确认 Verification 显然 用于Identification模式的识别系统对算法的运算速度的要求要高于Verification模式的识别系统 从人脸自动识别技术所依据的理论来讲 人脸检测与人脸识别都是模式识别问题 人脸检测是把所有的人脸作为一个模式 而非人脸作为另一个模式 人脸检测的过程就是将人脸模式与非人脸模式区别开来 人脸识别是把每一个人的人脸作为一个模式来对待 不同人的脸属于不同的模式类 人脸识别的过程是将属于不同人的脸归于各自的模式 换句话说 人脸检测强调的是人脸之间的共性 而人脸识别则要区分不同人脸之间的差异 二者同属于模式分类问题 应用 人脸识别 人脸检测与人脸识别的评价标准 定义1 检测 Detection 指对人脸图像进行检测和定位的过程 定义2 拒检 DetectionRejection 指不能正常检测到人脸或人脸不能定位以及人脸检测失败 定义3 拒检率DRR DetectionRejectionRate 指被拒检的人脸图像占统计总数的比例 用百分比表示 定义4 比对 Matching 指以人脸特征与另一人脸特征比较的过程 定义5 匹配相似度 Similarity 人脸特征比对的输出结果 代表参与比对的两个人脸特征的相似程度 用0到1之间的小数表示 该数字愈大表示比对的人脸特征相似程度愈大 该数字愈小表示参与比对的人脸特征相似程度愈小 定义6 错误拒绝FR FalseRejection 指定某匹配相似度为判定阈值 在来自于同一个个体的人脸特征之间的比对 其结果 匹配相似度 小于设定阈值 即指授权人不能被正确接受的比率 定义7 错误接受FA FalseAcceptance 指定某匹配相似度为判定阈值 在来自于同一个个体的人脸特征之间的比对 其结果 匹配相似度 大于设定阈值 即指非授权人错误的判断为授权人的比率 定义8 错误拒绝率 FalseRejectionRate 指发生FR的比对次数占总统计比对次数的比例 用百分比表示 也叫拒真率 定义9 错误接受率FAR FalseAcceptanceRate 指发生FA的比对次数占总统计比对次数的比例 用百分比表示 也叫错误通过率 或认假率 定义10 相等错误率EER EqualErrorRate 指在某给定匹配相似度下 FAR与FRR相等时的错误率 即FAR FRR 定义11 登录时间 EnrollmentTime 从一幅人脸图像获取后 进行人脸检测 定位和特征提取所花费的时间 此时间是数学统计平均值 用毫秒 ms 表示 定义12 比对时间 MatchingTime 比较两张人脸特征所花费的时间 此时间包含文件读写时间的数学统计平均值 用毫秒 ms 来表示 或者是将一张人脸特征与一定数量的人脸特征进行比对所花费的时间的总和 表示为毫秒 万人 定义13 首选识别率 FirstHit 匹配相似度最大的人脸是正确的人的比率 即将识别结果按照匹配相似度从大到小排列 排在第一位的人脸就是正确的被识别的人的比率 定义14 累计识别率 FirsnHit 正确的识别结果在前N个候选人中的比率 即将识别结果按照匹配相似度从大到小排列 在前N个结果中存在被识别的人的比率 特征脸 eigenface 方法 是人脸识别的基准技术 并已成为事实上的工业标准 该方法基于主成分分析 PCA PCA是将分散在一组变量上的信息集中到某几个综合指标 主成分 上的数学方法 实际上起着数据降维的作用 并保证降维过程最大化保留原数据的差异这对最大化类间差异 即不同人之间的差异 并最小化类内差异 即同一人的不同图像间的差异 很有效 用PCA将2维数据降到1维的例子 绿色点表示二维数据 PCA的目标就是找到这样一条直线 使得所有点在这条直线上的投影点之间的平均距离最大 也就是最大化地保留了原数据的差异性 特征脸方法 直接计算C的本征值和本征向量是困难的 可以通过对矩阵做奇异值分解间接求出m值的选择 如果将本征向量恢复成图像 这些图像很像人脸 因此称为 特征脸 M Turk A Pentland JCN91 特征脸特征 eigenfeature 方法 利用PCA分析眼 鼻 嘴等局部特征 即特征脸特征方法 R Brunelli T Poggio TPAMI93 A Pentlandetal CVPR94 这实际上相当于 为若干重要的特征建立本征空间 然后将多个本征空间集成起来 特征脸vs 特征脸特征 特征脸利用全局特征 特征脸特征利用局部特征 二者各有优势 待识别图像 特征脸识别结果 特征脸特征识别结果 A Pentlandetal CVPR94 特征脸vs 特征脸特征 难题 能否自动确定 该用哪些特征 眼睛 鼻子 嘴 特征的确切位置在哪儿 从哪儿到哪儿算眼睛 将二者结合 可以得到更好的识别效果同样 这实际上相当于 为若干重要的特征建立本征空间 然后将多个本征空间集成起来 由于嘴部受表情影响很严重 因此未考虑嘴部特征 实验结果 X Geng Z H Zhou unpub04 FERET人脸数据库上的结果 待识别图像出现在算法返回的前Rank个图像中 SEME选择的特征 本征脸 本征特征所用的特征 SEME的可扩展性 SEME的训练 计算 开销很大 但只需训练一次 X Geng Z H Zhou unpub04 将FERET人脸数据库上选择出的本征空间集成直接用于ORL 左 和BioID 右 这两个人脸数据库的结果 人脸识别的关键问题 1 人脸面部形态 面型 眼睛 鼻子 2 人脸识别中的视觉特征 早期MARR理论框架3个层次计算理论 算法 实现机制 现多层次 3人脸识别中的光照问题4 人脸识别中的姿态问题 面部特征提取算法 几何特征提取统计特征提取 主成分 2维主成分 线性判别分析法 独立成分分析法 频率域特征提取 Gabol 离散余弦 运动特征提取代数特征提取 面部特征的模式识别算法 线性判别分析 Fisher线性判别 支持向量机SVM贝叶斯网络隐马尔可夫模型及其基本问题人工神经网络模糊模式识别 人脸识别系统设计与实现 人脸识别系统的总体设计人脸识别系统的算法设计人脸识别系统的实现 人脸识别系统的开发与试验工具 Intel 开源计算机视觉库OpenCV简介 OpenCV概述 目录1什么是OpenCV2重要特性3谁创建了它4新特征5从哪里下载OpenCV6如果在安装 运行 使用OpenCV中遇到问题7OpenCV参考手册8中文翻译者 什么是OpenCV OpenCV是Intel 开源计算机视觉库 它