人脸识别概述1

人脸识别概述《人脸识别技术》课程介绍介绍了人脸识别技术的相关原理及其公安应用，通过图像处理、代码编程和软件操作等实验实训培养学生利用人脸识别技术进行实战应用的能力。学时分配：理论：8学时实验：8学时*考核方式本课程为考查课，成绩分为以下几部分：期末考核——50%实训报告——45%人脸图像处理及比对——10%人脸识别算法编程——20%人脸识别实战应用——15%课堂表现——5%期末考试拟采用上机的形式考核。*形成性评价课程内容*第一章人脸识别概述生物特征识别技术人脸识别特点人脸识别技术发展第二章人脸识别相关技术人脸识别技术原理深度学习人脸识别人脸识别关键指标第三章机器学习基础机器学习基本概念监督学习无监督学习第四章人脸识别实战应用人像系统建设静态人脸识别动态人脸识别1生物特征识别技术生物特征识别技术是一种利用人体生物特征进行身份认证的技术。具体来说，生物特征识别技术就是通过将计算机与光学、声学、生物传感器和生物统计学原理等技术手段相结合，利用人体固有的生理特性和行为特征来进行个人身份的鉴定。被选取的生物特征需具备以下性质：*普遍性所有的正常人都应该具有这项生物特征唯一性每个人的这种生物特征应各不相同不变性该生物特征不易随着时间或者环境的变化而变化易测性该生物特征方便采集，不需要复杂的采集设备安全性这一生物特征不容易被窃取、仿制1.1虹膜识别什么是虹膜？

*虹膜

是指眼球中瞳孔和眼白之间的充满了丰富纹理信息的环形区域每一个虹膜都包含一个独一无二的基于像冠、水晶体、细丝、斑点、结构、凹点、射线、皱纹和条纹等特征的结构。

1.2笔迹识别笔迹特征属于行为性的生物特征。对于每个书写者而言，其笔迹总体上具有相对稳定性，而笔迹的局部变化则是每个书写者笔迹的固有特性。而对于不同的书写者而言，其笔迹的差别则比较大。*1.3步态识别步态识别是近年来越来越多的研究者所关注的一种较新的生物认证技术，它是通过人的走路方式来识别人的身份的方法。*1.4声纹识别声纹识别，也称作说话人识别，是一种通过声音判别说话人身份的技术。声纹识别分为：说话人辨认和说话人确认。*1.5指静脉识别*指静脉识别技术是利用近红外线穿透手指后所得的静脉纹路影像来进行个人识别，是具有高精度、高速度的世界上最尖端的生物识别技术。指纹和指静脉的区别*1生物特征识别技术类型是否接触准确性隐蔽性采集速度接受程度应用性人脸否低高快高最广泛虹膜否高低较快低较广泛掌型是中等低快中等不广泛指纹是高低快中等广泛笔迹是低低慢高广泛声纹否低中等快高较广泛步态否低高快高较广泛*常见生物特征识别技术比较：2人脸识别特点2.1人脸的特点2.2人脸识别技术的特点2.3人脸识别技术存在问题*2.1人脸的特点人脸是一种高度非刚性的目标，个体与个体之间存在着很多细微的差异，并且这些细微差异并不像不同物品之间的差异那么大，因此人脸识别较一般物体识别更加复杂。人脸的特点包括：相似性、易变性。*2.2人脸识别技术的特点与虹膜、指纹等生物特征相比较，人脸识别技术易于用户接受、便于采集、友好、方便直接，并且可以分析人脸的表情、光照、姿态等信息，还可以得到其他生物特征识别系统所得不到的信息，具体来说，主要有以下几个特点：非接触性非强制性并发性简便性直观性高效性*2.2人脸识别技术的特点*？==2.3人脸识别技术存在问题光照姿态表情年龄遮挡*2.3.1化妆影响*2.3.1化妆影响*眉毛眼睛鼻子脸型嘴巴特殊标记2.3.2遮挡影响*对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往被监控对象都会带着眼镜、帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。2.3.2遮挡影响*2.3.2遮挡影响*样本名称比中位次（位）变化前变化后女231女4无法比中1样本名称比中位次/位相似度/%男1190.99男2198.96男3198.02男4无法比中未识别出人脸男51未识别出人脸女1无法比中39.86女23未识别出人脸女3无法比中未识别出人脸女4无法比中未识别出人脸女5无法比中79.782.3.3年龄影响*随着年龄的变化，一个人从少年变成青年，变成老年，他的容貌可能会发生比较大的变化，从而导致识别率的下降。对于不同的年龄段，人脸识别算法的识别率也不同。身份证有效期0-16：5年16-25：10年26-45：25年46以上：长期有效2.3.3年龄影响*1个月4周岁7周岁11周岁2.3.3年龄影响*约6~7岁以前，人脸特征稳定性较差；相似年龄、不同人脸的特征相似度高。不同阶段人脸识别前十位命中率2.3.3年龄影响*人脸识别技术在一定年龄段内能够跨年龄识别。潜逃22年命案逃犯潜逃15年命案逃犯历史照片建库的重要性2.3.4面部器官类型影响不同类型的面部器官对于人脸识别率的影响各不相同，实验填补不同的眼型和嘴型对人脸识别率的影响。*眼睛类型图片示例标准眼型圆眼型三角眼型细长眼型垂眼型嘴巴类型图片示例理想嘴型厚嘴型薄嘴型口角下垂型2.3.4面部器官类型影响*03人脸识别技术发展历史*浙江省人脸识别技术应用发展历史*2016年4月，公安部建成了新全国人像比对系统（部科信局云鉴系统）2016年8月，我省利用公安部系统比中第1起命案逃犯2017年9月，我省开展人像比对技战法比武2017年4月，我省建成了新人像比对系统2018年4月，我省组织《人脸识别技术与警务应用》教材编写2016年8月G20期间，利用公安部下发的账号，比中潜逃25年命案逃犯钱云富，成为我省第一起比中的命案逃犯。3人脸识别技术发展历史3.1基于几何特征的方法3.2基于子空间特征的方法3.3基于深度学习的方法*3.1基于几何特征的方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸都千差万别，因此对这些部件的形状和结构关系(如距离、边缘曲率和角度)的几何描述，可以作为人脸识别的重要特征。*需要对眼睛、鼻子等脸部特征点进行精确定位容易受到人脸形变和拍摄姿态的影响，缺乏稳定性忽略了人脸的纹理等大量对识别有用的信息存在问题3.2基于子空间特征的方法人脸图像属于高维数据，其维数等于该图像像素点的总数，而同一人的人脸图像在高维空间中应具有较短的距离。通过降维的方式提取出每个高维人脸数据中主要特征的方法被称为子空间特征法。*3.2基于子空间特征的方法特征脸方法突破了传统的几何特征方法，利用图像整体的信息来进行人脸识别。特征脸所采用的整体法比传统的基于几何特征的分析法要好，因此之后的人脸识别方法就主要以图像整体为基础进行识别。传统人脸识别方法存在问题：*产生并且使用的特征可以被认为属于浅层特征往往需要结合人为设置的特征进行计算在输入海量数据的情况下识别效果不尽如人意存在问题3.3基于深度学习的方法深度学习理念的提出始于2006年，人工神经网络之父GeoffreyHinton教授在著名学术刊物《Science》中指出，多层神经网络模型具有很强的特征分层和描述能力。*人脑神经网络vs人工神经网络3.3基于深度学习的方法相较于传统的基于几何结构和子空间特征的人脸识别方法，深度学习在训练过程中整合了特征提取和分类两个功能，并且识别精度随着数据量的增加而持续提高，尤其是在海量人脸数据集的支撑下。深度学习的优势包括：通用性强识别率高*4视频侦查领域的热点技术计算机视觉是一个跨领域的交叉学科，包括计算机科学（图形、算法、理论、系统、体系结构），数学（信息检索、机器学习），工程学（机器人、语音、自然语言处理、图像处理），物理学（光学），生物学（神经科学）和心理学（认知科学）等等。定义：对图像中的客观对象构建明确而有意义的描述（Ballard＆Brown,1982）从一个或多个数字图像中计算三维世界的特性（Trucco＆Verri,1998）基于感知图像做出对客观对象和场景有用的决策（Sockman＆Shapiro,2001）*CVPRCVPR是IEEEConferenceonComputerVisionandPatternRecognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。*年份人脸识别超分辨率行人重识别行为/动作识别2018718324201912241913202018213113202132102625CVPR相关主题论文数量计算机视觉概念*图像分类目标跟踪目标检测语义分割实例分割4.1行人重识别技术行人重识别(Personre-identification)也称行人再识别,被广泛认为是一个图像检索的子问题,是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术,即给定一个监控行人图像检索跨设备下的该行人图像。*4.1行人重识别技术一个完整的行人重识别系统包括以下几个部分：原始视频帧待检索行人图像行人重识别系统**行人重识别概念第一次在CVPR上提出

第一个行人重识别研讨会在ECCV会议上召开

19962006200720122014开始关注行人重识别问题

提出一个对行人重识别研究具有重大意义的数据集VIPeR

随着深度学习的发展，大量行人重识别的工作涌现

行人重识别技术的发展历程*基于图片的行人重识别

特征表达方法

分类

personRe-ID

方法

基于视频序列的行人重识别

度量学习方法

行人重识别技术的分类与方法行人重识别技术发展历程*作者年份图像特征时间信息表征D.Gray等2008颜色、纹理无ELF(RGB,YCbCr,HSV,Gaborfilters)A.Krizhevsky等2012颜色、形状无CNNZhaoR等2013颜色无dColorSIFT(DenseColor,DenseSIFT)XiangLi等2015颜色、形状、纹理无Color,LBP,HOGMcLaughlin等2016颜色、轨迹有卷积神经网（CNN）循环神经网络（RNN）LiuJ等2018局部有CNN,RNNYuBZ等2019局部、姿态、轨迹有CNN,RNNZhang等2020颜色、姿态无CNN,RNNChen等2021颜色、姿态无CNN,RNN行人重识别技术特点*支持衣物、形体检索。能推送出部分换装，排名靠后。能处理部分夜间场景。不支持戴帽、挎包、衣服颜色等组合的语义检索。现有分辨率和检测功能不足，容易遗漏。不支持步态、遮挡严重。夜间场景遗漏；夜间增强困难。行人重识别技术特点相较于人脸识别技术：*无需人脸，只看穿着、体态、发型就能识别某个人非配合环境，距离摄像头较远（>10m）亦可跨摄像头追踪，与人脸识别技术相互补充行人重识别技术特点**步态识别是指通过身体体型和行走姿态分析人的身份，其识别依据是：1.生理结构：身高、头型、腿骨、臂展、肌肉、重心等。2.习惯动作：抬腿、摆臂、晃头、耸肩、神经灵敏度等。人的步态是周期性运动一个步态周期：同一只脚两次相邻触地时刻之间行走过程步态识别的最低要求：两个以上完整的步态周期4.2步态识别技术公安部科信局将步态纳入《公安视频图像智能化建设应用指南》2019年7月全国公安机关社会治安防控体系建设指南步态识别纳入公安刑事技术发展“十四五”规划（2021-2025）2019年7月，公安部办公厅下发的《全国公安机关社会治安防控体系建设指南》指出要建设包含步态识别的防控感知体系。全国公安刑事技术发展“十四五”规划（2021-2025）（征求意见稿）中提到“深入推进DNA、指（掌）纹、足迹、人像、虹膜、声纹、步态等人体生物特征数据融合”2022年6月公安部五局制定《步态信息采集通用技术规范》并征求意见步态识别技术发展历史正常行走（%）背包（%）跨着装（%）银河水滴98.295.891.4大华股份97.494.087.0腾讯优图95.990.181.7复旦大学95.087.270.4密歇根州立大学93.982.663.2*20世纪90年代以前仅仅处于好奇和摸索阶段1944年MIT媒体实验室的Niyogi与Adelson最早对人进行步态识别2000年美国DARPA（美国国防部高级研究计划署）资助了HID（远距离身份识别）计划2001年中科院自动化研究所开始研究步态识别并创建了步态评估数据库CASIA-B数据库算法精度对比步态识别技术流程*②步态分割①步态检测③步态追踪④特征提取⑤步态比对&识别步态识别技术关键问题*关键点2：在数据解析时，如何从视频提取出高精度人形轮廓？关键点3：在数据理解时，如何解决跨视角步态识别的鲁棒性？关键点1：在数据获取时，如何搭建与真实场景相符的大规模数据平台？创新点2：复杂场景下步态视频预处理视频超分