《智能座舱系统开发应用与测试》-学习任务3 人脸识别交互系统开发与测试（学生手册）

任务三人脸识别系统的开发-学生手册项目五视觉交互系统任务引入人脸识别的应用变得越来越广泛，很多城市的火车站已经安装了人脸识别通行设备，进行人证对比过检，节省了大量的时间。除了火车站过安检外，人脸识别还广泛应用于手机银行人脸识别登录、人脸识别支付、小区安防、超市营销等各种生活场景。大家知道是如何进行人脸识别系统的开发吗？人脸识别系统开发完成之后是如何进行测试的？教学目标2.1能力目标2.1.1能通过课程掌握人脸识别系统的理论知识；2.1.2能通过课程认识人脸识别系统的开发流程；2.1.3能掌握人脸识别系统开发工具设备的准备；2.1.4能掌握人脸识别系统开发作业前的检查；2.1.5能独立完成人脸识别系统开发的线路连接；2.1.6能独立完成人脸识别系统的开发及测试；2.1.7能独立完成整理清洁工作。2.2知识目标2.2.1通过课程讲解了解人脸识别的定义；2.2.2通过课程讲解了解人脸识别的工作原理；2.2.3通过课程讲解了解人脸识别系统的特点；2.2.4通过课程讲解了解人脸识别系统的开发流程；2.2.5通过课程讲解知道人脸识别系统开发所需的工具设备；2.2.6通过课程讲解了解人脸识别系统开发的检查过程；2.2.7通过课程讲解，掌握人脸识别系统开发的线路连接；2.2.8通过课程讲解，掌握人脸识别系统开发的编程步骤及方法；2.2.9通过课程讲解，掌握人脸识别系统开发的固件烧入步骤及方法；2.2.10通过课程讲解，掌握人脸识别系统开发的测试步骤及方法；2.2.11通过课程讲解，掌握人脸识别系统开发的注意事项；2.2.12通过课程讲解了解人脸识别系统开发的整理清洁工作。2.3素养目标2.3.1专心听课认真记录笔记；2.3.2积极参与讨论；2.3.3个人积极回答问题；2.3.4认真填写工作页；2.3.5养成良好的课后复习习惯；2.3.6课后翻阅相关资料加深对课程的了解。任务背景知识3.1.人脸识别系统的定义人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别3.2人脸识别系统的工作原理人脸识别技术原理简单来讲主要是三大步骤：一是建立一个包含大批量人脸图像的数据库；二是通过各种方式来获得当前要进行识别的目标人脸图像；三是将目标人脸图像与数据库中既有的人脸图像进行比对和筛选。根据人脸识别技术原理具体实施起来的技术流程则主要包含以下四个部分，即人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。人脸识别系统的工作原理1.人脸图像采集及检测（1）人脸图像采集不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。（2）人脸检测人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。2.图像预处理对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。3.人脸图像特征提取人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。比较常用的人脸特征提取的方法是基于知识的表征方法。（1）基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。4.人脸图像匹配与识别提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。3.3人脸识别系统的特点3.3.1人脸识别系统的优点人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较人脸识别具有如下特点：1.非强制性人脸识别完全利用可见光获取人脸图像信息，用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”。而指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。2.非接触性用户不需要和设备直接接触就能获取人脸图像，提高了数据采集的速度。3.并发性在实际应用场景下可以进行多个人脸的分拣、判断及识别。计算机系统能够同时处理多个请求，响应更快。4.符合视觉特性“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。3.3.2人脸识别系统的缺点人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的。1.人脸的相似性不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似，例如双胞胎人脸识别。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。双胞胎人脸识别2.光照问题光照问题是机器视觉的老问题，在人脸识别中的表现尤为明显。由于人脸的3D结构，光照投射出的阴影，会加强或减弱原有的人脸特征。光照影响人脸检测的精度3.表情姿态问题与光照问题类似，姿态问题也是目前人脸识别研究中需要解决的一个技术难点。姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、侧面的人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。面部幅度较大的哭、笑、愤怒等表情变化同样影响着面部识别的准确率。表情姿态问题4.遮挡问题对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往彼监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。5.年龄变化问题随着年龄的变化，面部外观也在变化，特别是对于青少年，这种变化更加的明显。对于不同的年龄段，人脸识别算法的识别率也不同。一个人从少年变成青年，变成老年，他的容貌可能会发生比较大的变化，从而导致识别率的下降。对于不同的年龄段，人脸识别算法的识别率也不同。6.其他问题除了以上因素外，图像质量低、样本缺乏、海量数据和大规模的人脸识别等，对人脸识别算法的精确度也会造成一定的影响。任务实施4.1人脸识别系统的开发流程人脸识别系统的开发流程4.2工具设备介绍设备包括智能网联教学车、智能座舱测试装调台架、摄像头、联机通讯线（如图所示）；工具包括安全帽、触控笔、绝缘垫和工作手套等（如图所示）。在本任务中，教学车是人脸识别系统的载体；测试装调台架的作用是用来调试人脸识别系统；联机通讯线连接车辆和测试装调台架，用于两者之间的数据通讯。设备介绍工具及防护介绍4.3作业前的检查4.3.1安全与防护1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。如图所示。安全与防护要求4.3.2工具的检查1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。触控笔的检查4.3.3线束外观的检查线束包括智能座舱测试装调台架电源线、联机通讯线。1.外观结构完整，表面不应有破损、变形、裂痕等问题。2.连接针脚无损坏、变形或生锈。联机通讯线4.3.4台架的检查1.检查台架万向轮是否已锁止，确保万向轮处于锁止状态。2.检查台架上的设备是否齐全。台架的检查4.3.5车辆的检查1.绕车一周，检查两个阻车器是否放置在后轮的前后位置。2.安装座椅、地板、方向盘、换档杆四件套3.踩住制动踏板，车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。4.检查手刹指示灯是否已点亮，确保手刹处于制动状态。5.检查车辆电量是否充足，确保电量充足。6.关闭车辆。车辆的检查4.4人脸识别系统的线路连接4.4.1接线口的检查1.检查联机通讯线（与教学车连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与教学车相连）2.检查联机通讯线（与智能座舱测试装调台架连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与智能座舱测试装调台架连接端）4.4.2联机通讯线的连接正确连接教学车与台架的联机通讯线。联机通讯线的连接4.5人脸识别系统的编程4.5.1启动车辆车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。启动车辆4.5.2启动台架和电脑启动台架和电脑。启动台架和电脑4.5.3打开人脸识别代码文件在“桌面/E300/task2”文件夹中，右键单击“faceDemo.py”人脸识别代码文件，用“VisualStudioCode”软件打开，进入代码编写界面。打开“faceDemo.py“人脸识别代码4.5.4代码编写1.编写代码，用于选择正确的人脸分类器。选择正确的人脸分类器2.编写代码，用于实现人脸检测。检测人脸3.编写代码，用于实现人脸判断。判断人脸4.完成代码编写后，按“Ctrl+S”保存，然后关闭文件。4.5.5在台架上进行人脸识别功能调试1.打开“AnacondaPrompt”软件。2.输入以下命令并回车，进入人脸识别专用虚拟环境。进入人脸识别专用虚拟环境3.输入以下命令并回车，进入人脸识别项目文件夹。进入文件夹4.输入以下命令并回车，用于运行faceMain.py主程序。运行系统后弹出摄像头录制的实时画面。运行faceMain.py主程序5.当摄像头检测到人脸后，电脑屏幕上出现方框并出现”FaceDetectOK!”提示，说明在台架上人脸识别的功能调试成功。调试效果如图所示。台架运行效果图6.调试完成后，按“q”（注意需要切换为英文输入法）关闭“AnacondaPrompt”软件。4.6人脸识别系统的固件烧入4.6.1在车辆上装配摄像头关闭电脑和台架，把在台架上摄像头拆卸下来，然后再在车辆上安装摄像头(具体要求在摄像头的拆装与标定已经提到，就不再赘述）。4.6.2打开智能座舱系统测试软件在“智能座舱系统测试软件”上，单击设置图标，单击“SSH”进入程序迁移界面。单击设置图标4.6.3设置并连接网络IP输入“192.168.1.102”，Name输入“e300”，Passward输入小写“root”，单击“连接”按钮连接台架和车辆。设置并连接网络4.6.4发送文件单击“选择文件”，选择选择摄像头的内参参数文件“config.json”、人脸识别系统的代码文件“faceDemo.py”，（以上文件的路径都是：桌面/E300/task2，可以同时选择全部文件），再单击“发送任务二文件”，发送成功后，在窗口显示“发送成功”。发送文件4.7人脸识别系统的测试4.7.1人脸识别系统的测试1.在车辆中控屏左下角单击小车图标，再单击“系统设置”。中控屏界面2.人脸识别打开香薰的测试注意事项：在进行人脸识别打开香薰测试前，需要关闭车门。（1）在车辆中控屏上单击“开启人脸识别”，当香薰图标由白色变成蓝色，说明人脸识别打开香薰功能测试成功。（2）单击“关闭人脸识别”。4.7.2还原车辆和台架测试完成后，在台架上一键还原车辆和台架。还原车辆和台架4.8整理清洁4.8.1关闭台架1.关闭测试软件。2.关闭智能座舱测试装调台架上的电脑。3.关闭智能座舱测试装调台架电源开关并拔出电源线。关闭台架4.8.2关闭车辆关闭车辆，拔出车辆钥匙并放置工作台。关闭车辆4.8.3拆卸联机通讯线拆卸连接车辆和台架的联机通讯线。拆卸联机通讯线4.8.4现场6S。1.清洁整理触控笔。2.清洁整理线束。3.清洁工具。4.清洁整理工作台。5.回收座椅、地板、方向盘、换档杆四件套。6.清洁整理车辆和台架。现场6S4.8.5回收安全与防护设备1.卸下并整理安全帽和工作手套。2.回收安全警示牌。3.离场并恢复围挡。回收安全警示牌

任务引入在智能网联汽车当中，视觉传感器就相当于人类的眼睛，那么大家知道教学车摄像头主要包括哪些部件吗？摄像头是如何进行标定的？教学目标2.1能力目标2.1.1能通过课程认识摄像头的理论知识；2.1.2能掌握摄像头的拆装与标定工具设备的准备；2.1.3能掌握摄像头的拆装与标定作业前的检查；2.1.4能独立完成摄像头的拆装与标定的线路连接；2.1.5能独立完成摄像头的拆装、标定与调试步骤；2.1.6能独立完成整理清洁工作。2.2知识目标2.2.1通过课程讲解了解视觉传感器的定义；2.2.2通过课程讲解了解视觉传感器的结构组成；2.2.3通过课程讲解了解视觉传感器的特点；2.2.4通过课程讲解了解视觉传感器的应用；2.2.5通过课程讲解知道摄像头的拆装与标定所需的工具设备；2.2.6通过课程讲解了解摄像头的拆装与标定的检查过程；2.2.7通过课程讲解，掌握摄像头的拆装与标定的线路连接；2.2.8通过课程讲解，掌握摄像头在台架上的装配步骤及方法；2.2.9通过课程讲解，掌握摄像头的标定步骤及方法；2.2.10通过课程讲解，掌握摄像头在车辆上的装配步骤及方法；2.2.11通过课程讲解，掌握摄像头的调试步骤及方法；2.2.12通过课程讲解，掌握摄像头的拆装、标定与调试注意事项；2.2.13通过课程讲解了解摄像头的拆装与标定的整理清洁工作。2.3素养目标2.3.1专心听课认真记录笔记；2.3.2积极参与讨论；2.3.3个人积极回答问题；2.3.4认真填写工作页；2.3.5养成良好的课后复习习惯；2.3.6课后翻阅相关资料加深对课程的了解。

任务背景知识3.1视觉传感器的定义3.1.1视觉传感器的定义视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头的形式出现，并搭载先进的人工智能算法，便于目标检测和图像处理。视觉传感器3.1.2全景鱼眼平面图像车载摄像机（180度广角）内建180度鱼眼镜头，监控范围可达180度。摄像头所取景的图像，经过摄像机内部主芯片的图像处理技术，对球面图像进行修正和图面展开的过处理。转化为适合人眼的正常平面视图。产品采用高规格车载专用图像传感器，可支持车载宽温的严格环境要求。视觉传感器3.2视觉传感器的结构组成视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。视觉传感器的结构组成3.3视觉传感器的特点1.信息量极为丰富；2.获取范围广；3.制作工艺简单；4.应用广泛。视觉传感器的特点3.4视觉传感器的应用。视觉传感器的应用任务实施4.1摄像头的组成部分及拆装与标定流程4.1.1摄像头的组成部分摄像头组成部分主要包括摄像头总成、支架等。摄像头的组成部分4.1.2摄像头的拆装与标定流程摄像头的拆装与标定流程4.2工具设备介绍设备包括智能网联教学车、智能座舱测试装调台架、摄像头、联机通讯线（如图所示）；工具包括常用工具、触控笔、直角尺、固定螺钉、安全帽、绝缘垫和工作手套等（如图所示）。在本任务中，教学车是视觉系统的载体；测试装调台架的作用是用来进行摄像头的标定；联机通讯线连接车辆和测试装调台架，用于两者之间的数据通讯。设备介绍工具及防护介绍4.3作业前的检查4.3.1安全与防护1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。安全与防护要求4.3.2工具的检查1.外观结构完整，表面不应有破损、变形、裂痕、生锈等问题。2.两颗螺钉螺纹无滑牙或变形。3.工具齐全（触控笔、直角尺和套装工具等），使用功能正常。工具的检查4.3.3线束外观的检查线束包括智能座舱测试装调台架电源线、联机通讯线。1.外观结构完整，表面不应有破损、变形、裂痕等问题。2.连接针脚无损坏、变形或生锈。联机通讯线4.3.4摄像头的外观检查1.外观结构应整洁，表面不应有凹痕、划痕、裂缝、变形、毛刺等问题。2.表面层不应起泡、龟裂、脱落。3.镜头不应有气泡、划痕、裂纹、污物等缺陷。4.台架上的支架应稳固，不应有脱落及摇晃。5.连接针脚无损坏、变形或生锈。摄像头外观的检查4.3.5台架的检查1.检查台架万向轮是否已锁止，确保万向轮处于锁止状态。2.检查台架上的设备是否齐全。台架的检查4.3.6车辆的检查1.绕车一周，检查两个阻车器是否放置在后轮的前后位置。2.安装座椅、地板、方向盘、换档杆四件套3.踩住制动踏板，车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。4.检查手刹指示灯是否已点亮，确保手刹处于制动状态。5.检查车辆电量是否充足，确保电量充足。6.关闭车辆。车辆的检查4.3.7摄像头线束的检查1.在车辆上，检查摄像头线束，外观结构完整，表面不应有破损、变形、裂痕等问题。2.线束插头针脚无损坏、变形或生锈等缺陷。摄像头线束的检查3.摄像头线束接口定义如下图所示：摄像头线束接口定义4.4联机通讯线的连接4.4.1联机通讯线的检查与连接1.检查联机通讯线（与教学车连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与教学车相连）2.检查联机通讯线（与智能座舱测试装调台架连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与智能座舱测试装调台架连接端）3.正确连接教学车与台架的联机通讯线。联机通讯线的连接4.5摄像头在台架上的装配4.5.1将摄像头安装到台架上将摄像头安装到台架上方的摄像头支架上。将摄像头安装到台架上4.5.2检查并连接摄像头线束1.检查摄像头线束是否出现破损，两端接线口是否正常，针脚是否损坏、变形和锈蚀。2.连接摄像头线束接口，并确认摄像头线束接口针型和孔型相对无误并拧紧。检查并连接摄像头线束注意事项：因摄像头线束接口针型和孔型较小，拆装时当感觉到有卡滞感时，应立刻停止操作，重新检查，避免损坏摄像头。4.5.3调整摄像头的安装角度使用专用直角尺调整摄像头的安装角度（安装角度为90度），再拧紧固定螺钉。1.将智能座椅搬入座舱，连接智能座椅线束。调整摄像头的安装角度4.6摄像头的标定4.6.1启动台架和电脑启动台架，然后再启动电脑。启动台架和电脑4.6.2打开内参标定软件打开“VMware”软件，进入主界面。打开“VMware”软件4.6.3开启虚拟机单击“yolov-autoware”文件夹，然后单击“开启此虚拟机”，启动ubuntu系统。开启虚拟机4.6.4进入ubuntu系统桌面输入密码“root”，进入ubuntu系统桌面。输入密码4.6.5在台架上进行摄像头的内参标定内参标定需要准备标定板，用的是11角点x8角点，棋盘格单格边长为3.6cm的专业标定板，比较精准。标定板1.启动摄像头（1）单击菜单栏“虚拟机”，单击“可移动设备”，单击“MagTekRmoncamA21080P”，单击“连接（断开与主机的连接）（C）”，用于连接摄像头。注意事项：连接摄像头后，可以打开系统相机窗口，确定一下摄像头是否已连接。选择并连接摄像头（2）在窗口区域内单击鼠标右键，然后选择“打开终端”。打开终端（3）在终端窗口区域内输入以下命令并回车，运行ROS主节点（注意这个窗口不用关闭）。roscore运行ROS主节点（4）再次在窗口区域内单击鼠标右键，然后选择“打开终端”新建一个“终端”，输入以下命令并回车，用于启动摄像头launch文件来打开摄像头。roslaunchusb_camusb_cam-test.launch摄像头画面2.打开标定工具（1）单击文件夹图标，在“HOME/ros+cam+lidar/autoware”文件夹中找到“ros”文件夹，在“ros”文件夹内空白处右键打开终端，输入以下命令并回车，设置环境变量。sourcedevel/setup.bash（2）再输入以下命令，用于启动标定工具。rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw启动标定工具3.摄像头标定及保存标定界面是黑白的，当拿出标定板对着摄像头时，它会自动识别标定板里面内角的参数并用其它颜色线条标注。图11：正常界面与标定界面对比（1）举起并移动标定板，当右上角的X（移动到摄像头视野范围的最左边、最右边）、Y（移动到摄像头视野范围的最上方、最下方）、Size（移动标定板反复靠近、远离摄像头视野范围）、Skew（斜着拿标定板并不断改变标定板的角度）的进度条变颜色为绿色时（X，Y和Size一起标定：保持标定板倾斜移动到视野的最左、最右、最上、最下），标定按钮“CALIBRATE”变为可点击状态。（2）单击“CALIBRATE”按钮即可计算内参矩阵（后台会进行计算，标定界面进入卡滞状态，并不是任务错误，切勿关闭窗口，画面会渐变成灰暗状态），在窗口会出现以下界面。调整参数直至绿色状态进入计算状态（3）等待计算机后台计算后，窗口会出现摄像头矩阵数据（焦距参数，里面包含了X、Y、S坐标参数，还有畸变参数等）。摄像头矩阵数据（4）单击“SAVE”按钮，在终端的打印信息出现保存路径，文件以当前系统日期时间命令自动命名。如果想找回保存的文件，可以按照保存时间去找出来。（5）保存完毕后，单击“COMMIT”按钮退出标定工具，使用快捷键“CTRL+C”关闭摄像头实时同步窗口（标定后保存时间较长，需等待。不能关闭终端窗口）。4.6.6将内参参数复制到json文件1.完成摄像头的内参标定后，在U