《智能座舱系统开发应用与测试》-学习任务3 人脸识别交互系统开发与测试（教师手册）

任务三人脸识别系统的开发-学生手册项目五视觉交互系统.一体化教学设计授课教师：授课班级：学时数：8授课日期：一体化教学场所：教学目标能力目标知识目标素质目标1.能通过课程掌握人脸识别系统的理论知识；2.能通过课程认识人脸识别系统的开发流程；3.能掌握人脸识别系统开发工具设备的准备；4.能掌握人脸识别系统开发作业前的检查；5.能独立完成人脸识别系统开发的线路连接；6.能独立完成人脸识别系统的开发及测试；7.能独立完成整理清洁工作。1.通过课程讲解了解人脸识别的定义；2.通过课程讲解了解人脸识别的工作原理；3.通过课程讲解了解人脸识别系统的特点；4.通过课程讲解了解人脸识别系统的开发流程；5.通过课程讲解知道人脸识别系统开发所需的工具设备；6.通过课程讲解了解人脸识别系统开发的检查过程；7.通过课程讲解，掌握人脸识别系统开发的线路连接；8.通过课程讲解，掌握人脸识别系统开发的编程步骤及方法；9.通过课程讲解，掌握人脸识别系统开发的固件烧入步骤及方法；10.通过课程讲解，掌握人脸识别系统开发的测试步骤及方法；11.通过课程讲解，掌握人脸识别系统开发的注意事项；12.通过课程讲解了解人脸识别系统开发的整理清洁工作。1.专心听课认真记录笔记；2.积极参与讨论；3.个人积极回答问题；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.人脸识别系统的理论知识；2.人脸识别系统的开发工具设备的准备；3.人脸识别系统的开发作业前的检查；4.人脸识别系统的开发的线路连接；5.人脸识别系统的开发及测试；6.完成整理清洁工作。教学准备1.智能座椅的拆装与调试课件；2.工具设备准备：智能网联教学车、智能座舱测试装调台架、摄像头、联机通讯线；工具包括常用工具、触控笔、直角尺、固定螺钉、安全帽、绝缘垫和工作手套等。教学活动1.通过多媒体课件讲解，让学生们知道人脸识别的理论知识；2.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄人脸识别系统的开发工具设备的准备；3.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握人脸识别系统的开发作业前的检查；4.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握人脸识别系统的开发线路连接；5.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握人脸识别系统的开发及测试；6.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握人脸识别系统的开发整理清洁工作；课后作业教学体会2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：大家知道是如何进行人脸识别系统的开发吗？人脸识别系统开发完成之后是如何进行测试的？课前提问多媒体课件分组讨论10教学告知1.人脸识别系统的理论知识；2.人脸识别系统的开发工具设备的准备；3.人脸识别系统的开发作业前的检查；4.人脸识别系统的开发的线路连接；5.人脸识别系统的开发及测试；6.完成整理清洁工作。讲授多媒体课件示范教学课前预习20教学准备1.人脸识别系统的开发课件；2.工具设备准备。讲授多媒体课件讲解课前预习10教学实施1.人脸识别系统的理论知识；2.人脸识别系统的开发工具设备的准备；3.人脸识别系统的开发作业前的检查；4.人脸识别系统的开发的线路连接；5.人脸识别系统的开发及测试；6.完成整理清洁工作。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操290教学总结人脸识别系统的开发步骤及注意事项。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页303.思考练习及答案3.1判断题3.1.1人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。（√）3.1.2人脸检测在实际中主要用于人脸识别的预处理，在图像中只能标定出人脸的位置。（×）3.1.3人脸识别过程中，用户不需要和设备直接接触就能获取人脸图像。（√）3.1.4人脸识别技术带来的信息安全和被滥用问题突出，所以应该禁用人脸识别技术。（×）3.1.5系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用。（√）3.2不定项选择题3.2.1人脸识别技术原理具体实施起来的技术流程则主要包含（ABCD）。A.人脸图像采集及检测B.人脸图像预处理C.人脸图像特征提取D.匹配与识别3.2.2以下哪个不是人脸识别系统的缺点（B）。A.人脸的相似性B.非强制性C.光照问题D.表情姿态问题3.2.3人脸识别系统可使用的特征通常分为（ABCD）。A.视觉特征B.人脸图像代数特征C.像素统计特征D.人脸图像变换系数特征3.2.4以下哪个不是人脸识别系统的优点（D）。A.非接触性B.非强制性C.并发性D.表情姿态问题3.3简答题3.3.1简述人脸识别的定义。答：人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。3.3.2简述人脸识别技术原理具体实施的技术流程。答：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。4.任务考核及答案4.1工具设备认识的活动实施工单写出下面工具/设备的名称及作用图片名称及作用名称：测试装调台架作用：用于智能座椅系统编程开发名称：联机通讯线作用：连接教学车和测试装调台架，用于两者之间的数据通讯名称：摄像头作用：用于人脸识别系统的开发4.2安装前检查活动实施工单4.2.1安全防护的检查安全与防护的检查（根据实际使用的情况作答）根据实际情况在“□”位置上打“√”有无规范着装入场有R无£有无放置安全警示牌有R无£有无正确设置安全围挡有R无£有无检查并穿戴工作手套和安全帽有R无£4.2.2工具的检查工具的检查（根据实际使用的工具作答）根据实际情况在“□”位置上打“√”表面有无破损有£无R表面有无变形有£无R表面有无生锈有£无R触控笔功能有无问题有£无R工具是否齐全是R否£工具使用功能是否正常是R否£4.2.3测试装调通讯线外观检查测试装调通讯线外观检查（根据实际使用的连接线作答）根据实际情况在“□”位置上打“√”表面有无破损、裂痕有£无R表面有无变形有£无R针脚有无损坏有£无R针脚有无生锈有£无R4.2.4台架的检查台架的检查（根据实际使用的台架作答）根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案检查台架万向轮是否已锁止。台架上的设备是否齐全有£无R4.2.5车辆的检查车辆的检查（根据实际使用的车辆作答）根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案两个阻车器是否放置在后轮的前后位置是R否£是否安装座椅、地板、方向盘、换档杆四件套是R否£启动车辆，档位是否处于“P”档是R否£手刹指示灯是否已点亮是R否£车辆剩余电量为（根据实际电量填写）。检查完毕后，车辆是否关闭是R否£4.3联机通讯线的连接活动实施工单联机通讯线的连接检查（根据实际使用的情况作答）根据实际情况在“□”位置上打“√”测试装调通讯线（与教学车连接端）接线口是否正常是R否£测试装调通讯线（与智能座舱测试装调台架连接端）接线口是否正常是R否£测试装调通讯线是否连接正常是R否£4.4人脸识别系统的编程实施工单人脸识别系统的编程根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案车辆是否正常启动是R否£台架和电脑是否正常打开是R否£人脸识别代码文件名称为：“faceDemo.py”。编写代码，用于选择正确的人脸分类器。编写代码，用于实现人脸检测。编写代码，用于实现人脸判断。是否保存文件是R否£输入condaactivatee300命令并回车，进入人脸识别专用虚拟环境。输入以下cdC:\Users\Dell\Desktop\E300\task2并回车，进入人脸识别项目文件夹。输入以下PythonfaceMain.py并回车，用于运行faceMain.py主程序。当摄像头检测到人脸后，电脑屏幕上出现方框并出现”FaceDetectOK!”提示，说明在台架上人脸识别的功能调试成功。4.5人脸识别系统的固件烧入活动实施工单人脸识别系统的固件烧入根据实际情况在“□”位置上打“√”是否正确在车辆上装配摄像头是R否£是否正确打开智能座舱系统测试软件是R否£是否正确设置并连接网络是R否£是否正确发送文件是R否£4.6人脸识别系统的测试活动实施工单人脸识别系统的测试根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案是否正确启动系统是R否£在车辆中控屏上单击“开启人脸识别”，当香薰图标由白色变成蓝色，说明人脸识别打开香薰功能测试成功。是否关闭人脸识别功能及软件是R否£是否还原台架及车辆是R否£4.7整理清洁整理清洁根据实际情况在“□”位置上打“√”是否关闭台架和车辆是R否£是否清洁测试教学车通讯线及两端口是R否£是否清洁智能座舱测试装调实训台架电源线及端口是R否£是否清洁整理触控笔是R否£是否清洁工具是R否£是否清洁整理工作台是R否£是否回收座椅、地板、方向盘、换档杆四件套是R否£是否清洁整理车辆和台架是R否£是否卸下并整理好安全防护工具是R否£是否回收安全警示牌是R否£是否离场并恢复围挡是R否£

1.一体化教学设计授课教师：授课班级：学时数：4授课日期：一体化教学场所：教学目标能力目标知识目标素质目标1.能通过课程认识摄像头的理论知识；2.能掌握摄像头的拆装与标定工具设备的准备；3.能掌握摄像头的拆装与标定作业前的检查；4.能独立完成摄像头的拆装与标定的线路连接；5.能独立完成摄像头的拆装、标定与调试步骤；6.能独立完成整理清洁工作。1.通过课程讲解了解视觉传感器的定义；2.通过课程讲解了解视觉传感器的结构组成；3.通过课程讲解了解视觉传感器的特点；4.通过课程讲解了解视觉传感器的应用；5.通过课程讲解知道摄像头的拆装与标定所需的工具设备；6.通过课程讲解了解摄像头的拆装与标定的检查过程；7.通过课程讲解，掌握摄像头的拆装与标定的线路连接；8.通过课程讲解，掌握摄像头在台架上的装配步骤及方法；9.通过课程讲解，掌握摄像头的标定步骤及方法；10.通过课程讲解，掌握摄像头在车辆上的装配步骤及方法；11.通过课程讲解，掌握摄像头的调试步骤及方法；12.通过课程讲解，掌握摄像头的拆装、标定与调试注意事项；13.通过课程讲解了解摄像头的拆装与标定的整理清洁工作。1.专心听课认真记录笔记；2.积极参与讨论；3.个人积极回答问题；4.认真填写工作页；5.养成良好的课后复习习惯；6.课后翻阅相关资料加深对课程的了解。教学重点1.摄像头的理论知识；2.摄像头的拆装与标定工具设备的准备；3.摄像头的拆装与标定作业前的检查；4.摄像头的拆装与标定的线路连接；5.摄像头的拆装、标定与调试；6.完成整理清洁工作。教学准备1.智能座椅的拆装与调试课件；2.工具设备准备：智能网联教学车、智能座舱测试装调台架、摄像头、联机通讯线；工具包括常用工具、触控笔、直角尺、固定螺钉、安全帽、绝缘垫和工作手套等。教学活动1.通过多媒体课件讲解，让学生们知道摄像头的理论知识；2.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄像头的拆装与标定工具设备的准备；3.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄像头的拆装与标定作业前的检查；4.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄像头的拆装与标定的线路连接；5.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄像头的拆装、标定与调试；6.通过视频教学讲解、实操演示和学生动手实操，让学生们掌握摄像头的整理清洁工作；课后作业教学体会2.一体化教学实施教学流程教学内容教学方法教学手段学生活动时间分配（min）教学引入提问：大家知道教学车摄像头主要包括哪些部件吗？摄像头是如何进行标定的？课前提问多媒体课件分组讨论5教学告知1.摄像头的理论知识；2.摄像头的拆装与标定工具设备的准备；3.摄像头的拆装与标定作业前的检查；4.摄像头的拆装与标定的线路连接；5.摄像头的拆装、标定与调试；6.完成整理清洁工作。讲授多媒体课件示范教学课前预习10教学准备1.摄像头的拆装与标定课件；2.工具设备准备。讲授多媒体课件讲解课前预习5教学实施1.摄像头的理论知识；2.摄像头的拆装与标定工具设备的准备；3.摄像头的拆装与标定作业前的检查；4.摄像头的拆装与标定的线路连接；5.摄像头的拆装、标定与调试；6.完成整理清洁工作。讲授演示练习多媒体课件讲解实操演示课前预习分组讨论动手实操140教学总结摄像头的拆装与标定步骤及注意事项。提问启发引导多媒体课件讲解1.回答问题2.完成学生工作页20

3.思考练习及答案3.1判断题3.1.1视觉传感器在智能网联汽车上的应用是以摄像头的形式出现。（√）3.1.2鱼眼镜头属于超广角镜头中的一种特殊镜头。（√）3.1.3视觉传感器捕捉目标物体图像的能力只取决于镜头。（×）3.1.4视觉传感器可获取物体颜色，距离、纹理、深度、形状等。（√）3.1.5根据安装位置，侧视摄像头可分为侧前视和侧后视。（√）3.2不定项选择题3.2.1下列（ACD）属于视觉传感器的组成部分。A.镜头B.PCB板C.图像传感器D.图像处理器3.2.2（C）摄像头可以实现泊车辅助功能。A.前视B.侧视C.后视D.环视3.2.3用于实现交通标志识别功能的摄像头有（AB）。A.前视摄像头B.侧视摄像头C.后视摄像头D.环视摄像头3.2.4视觉传感器具有以下（ABCD）特点A.信息量极为丰富B.获取范围广C.制作工艺简单D.应用广泛3.3简答题3.3.1简述视觉传感器的工作流程。答：被拍摄的目标物体通过镜头产生的光学图像投射到图像传感器表面上，然后转化为电信号，经过模数转换器转换后变为数字图像信号，再传输到图像处理器中加工处理再通过图像储存器进行压缩得到目标物体图像3.3.2视觉传感器广泛应用于ADAS系统中，那它可以实现哪些功能？答：车道偏离预警、盲区监测、自动泊车辅助、全景泊车、驾驶员疲劳预警、行人碰撞预警、车道保持辅助、交通标志识别、前向碰撞预警等功能。4.任务考核及答案4.1工具设备认识的活动实施工单写出下面工具/设备的名称及作用图片名称及作用名称：测试装调台架作用：用于智能座椅系统编程开发名称：联机通讯线作用：连接教学车和测试装调台架，用于两者之间的数据通讯名称：摄像头作用：用于摄像头的拆装与标定名称：固定螺钉作用：固定摄像头4.2安装前检查活动实施工单4.2.1安全防护的检查安全与防护的检查（根据实际使用的情况作答）根据实际情况在“□”位置上打“√”有无规范着装入场有R无£有无放置安全警示牌有R无£有无正确设置安全围挡有R无£有无检查并穿戴工作手套和安全帽有R无£4.2.2螺钉/工具的检查螺钉/工具的检查（根据实际使用的螺钉/工具作答）根据实际情况在“□”位置上打“√”表面有无破损有£无R表面有无变形有£无R表面有无生锈有£无R螺钉螺纹有无滑丝或变形有£无R螺钉是否齐全有R无£工具是否齐全是R否£工具使用功能是否正常是R否£4.2.3测试装调通讯线外观检查测试装调通讯线外观检查（根据实际使用的连接线作答）根据实际情况在“□”位置上打“√”表面有无破损、裂痕有£无R表面有无变形有£无R针脚有无损坏有£无R针脚有无生锈有£无R4.2.4摄像头外观检查摄像头外观检查（根据实际使用的摄像头作答）根据实际情况在“□”位置上打“√”外观结构应整洁，表面有无有凹痕、划痕、裂缝、变形、毛刺等问题有£无R表面层有无起泡、龟裂、脱落。有£无R镜头有无气泡、划痕、裂纹、污物等缺陷有£无R台架上的支架应稳固，有无脱落及摇晃有£无R连接针脚有无损坏、变形或生锈有£无R4.2.5台架的检查台架的检查（根据实际使用的台架作答）根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案检查台架万向轮是否已锁止。台架上的设备是否齐全有£无R4.2.6车辆的检查车辆的检查（根据实际使用的车辆作答）根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案两个阻车器是否放置在后轮的前后位置是R否£是否安装座椅、地板、方向盘、换档杆四件套是R否£启动车辆，档位是否处于“P”档是R否£手刹指示灯是否已点亮是R否£车辆剩余电量为（根据实际电量填写）。检查完毕后，车辆是否关闭是R否£4.2.7在下表中写出摄像头线束接口各个针脚功能含义1.摄像头线束接口定义智能座椅电源线接口定义说明针脚功能1Data+2Data-3接地（GND）4电源（+5V）4.3联机通讯线的连接活动实施工单联机通讯线的连接检查（根据实际使用的情况作答）根据实际情况在“□”位置上打“√”测试装调通讯线（与教学车连接端）接线口是否正常是R否£测试装调通讯线（与智能座舱测试装调台架连接端）接线口是否正常是R否£测试装调通讯线是否连接正常是R否£4.4摄像头在台架上的装配活动实施工单摄像头在台架上的装配根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案将摄像头安装到台架上方的摄像头支架上。摄像头线束是否出现破损是£否R两端接线口是否正常是£否R针脚是否损坏、变形和锈蚀是£否R确认摄像头线束接口针型和孔型相对无误并拧紧。拆装时当感觉到有卡滞感时，应立刻停止操作，重新检查，避免损坏摄像头。使用专用直角尺调整摄像头的安装角度，安装角度为90度，再拧紧固定螺钉。4.5摄像头的标定活动实施工单摄像头的标定根据实际情况在“□”位置上打“√”或根据实际情况在“——”上填上正确答案台架和电脑是否正常打开是R否£内参标定软件是否正常打开是R否£虚拟机是否正常打开是R否£输入密码“root”，进入ubuntu系统桌面。使用长宽为11（角点）x8（角点）、棋盘格为3.6cm的专业标定板进行摄像头的内参标定。摄像头是否正常连接是R否£运行ROS主节点命令为：roscore。启动摄像头launch文件命令为：roslaunchusb_camusb_cam-test.launch。设置环境变量命令为：sourcedevel/setup.bash。当右上角的X、Y、Size、Skew的进度条颜色变为绿色时，标定按钮““CALIBRATE””变为可点击状态，单击即可计算内参矩阵。是否保存文件是R否£在Ubuntu系统内，摄像头保存好的文件格式为“yaml”格式。在“桌面/E300/task2”文件夹中，摄像头内参参数文件名为json文件。填写摄像头的内参参数文件数据（保留六位小数）：CameraMatdata：【，，，