《智能座舱系统开发应用与测试》-学习任务4 驾驶员监控系统开发与测试（学生手册）

任务五DMS系统的开发-学生手册项目五视觉交互系统任务引入《道路交通安全法》第22条规定：“过度疲劳影响安全驾驶的，不得驾驶机动车。”据调查，约55%的驾驶人曾有过疲劳驾驶经历。既然疲劳驾驶引发事故概率如此之高，为什么仍屡禁不止呢？根源还在于导致疲劳驾驶的多元成因，让人防不胜防，并非保证充足的睡眠就可以避免的。但随着科技的日趋渐进，这样的交通顽疾终于可以有显著的改善，各国政府开始出台政策大力推动DMS。大家知道是如何进行DMS系统的开发吗？DMS系统开发完成之后是如何进行测试的？教学目标2.1能力目标2.1.1能通过课程掌握DMS系统的理论知识；2.1.2能通过课程认识DMS系统的开发流程；2.1.3能掌握DMS系统开发工具设备的准备；2.1.4能掌握DMS系统开发作业前的检查；2.1.5能独立完成DMS系统开发的线路连接；2.1.6能独立完成DMS系统的开发及测试；2.1.7能独立完成整理清洁工作。2.2知识目标2.2.1通过课程讲解了解DMS的定义；2.2.2通过课程讲解了解DMS的工作原理；2.2.3通过课程讲解了解DMS的技术方案；2.2.4通过课程讲解了解DMS的主要功能；2.2.5通过课程讲解了解DMS面临的挑战；2.2.6通过课程讲解了解国内外DMS系统厂商；2.2.7通过课程讲解了解DMS系统的开发流程；2.2.8通过课程讲解知道DMS系统开发所需的工具设备；2.2.9通过课程讲解了解DMS系统开发的检查过程；2.2.10通过课程讲解，掌握DMS系统开发的线路连接；2.2.11通过课程讲解，掌握DMS系统开发的编程步骤及方法；2.2.12通过课程讲解，掌握DMS系统开发的固件烧入步骤及方法；2.2.13通过课程讲解，掌握DMS系统开发的测试步骤及方法；2.2.14通过课程讲解，掌握DMS系统开发的注意事项；2.2.15通过课程讲解了解DMS系统开发的整理清洁工作。2.3素养目标2.3.1专心听课认真记录笔记；2.3.2积极参与讨论；2.3.3个人积极回答问题；2.3.4认真填写工作页；2.3.5养成良好的课后复习习惯；2.3.6课后翻阅相关资料加深对课程的了解。任务背景知识3.1.DMS的定义DMS（DriverMonitorSystem，驾驶员监测系统）指的是驾驶员在行车过程中，用来全天候监测驾驶员的疲劳状态、危险驾驶行为的信息技术系统，为车内人机交互的一大应用领域。DMS在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后，DMS系统将会对此类行为进行及时的分析，并进行语音灯光提示，起到警示驾驶员，纠正错误驾驶行为的作用。DMS3.2DMS系统的工作原理基于人脸识别的疲劳驾驶检测系统是采用的摄像头图像传感器的图像处理和分析技术，通过摄像头实时监控和测量司机脸部特征变化、头部活动及身体上半部分的反应和动作，根据预先设计好的检测标准，通过人工智能算法评判出驾驶员的疲劳的程度和不良驾驶行为，当达到某一预设报警标准时，设备会迅速做出分析判断，及时发出相应报警提示。DMS的工作原理3.3DMS的技术方案3.3.1DMS的分类1.DMS主要分为主动和被动两种：被动式DMS系统：基于方向盘转向和行驶轨迹特征来判断驾驶员状态。主动式DMS系统：基于摄像头和近红外技术，从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等，检测驾驶员状态。2.DMS有三种技术方案：（1）通过监测车辆信息间接监测驾驶员状态；被动式DMS系统。（2）基于生物传感器获取驾驶员生理指标进行直接监测；主动式DMS系统。（3）基于视觉传感器获取驾驶员行为信息进行直接监测；主动式DMS系统。3.3.2通过监测车辆信息间接监测驾驶员状态通过测量方向盘上抓握力或直接利用LDWS系统的行车数据，获取车辆偏离车道的时间和偏离程度，进而分析推算司机的疲劳程度或者是否分心。该方案部署成本低，但是该方案并不直接监控驾驶员，而是通过驾驶数据间接推测驾驶员状态，难以准确评估驾驶员的疲劳与分心状态，容易导致误报。通过监测车辆信息间接监测驾驶员状态3.3.3基于生物传感器的驾驶员监测方案这一概念仍处于早期阶段，是基于生物传感器监控驾驶员生理指标的技术方案，利用部署在方向盘或安全带上的电容传感器等设备对生理指标数据进行分析，进而推断驾驶员当前状态。基于驾驶员生理反应特征的检测方法一般采用非接触式检测途径，利用实时图像处理技术，跟踪和分析眼睑状态和眼睛注视位置。3.3.4基于视觉传感器获取驾驶员行为信息进行直接监测人在疲劳的时候会有比较典型的面部表情或动作特征，如较长的眨眼持续时间、较慢的眼睑运动、点头、打哈欠等。基于摄像头的驾驶员监测方案正是利用这一点：首先挖掘出人在疲劳状态下的表情特征，然后提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出一套识别方案，最后输入获取到的驾驶员数据进行识别和判断。基于视觉传感器获取驾驶员行为信息进行直接监测方案3.4DMS的功能1.人脸识别（驾驶员身份认证）基于图像的生物特种识别技术，预先采集驾驶员人脸特征（可多个驾驶员），对驾驶员进行身份识别和有效管控，在非指定驾驶员驾驶车辆的情况下基于报警提示，做到人车协同管理。2.左顾右盼分神提醒针对驾驶员低头看手机、侧头那其他物体、与他人谈笑等情况进行有效监控和干预提醒。3.打哈欠报警当驾驶员在行车过程中连续打哈欠时发出报警信息。4.疲劳驾驶报警通过实时监测分析驾驶员脸部表情、眼部变化来判断驾驶疲劳驾驶状态，如：闭眼睛、低头、打瞌睡等，及时发出相关报警信息，提醒驾驶员注意休息。5.打电话警示当驾驶员在行车过程中手持电话与他人通话时发出报警信息。6.抽烟提醒当驾驶员在行车过程中吸烟时发出报警信息。7.遮挡/离岗警报当不明物体遮挡摄像头、驾驶员面部被遮挡或严重偏离时，触发报警信息。DMS的功能3.5DMS面临的挑战驾驶员监控系统DMS以车载摄像头拍摄的视频流作为输入，面临图像质量多变的挑战。汽车行驶工况复杂，即便摄像头在车内，成像质量也会受外界光线干扰。驾驶员监控系统DMS运行于车载计算平台，面临算力不足的挑战。车载计算平台升级换代较慢，现有的主流平台大多只有中低端ARMCPU/GPU，其算力甚至不如两年前的手机芯片。在这样的平台上运行诸如人脸检测、关键点检测、人脸识别、视线追踪、手势识别等算法，要求资源占用率非常低，对算法有很大考验。数据采集与标注面临很大考验。计算机视觉算法（如基于深度学习的算法）对图像质量有较高要求，同一算法在不同摄像头下性能差异可能会很大。车载摄像头成像质量与公开数据集图像质量差异较大，为保证算法效果需要用车载摄像头采集真实行车场景下的数据，这会极大增加数据采集难度与成本。驾驶员监控系统DMS算法面临驾驶员状态多变的考验。汽车驾驶员有不同性别、年龄、种族，可能会穿戴帽子、口罩、眼镜（包括墨镜），驾驶过程中头部会出现各种姿态，可谓"状态多变"。这些复杂状况同样会对算法构成很大考验。如何提高检测的准确率，减少误报，也是一大挑战，因为如果误报次数太多，对用户造成干扰，就会在用户体验上得不偿失。这方面很大程度上要依赖机器学习过程中大量高质量的数据样本，以及训练算法的优化。最后，在小型化和成本上的要求也必须要重视，因为汽车座舱空间有限，DMS系统不能碍眼碍事。DMS面临的挑战3.6国内外DMS系统厂商3.6.1国外DMS系统厂商1.博世：2019年推出车内监控系统，准备2022年量产，摄像头位置为方向盘内置(驾驶员)，后视镜上下方，以此实现驾驶员监控、账户管理、多模块交互、后排儿童看护。2.电装：2014年推出DriverStatusMonitor产品，2014年量产，摄像头位置在中控台、仪表台上方、A柱，主要功能是疲劳监测、分心监测、驾驶坐姿。3.现代摩比斯：2019年推出DriverMonitoringSystem，2021年量产，安装在仪表台上方，主要功能是驾驶员识别、疲劳监测、分心监测。4.法雷奥：2017年推出DMS驾驶警示系统，2019年量产，安装在可支持转向柱上方、仪表盘、中控或车顶模，主要功能是走神检测，打瞌睡识别，人脸识别、情绪和性别的识别。5.伟世道：2018年推出DriverMonitoringSystem产品，安装在方向柱上方，用于驾驶员识别、疲劳监测、分心监测驾驶员监控系统DMS以车载摄像头拍摄的视频流作为输入，面临图像质量多变的挑战。汽车行驶工况复杂，即便摄像头在车内，成像质量也会受外界光线干扰。3.6.2国内DMS系统厂商1.商汤科技：2019年推出SenseAutoCabin智能车舱解决方案，摄像头安装在中控台上方中央、方向盘柱上方，主要功能是驾驶员身份识别、手势识别、疲劳检测、注视区域识别、危险行为分析、儿童识别、物体识别、宠物检测。2.中科创达：2020年8月推出座舱视觉DMS系统，主要功能有FaceID、驾驶员状态检测(疲劳、分神、不良行为)、乘员/物品检测(物体/儿童/宠物/行为)、生物检测、人车交互(KanziAI)助手。3.经纬恒润：2017年8月推出DMS系统，主要功能是驾驶员监测、身份识别、注意力监测。4.地平线：2019年推出DMS系统，集成在HorizonHalo®解决方案，摄像头安装在A柱、后视镜上，身份识别、疲劳分级监测、儿童识别、行为识别、注意力检测、性别年龄识别。5.百度：2017年推出疲劳驾驶监测系统，摄像头安装在后视镜后上方，人脸识别、疲劳监测、分心检测、姿态识别。任务实施4.1DMS系统的开发流程DMS系统的开发流程4.2工具设备介绍设备包括智能网联教学车、智能座舱测试装调台架、摄像头、联机通讯线（如图所示）；工具包括安全帽、触控笔、绝缘垫和工作手套等（如图所示）。在本任务中，教学车是DMS系统的载体；测试装调台架的作用是用来调试DMS系统；联机通讯线连接车辆和测试装调台架，用于两者之间的数据通讯。设备介绍工具及防护介绍4.3作业前的检查4.3.1安全与防护1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。如图所示。安全与防护要求4.3.2工具的检查1.规范着装入场（着装整洁、不戴首饰、挽起长发等）。2.放置安全警示牌，正确设置安全围挡。3.检查并穿戴工作手套和安全帽。触控笔的检查4.3.3线束外观的检查线束包括智能座舱测试装调台架电源线、联机通讯线。1.外观结构完整，表面不应有破损、变形、裂痕等问题。2.连接针脚无损坏、变形或生锈。联机通讯线4.3.4台架的检查1.检查台架万向轮是否已锁止，确保万向轮处于锁止状态。2.检查台架上的设备是否齐全。台架的检查4.3.5车辆的检查1.绕车一周，检查两个阻车器是否放置在后轮的前后位置。2.安装座椅、地板、方向盘、换档杆四件套3.踩住制动踏板，车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。4.检查手刹指示灯是否已点亮，确保手刹处于制动状态。5.检查车辆电量是否充足，确保电量充足。6.关闭车辆。车辆的检查4.4DMS系统的线路连接4.4.1接线口的检查1.检查联机通讯线（与教学车连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与教学车相连）2.检查联机通讯线（与智能座舱测试装调台架连接端）接线口是否正常（针脚无损坏、变形或锈蚀）。检查端口（与智能座舱测试装调台架连接端）4.4.2联机通讯线的连接正确连接教学车与台架的联机通讯线。联机通讯线的连接4.5DMS系统的编程4.5.1启动车辆车辆READY上电，仪表“READY”灯点亮，且档位处于“P”档。启动车辆4.5.2启动台架和电脑启动台架和电脑。启动台架和电脑4.5.3打开DMS代码文件在“桌面/E300/task2”文件夹中，右键单击“dmsDemo.py”DMS代码文件，用“VisualStudioCode”软件打开，进入代码编写界面。打开“dmsDemo.py“DMS代码4.5.4代码编写1.编写代码，找出嘴巴长宽比对应的特征点。找出嘴巴长宽比对应的特征点2.编写代码，调整嘴巴长宽比参数，用于DMS的激活阈值。调整嘴巴长宽比参数3.完成代码编写后，按“Ctrl+S”保存，然后关闭文件。4.5.5在台架上进行DMS功能调试1.打开“AnacondaPrompt”软件。2.输入以下命令并回车，进入DMS专用虚拟环境。进入DMS专用虚拟环境3.输入以下命令并回车，进入DMS项目文件夹。进入文件夹4.输入以下命令并回车，用于运行“dmsMain.py”程序。运行系统后弹出摄像头录制的实时画面。运行DMS主程序5.对着摄像头连续打2次哈欠后，屏幕出现“sleeping”提示，系统并发出疲劳驾驶报警音效，说明在台架上DMS功能调试成功。DMS效果6.调试完成后，按“q”（注意需要切换为英文输入法）关闭“AnacondaPrompt”软件。4.6DMS系统的固件烧入4.6.1在车辆上装配摄像头关闭电脑和台架，把在台架上摄像头拆卸下来，然后再在车辆上安装摄像头(具体要求在摄像头的拆装与标定已经提到，就不再赘述）。4.6.2打开智能座舱系统测试软件在“智能座舱系统测试软件”上，单击设置图标，单击“SSH”进入程序迁移界面。单击设置图标4.6.3设置并连接网络IP输入“192.168.1.102”，Name输入“e300”，Passward输入小写“root”，单击“连接”按钮连接台架和车辆。设置并连接网络4.6.4发送文件单击“选择文件”，选择人脸识别系统的