脸部疲劳状态检测系统的仿真研究

1、脸部疲劳状态检测系统的仿真研究董国亚1，郝静2，曾雪刚1，葛曼玲1（1.河北工业大学电气学院，天津 300130；2.石家庄信息工程职业学院，石家庄 050035）基金项目：河北省自然科学基金项目（E2009000062,E2010000053）摘要：疲劳驾驶是引发恶性交通事故的重要原因之一，对其检测已成为众多研究者关注的问题。近年来，此检测系统大多是在DSP上实现的，其中复杂源代码的编写是提高系统开发周期的关键。为了节省研发人员编写源代码的时间，本文提出了基于Simulink创建脸部疲劳状态的检测模型，该模型首先将人脸识别出来，然后进一步对眼睛和嘴巴进行识别，最后对眼睛和嘴巴的状态进行疲劳状

2、态的判断。此方法可以快速准确地判断疲劳状态，并且应用Simulink自身Real-Time Workshop页中的Build选项，即可生成能在DSP上运行的C代码，极大地缩短了DSP的开发周期，为DSP的软件开发提供了便捷的途径。关键词：疲劳检测；图像处理；仿真；数字处理芯片中图分类号：TP391.4 文献标识码：ASimulation on detecting system for the facial fatigueDONG Guo-ya，HAO Jing，ZENG Xue-gang，GE Man-ling(1. School of Electrical Engineering, Hebe

3、i University of Technology, Tianjin 300130, China2. Shijiazhuang Information Engineering Vocational College, Shijiazhuang 050035, China)ABSTRACT：In modern times, it is necessary and meaningful to study the detection of drivers fatigue state and develop the aided equipments for the drivers because fa

4、tigue driving is becoming one of the most severe factors to cause the traffic accidents. In recent years, the detecting systems have been achieved on DSP, knots are to develop the available software system, as it is very difficult to debug and code by some softwares. In order to save the time in the

5、 source coding by R&D personnel, a model is presented based on the simulation processing platform for detecting fatigue state of face. Firstly, the face is identified by this model, and then eyes and mouth followed. Finally, the identification of fatigue state on both eyes and mouth is conducted

6、. With this model, the fatigue state is able to be confirmed quickly and precisely, and via Build option from a command of Simulink, C code that can run on the DSP is created and it provides a convenient way to explore DSPs software, so that the development cycle of DSP is largely cutting down. KEYW

7、ORDS：Fatigue detection; image processing; simulation; digital signal processing chip1 引言疲劳驾驶/瞌睡是引发恶性交通事故的重要原因之一。对司机进行疲劳检测并施以适当的警告可以有效地减少因疲劳驾驶发生事故的几率，如今疲劳检测已成为安全驾驶领域的研究热点，准确性、可靠性和无接触性成为检测疲劳/瞌睡的重要标准1-3，疲劳驾驶大多是在DSP上实现的，但此项技术的关键便是编写庞大的C代码，研发人员往往把大量的时间花费在编写复杂的源代码上，而利用Simulink可以避免这个问题，即通过Simulink自身Real-Ti

8、me Workshop页中的Build选项，能够直接生成可在DSP上运行的C代码。基于此功能，本文提出了用Simulink来建立脸部疲劳状态的检测模型。Simulink是一个动态系统的建模仿真工具，可以使用MATLAB的所有分析工具箱，并且可以将要分析的结果可视化，因此被广泛应用于解决实际的问题。图像处理方面的Simulink建模，就是在Simulink环境下根据要对图像进行处理的原理图，调用Simulink自带的图像处理模块，便可得到预期的结果。如果没有符合自己要求的处理模块，则可以通过适当地编写功能模块，来得到想要的结果；并且Simulink可自动生成C代码，这样做大大节省了编写代码的时间

9、，从而为DSP等的实践应用提供了快捷有效的开发手段；同时可视化的调试技术，也方便了对模块的修改。本文就是利用该方法，以计算机图像处理技术为手段，利用Simulink来设计疲劳状态的检测系统。2 疲劳检测的原理整个疲劳检测系统如图1所示，通过摄像头我们得到源文件，为了消除多方面对图像的干扰，需要对源文件进行预处理，以得到较高质量的图像信息，接着需要依次对人脸、人眼、嘴巴进行识别，最后依据疲劳状态的条件进行判断。预处理人脸识别别源文件疲劳状态的判断人眼、嘴识别 图1 系统流程图3 仿真模型的介绍3.1 Simulink在视频和图像处理仿真中的优势Simulink为MATLAB软件包中的一个开放式组

10、件，利用Simulink提供的众多自带模块库，用户只需复制调用相应的库模块，并将它们连接起来即可创建出动态系统的Simulink模型，而不必从最底层做起，更不用编写庞大的程序。Simulink有很好的开放性，比如允许修改现有的模块库或者创建自定义模块，也可以添加专用模块库（Blocksets）进一步扩展其建模能力，例如专用模块库DSP Blockset可用于一般DSP系统的仿真开发，专用模块库Fixed-Point Blockset 可用于定点DSP系统的仿真开发等等4。Simulink含有信号处理模块库（Signal Processing Blockset）及视频和图像处理模块库（Video

11、 and Image Processing Blockset）两大功能模块库，我们可以根据设计原理快速组建仿真模型，进而对各种算法的处理结果进行可视化验证。模块库中大部分模块支持动态参数调试，在系统运行过程中设计者可动态调整参数，实时观察处理结果，也使用Mplay等调试工具可方便查看中间处理结果，系统调试通过后可自动生成代码，节省代码编写时间5。 3.2疲劳检测系统模型根据图1所示的检测原理，在Simulink环境下搭建整个疲劳检测仿真系统模型，框架图如图2所示。图2 仿真系统框架图图2左边的第一个模块是流程图源文件模块，完成导入被检测的图片的功能，并可以指定输出类型和采样时间等属性；第二个模

12、块是预处理模块，预处理主要是对人脸进行补偿，因为由于多方面的原因，图像颜色会受到噪声的影响，为了比较好地得到图像特征的聚类与提取，获得较纯正的图像颜色，需要对图像进行增强，实现对人脸的光照补偿。此模块里面又包含了几个子模块，如：颜色空间的变换模块、分量选择模块、直方图模块等。流程图从第三个模块开始，是整个仿真系统的重点，下面分别详细介绍。Face detection模块是脸部识别模块，此模块内部的具体子模块如图3所示。此模块大体分为人脸分割和人脸定位两个部分。人类皮肤颜色具有自身独特的统计特征6，因此可以利用这种肤色独特的统计特征来进行人脸区域的分割。本文使用Color Space Cover

13、sion1模块将帧图像RGB颜色空间转换成HSV空间，以此来提取人脸候选区，得到初步的二值化图像。在进行分割初步的处理以后，再运用形态学知识来消除剩余的一些细小噪声对人脸定位造成的影响。在对人脸的定位过程中，本文利用图像像素点投影的方法，对二值图像中白色像素点的个数做水平和垂直方向的求和，公式分别如下： （1） （2） 并将得到的结果和事先设的经验值对比，如果大于阈值则为人脸区域，否则不是。以此分别来获取面部区域在垂直方向上的顶部和底部的坐标值及在水平方向上的左侧和右侧的坐标值。然后根据人脸的尺寸约束，即满足人脸长（heigh）宽（weigh）比（h/w）0.8<h/w<1.597

14、的条件，可以确定该区域，进而得到人脸的定位图像。其中蓝色框图是自己编写的小模块，分别实现了对H、S、V三个分量的分析来确定是否是人脸区域并框出人脸区域的功能，进而实现完成人脸定位的工作。图3 人脸识别模块的内部子模块Eyes and mouth detection模块是眼睛和嘴巴的识别模块，经过上面的处理，在得到的人脸定位效果图中，只存在头发、眉毛、鼻孔等少量对眼睛造成干扰的噪声。根据这些噪声远远少于眼睛的像素点个数，可以通过对Blob Analysis模块设置合适的参数，对效果图进行除噪，使得人眼分割达到较好的效果，进而利用Draw Shapes模块来将眼睛定位标识出来。嘴巴的处理过程和眼睛

15、相似，这里就不赘述了。具体的子模块框图如下图4所示。图4 眼睛和嘴巴识别模块的内部子模块 Judge模块是疲劳的判断模块，本文运用Blob Analysis模块里的BBox参数，此参数是一个4*N的矩阵，N表示图像中对象的个数，每一列的四个数分别表示相应对象最左上角点的横纵坐标和对象的宽（width）和高（height），可以利用宽高比通过设置阈值来判断闭眼和打哈欠的状态8，根据多个被试者的数据，得到大概的数据范围，眼睛状态发生“开半开全闭”的变化时，其对应的W/H分别发生了“2.13.14.3”依次变大，嘴巴的状态发生“开半开全闭”的变化时，其对应的W/H分别发生了“0.81.53.7”依次

16、变大，如果在经过阈值判断后得到的对象个数小于3（两只眼睛和一个嘴巴）则判断为疲劳，反之亦然。4 仿真模型的调试及仿真结果建立好模型后，要对整个系统的各个模块的参数进行设置，其中包括仿真的起止时间，模块输入输出的数据类型等参数。我们可以通过点击FormatPort/Signals Dis- playsSignal Dimensions，让系统在运行期间显示信号数据的类型和维数，以便调试查找错误环节。同时Simulink提供了一个调试器可以供用户查找和诊断模型中的错误，它允许用户通过单步运行仿真和显示模块的即时状态、输入和输出来查明错误，并且在仿真的过程中可以设置断点，这大大方便了调试的工作。图5

17、是对应于系统各个模块调试后的仿真效果图。图5 仿真效果图通过判断，在第四幅图中眼睛和嘴巴均可以识别出来，则说明现在是清醒状态，所以系统框图的输出显示为Normal。用此模型又对闭眼和打哈欠状态做了仿真实验，仿真结果分别如图6、7所示。图6 闭眼效果图图7 打哈欠效果图利用Simulink自身Real-Time Workshop页中的Build选项，直接生成可在DSP上运行的C代码，将上述生成的C代码下载到DM642处理芯片里面，进而对经过视频解码器转换成的数字图像进行处理，在此我们验证生成的部分代码（人眼检测部分），经过简单调试后在DM642上运行。其中一幅源图及处理效果图，分别如下图8、图9

18、所示。 图8 源图像 图9 DM642处理效果图5 结论应用该模型，通过做大量的实验取得了较好的仿真效果，证实了本文算法的可靠性和有效性，并且运行速度快，足以满足现场监测的要求。但同时也发现，此模型算法对被试处于光线比较暗的弱视场景，以及被试戴眼镜的情况下处理的效果不太明显，主要表现在眼部和头发区分不明显以及眼部和眼镜区分不精确，未来的工作将在本文的基础上加以改进，获得鲁棒性更好的模型来解决这一问题。通过拓展实验表明，将视频导入到此模型中，同样适用，只需再加以修改，便可应用到实际的疲劳驾驶中去。同时利用Simulink自身Real-Time Workshop页中的Build选项，直接生成可在DSP上运行的C代码，这就极大地缩短了软件的开发周期，使繁琐的诸如在DSP上进行的软件调试的工作简单化。参考文献：1 王磊，吴晓娟等. 一种基于视觉的PERCLOS特征提取方法J. 计算机工程与科学, 2006, 28(6): 52-54.2 翁茂荣. 基于眼睛状态的驾驶员疲劳模糊识别研究 J. 计算机仿真, 2008, 25 (6):244-247.3 刘莉，吴秀清，牛宗标. 模糊图像中的飞行识别方法 J. 计算机仿真, 2006, 23 (3):164-166.4 王宏. MATLAB6.5及其在信号处理中的应用M. 北京:清华大学出版社, 2004.10.5 刘璎瑛.