基于HMM的驾驶员疲劳识别在智能汽车空间的应用.doc

基于HMM的驾驶员疲劳识别在智能汽车空间的应用摘要 智能汽车空间作为普适计算一种具体而集中的表现，对此本文提出了一个基于隐马尔科夫模型（HMM）的驾驶员疲劳识别应用。本文选取了PERCLOS特征变量作为测评驾驶员疲劳的低层上下文，通过大量样本数据的训练，建立HMM，用Viterbi算法从观察序列中识别出最有可能的驾驶员隐藏状态，提醒驾驶员以确保安全的驾驶行为。最后通过在模拟实验环境中的案例验证了该方法的有效性。关键词 智能汽车空间隐马尔科夫模型上下文推理驾驶员疲劳PERCLOSA HMM-BASED DRIVER FATIGUE RECOGNITION APPLICATION IN SMART VEHICLE SPACEAbstract Smart Vehicle Space is a specific and focused performance of pervasive computing, this paper presents an application of driver fatigue recognition based on hidden Markov Model(HMM). The paper selected PERCLOS feature variable as a low-level context of driver fatigue evaluation，and established the HMM through a large number of training sample data，then we identify the most likely drivers hidden state from the observation sequence using Viterbi algorithm, to remind drivers to ensure safe driving behavior. Finally, the casestudy in the simulation environment confirmed the scheme is effective.Keywords smart vehicle space， HMM， context reasoning， driver fatigue， PERCLOS50 引言国家自然科学基金项目(60703088)。吴卿，博士，副教授，主研领域：普适计算，分布式计算，嵌入式汽车电子方向；郁伟炜，硕士研究生，主研领域：分布式计算与应用，上下文感知；当前，普适计算（Pervasive Computing）是计算技术研究和应用的热点，而自发交互是普适计算脱离桌面计算交互模式束缚的关键问题，具有重要的研究价值。智能空间(Smart Space)正成为研究和谐人机交互原理与技术的典型环境，它通过普适网络，把大量的多模态传感器和带有嵌入式处理器的计算、信息设备相互连接起来，从而将计算智能(computational intelligence) 分布和嵌入到环境和日常工具中，以满足各种特定需求。目前，许多国家的高校和企业研究机构对智能空间开展了广泛的研究， 如美国国家标准和技术研究院的Smart Space1、麻省理工学院的Intelligent Room2 、微软研究院的Easy Living3、清华大学的Smart Classroom4 、浙江大学的Smart Vehicle Space(智能汽车空间)5等。在智能空间中，系统首先必须知道整个物理环境、计算环境、用户状态等方面的静态和动态信息，即上下文。而上下文感知计算（Context-Aware Computing）即指能够根据上下文的变化自动地作相适应的改变和配置，可以实现所谓的无干扰计算，利用移动用户与智能空间交互产生的各类动态上下文信息，可最大程度地自动执行用户任务。这样，可以减少用户对计算过程的干预，而用户只关心自己的任务。鉴于智能空间中所感知的原始上下文所具有的单一、低层、不稳定、不精确等特点，如何甄别有效的上下文，如何利用上下文演绎出有效的结论成为研究的关键问题，一般采用贝叶斯网络、模糊推理、人工神经网络、隐马尔科夫模型（HMM）6等方法解决。HMM作为一种统计分析模型，自20世纪80年代以来，被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。近年来，HMM在生物信息科学、故障诊断等领域也开始得到应用。文献7给出了基于HMM来预测机器未来状态的方法，并在实验中得到验证；北京大学8提出一种新的基于HMM分类的交通事件检测方法，使之更好地服务于交通监控系统；南京大学9提出基于HMM的音频分类算法，用于语音、音乐以及它们的混合声音的分类，实验结果表明：HMM的音频最优分类精度达到90.28%。因此，本文中提出了一种基于HMM的驾驶员疲劳认知推理方法，利用智能汽车空间中的低层上下文，通过CCD图像采集器等传感器来获取基本的驾驶员身体状态信息，推理得到准确的驾驶员状态，提醒驾驶员以确保安全的驾驶行为。只有具有上下文感知计算能力的智能汽车空间，才有可能根据具体情况采取最合适的动作自主、自动地为人们提供透明式的服务。下文的组织结构如下：首先介绍了面向智能汽车空间的HMM构建，包括问题域上下文的确定，模型的训练和识别；然后结合模拟实验环境中的案例对HMM的有效性进行了验证，也包括了数据部分失效的情况；最后总结了本文的主要工作和今后的改进方法。1 面向智能汽车空间的HMM构建用来描述实体环境的上下文，可分为低层和高层两种:低层上下文(如图像、位置、手势等) 是进行上下文推理的素材;高层上下文是将低层上下文按一定逻辑规则进行推理得到的启发性知识，具有能揭示系统深层次关系、体现用户真实目的等特点，因此它是上下文感知计算的重要决策依据。智能汽车空间可以看成是汽车物理世界和信息空间的融合，其具备感知、推理、决策三大基本功能，全面地为空间内的驾驶员提供服务，其体系结构如图1所示。图1 智能汽车空间体系结构1.1 HMM的基本理论隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有响应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程，即由两个组成部分:马尔科夫链和一般随机过程。其中马尔科夫链用来描述状态的转移， 用转移概率描述。一般随机过程用来描述状态与观察序列间的关系， 用观察值概率描述。一般情况下，HMM包含两组状态集合和三组概率集合，表示为=( S, O, A, B)，其中：(1) S表示模型中的隐状态。状态的数量用N 表示， 即S=S1, S2, , SN， 这N个状态之间存在着内在的联系;(2) O 表示所有状态可能的观察值。观察值的数量用M表示， 即O=O1, O2, , OM;(3) =i表示初始状态空间的概率分布，其中i表示在时刻t=1 时，处于状态Si 的概率;(4) A=aij表示状态转移概率矩阵， 其中aij 表示由前一时刻状态为Si，转移到的Sj状态的概率;(5) B=bij表示给定状态下观察值的概率分布矩阵（混淆矩阵）， 其中bij 表示在状态Si 下出现观察值Oj 的概率。在状态转移概率矩阵及混淆矩阵中的每一个概率都是时间无关的，也就是说，当系统演化时，这些矩阵并不随时间改变。实际上，这是马尔科夫模型关于真实世界的最不现实的一个假设。通常情况下。为了简化，HMM也可写成=(, A, B)。图2是HMM的组成示意图。一旦一个系统可以作为HMM被描述，就可以用来解决三个基本问题。其中前两个是模式识别的问题：a）评估（Evaluation）：给定HMM求一个观察序列的概率；b）解码（Decoding）搜索最有可能生成一个观察序列的隐藏状态训练。第三个问题则是学习（Learning）：给定观察序列生成一个HMM。图2 HMM的组成示意图1.2 问题域上下文的确定由图1可以分析得到，智能汽车空间中上下文可以分为如下三大类：汽车内部传感器获取的上下文、汽车外部环境上下文和驾驶员上下文。疲劳驾驶作为智能汽车空间中的关键研究内容，同时也是智能交通系统（ITS）的重要研究课题。在过去的十几年里。检测疲劳驾驶的方法主要分基于生理指标、基于面部表情、基于驾驶员操作行为的三类方法。考虑到非接触测量、相关性和准确度的因素，本文选取了PERCLOS10(percentage of eyelid closure over the pupil over time)作为对驾驶员疲劳识别的低层上下文信息。PERCLOS是指眼睛闭合时间占某一特定时间的百分率，眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重。因此通过测量眼睛闭合时间的长短就能确定驾驶疲劳的程度，这里采用与驾驶疲劳程度的相关性最好的P80指标，即以眼睛至少闭合80%的时间占特定时间的百分率为评价指标。特征变量通过汽车内前端顶部的CCD图像采集器获取。图3 显示出用PERCLOS特征变量的测量原理。只要测量出t1t4值就能计算出PERCLOS的值f，表示如下： (1)图3 PERCLOS特征变量的测量原理1.3 模型的训练生成在本应用中，PERCLOS特征向量能够最大程度上表示眼部状态，这一特性使得它可以和HMM结合使用。会有更好的识别效果。由于本文的系统是实时性要求较高，所以，采用一维HMM结构。HMM的参数S和O通过上一节内容可以分析得到：隐藏状态即是驾驶员的身体状态（警觉、疲劳和困倦），观察值为PERCLO特征向量，见表1，是已知的。表1驾驶员身体状态描述状态眼部特征描述序列表示警觉眼睛正常睁开，眨眼迅速，精神集中，PERCLOS值小1疲劳眼睛出现闭合趋势，眼球活跃度下降，PERCLOS值大幅增长2困倦眼睛闭合趋势严重，出现较长时间持续闭合，PERCLOS值高3而A、B 和是需要数据训练得到的。建立HMM的过程就是确定A、B 和的过程。使用Baum-Welch 算法对该模型进行训练。经典的HMM的训练步骤如下：（1）初始模型（待训练模型）=( , A, B)；（2）根据观测序列O，求的一组新参数；（3）重复第( 2) 步， 逐步改进模型参数， 直至P(O|)收敛，此时的即为所求模型参数（P(O|)为模型的输出概率）。在智能汽车空间中，首先由于可能存在失效的观察序列，诸如驾驶员带上墨镜，数据有缺失等影响推理的原因，需要对进行训练的数据进行筛选，这样才能最大可能的提高训练结果的准确性。其次，驾驶员身体状态之间是存在一个基本的顺序，因此在算法初始化的时候可以给出各个矩阵的一个大致概率分布而无需随机设置。因此，在算法初始化的时候可以大大提高收敛的速度，既能保证驾驶员生理特征的合理性和普遍性，又保证了算法具备较高的效率。1.4 模型的识别HMM经过训练确定以后，就可以利用该模型来识别驾驶员的身体状态。此时根据驾驶员的眼部特征变量信息，找到隐藏状态之间的转换，即疲劳状态之间的转换。根据观察序列找到最有可能出现的隐状态序列是HMM最重要的功能。Viterbi 算法是实现该功能的经典算法。利用Viterbi 算法得到驾驶员身体状态之间的转化序列后， 也可以根据状态转移概率矩阵A=aij找到下一刻概率最大的状态， 即最有可能的身体状态Si。当在智能汽车空间中识别出当前驾驶员的身体状态处于疲劳或困倦，提醒驾驶员以确保安全的驾驶行为。2 案例与分析驾驶行为是在一个长时间的过程中持续发生的，我们在模拟环境中进行了3小时的测试，时间选择在比较典型的驾车时段(2:00-5:00PM)，该时间段是驾驶员由清醒变疲劳，最后困倦，模拟环境中设定2:00PM起驾驶员开车，中途未曾休息，一直到5:00PM，每个观测节点的间隔为6分钟，共有30个观察值。我们选取了驾驶员的3类身体情况作为状态，分别为警觉、疲劳和困倦。本文在PC机上采用微软Bing研发的首席应用科学家Tapas Kanungo博士开发的UMDHMM（Hidden Markov Model Toolkit）这个轻量级C语言版的HMM工具包来实现算法，关于疲劳和PERCLOS的初始概率11经过训练后的HMM的状态转移概率矩阵和观察值概率矩阵如表2及表3所示。表2状态转移概率矩阵身体状态1 警觉2 疲劳3 困倦1 警觉0.7230.2180.0592 疲劳0.0980.6760.2263 困倦0.0050.1050.890表3观察值概率矩阵观察值概率矩阵1PERCLOS小2PERCLOS大3PERCLOS很大1 警觉0.9120.0850.0032 疲劳0.0350.8640.1013 困倦0.0450.1310.834根据训练得到的模型，就可以利用基于HMM的驾驶员疲劳认知模型来识别推理驾驶员的身体状态，确保安全的驾驶行为。在UMDHMM环境中，建立Fatigue.hmm模型文件如下：Fatigue.hmmM=3N=3A:0.823 0.118 0.0590.098 0.676 0.2260.005 0.105 0.890B:0.912 0.085 0.0030.035 0.864 0.1010.045 0.131 0.834pi:0.90 0.08 0.02Fatigue.seqT= 301 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3（1）测试一组正常的观察序列，建立Fatigue.seq观察序列文件如下:Viterbi using direct probabilitiesViterbi MLE log prob = -1.419820E+01Optimal state sequence:T= 301 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 -Viterbi using log probabilitiesViterbi MLE log prob = -1.419820E+01Optimal state sequence:T= 301 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3运行testvit Fatigue.hmm Fatigue.seq，结果如下：（2）测试一组数据失真的观察序列，比如序列中将1置换为3，2置换为1，2置换为3，建立Fatigue2.seq观察序列文件如下：Fatigue2.seqT= 301 1 1 1 1 1 1 1 2 1 1 1 1 1 1 2 2 2 2 2 1 2 3 2 2 3 3 3 3 2运行testvit Fatigue.hmm Fatigue2.seq，模型也能保持稳定的识别效果，结果如下：Viterbi using direct probabilitiesViterbi MLE log prob = -2.377490E+01Optimal state sequence:T= 301 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 -Viterbi using log probabilitiesViterbi MLE log prob = -2.377490E+01Optimal state sequence:T= 301 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3从第一组测试中可以看出，将观察到的序列通过HMM，可以得到准确的隐状态序列，驾驶员状态从开始的警觉到疲劳，最后变成困倦，符合模拟环境中的实验记录；在第二组观测数据上有几个PERCLOS特征错误，经过模型的识别，也能纠正失效的特征变量，得到正确的身体状态序列。我们通过模拟环境中记录的真实数据序列和模型推理的结果比较，证实了驾驶员疲劳认知模型的有效性。而且在观测序列若干个变量失效的情况下，也能保持一定准确度的识别效果，与观察序列完整正确的状态结果一致。3 结论本文面向汽车智能空间，提出的基于HMM的驾驶员疲劳认知应用，充分利用了持续的表层观察序列结合HMM的优越性，对汽车空间中的低层上下文进行有效推理，得到有用的高层上下文。该应用能以较高概率正确识别驾驶员的身体状态，同时也能保持观察序列中若干变量失效的情况下的识别效果，对驾驶行为可以进行安全有效的控制。今后的工作改进方向主要是增加训练样本的数量，提高模型的推理精度，并研究在数据缺失较严重情况下模型的精确度。参考文献1 NIST. Smart space project EB/OL. /smart space， June 25，2010.2 MIT. Project oxygenEB/OL. , June 25,2010.3 Microsoft Research. Easy living projectEB/OL. /easyliving/, June 25,2010.4 4Tsinghua University, Smart classroom projectEB/OL. /pervasive/ projects/classroom/ index.html, April 15 ,2010.5 吴卿面向普适计算的自适应中间件模型与方法研究D 杭州:浙江大学，2006.6 L R Rabiner. A Tutorial on Hidden Markov Models and Selected Applications in Speech RecognitionC. Proceedings of the IEEE,77(2) :257,1989.7 Zaidi,