（计算机应用技术专业论文）基于面部视频的疲劳状态分析与理解.pdf

摘要 摘要 疲劳驾驶已经成为引发交通事故的重要原因，对驾驶疲劳的检测是人机交 互、计算机视觉等领域的重要研究内容。基于面部视频的疲劳状态分析与理解 的目的就是要赋予计算机一定程度的对人类疲劳状态分析与理解的能力。 多数已有的疲劳识别方法本质上利用疲劳的单个面部图像中的视觉特征进 行识别，是基于空间信息的方法。这些方法没有建模疲劳的运动特性，对视频 中帧一帧的图像进行识别没有利用时间上的信息。论文在总结分析已有方法 的基础上，在基于面部视频的疲劳分析和理解的几个方面提出了若干创新性想 法，并给出了令人满意的实验结果。本文的主要贡献和创新点包括： ( 1 )在基于面部图像的疲劳分析中，针对疲劳时面部的3 类表现特征， 分别提出了新的分析理解方法。 眼部的闭合、打哈欠和整脸的一些表现是疲劳最主要的表现信息，论文结 合相应疲劳表现的特点分别提出了新的分析方法。嘴部的高度、宽度等几何特 征是打哈欠分析常用的特征。针对几何特征使用的部分特征点难于定位，考虑 到嘴角的纹理同样包含丰富的打哈欠信息，论文提出了一种利用嘴角的纹理特 征检测打哈欠的新方法。眼部张开的程度是现有眼睛闭合分析中比较常用的特 征，它要求比较精确的眼部特征点定位，事实上此时眼部的纹理也有明显的变 化。结合纹理描述算子l o c a lb i n a r yp a t t e r n ( l b p ) ，论文提出了一种基于眼部纹 理特征a d a b o o s t e dl b p 判定眼睛闭合的方法。多数疲劳检测提取面部的局部特 征来分析，但疲劳的一些表现如面无表情等很难用局部的特征进行刻画。论文 提出了一种基于脸部全局特征a d a b o o s t e dp c a 判定驾驶员疲劳的方法。实验 结果表明，论文提出的几种算法以较小的计算代价获得了较高的识别性能。 ( 2 )在基于面部图像的疲劳分析中，针对单个视觉线索存在的不确定 性，提出了两种融合多个面部疲劳视觉线索的方法。 b a y e s i a nn e t w o r k s ( b n s ) 是处理不确定信息的一个有效工具，论文在决策层 采用基于b n s 的概率模型融合嘴部和眼部的视觉线索来判定驾驶员是否疲劳。 由于b n s 融合的多个视觉线索，要求这些视觉线索是条件独立的，在有些条什 北京工业大学工学博士学位论文 下不满足这样的条件，或者比较难于判定多个视觉线索是否条件独立，因此论 文进一步考虑利用l i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) 融合眼部、嘴部和脸部的 视觉线索来判别疲劳。试验结果显示b n s 和l d a 融合的方法较单个的视觉线 索都获得了更加鲁棒、可靠和准确的疲劳指标。 ( 3 )在基于视频图像序列的疲劳分析中。为了表现疲劳的动态特性，提 出了两种面部动态疲劳特征。 疲劳表现出的动态信息是疲劳最本质、最重要的信息。为了表现驾驶员疲 劳的动态特性，论文从面部图像序列中提取了两种动态疲劳特征进行分析。考 虑到单个面部图像具有较高的维数，图像序列的维数会增加更多。因此要提取 图像序列的特征，首先要得到单个图像的低维表示。论文采用p r i n c i p a l c o m p o n e n ta n a l y s i s ( p c a ) 方法获得图像序列中每个图像的低维表示，在面部 图像序列的低维表示的基础上通过组合、编码等操作获得面部疲劳的动态特征。 试验结果显示论文提出的动态特征较对比的静态特征取得了更好的识别效果。 ( 4 )在基于面部视频图像序列的疲劳分析中，为了表示疲劳的多尺度特 性，提出了两类面部多尺度动态疲劳特征：多尺度的动态l b p 特征、多尺度的 动态g a b o r 特征。 疲劳时不同的面部表现具有不同的尺度，疲劳分析的现有研究中还没有关 注疲劳的多尺度特性。为了表现驾驶员面部疲劳动态和多尺度的特性，论文提 出了一种疲劳的面部多尺度动态l b p 特征。这种特征对原始的l b p 进行了两 个方面的扩展：利用g a b o r 小波处理，对l b p 进行多尺度上的扩展：通过构建 动态单元对l b p 进行动态上的扩展。进一步，论文基于g a b o r 小波和特征融合 从面部图像序列中提取了两种面部多尺度动态g a b o r 特征用于检测疲劳。这两 种特征在提取的过程中不仅考虑了疲劳的动态、多尺度的特性，而且在对特征 处理的过程中考虑了原始的疲劳特征在方向上的关系特性。对面部视频图像序 列中的疲劳，两类面部多尺度动态特征均取得了令人满意的识别性能。 进一步的研究需要在面部动态特征的提取和多个特征的融合理解方面做出 努力，还可以将相关算法推广到基于视频的面部表情识别中。 关键词疲劳；局部二值模式：特征融合；多尺度；动态特征 a b s t r a c t a b s t r a c t d r i v e rf a t i g u eh a sb e c o m ea ni m p o r t a n tr e a s o nf o rm a n yt r a f f i ca c c i d e n t s d r i v e r f a t i g u ed e t e c t i n gi sa l li m p o r t a n tc o n t e n to fh c i ( h u m a n - c o m p u t e ri n t e r a c t i o n ) a n d c v ( c o m p u t e rv i s i o n ) r e s e a r c h 。t h ea i mo ff a c i a lv i d e o sb a s e dh u m a nf a t i g u e a n a l y s i s a n dr e c o g n i t i o ni st om a k ec o m p u t e r sh a v et h ea b i l i t yt oa n a l y z ea n d r e c o g n i z eh u m a nf a t i g u ei ns o m es e n s e m o s to ft h ee x i s t i n gf a t i g u er e c o g n i t i o nm e t h o d sa r es p a t i a la p p r o a c h e s ，a n d v i s u a lf e a t u r e so b t a i n e df r o mas i n g l ef a c ei m a g ea r eu s e df o rc l a s s i f i c a t i o n s p a t i a l a p p r o a c h e sd on o tm o d e lt h ed y n a m i c so ff a t i g u e ，a n da n a l y z ei m a g e so n eb yo n e w i t h o u tt e m p o r a li n f o r m a t i o n w es u m m a r i z et h er e l e v a n tl i t e r a t u r e ss u f f i c i e n t l y , a n d t h e np r o p o s en o v e li d e a so nf a c i a lv i d e o sb a s e df a t i g u ea n a l y s i sa n ds h o wt h ee x c i t i n g e x p e r i m e n t a lr e s u l t s t h em a i nc o n t r i b u t i o n sa n di n n o v a t i o n so f t h er e s e a r c ha r el i s t e d a sf o l l o w s ： ( 1 ) i nf a c ei m a g eb a s e df a t i g u ea n a l y s i s ，t h r e en e wa p p r o a c h e sa r ep r o p o s e df o r ；， t r e em a i nf a t i g u ev i s u a lb e h a v i o r sr e s p e c t i v e l y e y ec l o s e d ，y a w n i n ga n dt h ea p p e a r a n c eo ft h ew h o l ef a c e a r et h em o s t i m p o r t a n tb e h a v i o r s n e wa p p r o a c h e sa r ep r o p o s e dr e g a r d i n go ft h et r a i t s o ft h e s e b e h a v i o r s g e o m e t r i cf e a t u r e ss u c ha sh e i g h ta n dw i d t ho fm o u t h sa r eu s e di nm o s t y a w n i n gd e t e c t i o n s o m eo ft h ep o i n t su s e db yg e o m e t r i cf e a t u r e sa r en o te a s yt o l o c a t e c o n s i d e r i n gt h et e x t u r eo ft h em o u t hc o m e r si n c l u d em u c hi n f o r m a t i o no f y a w n i n g ，w ep r o p o s et oe x t r a c tt e x t u r ef e a t u r e sf r o mm o u t h c o m e r sf o rm o n i t o r i n ga d r i v e r sy a w n i n g d e g r e eo fe y eo p e n e di so r e nu s e d 邪af e a t u r ef o re y ec l o s e d d e t e c t i o ni nt h ee x i s t i n ga p p r o a c h e s t h e s em e t h o d sn e e dp r e c i s el o c a t i o no ft h e f e a t u r ep o i n t so fe y e s t e x t u r eo fe y e sc h a n g e sm u c hw h e nad r i v e rf a t i g u e s b y u s i n gat e x t u r ed e s c r i p t i o no p e r a t o rn a m e dl o c a lb i n a r yp a t t e m ( l b p ) ，w ep r e s e n t a n o v e ls o l u t i o nb a s e do nt e x t u r eo fe y e s ( a d a b o o s t e dl b p ) f o re y ec l o s e dd e t e c t i o n i 北京工业大学工学博士学位论文 m o s td r i v e rf a t i g u ed e t e c t i o nm e t h o d se x t r a c tl o c a l f a c ef e a t u r e s b u ts o m e b e h a v i o r ss u c ha sg l a s s y e y e de x p r e s s i o na r eh a r dd e s c r i b e db yl o c a lf e a t u r e s w e p r o p o s ea l la p p r o a c ht od e t e c td r i v e rf a t i g u eb yg l o b a lf e a t u r e s ( a d a b o o s t e dp c a ) e x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e da p p r o a c h e sh a v eab e t t e rp e r f o r m a n c ea t m u c hl o w e rc o m p u t a t i o n a lc o s t s ( 2 ) i nf a c ei m a g eb a s e df a t i g u ea n a l y s i s ，t w om e t h o d sf o rf u s i o no fd r i v e rf a c e f a t i g u ec u e sa r ep r o p o s e dt or e m o v et h eu n c e r t a i n t ya n di l l e g i b i l i t yi nas i n g l ec u e b a y e s i a nn e t w o r k s ( b n s ) a r eap o w e r f u lt o o lt od e a lw i t hu n c e r t a i n i n f o r m a t i o n ap r o b a b i l i s t i cm e t h o db a s e do nb n si su s e dt of u s et w ov i s u a lf a c e c u e sf r o mm o u t h sa n de y e ss y s t e m a t i c a l l ya tt h ec o n f i d e n c el e v e lf o r f a t i g u e d e t e c t i o n c o n d i t i o n a li n d e p e n d e n c yi sn e c e s s a r yf o rt h ev i s u a lc u e si nb n sf u s i o n i ns o m ec o n d i t i o n ，t h eh y p o t h e s i si sn o tt r u e ，o ri ti sv e r yh a r dt oj u d g ew h e t h e rt h e c u e sa r ei nc o n d i t i o n a li n d e p e n d e n c y t h e r e f o r e ，i nt h es e c o n dm e t h o d ，l i n e a r d i s c r i m i n a n ta n a l y s i s 皿d a ) b a s e di n f o r m a t i o nf u s i o no fv i s u a lf a c ec u e sf r o m m o u t h s ，e y e sa n df a c e si sc o n s i d e r e da tt h ec o n f i d e n c el e v e l t h et w op r o p o s e d m e t h o d sb o t hy i e l dam u c hm o r er o b u s t ，r e l i a b l ea n da c c u r a t ef a t i g u ed e t e c t i o nt h a n u s i n gas i n g l ev i s u a lf a c ec u e ( 3 ) i nf a c ei m a g es e q u e n c e sb a s e df a t i g u ea n a l y s i s ；t w od y n a m i cf a c ef a t i g u e f e a t u r e sa l ep r e s e n t e dt od e s c r i b et h ed y n a m i cc h a r a c t e ro fd r i v e rf a t i g u e d y n a m i ci n f o r m a t i o no fd r i v e rf a t i g u ei st h em o s ti m p o r t a n ta n di n t r i n s i c a l f e a t u r ef o rf a t i g u e t oa c c o u n tf o rt h et e m p o r a la s p e c to fh u m a nf a c ef a t i g u e ，w e p r o p o s et w on o v e lm e t h o d sb a s e do nf a c ed y n a m i cf e a t u r e st od e t e c tf a t i g u ef r o m f a c ei m a g es e q u e n c e s t h ed i m e n s i o no faf a c ei m a g ei sh i g h ，a n dt h ed i m e n s i o no f f a c ei m a g es e q u e n c e sw i l la d dm u c h t h ef i r s tt h i n gi st og e tal o wd i m e n s i o n a l r e p r e s e n t a t i o no faf a c ei m a g eb e f o r ew ee x t r a c tf e a t u r e sf r o maf a c ei m a g es e q u e n c e t h el o wd i m e n s i o n a lr e p r e s e n t a t i o no fe a c hf a c ei m a g ei na s e q u e n c ei se x t r a c t e db y p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) d y n a m i cf a c ef e a t u r e so fd r i v e rf a t i g u ea r e o b t a i n e db yc o m b i n a t i o na n dc o d i n gb a s e do nt h el o wd i m e n s i o n a lr e p r e s e n t a t i o no f f a c ei m a g es e q u e n c e s e x p e r i m e n t ss h o wt h a tf a c ed y n a m i cf e a t u r e sh a v eb e t t e r p e r f o r m a n c et h a ns t a t i cf e a t u r e s i v a b s t r a c t ( 4 ) i nf a c ei m a g es e q u e n c e sb a s e df a t i g u ea n a l y s i s ，t w of a c em u l t i s c a l e d y n a m i cf e a t u r e s ：m u l t i s c a l ed y n a m i cl b pa n dm u l t i s c a l ed y n a m i c g a b o r r e p r e s e n t a t i o nf o rf a t i g u ed e t e c t i o na r ep r o p o s e d d i f f e r e n tf a c ef a t i g u eb e h a v i o r sh a v ed i f f e r e n ts c a l e s ，a n dt h e r ei sn or e s e a r c h r e p o r ta b o u tt h em u l t i - s c a l ec h a r a c t e ro fd r i v e rf a c ef a t i g u e w ep r o p o s eaf a c e m u l t i s c a l e d y n a m i cl b pf o rf a t i g u e d e t e c t i o nt od e s c r i b et h ed y n a m i ca n d m u l t i s c a l ec h a r a c t e r so ff a c ef a t i g u e m u l t i s c a l ed y n a m i cl b pi sa ne x t e n s i o no f l b pi nt w oa s p e c t s ：m u l t i s c a l ee x t e n s i o nb yg a b o rt r a n s f o r ma n dd y n a m i c e x t e n s i o nb yc o n s t r u c t i o no fd y n a m i cu n i t s f u r t h e r , w ep r o p o s et w on o v e lf a c e m u l t i s c a l ed y n a m i cg a b o rr e p r e s e n t a t i o n sw i t hf e a t u r ef u s i o nf r o mf a c ei m a g e s e q u e n c e st od e t e c th u m a nf a t i g u e i nt h ee x t r a c t i o no f t h o s et w of e a t u r e s ，n o to n l y t h ef a c ed y n a m i ca n dm u l t i - s c a l ec h a r a c t e r sa r et a k e ni n t oa c c o u n t b u ta l s o o r i e n t a t i o nr e l a t i o no ft h eo r i g i n a lf a t i g u ef e a t u r e sa r ec o n s i d e r e d t h o s ef a c e m u l t i s c a l ed y n a m i cf e a t u r e sa l la c h i e v es a t i s f y i n gp e r f o r m a n c ei ne x p e r i m e n t so f f a t i g u ed e t e c t i o nf r o mf a c ei m a g es e q u e n c e s f u t u r ew o r ks h o u l df o c u so nf a c ed y n a m i cf e a t u r ee x t r a c t i o na n df u s i o no fm u l t i f a c ef e a t u r e s a tt h es a m et i m e ，w ec a ne x t e n dt h ep r o p o s e da p p r o a c h e st ov i d e o b a s e df a c ee x p r e s s i o nr e c o g n i t i o n k e y w o r d s ：h u m a nf a t i g u e ，l b p , f e a t u r ef u s i o n ，m u l t i s c a l e ，d y n a m i cf e a t u r e v 插图 曼皇曼曼曼鼍曼皇曼曼鼍舅i i i_u lml| n 皇寡 插图 图1 1 疲劳驾驶引起的车祸2 图1 2 一个测试对象在3 0 秒间隔中的e e g 和m 卟d s ( 头部位置) 4 图1 3p e r c l o s 摄像头的结构。6 图1 4m i n d s 的头部位置测量系统8 图1 5m i c r o s l e e p 引起眼睛较长时间闭合时眼睛凝视的数据( 大约6 s ) 9 图1 - 6s a f e t y s c o p e 系统和m a y op u p i l l o m e t r y 系统1 0 图1 7 表情分析中使用的面部特征点和局部区域1 1 图1 8w i l s o n 提出的疲劳监测方法1 3 图1 - 9f l e t c h e r 使用的两个视觉平台1 4 图1 1 0j i 提出的疲劳监测系统1 5 图1 1 l 带红外l e d 的摄像头。1 5 图1 1 2j i 提出的疲劳监测系统的流程图1 6 图2 1w a n g 提取的嘴部几何特征2 3 图2 2j i 提取的表示嘴部张开程度的几何特征2 4 图2 3 原始图像和入脸检测结果2 5 图2 - 4 嘴角定位的过程和结果2 6 图2 5l b p 算子3 2 图2 6 原始图像和l b p 图像3 3 图2 7 决策树3 4 图2 8 面部疲劳数据3 8 图2 - 9 嘴部特征点定位结果4 0 图2 1 0 嘴角定位结果4 l 图2 1 1a d a b o o s t 算法性毹随决策树分支个数的变化4 3 图2 1 2 正确率和弱分类器个数随分支个数的变化4 4 图2 1 3a d a b o o s t 算法性能随决策树分支个数的变化4 5 图2 1 4 识别率和弱分类器个数随分支个数的变化4 6 图2 1 5 特征值和g e n t l ea d a b o o s t 挑选的特征脸4 8 图3 1j i 提出的监测人的疲劳的b n 模型5 2 图3 2j i 提出的监测人的疲劳的d b n 模型5 3 图3 3 系统框架5 4 图3 4 基于b n s 的信息融合5 5 图3 5 疲劳检测模型5 5 图3 - 6 系统框架图5 6 图3 7 基于l d a 的信息融合5 7 图3 8 疲劳数据库中的实例5 8 图3 - 9 正确率随阈值的变化5 9 图4 1 算法框架图6 3 图4 2 面部动态特征提取6 5 x i 北京工业大学工学博士学位论文 图4 3 面部动态特征的处理6 6 图4 - 4 面部动态特征提取6 7 图4 5 面部疲劳图像序列数据库中正常和疲劳状态的图像序列6 9 图4 6 面部p c a 系数的均值和标准差。7 0 图4 7 面部p c a 系数的正态概率密度函数。7 l 图5 1 系统框架7 6 图5 25 个尺度8 个方向的g a b o r 小波的幅值7 7 图5 - 3 面部图像多尺度多方向表示7 8 图5 4 面部图像序列的多尺度多方向表示7 9 图5 5 原始图像( a ) 和l b p 图像( b ) 8 0 图5 - 6 面部动态单元的创建8 0 图5 7 面部动态l b p 特征提取流程8l 图5 8 算法的框架图8 3 图5 - 9 多方向g a b o r 小波特征的融合8 4 图5 1 0 原始图像和多尺度融合后的图像( 实部) 8 5 图5 - 1 1 面部多尺度动态g a b o r 特征提取8 6 图5 1 2 多尺度的融合图像。8 8 图5 1 3 不同分支下的最高识别率8 9 图5 1 4 算法性能随弱分类器个数的变化9 0 图5 - 1 5 面部挑选特征的尺度分布。9 2 图5 1 6 面部挑选特征的方向分布。9 3 图5 1 7 面部挑选特征的区域分布9 4 图5 1 8 面部图像的分区和挑选特征的分布9 4 图5 1 9 试验图像序列中的若干帧图像9 5 图5 2 0 试验图像序列对应的参数值9 6 x f i g u r e f i g u r el - lt r a f 五ca c c i d e n tc a u s e db yd r i v e rf a t i g u e 2 f i g u r e1 - 2e e ga n dm i n d so f as u b j e c ti n3 0s e c o n d s 4 f i g u r e1 - 3c a m e r as t r c t u r eo f p e r c l o s 6 f i g u r e1 - 4h e a dt r a c k i n gs y s t e mi nm 小r d s 8 f i g u r e1 - 5g a z ed i r e c t i o nw h e ne y ei sc l o s ec a u s e db ym i c r o s l e e p 9 f i g u e r1 - 6s a f e t y s c o p es y s t e ma n dm a y op u p i l l o m e t r ys y s t e m 1 0 f i g u r e1 - 7f a c i a lf e a t u r ep o i n t sa n dl o c a lr e g i o n sf o re x p r e s s i o na n a l y s i s 1 l f i g u r e1 - 8f a t i g u ed e t e c t i o nm e t h o dp r o p o s e db yw i l s o n 1 3 f i g u r e1 - 9c o m p u t e rv i s o ns y s t e m su s e db yf l e t c h e r 1 4 f i g u r el 1 0f a t i g u ed e t e c t i o ns y s t e mp r o p o s e db yj i 1 5 f i g u r el - llw e bc a m e r aw i t hi n f r a r e dl e d s 1 5 f i g u r el 1 2f l o w c h a r to f t h ef a t i g u ed e t e c t i o ns y s t e mp r o p o s e d b yj i 1 6 f i g u r e2 lm o u t hg e o m e t r i cf e a t u r e se x t r a c t e db yw a n g 2 3 f i g u r e2 - 2g e o m e t r i cf e a t u r e sf o rm o u t ho p e n n e s su s e db yj i 2 4 f i g u r e2 - 3o r i g i n a li m a g ea n df a c ed e t e c t i o nr e s u l t 2 5 f i g u r e2 - 4m o u t h c o r n e rd e t e c t i o nr e s u l t s 2 6 f i g u r e ：! - ! ；b a s i cl b po p e r a t o r 3 2 f i g u r e2 - 6o r i g i n a li m a g e sa n dl b pi m a g e s 。3 3 f i g u r e2 - 7d e c i s i o nt r e e 3 4 f i g u r e2 - 8e x a m p l e so fi m a g e si nt h ef a t i g u ef a c ed a t a b a s e 3 8 f i g u r e2 - 9 d e t e c t i o nr e s u l t so f m o u t hf e a t u r ep o i n t s 4 0 f i g u r e ：! - 1 0m o u t hc o m e rd e t e c t i o nr e s u l t s 4 1 f i g u r e2 11p e r f o r m a n c eo f a d a b o o s tw i t hd e c i s i o nt r e e so f d i f f e r e mn u m b e r so fs p l i t s 4 3 f i g u r e2 - 1 2c o r r e c tr a t e sa n dn u m b e r so f w e a kc l a s s i f i e r sw i t hd i t i e r e n tn u m b e r so f s p l i t s 4 4 f i g u r e2 13p e r f o r m a n c eo f a d a b o o s tw i t hd e c i s i o nt r e e so f d i f f e r e n tn u m b e r so fs p l i t s 。4 5 f i g u r e2 1 4c o r r e c tr a t e sa n dn u m b e r so f l e a r n e r sw i t hd i f f e r e n tn u m b e r so f s p l i t s 4 6 f i g u r e2 1 5e i g e n f a c e ss e l e c t e db ye i g e n v a l u e sa n dg e n t l ea d a b o o s t 4 8 f i g u r e3 1b nm o d e lf o rf a t i g u ed e t e c t i o np r o p o s e db yj i 一5 2 f i g u r e3 - 2d b n m o d e lf o rf a t i g u ed e t e c t i o np r o p o s e db yj i 5 3 f i g u r e3 3a r c h i t e c t u r eo f t h ep r o p o s e ds y s t e m 5 4 f i g u r e3 - 4b a y e s i a nn e t w o r k sb a s e di n f o r m a t i o nf u s i o n ：5 5 f i g u r e3 5f a t i g u ed e t e c t i o nm o d e l 5 5 f i g u r e3 - 6a r c h i t e c t u r eo f t h ep r o p o s e ds y s t e m 5 6 f i g u r e3 - 7l d ab a s e di n f o r m a t i o nf u s i o n 5 7 f i g u r e3 8e x a m p l e so fi m a g e si nt h ef a t i g u ef a c ed a t a b a s e 5 8 f i g u r e3 - 9c o r r e c tr a t e sv s t h r e s h o l d s 5 9 f i g u r e4 1a r c h i t e c t u r eo f t h ep r o p o s e da p p r o a c h 6 3 f i g u r e4 2d y n a m i cf a c i a lf e a t u r ee x t r a c t i o n 6 5 北京工业大学工学博士学位论文 f i g u r