（信号与信息处理专业论文）眼睛检测与视线跟踪.pdf

大连理i 。人学硕十学位论文 摘要 眼睛是一种重要的生物信息，包含了表情、身份、性别的多种信息，在模式识别， 疲劳驾驶检测和人机交互等多方面有重要的作用，本文主要研究的是眼睛检测与视线跟 踪算法。 首先，在p a u lv i o l a 矩形特征人脸检测思想的基础上，又设计了一些适合于眼睛的 矩形特征，利用这些矩形特征训练了a d a b o o s t 层叠分类器，用于眼睛检测，并根据眼 睛对称性的特点。应用了一些几何特征对层叠分类器的检测结果进行校正。几何特征的 加入使得小样本训练的粗分类器的应用成为现实，提高了眼睛检测的精度。眼睛的位置 确定后可以在此基础上进行眨眼判断、视线跟踪等的研究，本文对眨眼问题做了简单的 讨论，重点研究的问题是视线跟踪。 本文的视线跟踪算法是将眼睛的空间坐标与红外眼睛图像的l b p 特征相结合作为 视线判别的特征，通过支持向量回归的算法预测视线方向与屏幕坐标的映射关系，实现 了人在与计算机进行交互过程中头部自然运动情况下的视线跟踪。在计算眼睛的空间坐 标时，文中采用了一种新的双目视觉的算法，这种算法简单，计算量小，比较准确，能 够满足本文视线跟踪中眼睛空问坐标计算的需要。利用红外眼睛图像l b p 特征来表示 眼睛视线的信息，是对经典的基于红外线眼睛图像的瞳孑l 中心反射点向量方法的一种改 进。传统的瞳孔中心反射点向量的算法，在计算瞳孔中心时通常需要边缘形状检测，然 后确定中心位置，由于瞳孔的形状随着眼睛运动会产生变化，而且瞳孔的边缘经常会出 现模糊现象影响瞳孔中心的检测结果，同时反射点过大也会使检测的反射点位置发生偏 移，所以在计算瞳孔中心反射点向量时经常会出现误差，影响实验效果。利用l b p 特 征不仅能够表现瞳孔中心反射点向量的信息，而且还能体现视线方向变化时眼睛的纹理 变化。经过大量的实验表明，本文使用的跟踪方法比经典的跟踪算法的效果有明显的改 善，视线跟踪达到了很好的效果。 关键词：眼睛检测；视线跟踪；红外光源；双目视觉；l b p 特征 人近理i ：人学硕十学位论文 e y ed e t e c t i o na n dg a z et r a c k i n g a b s t r a c t t h ee y e sa r ei m p o r t a n tb i o l o g i c a li n f o r m a t i o n ，i n c l u d i n gt h ee x p r e s s i o ni n f o r m a t i o n ， i d e n t i t yi n f o r m a t i o n ，g e n d e ri n f o r m a t i o n ，e t c i tt a k e sa ni m p o r t a n tr o l ei np a t t e r nr e c o g n i t i o n ， f a t i g u ed r i v i n gd e t e c t i o na n dh u m a n c o m p u t e ri n t e r a c t i o n t h ep a p e rm a i n l yd i s c u s s e se y e d e t e c t i o na n dg a z et r a c k i n ga l g o r i t h m o nt h eb a s i so fp a u lv i o l a sf a c ed e t e c t i o nc o n c e p t i o nw i t hr e c t a n g u l a rf e a t u r e s ，t h i s p a p e rf i n d ss o m er e c t a n g u l a rf e a t u r e st h a ti ss u i t a b l ew i t he y e s ，a n dw i t ht h e s ef e a t u r e st h e a d a b o o s tc a s c a d ec l a s s i f i e r sa r et r a i n e df o re y ed e t e c t i o n t h e nw i t ht h ec h a r a c t e r i s t i c so f s y m m e t r yo ft h ee y e ss o m eo ft h eg e o m e t r i cc h a r a c t e r i s t i c sa r ea d o p t e df o rc o r r e c t i o n t h e g e o m e t r i cc h a r a c t e r i s t i c si m p r o v et h ea c c u r a c yo ft h ee y e sd e t e c t i o n ，a n dm a k et h er o u 【g h c a s c a d ec l a s s i f i e rt r a i n e db yf e ws a m p l e sb e c o m ear e a l i t yi na p p l i c a t i o n a f t e re y ed e t e c t i o n t h ee y eb l i n kd e t e c t i o na n dg a z et r a c k i n gc a nb ef a r t h e rs t u d i e d t h i sp a p e rb r i e f l yd i s c u s s e d e y eb l i n kd e t e c t i o na n df o c u s i n go nt h ei s s u eo fg a z et r a c k i n g t h eg a z et r a c k i n ga l g o r i t h mo ft h i sp a p e rc o m b i n e st h es p a c ec o o r d i n a t e so ft h ee y ew i t h t h el b pc h a r a c t e r i s t i c so ft h ei n f r a r e de y ea st h eg a z ed i r e c t i o nf e a t u r e s ，u s e dt h es u p p o r t v e c t o rr e g r e s s i o na l g o r i t h mt op r e d i c tt h em a p p i n gf u n c t i o nb e t w e e nt h eg a z ed i r e c t i o na n d s c r e e nc o o r d i n a t e s t h eg a z ea l g o r i t h mc a ni m p l e m e n tt h eh u m a n c o m p u t e ri n t e r a c t i v eu n d e r n a t u r a lh e a dm o v e m e n t t h ep a p e ri n t r o d u c e san e wb i n o c u l a rv i s i o na l g o r i t h mt oc a l c u l a t e t h es p a c ec o o r d i n a t e so ft h ee y e ，t h i sa l g o r i t h mi ss i m p l e ，s m a l la m o u n to fc o m p u t a t i o n ，m o r e a c c u r a t e l y ，t om e e tt h es p a c ec o o r d i n a t ec a l c u l a t i o nc o m m a n di ng a z et r a c k i n g t r a d i t i o n a l i n f r a r e dg a z et r a c k i n gm e t h o du s u a l l yt a k e sp u p i l g i i mv e c t o r a l t h o u g hm a n yp e o p l et r y v a r i o u sm e t h o d st oa c c u r a t e l yc a l c u l a t et h ev e c t o r ，p u p i lf u z z yb o r d e r s ，s h a p ec h a n g e sa n d o t h e rf a c t o r sm a k et h ep u p i lc e n t e rm i g r a t i o n ，a n di na d d i t i o n ，t h er e f l e c t i o np o i n ts o m e t i m e s a p p e a r st ob et o ol a r g et h a to f f s e t st h ea c t u a lp o s i t i o n ，w h i c hc a u s e dt h ep u p i l 一出i n tv e c t o r i n a c c u r a t ea n da f f e c te x p e r i m e n t a lr e s u l t s u s i n gl b pf e a t u r e so fi n f r a r e de y ei m a g e s ，n o t o n l yt h et e x t u r ec h a n g e sw h e ng a z ed i r e c t i o nc h a n g ec a nr e p r e s e n t ，b u ta l s oi n c l u d e st h e p u p i l - 百i n tv e c t o ri n f o r m a t i o n t h i sm e t h o dc a na v o i dt h ed i s a d v a n t a g eo ft h ec a l c u l a t i o no f p u p i l 一垂i n tv e c t o r ，a n dc a n e s t i m a t et h eg a z ed i r e c t i o nm o r ea c c u r a t e l y k e yw o r d s ：e y ed e t e c t i o n ；g a z et r a c k i n g ；i rl i g h ts o u r c e ；b i n o c u l a rv i s i o n ；l b p 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名：墨垒丝日期：兰竺! 生! 兰旦兰护母 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名 祆碰 聊签名：童豳：2 上遂年_ l 月上日 人迮理i 人学硕十学位论文 1绪论 1 1 眼睛检测与视线跟踪的背景及意义 1 1 1眼睛检测的应用背景 近年来人机交互以及计算机视觉的研究领域中，眼睛是一种重要的信息，眼睛区域 包含了丰富的信息，包括表情、身份、性别等多种信息，眼睛检测受到了广泛的关注， 眼睛的定位可以作为定位人脸图像的位置、大小和角度的依据，也是人脸其他部位检测 和抽取的基础。人眼检测在很多领域中得到了应用，如疲劳驾驶、眨眼检测、助残领域、 心理学领域等。 人眼的检测有一定的难度，它受到光照、表情、遮盖物等多方面因素的影响，人们 研究了许多种方法进行眼睛检测。由于瞳孔明显比眼睛周围的区域颜色深，所以就有人 提出了检测深色区域的方法确定眼睛的位置1 1 】，这种检测方法需要引入增强图像对比度 和亮度的算法；混合积分投影的方法【2 l 首先在人脸的图像上确定眼睛的大致区域，然 后计算眼睛大致区域内计算图像的混合积分投影( g p f ) ，通过g p f 确定眼睛中心的位 置，最后确定眼睛的位置，这种算法非常的简单，而且速度很快，但是严重受到光照的 影响，而且眼睛区域的其它干扰如眉毛、头发等都会使实验结果严重偏差；霍夫变换眼 睛检测的方法也得到了广泛的应用1 3 j ，这种方法需要一种鲁棒性很好的边缘检测算法检 测出眼睛虹膜的边缘，通过霍夫变换检测出虹膜的位置，确定眼睛的位置；h u a n g 4 j 用 一种最佳小波包来表示眼睛，并用径向基函数来区分人脸图像中的眼睛区域与非眼睛区 域。r o s e n f e l d 5 佣g a b o r 小波滤波器组在灰度图像上检测眼睛，但是为了获得多方位多 尺度的g a b o r 滤波器组，需要很大的计算量。另外还有模板匹配法，卡尔曼滤波法，红 外线照射法等多种方法进行眼睛定位，眼睛检测的算法非常的丰富，提高算法的精度与 鲁棒性是眼睛检测算法研究的一个难点。 众多科学家对眼睛检测进行了深入的研究，随着科学技术的发展，眼睛检测在人脸 分析、疲劳驾驶、人机交互等方面的作用越来越突出，研究眼睛的检测有着十分突出的 应用价值。人脸分析中，如果眼睛位置确定，就可以根据眼睛的位置确定出人脸的大致 位置，进而可以进行人脸的表情、种族、性别等的识别，由于人脸和眼睛是一种生物特 征，不同的人有不同的脸与眼睛特征，所以眼睛检测也可以进行人的身份识别；在疲劳 驾驶方面，确定人眼的位置后，可以通过检测眼睛的状态，眨眼频率等观测出司机的精 神状态，判断驾驶员的精力是否集中，司机是否能够继续工作，这样可以主动提醒司机 注意安全，提高注意力，减少交通事故的发生：在人机交互方面眼睛检测可以用于智能 服瞄检测与视线跟踪 家电上，可以作为人与家电交互的一个手段；现在最典型的人机交互方式是人与计算机 的交互，用视线变化的方向模仿鼠杯的运动，用眨眼判断作为鼠标的单击与双击的动作， 这样做还可以使计算机了解到使用者所关注的位置，将使用者关注的目标进行特写，更 清楚地表现使用者喜好的目标。 近年p a u lv i o l a i6 l 等人提出了矩形特征进行人脸检测，由于采用积分图像求矩形特 征，并且遗弃了检测时会字塔图像缩放的方法，采用特征放大的算法，并应用a d a b o o s t 层叠分类器，使得人脸检测在精度与速度上都达到了很好的效果。矩形特征的思想可以 推广到很多的目标检测当中，只要目标的特征明显，并且存在某种规律，找到合适的训 练样本与合适的特征后，利用这种算法的思想都可以达到目标检测的效果。针对于此， 考虑到将这种思想引入到眼睛检测当中，寻找一些合适的特征，可以使眼睛检测达到快 速准确的目的。 1 1 2 视线跟踪的意义以及面临的挑战 在眼睛检测的基础上可以进一步进行视线跟踪，视线跟踪可以应用在很多领域，其 中人机交互是一个重要的方向，如智能计算机、智能家电、虚拟游戏等方面的应用。视 线跟踪用于人机交互中，可以将人的手解放出来，做其它的一些工作。利用视线的变化 代替鼠标的运动还可以预防长期使用鼠标造成的一些疾病，如肩周炎等，也可以帮助残 疾人，使残疾人也可以正常的使用计算机。准确的视线跟踪算法，可以使人们轻松的按 照自己的使用意图，通过眼睛的运动使用计算机，减少了许多步骤，加速以人为中心的 智能化计算机的发展与实现。 目前，基于视线跟踪技术研究人员已经提出了很多方法。传统的视线跟踪方法大多 都是有插入的，它们需要一些设备如隐形眼镜、电极、头部固定装置等与人的眼睛皮肤 等进行物理接触。r o b i n s o n 7 1 应用搜寻线圈法进行视线跟踪，他将一个线圈嵌入到隐形 眼镜中，为了防止眼球移动造成隐形眼睛的移动，要求隐形眼睛必须紧密的吸附在巩膜 上，使用者的视线方向就是通过测量线圈外接电极的电压判断的。这种方法对设备的要 求较高，而且使用困难。k a u f m a n 8 j 简化了测量设备，通过测量眼部皮肤的电压差来推 测眼睛的运动，确定视线方向。虽然正确率比r o b i n s o n 方法稍低，但测试难度大大降 低，在临床医学方面已经得到了应用。传统方法虽然准确率较高，但是设备昂贵，使用 复杂，尤其是插入式的方法，使人的活动受到限制，带来了很大的不便，很难被大多数 人接受，只适用于某些特殊场合。现在，随着摄像机和计算机技术的不断发展，基于摄 像机的设备的视线跟踪算法越来越受人们关注，这些算法可以进行无干扰的视线跟踪， 操作简单，使人们方便的工作，应用骑景广泛。可是由于人眼运动的灵活性，光照条件 人近理i 人学硕十学位论文 的不同，头部运动，环境变化等多种复杂因素的影响，视线跟踪的精度不是十分令人满 意，怎样提高跟踪的精度成为研究的热点。很多人证在对这类方法进行研究，取得了一 定的进展。一些人尝试利用普通的图像来确定视线的方向，l a w r e n c eh l9 j 等人将头部固 定，然后通过两个视角的图像中，观测目标的4 个或更多的对应点来重建眼睛所注视的 点。还有很多人利用红外光在角膜上的反射点来确定视线注视的方向。由于需要头部固 定，这些方法的应用也有很大的局限性，针对于此，许多改进的方法产生了。kt a n 1 0 1 应用了基于外表的方法来确定视线方向，s b a l u j a l l l l 用了神经网络( a n n ) 的方法。z h i w c i z h u 1 2 】利用红外光在角膜上的反射和瞳孔中心点( p c c r ) 来确定视线方向，并利用一些几 何关系来补偿头部运动带来的影响。这些方法使得视线跟踪技术在实际中的应用迈进了 一大步，但是在精度与稳定性上还需要不断的提高。 视线跟踪技术在国外也是刚刚起步，由于视线跟踪技术还没有完全成熟，另外眼动 本身存在固有的抖动，以及眨眼等所造成的数据消失等问题，会存在许多干扰信号，使 得我们在把注视焦点与屏幕元素相关联时存在困难，目i j 只能简单的将离观测点最近的 目标作为用户感兴趣的目标，当需要更高分辨率的实现无缝连接时还没有一种行之有效 的办法，需要不断的研究与创新。 1 2 眼睛检测与视线跟踪算法研究 眼睛检测算法的研究从很早就丌始了，已经有了比较成形的想法，但是在算法的普 遍性上还存在着不足需要进一步研究。视线跟踪虽然刚刚起步，但是由于它的应用前景 很有吸引力，也有很多人开始在眼睛检测的基础上进一步的研究视线跟踪，并且取得了 一定的成果，在研究者的共同努力下，正朝着更好的方向发展。下面简单介绍一下眼睛 检测与视线跟踪的一些算法。 1 2 1 眼睛检测方法 ( 1 ) 模板匹配法 模板匹配方法首先要分别得到左眼和右眼模板，模板可以根据眼睛参数进行构造也 可从人脸库中进行选取，然后分别用左右眼模板在图像中进行匹配，得到两个相似度最 大的点作为定位的眼睛，这种方法使用方便，但计算量较大，定位时需要对图像进行两 次扫描，来定位左眼与右眼，定位准确率较低，因为左眼和右眼模板不能适用于库中的 每个人，往往只能定位到一只眼睛。 一些研究者利用眼睛相对位置关系对传统的模板匹配方法进行了改进i ”1 。首先从库 中选取左眼模板和右眼模板进行合成，得到合成的眼睛模板，由于将左右眼睛的特征进 眼睛检测与视线跟踪 行了统一化，这个合成模板减弱了左眼与右眼之i 日j 的差异，同时也削弱了不同人眼睛之 间的差异，在检测图片时不能区分左眼与右眼，但是这一步骤只是用来在图像中匹配后 选取多个相似眼睛点，在后续的处理中利用眼睛相对位置关系构造了一种分段距离函 数，通过计算相似眼睛点之间的两两距离来同时定位两只眼睛。采用合成模板匹配后得 到的多个相似眼睛点中一般都包括两个真正的眼睛点，这在一定程度上克服了传统模板 对左右眼较为敏感的缺陷，同时减少了计算量：而且利用眼睛相对位置关系的约束条件 使定位准确率得到显著提高。用合成的眼睛模板对图像进行匹配，有效压缩了计算量， 比传统的方法减少了一倍，提高了定位速度。两眼相对位置关系作为约束条件，能够同 时定位双眼，并显著提高了定位准确率。 ( 2 ) 霍夫变换法1 1 4 j 霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有 很多改进算法。由于眼睛的虹膜是圆形的，如果能够在人脸图像边缘图中找出这个圆的 圆心，就能精确定位人的眼睛。但是，睫毛和上下眼皮的存在，会使圆的部分边缘被遮 挡住。霍夫变换具有受噪声和边缘间断影响小的优点，利用霍夫变换圆检测的算法就可 以检测到虹膜，进而定位到眼睛。由于霍夫变换是基于边缘信息的算法，就要对图像进 行二值化，然后进行边缘检测。 通常，在人脸图像中利用水平积分投影可以确定出眼睛的大致位置，然后在这一区 域内首先做一只眼睛的检测，由于眼睛的大致位置已经确定，所以眼睛的大小范围也已 经得到，在左眼范围内进行霍夫变换，将过大或过小的圆去掉，剩下的就认为是眼睛， 这样就得到了一只眼睛的虹膜半径和中心点。另一只眼睛的检测则可以根据第一只眼睛 所在的位置确定更具体的位置与大小范围，从而达到眼睛定位的目的。 霍夫变换算法思路简单，但是运算量较大，需要鲁棒性较好的边缘检测算法，而且 由于它是属于形状检测，所以需要排除类似于圆形的干扰，在进行霍夫变换前首先要确 定出眼睛的大致位置。 ( 3 ) 灰度投影法吲 灰度图像中，眼睛的虹膜部分灰度值明显的比周围的灰度值低，眼睛的特点有着明 显的梯度性。利用眼睛的这种特点，可以根据灰度信息确定眼睛的位置。灰度投影法首 先在人脸图像中确定眼睛的大致位置，然后再计算水平坐标与垂直坐标。双眼灰度图像 的水平方向上灰度的变化次数最多，这样计算出图像的水平微分图像的积分和，对积分 和进行直方图统计，最大的值就是眼睛的垂直坐标。在计算眼睛的水平坐标时，由于眼 睛的特点是中问黑两边白，所以直接计算图像垂直方向的积分和，呈现两个至高点中间 大连理l ：人学硕十学位论文 有一个谷点，这样特征的位置就是眼睛的位置，谷点的坐标就是眼睛中心的水平坐标。 眼睛中心位置确定后就可以根据其它的特征估算眼睛的大小。 虽然，在人脸图像中可以大致的确定眼睛的位置，可是眉毛与头发的影响依然存在， 而且由于光线强度与环境的变化等，这种方法的精确度会受到很大的影响，算法存在着 很强的局限性。但是这种算法的计算量小，速度快，在某些场合下可以达到快速定位的 效果，可以作为粗定位的依据，在此基础上研究出更精确的定位方法。 ( 4 ) 对称变换法i l 纠 在计算机视觉研究中，对称性被认为是物体的基本性质之一，通常在将物体从背景 中分割出来后，用对称性来简化物体形状的描述，或物体的近似。目前研究最多的是点 对称( 也叫中心对称) 和轴对称，对人脸而言，眼睛、鼻子、嘴巴等都有很弱的点对称性， 广义对称变换正是用来描述物体的点对称，所以一些研究者利用广义对称变换定位人眼 进而提取脸部特征，在广义对称变换的基础上，利用方向对称变换d s t ( d i r e c t i o n a l s y m m e t r yt r a n s f o r m ) ，可以用于人眼的精确定位。以上的对称变换利用了人眼的中心强 对称和脸部特征的生理几何分布，对人脸偏转、脸部表情变化、光照变化等因素的左右 不敏感，因而具有很好的鲁棒性。但是，以上对称变换的计算需要在大范围的尺度上进 行，计算量很大，而且，由于只是描述了各点的局部对称性，当它用于人眼的定位时产 生的候选点较多，不太利于眼睛的精确定位。 结合广义对称变化和方向对称变换的优点，于是有了一种新的对称变换离散对 称变换，它不仅具有广义对称变换描述物体对称性大小的特点，而且通过对各点邻域的 考察，去除那些处于规则区域外的点，可大大降低计算量，实现眼睛定位的快速算法。 广义对称变换把图像中的所有像素点同等对待，每个像素点都计算其对称值。事实上， 在图像中物体的单一背景区域中，大面积的灰度均匀区域上的像素点在一定的尺度范围 内不具有明显意义的对称性，所以就不必计算它的对称值，而这样的像素点在入脸图像 中占了很大一部分，如头发、脸部除眼、嘴等特征区域之外的区域及部分身体区域。眼、 嘴、鼻子等特征区域在大于其轮廓的范围内灰度有变化，这样的区域我们把它称为灰度 不均匀区。离散对称变换以减少计算量为出发点，在计算对称之前加入一个对图像灰度 不均匀区域的检测步骤以减少计算量，然后定义了一个与广义对称变化相似的对称算子 来计算点对称。离散对称变换实际上可看成一种非线形滤波，由于对每个像素点都进行 相同的邻域处理，适合于并行处理，在定位圆形物体圆心时，算子邻域采用圆环。 通过图像的离散对称变换后，眼睛中心点附近像素的对称值一般都处在对称值最大 的前四、五位，对具有强对称值的候选点，采用两条简单的规则进行筛选。规则( 1 ) 邻 近像素合并，一般选取对称值最大的前1 0 位候选点，将其中位置相邻的候选点合并到 眼咕检测与视线p r 踪 它们中对称值最大的像素处；规则( 2 ) 几何约束判别，对经过规则( 1 ) 筛选后的候选点， 利用眼在脸部的几何分布性质进一步筛选，取基本符合眼睛分布规律的两点作为最终的 定位双眼结果。 ( 5 ) 红外光照法 红外线照射法是利用红外光源位置不同时，眼睛产生的不同效应来确定眼睛的位置 的。z h u 等1 1 6 j 利用了一套红外光源设备完成这一过程。他们的设备由两组独立的红外光 源组和一个摄像头组成，摄像头在设备的中央，一组红外光源靠近摄像头，在摄像头的 周围围成一圈，另组远离摄像头，同样也是围成了一圈，两组红外光源由独立的开关 控制。实验时需要有稳定而均匀的光照。采集图像时，需要一套同步的设备与摄像头采 集图像的帧频率相同，这样在奇数帧和偶数帧时，分别控制两组光源的亮灭：在奇数帧 时，同步装置将靠近摄像头的光源设置成开启的状态，远离摄像头的光源呈关闭状态； 在偶数帧时，使得远离摄像头的红外光源呈开启状态，靠近摄像头的一组红外光呈关闭 状态。由于眼睛在受红外光源照射时，如果红外光源在摄像头的光轴附近，则瞳孔呈现 白色，就是产生了白眼效应；当红外光源远离摄像头的光轴时，瞳孑l 呈现黑色，就是黑 眼效应。这样在采集的图像中，相邻的奇数帧和偶数帧图像之间瞳孔部分的图像出现了 变化，由于时间较短，所以可以认为其他的运动在连续两帧之间没有发生，只有眼睛位 置发生了变化，取相邻奇数帧和偶数帧图像的差值，由这个差值图像就可以确定眼睛的 位置。 这种方法简单、速度快、精度高，但是由于红外线的波长和强度如果不合适就会造 成眼睛的伤害，所以在实际的应用中需要有严格标准要求的红外光源，而且光源的布局 需要有特定的格式，需要信号同步装置，设备的要求比较高，在实验时还需要人眼尽量 靠近摄像头。 上面介绍了眼睛检测的一些常用的方法，归结起来通常都需要两个步骤：( 1 ) 粗定 位，在精确定位眼球中心前一般要找到眼睛的大致位置。( 2 ) 眼球的精确定位，确定出 眼睛的最终位置。除了这些算法外还有很多各具特色的算法。每个算法都有自己的优点 和缺点也即局限性，如计算量太大、计算速度慢、算法不容易实现或正确定位率不高等。 由于输入图像的尺度、位置、姿态变化问题，很难做到面面俱到，十全十美的算法，我 们所做的工作就是尽可能的提高算法的性能，在实际应用中考虑具体的情况，采用不同 的算法。 1 2 2 视线跟踪技术的研究 ( 1 ) 霍夫变换法1 1 1 7 】 人近理i 。人学硕十学位论文 视线的方向定义为眼球中心与瞳孑l 中心连线的方向。霍夫变换法首先是要检测出虹 膜的位置，确定虹膜的半径和圆心，然后根据一些几何模型，利用虹膜圆心的运动特点 以及虹膜半径的关系与眼球的关系确定视线方向。 眼球的结构如图1 1 所示，其整体是一个半径为r 的球形。虹膜在眼球的酊部，半 径为，眼球中心到虹膜中心的距离为d ，有r 2 一，2 + d 2 。在实际的人眼模型中，眼球的 几何关系是有一定规律的，在实验中可以认为虹膜半径与眼球的球半径的比例是固定不 变的，这样当检测到虹膜的半径r 时就可以确定相应的眼球半径r ，同时可以确定眼球 中心与图像上的虹膜中心间的距离d 。 由于与巩膜的强烈反差，虹膜在眼睛部位中显得最为突出。一般来说，虹膜可以被 当作圆周进行检测，即使由于投影效果的存在，眼睛在转动时所拍摄到的虹膜有时呈现 出来的不完全是一个圆。虹膜的垂直边缘可以很容易的从眼睛图像中抽取出来。但是， 对于小尺寸的面部图像而言，虹膜的垂直边缘像素太少，而且还存在着大量的干扰噪声， 这就给拟合工作增大了难度。基于大量的图像观察可以发现，无论光照如何，在上眼睑 的下面总存在着阴影，这就使得上眼睑的边缘显得十分明显。由于虹膜部分被上下眼睑 遮挡，上眼睑的边缘像素要明显多于虹膜的边缘像素，所以进行上眼睑的检测更为容易。 可以先检测出上眼呤，然后根据上眼睑与虹膜的相对位置剔除掉部分非虹膜的边缘像 素，以使得虹膜的检测更加准确。另外，眼睛的内外角点都位于上眼腧的圆弧上，那么 沿着上眼睑向两边匹配内外角点，就可以有效的减少搜索区域并增加匹配精度。相对而 言，下眼喻的边缘就显得不是很明显，而且在精确匹配出内外角点之后，下眼脸的检测 就不是那么重要了。因此，可以放弃检测下眼喻，重点检测上眼睑，检测到上眼睑后， 根据眼睛的结构可以找到属于虹膜的边缘像素点集，此时根据获得的点集，利用霍夫变 换就可以确定出虹膜的中心。 歪 虹膜 图1 1 眼睛模型 f i g 1 1e y em o d e l 视线跟踪建立在虹膜检测的基础上进行的。首先，让眼睛注视屏幕的中心点，记录 此时虹膜中心位置以及屏幕的坐标，在以后的实验中保持头部的姿势不变。当眼睛发生 眼咕检测与视线跟踪 运动时，虹膜中心相对于初始位置产生一个旋转角，估计出这个旋转角就是现在视线的 方向。设初始虹膜中心的位置与运动后中心位置所形成的向量为记，眼睛水平方向与垂 直方向相对于初始位置运动产生的旋转角分别为口、口，则这种算法视线跟踪的模型可 以简单的如图1 2 所示。 视线方印 图1 2 视线模型 f i g 1 2 g a z em o d e l 这样就可以简单的根据下面公式计算出水平旋转角口和垂直旋转角口，得到视线的 运动方向。其中r e 以) 和i i n 以) 分n y a 砖的实部与虚部。 t a n a 里世( 1 1 ) d t a n 芦。生掣 ( 1 2 ) a 这种算法十分简单，但是精度不高，由于虹膜的边界模糊或者边缘检测算法精度不 高，使得在进行霍夫变换时不能准确的找到虹膜半径与中心点位置，而且角度不同虹膜 的形状可能是圆形或者是椭圆形，形状的变化也同样影响精度。虹膜半径与眼球半径的 比例本身就是一个范围，选用一个经验值必然会影响判别结果，所以算法本身就存在精 度上的问题。 ( 2 ) 基于表面特征的方法 表面特征是将图像看作高维空问的点，一副2 0 x 2 0 的图像，就可以看作是4 0 0 维空 人连理i ：人学硕十学位论文 1 日j 上的点。随着眼睛的运动，眼睛图像在高维的空1 1 日j 上呈现出连续性特点，可以形成一 个表象流型，如果能够找到这个连续的流型，当测试样本进入时，就可以找到相应的匹 配点了。虽然在理论上表象流型有连续性的特点，可实际中我们很难获得这个连续的流 型，即使在大数量的样本也只能无限逼近，而且大数量的样本来源比较困难而且还会影 响速度，所以通常都是用一定数量的样本，通过线性或样条插值的方法逼近表象流型。 kt a n 1 0 】利用线性插值的方法，在给定初始标定样本的前提下，首先找到与测试样本邻 近的几个样本点，并且找到一些权重作为插值的参数，然后根据权重值和邻域样本估测 出测试样本所在位置。 在采集图像时，在屏幕上随机生成一点，眼睛注视到这点时记录下屏幕的坐标，采 集此时眼睛的图像。经过多次采集就可以得到一系列对应着屏幕上一个点的眼睛图像 组，在实验时l ( t a n 等将采集的2 5 2 幅图像分成2 5 1 幅和1 幅两组，即留下一幅图像作 为测试，找到2 5 1 幅图像中与之相近的几幅作为邻域图像进行线性插值，得到这幅图像 的最佳估计位置，然后映射到屏幕上，这样就获得了视线方向的估计值。这种算法精度 比较好，而且可以允许头部小范围运动，为基于表面的视线跟踪算法开辟了道路，但是 计算量较高。 ( 3 ) 基于多类分类器的方法1 1 8 】 这种方法十分的简单，采用一个多类分类器就可以完成。算法的基本思想是，将眼 睛的注视方向归结为十类，上、下、左、右、左上、右上、左下、右下、中间和闭眼状 态。采集这十类眼睛的样本，利用p c a 等方法将得到的图片向量降维，训练出十类分 类器。测试时，通过摄像头采集图像先进行人脸检测然后是眼睛检测，将检测到的眼睛 归一化到样本的尺寸，同样方法降维后送入到训练好的多类分类器中，输出属于哪类就 认为眼睛就注视着哪个方向。 这种方法思路简单，可以判断眼睛是否注视着某一目标，在智能家电应用方面能够 满足要求，当家电检测到主人正注视着它的时候，就可以进入就绪状态，等待着下一步 的指令，根据这一思路可以研究出新型的智能家电，使人们的生活更加的现代化，省去 了人工操作的麻烦，可以进一步解放劳动力，提高工作效率。但是十类分类的方法有很 大的局限性，也就是说只能确定眼睛的十种状态，比如说在人与计算机的交互过程中需 要无缝的视线跟踪，在模拟游戏中也需要精确的估计出视线的方向，这时这种定位方法 就失效了，所以还需要研究更精确的定位算法。 ( 4 ) 基于红外光源的方法 在视线跟踪的算法中基于红外线的算法是最经典的算法。因为眼睛几乎不能察觉红 外线的存在，但是很多摄像机却能很好的拍摄到红外线的存在，这样就可以根据红外线 9 眼咕检测与视线f r 踪 照射眼睛时，眼睛的各种特点实现视线跟踪。m i c h i om i y a k a w a 等1 1 9 1 利用红外光源检测 出角膜的曲率中心，在根据头部的三维坐标得到视线的三维焦点，d o n gh y u ny o o 等 2 0 j 用了5 个红外光源和一个摄像机，基于红外线的视线跟踪方法多种多样，需要红外光源 于摄像机的数量也各有不同，这种方法是视线跟踪算法的研究热点。 一种常用的基于红外光源的视线跟踪算法，是利用瞳孔中心反射点向量来进行预 测，在头部位置固定不变的情况下，由于摄像头与红外光源的位置都是固定的，所以可 以认为红外线在虹膜上的反射点位置是不变的，瞳孔中心位置的变化就可以表现出视线 方向的变化，红外线照射时眼睛的特点及红外眼睛图像瞳孔中心反射点向量的算法将在 后面作详细的介绍。 1 3 本文的主要研究工作及创新点 在本课题的研究中，通过查阅文献对眼睛检测与视线跟踪的方法做了研究，做了许 多实验。本文的主要的研究工作总结为以下几点： ( 1 ) 通过大量的实验，设计了一些适合眼睛检测的矩形特征，丰富了p a u lv i o l a 的 矩形特征。 p a u lv i o l a 提出的矩形特征用于人脸检测，取得了很好的效果，利用积分图像计算 矩形特征，采用特征放大算法代替原来的会字塔图像缩放算法，a d a b o o s t 层叠分类器的 引入使得算法的速度大大的提升。利用矩形特征进行眼睛检测，由于眼睛具有其特有的 特征，单纯利用人脸检测的特征进行眼睛检测是不够的，因此本文在人脸检测的基础上， 通过大量的实验，找出了一些更适合于眼睛的矩形特征，利用这些特征进行眼睛检测， 在不影响检测率的前提下，减少了分类特征的数量，降低了误检率。 ( 2 ) 利用几何特征对矩形特征眼睛检测结果的校正。 由于受到眉毛、鼻孔、嘴角等的影响，检测结果中会产生一些误检的窗口，根据眼 睛对称性的特点，在层叠分类器检测的基础上加入了一些几何特征进行校正，这样使得 检测的结果准确率大大提升。实验发现，几何特征可以进一步降低误检率，而且可以使 用小样本训练的眼睛检测分类器得到很好的效果。 ( 3 ) 提出了一种新的双目视觉算法，用于计算眼睛空间坐标。 该算法计算复杂度低，精度高，可以准确的测量出眼睛的空间坐标，克服了传统方 法1 2 1 j 摄像机标定复杂计算代价高等缺点，只需要摄像机的视角参数和标定空间三个坐标 点就可以计算出目标的空间坐标。 ( 4 ) 提出了一种纹理约束下的视线跟踪方法，对眼睛检测的结果进行视线跟踪。 人造理j 人学硕+ 学位论文 本文是根掘瞳孔中心反射点向量进行视线跟踪算法原理与思想，利用红外线照射后 眼睛的图像出现虹膜反射点瞳孔黑眼效应这一特点，对经典算法进行了改进与优化，实 现了一种新的允许头部自然运动的视线跟踪算法，将眼睛空| 日j 坐标与红外眼睛的局部二 进制模式( l b p ) 相结合，利用支持向量回归( s v r ) 预测视线的方向，充分的利用了红外 眼睛的纹理信息与位置信息。眼睛的空问坐标的引入，使得视线跟踪的特征中包含了人 在正常使用计算机时头部发生的运动信息，克服了经典算法中头部固定的限制。传统的 红外视线跟踪方法通常需要计算瞳孔中心反射点向量，虽然很多人提出各种方法尽量准 确的计算这个向量【2 2 】，但是由于瞳孔边界模糊，形状变化等因素使得瞳孔中心检测偏移， 此外，反射点过大也会引起反射点位置的偏移，这就造成瞳孔中心反射点向量不准确， 从而影响实验效果。采用红外眼睛图像的l b p 特征不仅可以体现视线方向不同时眼睛 的纹理变化，而且包含了瞳孔中心反射点向量的变化信息，避免计算瞳孔中心反射点向 量所带来的误差。l b p 特征与眼睛空间坐标相结合，可以在头部发生自然运动的情况下 准确的估计出视线的方向。 眼晴检洲与视线g r 踪 2 基于积分图像与a d a b o o s t 的检测算法介绍 p a u lv i o l a i6 j 提出的基于矩形特征的人脸检测算法，实现了人脸检测的快速化问题。 利用矩形特征来描述人脸特征算法思路简单有效，利用积分图像计算机算矩形特征，大 大提高了矩形特征的计算速度，降低了运算量。 在进行分类时，p a u lv i o l a 采用a d a b o o s t 算法训练人脸分类器，由于矩形特征的数 量十分庞大，所以单纯的a d a b o o s t 分类器需要大量的特征j 能将人脸正确分类，这样 十分影响速度，而且利用数目庞大的特征训练分类器浪费资源和时间，所以可以训练时 可以采用先用a d a b o o s t 进行预挑选，将a d a b o o s t 作为一种特征筛选的算法，从数目庞 大的矩形特征中找出一部分容易将人脸区分开的特征，将这部分特征作为基本的矩形特 征进一步训练分类器。得出的预挑选特征虽然能够反映出人脸的特点，但是数目还是比 较多而且预挑选阶段并没有训练出成型的分类器，所以要进一步训练。v i o l a 利用 a d a b o o s t 算法训练分类器，并提出了层叠分类器的思想。a d a b o o s t 层叠分类器算法可以 达到快速检测的目的，层叠分类器的基本思想是，l j i 几层训练出一些简单分类器，经过 这些简单的分类器后可以排除了一半以上的非人脸窗口，减轻了后面几层复杂分类器的 负担，较为复杂的分类器只会针对那些更像人脸的区域进一步的判断。 在进行人脸检测过程中需要对图像进行全面的扫描，传统的人脸检测扫描策略是对 待检测图像进行缩放，然后按照不变的检测窗口进行检测。其缺点是如果待检测图像的 尺寸较大，缩小图像的变换将花去大量时间，降低了检测速度。由于采用了矩形特征来 表示人脸，就可以很好的解决图像尺度变化影响速度的问题，因为矩形特征是一些简单 的表面特征，图像发生尺度变化后，矩形特征可以认为只是简单的乘以一个系数，这样 就可以改进人脸的扫描策略。新的扫描过程不需要对待检测图像进行任何缩放操作，为 了检测出不同尺寸大小的人脸窗口，只需对检测窗口按比例进行放大，将矩形特征相应 的放大到大检测窗口的范围上。因为不再对待检测图像缩小，所以节省了检测时间。并 且检测窗口的扩大并不影响检测速度，这是因为矩形特征的快速计算方法使得任何大小 的矩形窗口都可以在同样的时| 日j 内计算得到。这种新的扫描策略弥补传统扫描的缺点， 是图像扫描方法的一大改革。 v i o l a 的方法使在保留统计学习方法所具有的鲁棒性的情况下使人脸检测的速度大 大提高，引起这一领域的广泛关注。将这种方法扩展到其它目标的检测当中，为目标检 测算法提供了可靠的算法支持和实时性保证。这肇将矩形特征的算法扩展到眼睛检测当 中，找出一些适合于眼睛的矩形特征，进行眼睛检测，利用眼睛检测的结果做更进一步 人连理i ：人学硕十学付论文 的应用。下面将首先讨论一下矩形特征进行目标检测的原理与方法，具体讨论人脸检测 中的基本矩形特征和积分图像的方法，以及a d a b o o s t 算法，a d a b o o s t 层叠分类器的原 理与算法。 2 1 矩形特征和积分图像 2 1 1 矩形特征 图像的矩形特征是是图像的一种特征空间，在训练分类器时，利用图像的特征空间 而不是直接的像素灰度分布往往会取得更好的分类效果。因为特征空问会在一个更高维 的空间内更好的描述图像的本质，而这是显式的图像本身很难具备的。这罩使用的是类 h a a r 特征，也被称为矩形特征，可以很好的表现目标的特征，在人脸检测方面，v i o l a 提出了三种类型的矩形特征，将这三种矩形特征作为最基本的特征用于检测当中，取得 了令人鼓舞的效果，如图2 1 所示。 其中a 和b 被称为二矩形特征，因为他们都是由两个矩形构成的。