基于混合特征的注视方向判别.docx

高技术通讯2011年第21卷第4期：333，338幽：lo377刎issll1002埘70201104001基于混合特征的注视方向判别 葛宏志。陈熙霖“ (哈尔滨工业大学计算机科学与技术学院 哈尔滨150001)(”中国科学院智能信息处理重点实验室中国科学院计算技术研究所北京100190)摘要提出了一种基于混合特征的注视方向判别方法。混合特征由模型特征和表观特 征组成。模型特征是提取的特征点间的几何向量，表观特征是从眼睛图像提取的方向二 值模式(dbp)。将两种特征通过支持向量回归(svr)算法融合起来，将组合特征一一对 应于某一确定的头部姿态下的一个确定的注视方向。非特定人实验所用数据库有11个 采集人，共计4089个样本。所用的样本在采集时保持头部正面面向摄像机，仅双眼注视 预定的方向。实时测试时仅用一个单摄像机，输入是单帧人脸图像，输出为以摄像机坐标 系计量的欧拉角度值。实验验证了混合特征的有效性，实验结果为30的测试误差。关键词视线跟踪，混合特征，表观特征，模型特征，支持向量回归(s、儇)(10cal binar)，pattem，lbp)9特征来代替传统的“瞳孔 o 引言 闪点”向量特征。本文提出了一种基于混合特征实现的检测算 视线跟踪是指通过对人的头部图像特别是眼部法，该算法对单幅图像中的观察者进行视线判断。 图像的分析来获得眼的注视方向。通常情况下，若在被观察者的头部保持正面朝向摄像机的情况下， 照片中人的头部姿态适宜且双眼清晰可见，观察者将双眼提取的混合特征与注视方向实现有效的映 可以明确地判别出眼的注视方向。利用注视方向可射。从输入计算机的单幅图像中直接获取视线和摄 以实现新一代自然高效的人机交互。像机坐标坐标系的角度关系，即欧拉角值。混合特 对视线的判别与跟踪的研究可以追溯到百年征算法利用主动形状模型(tive sh印e 1110del，前。早期的研究因受到硬件的制约，实现的方式多 asm) 算法提取眼中心和瞳孔中心作为模型特采用基于物理的方法，如接触镜法 、眼电位法【2|。 征，而表观特征计算是基于本文提出的方向二值模 近些年来，随着计算机处理能力的进步以及计算机 式(directio脚birlary叫tem，dbp)特征提取算法。 视觉和模式识别技术的进步，采用基于图像的判别 dbp算子在提取图像纹理的局部信息的同时，可以方法得到了更多的关注。按照所用特征的不同，这 解析沿某一确定方向的差分信息，而且对光照鲁棒。 类方法可以分为两类j基于模型特征的方法和 dbp在应用中，能够很好地解析巩膜和虹膜位置之 基于表观特征的方法。基于模型特征的典型方法有 间的相对改变，即横向和纵向上的图像纹理变化，同 普金斯野像法(pid【inie)【45j、异边缘跟踪法16j等。 时，对光照的鲁棒性能减少眼皮反光对识别计算的这类方法的优点是具有明确的物理和几何背景，但 影响。之后利用支持向量回归(suppon、僦tor陀秽由于可用特征数量少，因而对噪声敏感。相比之下， 8ion，svr)【jl j对注视角度进行回归分析，获得对应的 基于表观特征的算法直接将眼部图像或其变换作为 空间注视方向。本文提出方法有如下优点：(1)单 高维特征来处理，更好地利用了统计特性，因而更加 摄像机实现，系统简单；(2)对光照具有高鲁棒性， 稳定。近年来，这方面的研究逐渐增多【7|。例如 能在较为复杂的环境下实现；(3)通过摄像机与观蛳等b，将分割的眼睛图像整体作为流行空间 察屏幕的标定，可以容易地实现对屏幕注视点的检的一个点。b等【8j从眼睛图像提取局部二值模式 测和人机交互。863计划(2009aaoiz317)，国家自然科学基金(60603023)和北京市自然科学基金(加61001)资助项目。男。19r78年生，博士生；研究方向：模式识别。计算机视觉，机器学习等；联系人，bnlail：i殍idl。(收稿日期：20lo0311)一333万方数据高技术通讯2011年4 h第2i卷第4期特征提取及视线跟踪算法圜-霉间视线向量和摄像机坐标系向量问的3个兜堵 如幽1”名。卜1本文提出的是基于混合特征的算法e利用特征和注视视角一一对应的笑系从单幅图像计算空刿l所，下，台摄像机置于i州斌者的止前方摄像 机实时采集人脸罔像输八计算机处理用asm获目2 asm算法定位特征点i意图 得双眼轮哜关键点和瞳孔中心点，计算眼中心到艟扎中心问的二维向量i作为模型特征，i司时利用租 i 2基于方向二值模式f琊p的表观特征限轮脯：点分割l烈跟区域爿进，亍几何归一化处理， 为丁获得对方向敏感的纹理特缸本文提出了 然后利用本文提出的dbp特征描述方法汁算丧观种相应的算子在灰度图像上，定义3 x 3的矩形特征将这两类特征作为输入利崩训练获得的svr街(闰3)互是中心点，而相邻8个像素是zo进行同归分析用s帆j，(d胛i)分别计算3个，z7dbp提取的持砭不仅包含局部纹理信息 相j摄像机的欧拉角度每个圳练的样乖图像均标同时还提取特定方向的信息。方向差分公式为定被采集者的注税方向这个方魄是相对丁摄像机 坐标系的欧拉角关于训练和删试数据的准备祚第2l节中描述图3以0为中心的3x3的m窗，(置)4：，(z)一，(五)(k oi+23；d=等)(1)其中，口是差分方向而。是差分方向上的邻像素索周l授绂估计过程 引因此可以计算4个方向的差分，它们分别是：列l z，)n=fi z，1 1t z口，1 1模型特征埘t z，、m=ltz?1一i cz本文采fj眼中心指向瞳孔中0的几何向量作为zi、。!=zj、h z0，模型特征定义的眼酃主动形状模型(asm)如【封2(j，)所示应用sm算法可以自动榆测边缘电，如图2(a)所示，asm葬法硷测跟窝轮廊是红色点对于3 x 3的矩形窗，在口 ，543以，2瞳孔边缘点是蓝色点。通过asm算法的协方差矩 方向上的差分分别在以缸，z5磊和z。为巾心的 酌：计算m的边缘点后，再运用主成分分析(i，ca)凋 差分计算中得0描述，因此提取4个方向的信息即 整各点的相引位置，平滑边缘点所组成的整体轮廓 uf进而定义以z，为中心的8十邻域像素计算f刮 非边缘点】4和点18是双眼中心，分别通过上下和 日i差分井组成一个集台，即nbr表不五为中心 左右ni点汁算出j和点j5足虹膜中d利用 的局部图像信息和计算方向的差分信息，公式为虹膜边缘蓝色组成的厦域，逐个像素捡测盘删灰瑚岛(五) 1目1(d，(：o)，洲印(d，f：1)口)度值最小的点作为虹膜中心位置如图2【c)所示(3)以眼的眼tf|心到虹膜中心的地i，i，作为模型特f10，(：)，o硅这十持征和经典的“訇点一瘴孔”相似向量值时州“c“k 10m：)d直一十注视方向=0，7)(4)d肚，集合巾有8个0】数值恰好对应一组8比万方数据葛宏志等：基于混啬特征的注砚方向判别特的二进制字符串，即对应256个模式因此将l 3回归拟台式(3)转换成式对视线的估计采崩svr_；l台连续的视角变化回归函数如下dbr(五)=s，卯(儿4)口)2(5)v=r(|)=(“(j)+6(7)计算加r。对f定义的3 x 3的矩阵，4个方向的差其中，”是权重为偏置项，(，)是高维映射函分信息组成完整的局軎|；方向差分模式dbp其表示数。利用svr可以在高维空司完成线性回归，为如下：了减少模型的复杂度和训练样本的偏离程受，采用 d斟，tz)=td8p，tz?1 i 6=o，h4，矾h，吣的优化目标甬数为(6) 1：w2+c(，cx)一(8)dbp算法在提取图像局部信息的同时既可以j】沿着某一方向上独立提取信息，也可以计算全部4 井使其最小化，其中c为正则化参数控制对超出 个方向信息=由于采用的是基于差分的算子，因此 误差的样本的惩罚程度。()是不敏感损失函数， dbp算法具有较好的光照稳定性实验也验证了这 计算经验风险，继而式(8)可以通过二次规划法求一点。解将式(7)的估计转化为支持向量机的回归公式：测试区域是16x16个像素的n色矩形框(罔4，lz)=。x(m。)十b(a)(b)。同一图像区域在不同的光照下，有强烈的明暗对比。但是，从dbp(d即(z)=d矾i d其中，是拉格朗日算子k(引)是核函数。如=0，”2)提取的直方图中可见其具有很好的相似前所述，在每个离散的采样点近似成高斯分布。本性，即对光照的具有很好的鲁棒性，表l给出r文取基于高斯棱的径向基函数()=dbp算法和lbp算法对比洲试的结粜(实验数据吲exp【_)。，1 2j2 2节实骑所用数据)，率殳的表观特征好于i删，算法。dbp算法和lbp算法都可以提取局部纹理信实验息但是d肿算法町以提取特定方向的差分信息。本文利用d即。以来解析虹膜随注视不同方向时2 l实验数据的采集与标定 引起的眼睛图像的纹理变化。而且，从试验结果上 如图5所不视线判别是计算|生l中被观察对象 来看，i)np特征适合应用于率文的注视方向判别。视觉注意方向；分别和摄像机警标系的3个坐标轴(o出，0，k和0詹，)的空间夹角为了获得准翠 节如图5所尔，包括：用于采集创像的摄像机c作为 确的具有真寅视角值的训练样本，设计的采集装置视觉注意时象的屏幕s以及用于标定摄像机、屏幕160和人之间位置关系的位置跟踪器e， i 围201矗80鼠g400m茹毪。t16女女月 16am圈4 dbp对光照具有鲁棒性。i珥ba 0和肺nb 0是分对目标目像提取f和卅方向特征l 12 4“s21l e鑫鍪，表l呻p特征与埘p特征测试误差对比表5单位1磊面_ir岛(pd)2 7l 7 2 8i 6型卫主生立三兰上l生坠土l人的视线始于眼中心止于屏幕上的点的向量一335一万方数据高技术通讯20l】年4门第21卷第4朗i，将标定好的摄像机世标系原点设定为图像中心 h箅获得 要汁算网量问夹角，必须旨先确定眼中心、注视点和于是通过在设置采集系统时同步获得摄像机 参考坐标系之间的窀间杷对位置在位置测量上采3个坐标系的向鼍，分别是：ri=(r拧 r糟 ，宵“)，! 用位置跟踪器faslrakfastrak有一个发射 =(，旨1 r哥，哥)r3=(r铲1 r窒1 r妒)那么每个 端和最多4个接收端组成，我们将3十接收端舟别坐标轴和视线的夹角通过下式计算得到置于摄像机c，屏幕s和用户的头顶计算机从一 【n f 7)7=( (s，l)7(=l，2，3) )个接收端得到的数据是这个接收端利对丁发射端的 从而在采集图像的同时直接获得了视线的真宴值，位移(z，z)和旋转(。+，口7)继而可以计葬为后续实验的训练和测试提供了保障。 出接收端相对发射端的旋转矩阵和平移矩阵。2 2注视方向判别离线测试结果0。k五是位置跟踪嚣的发射端坐标乐，用它作为 奉研究测试了混合特征在识别注视方向应甩中 世界坐标系。如图5，摄像机的坐标系为d。x。，z 的判别能力。数据库中每个样本均纪求实时的注视 获得的图像的坐标系为ojm。将屏幕坐标系 角度，而采集人的头部姿态均正面耐向摄像机非(0kz，)的原点i殳在屏幕的左上角，坐标轴0而 特定人实验采用的数据库中共有被采集者】，共垂直于屏幕。下面详细论述通过获得的f吣k的 计4噼9个样本，并按采集人分成3个集合(4人数据朱计算头、摄像机坐标系和注视点相对于世界坐 (1666个样本)、3人(1140个样本)、3人(1283个样标系的位置，第一个f蟠mak的接收端置于摄像机 本)3个样本集空叉验证。对于任何一个集台，顶端。计算相对下世界坐标系0的平移矩阵 每个样本(双眼图像)如同网上的节点节点问的连地。和旋转矩阵rt一=(r严r尹rp)。假设从线表示眼睛的纹理变化是连续的，如图6所示=基 固定在摄像机顶部的接收端到摄像机本身的坐标系 于svr的统计回归能够拟台眼睛的连续动作：相的平移矩阵和旋转矩阵是t和r，在本系统里，t 对摄像机坐标系有3个欧拉角，所以同一样准集训=(o h 0)和r=，(，是3 x 3单位矩阵)。第 练3个回归方程：二个fa曼删的接收端置于屏幕的左上角 可以 一_获得这个接收端相对于相对于世界坐标系- t0j。kz。的平移矩阵k，和旋转矩阵r鼬。本文事 -l 。先用程序设定若干个在屏幕上显示的点作为注视的点。每个注视点在屏幕坐标系中的平移矩阵为t l 4+，4_：(t n oj7将第二个fstrk的接收端戴在用户的头顶可以获得头部相对于世界坐标系 图6样车集台中数据连续而平滑的分步oj。忱的平移矩阵rh。】和旋转矩阵r划，本文定义眼睛的注视视线为从曲跟中i剐到观察点的连在特征层r对同样率集台分别提取模型特 线。耶么，这个nslrak的接收端到眼中心的平移征、表观特征和混合特征实验，实验结果见表l。矩阵和旋转矩阵是r和r。在采集系统中，保持两 在离线测试中模型特征采用手工标点的方法眼之问的连线平行f头厦耶个接收端的轴y轴 标定各个特征点归化后提取向量特征；表观特征垂直向上因此旋转矩阵为单位阵，平移矩阵f 采用水平和垂直方向的dbp(d口p(三)=1 d日，一(0一15 8)(单位：cm取多人均值旦位置误 d卯。f)提取持征前将双眼平均分割成16个子差对角度测量影响可以忽略不计)如上所述图像 图像，然后l j算每个子域的dbp特征，表2给出了 的采集和各个接收端的位置获取的是同步的情况 不同特征的实验误差，即分割眼睛图像而计算的注 下，率文通过r。，+片r计算出屏梓上的注视点 视角度与采集测试样本时纪录的g州nd tmm之间 相对于世界坐标系的化髓，同理通过r一+r-， 的差值表现特征的实验结果好于模型特征的方 r计算眼中心在世界坐标系中的位置，圳么，始于 法匣因是dbp算法具有很好的局部纹理解析能眼中心止于屏幕上注说点的向量视线方向，町 力+更好地利用了统计特性if光照变化具有很好的以在世界坐标系下通过式最哥警器器 鲁棒性混台特征相对表观特祉的判别结果接近但略有f降，原因是受到r其中模型特征的影响。本。r一r+r+。nrh刊rl节非特定人实验采用的混合特征中，模型特征作为万方数据葛宏志等：基于混台特的注视方向判别重要辅助特征，直接计算虹膜和服中，l的相对位置，比较直观表3表明单眼分割成8个区域有展好的结果双服则共计16个子区域。 e。 国。 蛋。表2基f不同特征的测试误差f单位图7 1个不同光目方向；纂的样丰 表4基t同*月条件的刮试误差f单位表3 t同f琏剥试误差单位二五二互二二二二i*瘩、罨：；等，2 4实时实验测试结果2 3对不同光照环境离线测试结果本安验采用混合特征宴时测试：蛮验器材包括 本研究宴验测试了各个特征在不同光照条件下 台摄像机(u陆1540x)和一台计算机。汁算机硬的鲁棒性和对眼皮反射光线等影响的稳定性。本实 件包括3眦hz cpu和lcb内存实验中，摄像机 验是特定人实验采用的数据集共有采集者3人，分 固定在屏幕上方中间的位置，头的姿态始终保持正 为3个不同光照方向采集数据，除此采集设置和 面面向摄像机系统输人一啦图像输出注视方向，2 l节所述方法一致。每十光照采集的数据作为一 其中并未涉厦对姿态的估计实时测试前通过摄像 个集合，共有3个数据集3个光照方向是：左删 机与观察屏幕的标定，将将计算的注视角度转为观45。、正面、右侧45。，如图7所示每个集合包含3 测屏幕的坐标点，町以容易地实现对屏幕注视电的 位采集者被采集的数据，数据数日是一样的，都是 检测和人机交互，韧始标定矩形区域的四角所对应742个样本实验对3个数据集合采用交叉驻证的 的注视角度，进而计算上下和左右区域的注视范围。 方法，分别测试本文提出的3种特征。通过实验测 然后可以通过等比计算束定位注视甍庄这个标定区 进来对比光照的鲁棒性，基于asm算法自动检测 域巾的具体肇标点。将电晌屏幕划分为16个子区 边缘点结果如图2(a)所示计算眼-p心到睦il中 域，子区域扎0点作为注视点。图8给出了以屏幕 心间的二维向量i，作为模型特征(对于本节实验所 坐标(640 480)为中心电的矩形丁域示例注视矩 用模型特征的虹膜中心，我们采用了手工标点的办 形中心点，计算的视点落在该区域成正态分布在 法目的是保证特征电位置的准确尽可能减少固虹 系统代码未优化的前提下，从输人一怏图像，i箅双 膜中心点定位误差而带来的视线识别误差，让识别 眼的混台特征，继而输出注视方向值，计算时间为误差反映各个特征在不同光照情况f的判别能力)，0 9s的时间均值，落在该区的正确率为90。 同时利用双眼轮廓点分割出双眼区域，并进行几何”615归一化处理然后利用本文提出的dbp特征描述方法计算表观特征：如表4所示，在特定人的注视方向识别巾模型特征和表观特征都表现了较好且相 引!+，近的实验误差混合特征的阻别结果好于分别采用 (：*i) ” i表观特征和模型特，让的实验结果，混台特征既利用 国s左目外矩形大小2xl妮像素，中。在屏幕坐标 了表观特征较好的统计特性，也得益于模型特征在 c郴，棚)i右图是外矩再划分9个子域，统计落在 特定人实验中的稳定性在不同光照环境下，混合 每个子e域中的点由直方图表示特征抑制了眼皮等因索对结果带来的影响，表现出 较好的鲁棒性和稳定性。337万方数据高技术通讯2011年4月第21卷第4期celedii驴0f岫lotli ei|删co睡棚1cec0吣vi-3 结论siidn，ma雠ie。fl撇。2008p昌哦：6熨667【 4c删msweel t，crane h acc啪te twodilir垮-i伪lnal eye协|cker吲ng fiist and fbijrtil puri【inje irmg7bt佣谢矿本文提出了基于混合特征的注视方向判别方妇铆坛甜s咖d厂加leri，19r7363：921928法。输入是从单摄像机采集的图像，输出是人的注5t，ml蛔an，y惦hik姗a舭：a眇track-视视线方向，即视线向量与以摄像机坐标系的三个iiig syslern f撕e、rer)rday弘ze im髓ictiiil：noceedin铲0ftlle卵呷憾i唧肌eye 7rhckirig re鼢rch&apphcatio璐，坐标轴向量的夹角角度。在特征层上，asm自动提 a憾tirl。usa。2002125一132取的模型特征，计算的向量值对应注视角度；表观特6matsl珊010 y，zeli璐ky aan出耐thm for re8l-血圮或ere0 征是基于dbp算法，其具有对光照的鲁棒性，并适喇叩iiilpie咖ntadon 0f head p0aild孕孢diiec6嗍- 鲫哐删呛min：pid【械fl祭0f the 4tli inle玎谢伽|al g啪fh即ce合解析因虹膜运动而引起眼睛图像纹理的变化，相明automaliceand gegtur曙，gi-e啪e，n锄ce，2()00对模型特征提高了识别率。将两种模式通过s 499504 融合，可以降低由于光照、眼皮等因素带来的识别影7han鲫djiqiiitie eye 0ftle洲der：a叫vey 0finod 响，更好地利用了统计特性，增加了实验的稳定性。e18 for ey髓and犟跹臃乃鲫嘲翻尸c渤咖山加括实验证明，本文方法具有很好的实用性。以后的主伽d胍4咖配肋训i孵瓒，2010，32(3)：478-5008h h，wang c，q呦yga罂扯kiilg by hc山r、，isi要工作集中在单摄像机识别头部姿态，对头部姿态and lbp陀t懒in：嗍】i岬0f tlle 19til ii吐哪alio|lal和注视方向分别建模，使系统可以自动识别头姿和c0瓶册1ce叽pan绷鼬c0撕d，f1耐da，usa。加081_4注视方向，实现单摄像机自动完成可头部自由移动90jala t，pi萌蚴n朗m，胁p酗tmum一嗍l西on酽iy-9je and粕五invadant te)【t删fe classi?c撕wi出10cal的视线跟踪。binary pattems以泐乃也n翮a溉o，l户b胁d r咖蠡珊矗胍d妇肋洲靴，2002，24(7)：9r71987参考文献 10i niu z，chen x，gwenh跚e asms based佣adab00昏 1robi脚n da method 0f m朗枷ng eye rr酊vements usir唱8 based salind laridimri【s locali蒯aild洲ide眦e-co喈锄sckrai sealh eoil in a瑚印烈ic 6eldz醚灌7knsnc砌ns onsiape啪delingili：pidceedir睁0f tle m肌曲onal work占缸艘池训西画矾增，1963，lo：137一145sllopbi涨廊rec删辆哪，beijiilg(a，2kall缶协n a，bandopadhay a，sl擒viv ban eye tmci【ing2006uqcs 378l：9-14c咖puter u孵inlerf妇h：pidceedi岬0f tile re蚴曲11鼬a，scholkopf ba mt丽alsuppoft vector妒fb而er in virtlial reality wo幽叩，mee colillmter s0ciel)r si伽neumcou亿hrdcai repm nctr98030，royalp嘛ss明je，usa，19937884houoway gmeve，uilive璐itv 0f li曲n，uk，199|83sugam ymats璐kta y，s吐o y，et a1an i髓fr哪tal12polh伽峭fasrra khltp：wwwpol删b伽n?pagel嘶119 met|10d fb旷unco珊血ained星芦ze e蔓建iiiiationiil：pro=m矾一fastrai【，93poih即m8，20c15monoclllar gaze estimation based on hybrid featurege h帅孕ili，ch肌)(ilin”(sch砌of c0lilputer sci朗ce and 1khnolo时，harbin i璐titute 0fh肿logy，ha小in l 50001) (“l(ey hb 0f iilteuigent龇m谢褐iilg，cilinese