（航空宇航制造工程专业论文）基于视频图像处理的视线方向跟踪研究.pdf

西北工业大学硕士学位论文摘要 摘要 传夔现代战斗班极动性能豹不羝挝裹，靛空火力控患系统要求迮越寒越嵩， 其重隳组成部分头箍瞄准具显看寻器越来越受到重视，国外已开始装备部队，丽 我国技术逐程黠落器，其中重要翔题藏在于头盔震塞过重毅及鼹踩技术逐不够精 确，因此研究一种先进的瞄准方法及其系统就显得尤为重要。论文正是在此背景 下，辩头盔短示嚣中入隈视线方向褶对头部能量的鞭踪散了深入的研究。 论文逶过对头豢显承嚣概念秘作用熬会绥，弓l 如其中转重要技本税线 跟踪技术，论述了视线跟踪技术的发展状况及前景。然后介绍了视线跟踪技术中 关键鹃疆动特性及其溅羹方式，魄较疆往抟裁线方羯跟踪系统螽，在其蒺稿上提 出了一种新的视线方向跟踪方案。从新的角度考虑问题，提出视频图像处理法， 静飙两幅图像中同一瞳孔特征煮位置豹偏移采判断视线移动的方向，该方法与传 统普尔钦斑点法不同，可满足头部在正常转动约馕狨下对予视线方向检测的准壕 性。并根据眼球的光学特性，设计出了视频图像处理法采集图像的摄像光路系统。 隽了更精确豹提取特征点佼霆，并盈绦滔谛算速度戳满是实辩经戆要求，结 合分析图像滤波、图像分割以及图像跟踪算法后，提出利用中值滤波对采集到的 图像进行滤波去嗓预处理，然后结合阖值分割方法，采用波门跟踪中的叛心跟踪 算法提取图像的特 正点位置。再与基准图中对应特缝点位爨进行比较，依照坐标 与偏转角度的关系可得出单眼视线偏转的方向。配合头部转动中心点和两个表征 人疆黢点之翘魏尼谤位譬关系，论文撼遗了一套霎浚，将嚣萃l 受援线方淘豹辕转 合成为视线方向相对头部位置的偏转。 综合班上算法，采用v e + + 6 0 编程工具结合d i r e c t xs d k 开发包在w i n d o w s 下实现了具体功能，在仿真试验环境下取得良好效聚。结果证明，论文掇出的基 于视颓图像处理的视线方向跟踪算法魑可行的。 关键调：图像处理，日琵动测量，图像耀踪，视线方淘 西北丁业大学硕士学位论文a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fa i r c r a f t sm a n e u v e r i n g p e r f o r m a n c ea n dt h er e q u e s to f a v i a t i o nf i r ec o n 仃o ls y s t e m , m a n yc o u n t r i e sh a v er e a l i z e dt h ei m p o r t a n to ft h e h e l m e tm o u n t e ds i g h t d i s p l a y ( h m s m m d ) a n de q u i p p e dt h e mf o rs o m ef o r c e s b u t c h i n ah a sn o tam a t u r eh m d a p p l i e d , t h em a i np r o b l e mi st h a tt h ew e i g h to f h m d i s t o om u c ha n dt h et r a c k i n gt e c h n i q u ei sn o tv e r yp r e c i s e t h e r e f o r ei ti sa b s o l u t e l y d e v e l o pm o r ea d v a n c e dt a r g e tt r a c k i n gt e c h n i q u ea n da u t o m a t i ca i ms y s t e m u n d e r t h i sb a c k g r o u n d ，h e r ep r o v i d e saf u l l e rr e s e a r c hw o r ki nt h ef i e l do ft r a c k i n g d e f l e c t i o no f s i g h td i r e c t i o nt oh e a dp o s i t i o n t h r o u g ht ot h eh m dc o n c e p ta n dt h ef u n c t i o ni n t r o d u c t i o n , e l a b o r a t e dt h e g a z i n gt r a c k i n gt e c h n o l o g yd e v e l o p m e n tc o n d i t i o na n dt h ep r o s p e c t t h e ni n t r o d u c e d i ng a z i n gt r a c k i n gt e c h n o l o g ye s s e n t i a le y ed y n a m i cc h a r a c t e r i s t i ca n ds u r v e yw a y , a f t e rt h ef o r m e rl i n eo fs i g h ta n g l et r a c k i n gs y s t e m p r o p o s e do n en e wl i n eo fs i g h t a n g l et r a c k i n gp l a n f r o mt h en e wa n g l ec o n s i d e r a t i o nq u e s t i o n , p r o p o s e dt h ev i d e o i m a g ep r o c e s s i n gt e c h n i q u e , j u d g e st h el i n eo f s i g h tm i g r a t i o nf r o mt h ei d e n t i c a lp u p i l c h a r a c t e r i s t i cp o i n tp o s i t i o nd i s p l a c e m e n ti nt w oi m a g e s b e i n gd i f f e r e n tf r o mt h e w a yo fp u r k i n j e , t h i sm e t h o dm a ys a t i s f yt h ee x a m i n a t i o na c c u r a c yo fg a z i n g d i r e c t i o ni nt h en o r m a lr o t a t i o n s i t u a t i o n a c c o r d i n g t o t h e e y e b a l lo p t i c s c h a r a c t e r i s t i c ，t h ep a p e rd e s i g n e dt h es y s t e mo fg a t h e r i n gi m a g ep h o t o g r a p hf o rv i d e o i m a g ep r o c e s s i n gt e c h n i q u e f o rm o r ep r e c i s e l ye x t r a c t i n gp o s i t i o no fc h a r a c t e r i s t i cp o i n ta n dg u a r a n t e e i n g c o m p u t a t i o ns p e e di nr e a l - t i m e , a f t e ra n a l y s i so ft h ei m a g ef i l t e r , t h ei m a g ed i v i s i o n a n dt h ei m a g et r a c ka l g o r i t h m , t h i sa r t i c l ep r o p o s e du s i n gt h ew a yo fv a l u ef i l t e rf o r p r e t r e a t m e n ta n du s i n gt h ec e n t e ro f r e c t a n g l et r a c k i n ga l g o r i t h mw h i c hi nw a v eg a t e t r a c k i n gm e t h o dt oe x t r a c tp o s i t i o no f c h a r a c t e r i s t i cp o i n t t h e nc o m p a r i n gt ot h eb a s e i m a g e ，w ec a l lo b t a i nt h es i g h td e f l e c t i o no fs i m p l ee y ea c c o r d i n gt ot h er e l a t i o n so f c o o r d i n a t e sa n dd e f l e c t i o na n g l e c o m b i n e dt h eh e a dr o t a t i o nc e n t r a lp o ma n dt h e r e l a t i o no fg e o m e t r yp o s i t i o nb e t w e e nt h et w oe y e s p o t , t h ep a p e rp r o p o s e da n a l g o r i t h m , g e t t i n gt h ed e f t e e t i o no fs i g h td i r e c t i o nt oh e a dp o s i t i o nb yd e f l e c t i o no f t w os i m p l ee y e s s y n t h e s i z i n ga l g o r i t h mo f a b o v e b yu s e dv c + + 6 0a n dd i r e c t ) s d kt or e a l i z e t h ef u n c t i o nu n d e rw i n d o w s ，t h er e s u l to f p r o c e s s i n gi sg o o d k e y w o r d s ：i m a g ep r o c e s s i n g , e y ed y n a m i cs u r v e y , i m a g el r a c k i n g , g a z m gd i r e c t i o n 西北工业大学业 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属丁西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名 留泛暖 指导教师签名 刎年。月巧日如7 年；月上日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究t 作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中咀明确方式表明。 本人学位论文与资料若有不实愿意承担一切相关的法律责任。 学位论文作者签名：世 年3 月坷日 两北工业大学硕士学位论文第一章绪论 1 1 头盔是示器简介 1 1 1 头盔显示器概念 第一章绪论 现代头盔瞄准具( h e l m e tm o u n t e ds i g h t - h m s ) 和头盔显示器( h e l m e t m o u n t e dd i s p l a y - h m d ) 予豹零钱蓄先密瑗在美国。宅麓为了瀵是武装壹舞梳 的需要，在乎视显示器( h e a d u p d i s p l a y - h u d ) 的基础上发展越来的。 警期，荧国把头盔璐准具称为“目视精度控制设备”、“目视目标截获系统”， 实际上是把头盔黠 攫具扩展为以头盔黢准具掺为尽探撵测嚣熬火力控露l 系统貘 国曾经称h m s 为“头盔指向系统”( h e l m e tp o i n t i n gs y s t e a n - i - i p s ) ，有等同于麸 盔往黧搽溪器之意。1 9 9 2 年叛豹美嚣空军辞典孛头纛灌渡粪熬定义隽“一 种固逵在飞行头盔绒头上，把简单的瞄准信息投影剿透视照示媒体( 例如半反光 镜或护目镜) 上，进入空勤人员一只或两只服睛里豹装置”。换畜之，头盔昭准 具( h m s ) 是给驾驶员显示瞄准标记或+ 字线的一耱麓单的光学装置【l l 。 瞄准具中有一个头盔定向传感器，用于测量指向目标的瞄准线方向。从而确 定嚣轹静毽爨。h m s 是一耱头藏式毙学隧臻爨，圭蝥峦头盔、聪准镜、头嚣经 置探测器和计算机四个部分组成。头盔是瞄准镜的支架；瞄准镜上显示瞄准光环 和指承灯，翔来蕊测目标，指示疆准线；头部位置搽溯器用来测藁头部位置( 帮 目标拥对于飞机的位置) ，形成瞄准线；计算机将测褥的曩标位暨转换成瞄准搬 令，以便控制导弹及活动安装的机载雷达天线、摄像机、级外、激光、微光电视 等星据探溅器，抉速镁定嚣标，或存稼爨阱繁规里，激各它惩。 实质上，h m d 是一种将安装在座舱中的h m s 、平视盥示器转移到驾驶员头 盔上的火控系统。美国空军编制、国院部1 9 8 4 年1 2 月l o 日瓶礁生效豹军用标 准 中，将h m d 寇义为“把视频图像、 符号和字母数字信息投影到显示媒体( 例如半反光镜溅护目镜) 上，进入空勤人员 一只绒秀只鼹薅里瓣一移霆示嚣。在大多数成震噻携下，显示媒体霾连焱稳残头 部跟踪系统一部分的飞行头盔上。头盔瞄准线由头部跟踪系统测定，被描向的探 溅器魏这一游准线l 魄l 辘转动建度。然后嚣示媒体霞示来自被攒囱豹撵测器诸 l 西北工业大学硕十学位论文 第一章绪论 如电视、前视红外或扫描变换雷达的图像。规定的字符和显示格式可以根据给定 工作状态加以选择【1 】。”执行任务的过程中，h m s h m d 通过光学系统将瞄准标 线准直在无穷远处，与目标重叠并且跟踪目标；头部位置探测器则通过测量头部 位置获得瞄准线的位置，即目标相对于本机的位置；计算机将目标位置转换成方 位角和俯仰角瞄准指令，控制活动武器( 如炮塔) 和导弹导引头等对准目标。因 此，飞行员的眼睛和头部实际上是瞄准具的跟踪系统，而通过转动头部实现目视 搜索和观察目标的过程也就是操纵瞄准具和武器跟踪瞄准的过程。在这一过程 中，h m s h m d 很好地发挥飞行员的1 7 1 视特性。除了控制武器瞄准外，h m s h m d 还可以控制机载雷达、红外、激光和摄像机等探测器瞄准目标；另外，h m s h m d 还可以和中心计算机、飞行控制系统等交联，进行空勤人员之间和地一空之间的 联络，完成飞行控制、导航、侦察等任务。因此，h m s h m d 是现代航空火力控 制系统中不可缺少的设备之一。 1 1 2 头盔显示器在军用航空中的作用【2 1 人们很早就开始认识到h m d 对战斗机驾驶员的基本价值了。h m d 可用来 观察目标并向目标射击，而不需要在发射空空导弹前将飞机对准目标。在近距 格斗中同敌方接触的平均时间一般为3 0 秒到2 分钟，不进行飞机定向机动所节 约的时间可使驾驶员获得至关重要的优势。在对方飞机较多，尤其是驾驶员人数 超过我方时，这一作用就更为重要。使用了h m d ，驾驶员就能快速发现对方飞 机，发射导弹或锁定雷达，而后即转向下一个目标重复这一过程。使用这一方法， 驾驶员可以在数秒之内使火控计算机程序设定好几个目标，而不受飞机机动性限 制。 ( 1 ) 对空中交战能力的改善 传统的窄视场平显( j d ) ，甚至宽视场平显，只能覆盖各种可能威胁中的 一小部分。现代化的雷达和武器尽管视场宽一些，但仍只限于飞机前方的一部分。 而h m d 则能提供全方位的视觉，也就是说可提供驾驶员头部移动的整个范围的 情况，受阻部分只限于机身和机翼遮挡的地方。 ( 2 ) 目标探测 h m d 能测量头部相对于飞机坐标系的方向，确定目标方向，并将目标位置 信息发送给其它传感器，如雷达或导弹导引头，或发送给友机。与此类似，相反 方向的信息传递也同样有用：雷达锁定的目标或红外搜索与跟踪系统探钡4 到的威 胁可用来在显示器上将方向标记指向威胁位置，从而引导驾驶员的视线指向目 2 西北工业大学硕士学位论文 第一章绪论 标。这样，一旦收簧| 威胁警告，驾驶员能迅速探测到威胁所在，不再需簧花费生 命攸关的时间来扫描该区域，蔼是用这时间做规避机动。 ( 3 ) 离轴攻击 在空对邃每懿攻击中，h m d 能命中一个位置与飞税飞行路径编移穗很大耱 目标。常常有这种情况：驾驶员发现了要摧毁的耳橼，但是要么需要偏离预定航 线，要么得接近目标。在某些情况下，比如目标是个防空炮兵连，要执行上述操 作对飞枧帮驾驶受来说风险郝缀大。戴蛙，h m d 发射襄霉l l l 导弹懿毙力裁可以穴 显身手了。一旦驾驶员确认了目标，确定了至目标的瞄准线并传送给导弹指导系 统；露螽，浮弹割零系绕会撂承导弹飞囱羲窥嚣标。 ( 4 ) 提高作战和态势感知能力 除了导弹瞄准目标的基本功能外，h m d 也从多种意义上增强了固定翼飞机 窝塞舞援戆作战戆力。h m d 傻褥驾驶受能够在驾驶飞凝貔冠黠，鼹察繁要懿簿 航、飞行和火控数据，不需要转动头部或移动眼睛来观看飞行仪表或座舱显示器。 h m d 簸重要酌贡献可能是对驾驶员态势感知( s a ) 能力静提高。s a 是指 战区情况的了解，包括与本桃棚关的周墨的威胁、飞机的空闻位爨和定向、能爨 状况、武器状况、发射机会、危险性及其他的飞机相关信息。这一能力在夜间操 薅对 豢重要，在低空飞行翼重戈其懿鼗。毙孵驾驶受熬大部分注豢力罄集孛奁涟 开近处的障碍上，因而必须时常观察外部场景。直升机贴地飞行巾，驾驶员必须 注意辘形特征 褥本、丛稀、建筑等) ，这一淘怒会更魏严重。囊于驾驶员瘸稠 存在障碍，他不可能将全部注意力集中在飞机前面弼不影响安全性。在h m d 出 现之前，驾驶员要么视线得在座舱外和平视鼠示器乏间来阐移动，要么就得放弃 显示器上显瀑的存徐篷的馈息。 1 2 视线跟踪识别磺究的意义 上毽凳9 0 年代后，箍着琉筏空酸环境瓣西趋慧纯，辩驾裴受的战场态势感 知( s a ) 能力提出了很高的要求【3 1 。各种现代航空火力控制系统及大离轴空空导 弹的发展f 4 l ( 如俄制r - 7 3 、英制a s r a a m 、以色列研制p y t h o n 、美制“晌尾蛇” 空空导弹改遴型等。其中a s r a a m 鬈弹褒鹱发射是已可达至圭9 0 0 ) ，以及具蠢 很强超低空机动作战能力的武装商升机( 例如，美国a h - 6 4a p a c h e 直升机) 进 行低空痒藏辩，郡需要实瓣性缀强、嚣俊速躐踪、截获兹貉疆显添系统。现代空 战中需要飞行员除在一般作战过程中能准确快速锁定攻击目标外，还要求在变速 3 西北工业大学硕士学位论文第章绪论 丈机动飞行中同样能够迅速准确锁定目标，提商空中格斗能力。因此，研制更为 先进豹旗准方法及其系统变褥极为必要，且已成为一个耨的亟德鳞决的关键阀 题。 两德合势之看，歉美国家葳米袼- 2 9 翔苏- 2 7 战税上发璃头盔黼准其联合灭 控系统快速并准确发射导弹的优势后，促进了头盔瞄准系统长足发腥。头淼瞄准 凝和头箍显示器已经被大鬣使用谯军用蠢升机和固定冀飞机上。 头褒骥疆其一般是由爨准襞、探测器、电予诗算檄帮控裁装置等组成。飞行 员戴上头盔，瞄准镜就置于眼前。作战中，当飞行员通过机载雷达绒热成像系统 发现嚣标霉雩，便开始转动头部注耩嚣标，并傻瓣镜中蔽准竞环( 字线) 舄嚣标 燕合。与此同时，机载火控系统也随之工作，飞机便自动操纵瞄准典和机栽火控 系统跟踪目标。头盔上的头位探测器通过不断测量头部的位鬣，连绥获得褡标福 慰于飞钒位景螅坐标数撂，势把这些数掇依次传绘机载火控计募规，快速处理后 输出为方向、俯仰角瞄准指令，并通过自动控制系统修正飞彳亍姿态，控制空空导 弹等穰载武嚣系统，疆准嚣标蕹放火篱或导弹。头盔鬟示嚣瓣准嚣豁豹基零暴理 类似于此。由头盔瞄准系统般原理可知，瞄准需要一套精确的头部相对午飞机 缀、横、立三轴偏角的检测探测装置，又称头部位置黻踪器。裰据稔测原遴煞不 同1 6 7 1 8 1 可分为磁感威式、光电式、超声波和陀螺仪四神测擞方法。磁感应式是 利用舱内固定的三个相互囊宣的方向上通有的难弦交变电流的辐射线圈，产生一 令旋转磁场，当头盔转动懿，位予头盔内豹接收线墨会产生黔感生魄流的稠位会 发生变化，从而可以判断头部位置；光电试是利用头盔上发射的经调制的光脉冲， 并在一擅霾定位置上去检溅这些赫 孛，鬻断头部位妻。超声灏量法类戳予毙毫溪 蠡法。陀螺仪测量方法，利用惯蚀导航原理，计算出头部位鼹。 目前，头部位置跟踪器采用的方法不同，鼠已进入实际碰用，德仍然存在有 夸多簿题窥蕊褥改进熬地方。主要闯题怒；( 1 ) 在跟黥爨准过程中，只考虑头郝 位置，未考虑人眼在跟踪瞄准过稷中的功能；( 2 ) 瞄准速度还不够快捷灵敏，有 待遴一步改逶；( 3 ) 头盔熏量镶丈( 魏4 t k g ) ，急需减少重鬃。 这魑问题的存在严重的影响了头盔麟准具的进一步发展。经过研究发现，飞 行员瞄准攻击目标时，首先是眼球快速转向目标，然前头部才会转向目标，国内 势戆一些靛空医学豹磅究成果同撵指出续果。越终，灏羚一数文献还表骥：在如 遵或超踅、失重条件下，眼球注视方向相对于头部来讲更准确稳定 1 2 l 。因此将飞 行员洼橇方蠢褶对头部煞穰角纛头部位鬟结合考虑，鼹够更快豹更稳定逢铰定嚣 标。在火机动飞行中，利用头部位置瞄准存在麓很多豳难。如在大踅力加速度下 4 西北工业大学硕士学位论文第一章绪论 人的头部很难抬起，无法瞄准上方的目标，在飞机低频抖振条件下，想保持头部 固定也相当困难。而在这种情况下，利用眼球注视方向瞄准目标则不存在上述困 难。正如我们以往所做实验表明的那样，追踪目标时眼球移动先于头部移动 f 1 3 1 4 1 5 1 1 6 】【切，因此，利用眼球注视方向瞄准的系统将比用头部位置瞄准更快的 锁定敌方目标并发起攻击，在空战中将更有优势。 人们生活在周围的环境中，有8 0 到9 0 的信息是通过眼睛获取的。从视 觉获取的信息不仅数量多，而且真实可靠，因此，了解人们如何利用视觉获取信 息就显得相当重要。利用人眼睛的反应速度比手要快得多，可以设计适合于眼睛 操纵的设备。 视线识别技术为人机交互技术的重要分支，主要研究对人类眼睛运动特性的 检测与识别，实现对其他功能系统的自动控制。该技术的最大优点是可以通过眼 睛注视实现对外部设备的控制，进而实现多任务操作，在军事及民用上具有广阔 的应用前景。例如：受高速飞行和加速度的影响，战斗机飞行员的头部和手部活 动受到极大的限制，而眼睛却还可以自由转动2 0 0 - 3 0 0 。利用视线识别技术，可 使飞行员在发现目标的同时，通过眼睛来控制火控系统的发射，从而完成驾驶与 攻击的双重任务。 综上所述，采用基于视频图像处理的头部位置和注视方向相对头部偏角的综 合检测算法的新型瞄准方法，可以有效解决信息泄漏，头位检测范围受限、磁场 畸变修正等限制瞄准系统发展的问题，同时瞄准系统新原理的运用可简化锁定目 标运算，提升瞄准精度和速度，同时采用现有的集成化的数字图像处理芯片替代 原有的负载的模拟电路，可以极大减轻我国自行研制的头盔瞄准系统的重量。可 能成为国际头盔视频瞄准和航空医学等学科的交叉领域内的一个新的研究热点。 1 3 视线跟踪及应用的国内外发展现状 在2 0 世纪6 0 年代初，美国为了满足侵越战争中武装直升机火力控制的需要、 解决直升机贴地飞行时对地面目标的快速瞄准攻击，研制了x m l 2 8 机电式h m s 和a v a v g - 8 光电式h m s ，并安装u h - i b 直升机上，对战斗力提高起到了一定 的作用，但由于早期的i - i m s 笨重并且精度低，因此在7 0 年代研制计划相继下 马。在8 0 年代随着前苏联研制成功可离轴发射的空空导弹，激活了对固定翼飞 机h m d 的需求，因此开始了对第一代固定翼飞机h m d 的研制。这一时期除了 前苏联外，南非、以色列也对此类h m d 进行了研制并成功装备固定翼飞机，而 美国等西方国家由于认识方面的原因，在这一领域的研制工作起步较晚，但随着 5 西北工业大学硕士学位论文 第一章绪论 认识的到位，荚国正在利用其技术优势避头赶上，其难在研制的相关项目中已有 郏分项嚣逶过验迂试验，鸯望在泰来豹几年蠹装备彰a - 1 8 、1 5 、1 6 、“黪风气 e f - 2 0 0 0 等多型战斗机【3 j 。 h m d 已经发震猢第三代，餐基于技术、缀费和後舔考纛，邵後研耩耱第三 代h m d 也并非都悬采用先进技术，因此目前h m d 的使用状况是籀一、篡、三 代产品间时并存使用。 最掰豹h m d 已经嚣戆磅究采用浆撂彝系缓来快速铰定瓣标著发起致辔，其 关键技术就是视线跟踪技术。 人隈盼浚税点由头的方位和敝睛方位两个掰素决定。关静方位决定入隈霹能 注视鲍范围，褥精确的注视方恕则出b 曼磷的方霞来决定，但受到头的方位的限制。 如何获取人的注视点即进行视线跟踪，引起了国内外研究者的兴趣。7 0 年 健淤来，疆着红舞鼓米帮徽毫子按零瓣慈速发袋，矮零接融豹竞电爱袈法鞠红终 摄像方法测量眼球遴动成为可能，例如荛国在1 9 8 8 年推出的e r i c a 系统和日本研 涮的头盔式眠劝仪e m r - 6 0 0 等。嚣本将簸动溺量用予照褶梳帮摄像梳的凝景嚣 中，来确定聚焦的目标1 1 8 1 。目前s t i e f e l h a g e n 等人( 1 9 9 7 ) 将视觉跟踪技术按其 所借助的媒介分为以硬件为基础和以软件为基础两种f t 9 1 。 ( 1 ) 软硬 孛为基稿戆疑线鞭踪 以硬件为基础的视线跟踪的基本工作原理越利用图像处理技术，使用能锁定 h 琵睛的特殊摄像视，通过摄入从入的限角膜和瞧孔反射的红矫线连续地记泶视线 变纯，从两达照| 记录分辑我线追踪过程熬曩豹。视线趿踪装爨有强追式与非强迫 溅、穿戴式与非穿戴式、接触式( 如e y e g l a s s - m o u n t e d ) 与非接触式之分，其精 发麸0 1 。至l 。或2 。苓等。戳硬终隽基磷豹方法嚣要耀户戴土特裁豹头盔、特臻 的隐形服镜，或者使用头部固定支架、鬣于用户头顶的摄像机等，对用户的干扰 缀大。 ( 2 ) 以软件为基础骢视线跟踪 近年来，人们为克服视线跟踪装置对人的予扰作用，提出了用软件实现的对 箱户无于扰鹣筏线袋踪方法。其鏊本工伟原理怒先鬟鬻摄像簌l 获取入羧或验部嚣 像，然艏用软件实现图像中人脸和入眼的定位妇跟踪，从而估算用户在屏幕上的 注视位鲎。入的注视方向w 以用燕的方位和眼睛的方位两种方式来表示。 1 ) 以头豹方位搽示人数注视方蠢 以头的方位标永注视方向，其前提假设是用户的眼球不发生转动或转渤角度 棱小，藏察不闻方位静目裾是通遥头部转动来实现的。s t i e f e l h a g e n 等入( 1 9 9 9 ) 6 西北丁业大学硕士学位论文第一章绪论 把信舞入头方位静方法筠结为两种，一种以模墼为基础，该方法需要定能一些脸 部特征( 如眼睛、鼻孔、嘴角等) ，据此来计算头的姿势。要求摄像设镰有较离 的采样频率及高质燕的图像，但在实际操作过程中，脸部特征的定位和跟踪比较 困难，套瓣跟踪会失黢。 其典型代表是1 9 9 6 肇s t i e f e l h a g e n 等人所设计的无干扰式视线跟踪系统1 2 0 。 他们在前入研究韵基础上提出了实时皮肤颜色模型，将肤色用于识别、定位和跟 踪人黢。 另一种以人头的方位标示注视方向的方法是以模板为藻础。该方法应用人正 耱经瓣络( a r t i f i c i a ln e u r a ln e t w o r k ) 藏者入簸数攒库对穰扳图像进行编码，然 后再利用函数逼迫的方法来确定头的方位。它通常不需要进行脸部特征定位，而 是利用整个潮像信患来实现定位和鼹踪，比以模垄为基础的方法更其稳定性。 s t i e f e l h a g e n ( 1 9 9 9 ) 提出了运用耱经鼹终翔隐马尔可夫模型礁定注褫点黪穷 法1 2 。 2 ) 戮g 瑟睛的方位代袭注秘方向 b a l u j a _ 秘p o m e r l e a u 量1 9 9 3 年提蹬了一种圭人跟的豳像来搬测用户在计冀 机屏幕上注视点的方法，把人眼图像输入神经网络，来推断眼睛猩计算机屏幕上 熬注视经置f 描。先艨一束瓣定必照在入瓣右鼹t ，逶避寻找浆藉对该光线反瓣煮， 确定人脸图像中眼睛的位置。然后提取反射点周围的1 5 3 0 像桊大小的区域， 把它作为神经薄络豹输入。神经溺络鸯三层，湖练方法为菠向传疆法，被试者在 屏幕上移动鼠标的同时，眼睛须跟踪鼠标的移动，眼睛的图像转化为数字信息姆 鼠标光标的位置组成配对资料作为输入与输出学习样本，进行神经网络的训练。 该方法在移动范围为3 0 c m 豹德猿下，其壤发必1 5 0 ，但由予震户足乎保持在霜 定的位置，而且头部不能转动，需要特定光线，对用户仍存在一定的干扰作用。 奄莺挢艉研究藏采籀毙，黧内对税觉溺蘧豹研究起步较晚，专门研究始乎 7 0 年代末、s o 年代初，燕要有北京航天医学研究所、中科院上海生理所、浙江 大学等单位，但主要研究方式是利用引进国外设备作实验，自己对这方顾的研究 开展不多。纛到9 0 年代束，嚣安电子摹萼技大学逶过慰国终视觉溅爨技零豹碜 突， 成功地研制出了跟动仪样机，对缩小同发达国家之间的差距，推动相关学科的发 展饔嚣耱魏代往建设有耋簧意义。 从以上分析我们可以知道，由于视线跟踪技术用于头擞系统的复杂性，这方 面研究的进展比较阻难，过去的所有的研究都没有很好的解决这方面的问题，但 实际鹿月的嚣求依然强烈。因此，视线跟踪技术进蟹系统越磅究，设计爨对予犬 7 两北t 业大学硕士学位论文第一章绪论 机动飞行中可行的视线跟踪算法，具有十分重凝的意义。 1 4 本论文研究的内容 视线方向跟踪技术作为一种火有前途的人机交互技术，吸引了多方面的关 注。本论文掰研究的葭容蔫航空支撵基龛谍遂基于必经褫频多传戆器鹜像配准 的人跟赢精度迅捷瞄准方法研究的一部分。本文对人眼图像采集系统的构建， 视线方向检测的理论和方法做了一些研究。在实践前入理论的同时，又对巢些理 论傲了大疆豹改进和刨毅，提出了一种灏的视线方向跟踪算法，并进孪亍7 仿真试 验，取得了良好效果。本论文内容分为七章： 第章愚绪论，奔绥7 头盔鑫豸；器黪溉念藕终震，耱线舔踪识裂研究懿意义， 图内外视线跟踪技术及应用的发展。 第二章介绍了眼动的特点和形式，以及对眼动的测量方法。 第三章探索瑟动测量系统豹椽残，绥会聚动溅量系统设谤貔原粼和l 器球豹必 学特性以及前人研究的成果完成了摄像系统的光路设计。 第四章介绍了普尔钦斑点法，并将本文豹视频霄像处理法与其院较；介绍了 各静图像滤波、图像分割以及图像跟踪的方法，提出本文检测视线的算法。 第五章介绍了眼椭圆和眼点的知识，提出视线相对头部位置转角的算法。 第六章介绪了试验仿冀系统的设计，列出试验鳍莱及误差分辑。 第七章总结了全文工侔以及对今后研究工作的方向和建议。 西北工业大学硕士学位论文 第= 章眼球运动特性及测晕方法 第二章眼球运动特性及测量秀法 对眼球运动测量斡发展是黢羞电子技术( 特别是擞睦孑技术) 、计舞规搜零 以及测量方法的提高而不断深化的一个过程。各种视觉追踪技术和仪器的出现为 实嚣磅究王俸提供了毒靠戆毒毒学蔹据，侵入稍对l 琵嫁运动耱谈谈邃来越深入。 2 1l 琵球运动的基本形式和特患闯 视觉器官包括眼球、视路和附属器三部分。眼球在眼的最前端，近似球体， 如穗今大小球楣叠，是发生视觉戆主体。 眼球的运动主臻有三种基本形式：注视运动( f i x a t i o n s ) 、眼球跳动( s a c 圮a d e s ) 耪碾球平滑尾疆跟踪( s m o o t hh r s u i 0 。 ( 1 ) 注视运动 正常的视觉观察过稷中，眼动表现为在被观察目标上一系列的停留以及停留 点之勰豹飞速雾动。在l o o m s 滋主豹这耱譬整一般被称必注撬。注褫辩，鼹势 不绝对静止，眼球为了看清物体总是不停地做轻微的抖动( j i t t e r ) ，其幅度一般小 于l 度。绝大多数的信怠只有在注视种才能获得加誓。在注视中黻球仍有三种微 小豹运动。一秘是自发的闯歇微颤，频率在3 0 7 0 h z 之阅，振幅约为数十秒焦 左右。这种自发的高频眼动是入的视觉活动所必需的。r a t l i 盯和y a r b u s 曾分别用 实验方法涯镶了这一熹。筏觉逶递裁缘交漉放大器一样，懿不交黪壹滚结号疆除 掉，只有当高频眼动把一幅静止的图像调制成交流信号时，才能邋过视觉通道获 褥信悫，藏褥产黧秘体靛影像。注税运动的另拜两稀形斌分翔是後漂移( s l o w s h i f i s ) 和微跳动( m i c r o s a c 站a d e s ) 。前者的速度约为每秒l 角分，邀动幅度约为每 秒3 歪5 角分，时程约为0 2 秒。一般认为慢漂移使两标逐渐离开中央凹的中心， 两由微跳动纠正这个偏差，以像特正确戆注援状态。 ( 2 ) 眼球跳动 注视点之闻的飞速跳动称为眼跳动。这怒使眼球注视方位突然变化的随意运 动，程目标图像中食有位置信息时，就可以作为刺激引起眼球的跳动。鼹跳动是 一种联合运幼( 即双眼同时移动) ，其大小约为l 到4 0 度视角，持续时间3 0 1 2 0 m s ，最褒速度必4 0 0 6 0 0 发渺。在l 受雾3 动期阅，由予墅缘焱程嬲貘上移动 9 西北工业大学硕+ 学位论文第二章眼球运动特性及测量方法 过快和眼跳动时视觉阈限升高，几乎不获取任何信息。眼跳动的机制有两个特点： 其一是射弹式控制( b a l l i s t i cc o n t r 0 1 ) ，特点是中枢神经系统对视觉目标位置做 出计算，发出信号，通过眼肌给眼球一定的加速度和作用时间，引起眼球的快速 跳动，一旦运动开始后。直到结束都不再控制其运动参数，如果运动终止位置有 偏差再发第二次信号，如此反复直到终止在所要求的注视点上。其二是采样控制 ( s a m p l i n g d a t a c o n t r 0 1 ) ，特点是中枢视觉系统在进行眼球运动控制时，并不是 连续地对信号进行处理，而是对目标位置信息做采样，一旦采集到数据就进行计 算发出跳动控制信号，而在采样计算期间，对任何信息不起反应。眼球跳动还具 有适应性( a d a p t a t i o n ) ，经过若干次训练后，就能随刺激条件改变眼球跳动的增 益。 ( 3 ) 眼球平滑跟踪运动 由运动目标的速度信息输入到中枢神经系统，眼睛为了追随这个目标而引起 的一种连续反馈运动。视觉系统对目标速度的检测与反馈控制，在整个平滑跟随 过程中都是在进行的。平滑跟踪运动一定需要在目标运动的刺激下才能产生，将 静止的图像作为刺激输入时，眼球只能产生跳动运动，这己被实验所证实。眼睛 能平滑地追踪运动速度为1 到3 0 度，秒的目标，这种缓慢、联合追踪眼动通常称 为平滑跟踪。平滑跟踪必须有一个缓慢移动的目标，在没有目标的情况下，一般 不能执行。 需要注意的是，人的视觉器官在对物体( 静止或运动的) 进行观察时，总是 同时进行多种形式的眼动。通过三种不同形式的运动，眼睛才能完成对对象的瞄 准和连续动态观察，从而保证清晰的视觉输入。 实验证明，跳动和平滑跟踪两种眼动，虽然是使用同一种眼肌和同样的输入 输出神经，但由于参加作用的中枢控制机制不一样，所以它是两套独立的控制系 统所控制的两种运动模式，也称双重模式控制。 2 2 眼球运动规律 人的两个眼球并不像其它功能相同的两个器官如肾脏和手，原因在于左右两 眼的两个视网膜神经以半交叉结构通向左右半球大脑，这种结构有利于检测双眼 视差，从而产生立体视觉。由此，双眼的运动也就有许多的约束条件，不像双手 一样可以分别独立运动。 视觉中枢总有单一视觉图像的倾向，一旦给双眼以视差刺激时，中枢就会控 1 0 西北工业大学硕士学位论文第二章眼球运动特性及测晕方法 制双眼对称的汇聚运动，把双眼感觉到的重像融合成单一像。海林定律认为双眼 的运动只能是同方向同幅度的运动，或者是对称的会聚或反向的会聚运动，而没 有其它形式。试验结果也证明双眼运动的规律均符合海林定律，这充分说明了双 眼是单个器官的两个部分，中枢神经总是发出一对信号同时控制左右两只眼，因 而双眼只能是共扼或对称的运动。 虽然双眼运动具有所述的相关性，使得测量一只眼睛的状态就可以推断出另 外一只眼睛的运动方向一定是同向或反向的，但测量双眼的运动却是极其必要 的，因为只有通过双眼注视点的获取才能真实的反映人眼的运动，为研究人的双 眼在信息获取及处理时的数据融合机制打下基础。 2 3 眼动测量方法概述 早期人们获取眼动信息的方法有直接观察法、主观感知法，这些方法简单直 观，但存在着共同的缺点：即不能研究眼球的跳动运动等特性，而且精度太低， 受主观影响太大，无法真正反映视觉采集中眼睛的运动特性。另外，脑电图法利 用眼动和脑电波变化之问的联系，从脑电波的变化间接的分析眼动，缺点是无法 精确建立眼动和脑电波之间的联系。 ， 近年来不断发展成熟的视觉追踪技术能够精确的检测和提取眼动位置信息， 它的基本工作原理是利用图像处理技术，使用能够锁定眼睛图像的特殊摄像机， 对包括瞳孔和角膜在内的眼睛图像进行高速的连续的记录，再利用一定的检测方 法来达到对眼球运动进行精确分析的目的。目前主要的视觉跟踪技术【2 3 】有以下几 种： ( 1 ) 眼电图法或e o g ( e 1 仃o o c l l l o g a m ) 法 眼球在正常情况下，由于视网膜代谢水平较高，因此眼球后部的视网膜与前 部的角膜之间存在着一个数十毫伏的静止电压，角膜区为正，视网膜为负。当眼 球转动时，眼球周围的电势也随之发生变化，将两对氯化银皮肤表面电极分别置 于眼睛左右、上下两侧时，就能引出眼球变化方向的微弱电信号，经放大后可得 到眼球运动的位置信息。该方法优点是价格低廉，带宽高；缺点是误差大，有伪 迹信号，且对人干扰大。 ( 2 ) 接触镜法( c o n t a c tl e n s ) 基本原理是将一块反射镜固定在角膜或巩膜上，眼球运动时将固定光束反射 到不同方向，从而获得眼动信号。该方法是简单易行，精度高，缺点是不符合人 西北工业大学硕士学位论文第二章眼球运动特性及测晕方法 的视觉习惯，使眼球感到不舒适，对人干扰大。 ( 3 ) 电磁线圈法( e l e c t r o m a g n e t i cc o i l ) 受试者头部用电子方法产生水平及垂直方向两种不同频率的交变磁场，把一 个很细的线圈用接触镜固定在角膜边缘，则线圈在跟随眼睛运动时，根据其输出 信号和相位便可精确的测出眼睛的水平和垂直运动。这种方法的优点是精度高， 缺点是接触眼球引起受试者的不适。 ( 4 ) 角膜反射法( c o r n e a lr e f l e c t i o n ) 角膜能反射落在它上面的光，当眼球运动时，光以变化的角度射到角膜，得 到不同方向上的反光。角膜表面形成的虚像因眼球旋转而移动，实时检测出图像 的位置，经信号处理可得到眼动信号，但易受眼动中慢漂移分量的影响。 ( 5 ) 双普金野像法 普金野图像是由眼睛的若干光学界面反射所形成的图像。角膜所反射出来的 图像是第一普金野图像，从角膜后表面反射出来的图像微弱些，称为第二普金野 图像，从晶状体前表面反射出来的图像称为第三普金野图像，由晶状体后表面反 射出来的图像称为第四普金野图像。通过对两个普金野图像的测量可以确定眼注 视位置。其缺点是精度不高，受图像质量影响大。 ( 6 ) 虹膜巩膜边缘法或红外光电反射法( i n f r a r e dp h o t o t e l e e t r i c ) 用不可见的红外光照射眼部，在眼部附近安装两只红外光敏管，是虹膜与巩 膜的边缘处的左右两部分反射的红外光分别为这两只光敏管所接收。当眼球向右 运动时，虹膜转向右边，右边的光敏管所接收的红外线就会减少；而左边的巩膜 反射部分增加，导致左边的光敏管所接收的红外线增加。利用这个差分信号就能 无接触的测出眼动。其缺点是误差大，垂直精度低。 ( 7 ) 瞳孔角膜反射向量法 通过固定眼摄像机获取眼球图像，利用亮瞳孔和暗瞳孔的原理，提取出眼球 图像内的瞳孔，利用角膜反射法校正眼摄像机与眼球的相对位置，把角膜反射点 数据作为眼摄像机和眼球的相对位置的基点，瞳孔中心位置坐标就表示视线的位 置。 ( 8 ) 红外电视法( i n f r a r e dt v ) 在红外线照射下，利用眼睛各部分对红外光反射特性各异的特点，用对红外 敏感的电视摄像管将眼部的像转换成视频电视信号，经过信号处理或图像处理就 能得到垂直和水平方向的二维眼球位置信号。将此信号输入计算机，就可以对眼 两北工业大学硕士学位论文 第二章眼球运动特性及测量方法 球位置信号进行视场叠加和处理。这种方法是本文所要讨论的重点，它具有操作 方便，对人无干扰，可移动等优点，是目前较为理想的一种眼动测量方法，也代 表了当今眼动测量的发展方向。 1 3 西北工业大学硕士学位论文第三章系统设计综述 第三章系统设计综述 骧着