（检测技术与自动化装置专业论文）视线跟踪技术与视线输入的人机系统研究.pdf

武汉理t 大学硕士学位论文 摘要 多媒体人机交互技术是多媒体技术和人机交互技术的结合，其主要内容是 信息表示的多样化和如何通过多种输入输出设备与计算机进行交互。它包括基 于视线跟踪、语音识别、手势输入等各种新的交互技术。而视线跟踪与视线输 入作为这个领域中新兴的技术，成为近年来人机交互领域中倍受关注的前沿方 向。围绕着视线跟踪与视线输入这个主题，本文主要探讨了人眼视觉跟踪理论 与基于视线输入的人机系统等相关问题。 首先，简要论述了人机交互技术和计算机视觉理论的发展历程，并扼要介 绍视线跟踪技术的现有基本原理和方法，总结其研究现状和进展。同时介绍本 文的研究背景和研究内容。 其次，研究了视线跟踪技术与视线输入系统。借助现有的基于视线输入的 交互系统的理论与研究模型进一步分析与总结，提出了一种人机交互系统意义 上的“自然和谐”式视线输入系统，即利用以往研究者认为的“眨眼”干扰作 为运动目标，运用差分法快速提取期望目标图像，进而构造该视线输入系统。 再次，在本系统模型基础之上，分析了该系统的各个组成部分功能与结构 的现有设计方法，针对该系统研究领域中的相关重点与难点进行分析与设计， 以此作为本文的主要研究内容。针对人机交互系统要求具备实时迅速的人眼图 像处理能力，提出了将人眼跟踪划分为粗定位与精确定位两个部分进行处理， 利用运动差分法初步跟踪人眼，把背景与人眼区域分开，然后利用h o u g h 变换 提取瞳孔中心，得到精确的人眼位置，以辅助光源在人眼角膜上的普尔钦斑点 及瞳孔偏移为依据，通过对实验照片进行图像处理及分析来检测与判断视线输 入方向。针对现有视线输入系统要求使用者头部只能固定不动的缺点，采用云 台控制c c d 摄像机，以适应使用时头部一定范围的自由活动，以此降低系统对 使用者的操作要求。并结合系统要求设计了云台与计算机的串口通信程序。 最后，作为视线输入人机交互系统的一个典型应用，本文介绍了国外最新 研究的d a s h e r 助残文字输入系统。 关健词：人机交互，视线跟踪，视线输入，数字图像处理 武汉理t 大学硕十学位论文 a b s t r a c t m u l t i m e d i ah u m a nc o m p u t e ri n t e r a c t i o ni sak i n do fi n t e g r a t i o nt e c h n o l o g yo f m u l t i m e d i aa n dh u m a nc o m p u t e ri n t e r a c t i o n ，i ti sm a j o r i n gi nv a r i e t i e so f e x p r e s s i n g i n f o r m a t i o na n dh o wt oi n t e r a c tw i t hc o m p u t e rb yw a y sw h i c hc o n n e c tw i t hm u l t i p l e i n p u ta n do u t p u tf a c i l i t i e s m u l t i m e d i ah u m a nc o m p u t e ri n t e r a c t i o ni n c l u d e sv a r i o u s n e wi n t e r a c t i o nt e c h n i q u e s ，s u c ha se y et r a c k i n g ，s p e e c hr e c o g n i t i o n ，g e s t u r ei n p u t a n ds oo n a sar i s i n gt e c h n i q u e ，e y et r a c k i n ga n dg a z ei n p u th a v e a l r e a d yb e c o m ea f o c u si nt h ef i e l do fh u m a nc o m p u t e ri n t e r a c t i o nl a t e l y a n di nt h i sp a p e rw ea l s ow i l l d or e s e a r c hi nh u m a ne y e t r a c k i n gt h e o r i e sa n dh u m a nc o m p u t e ri n t e r a c t i o ns y s t e m s b a s e do ng a z ei n p u ta n ds o m er e l a t e dt a s k s f i r s t ，w eb e g i nw i t ht h ec u r r e n td e v e l o p m e n to fh u m a nc o m p u t e ri n t e r a c t i o n t e c h n o l o g ya n dc o m p u t e rv i s i o nt h e o r i e s ，a n dt h eb a s i cp r i n c i p l e sa n dm e t h o d so fe y e t r a c k i n gt e c h n o l o g ya r ea l s od i s c u s s e di nb r i e w h i l ec o n c l u d i n gt h ed e v e l o p m e n t a n dr e s e a r c ho ft h e ma tt h et i m e ，t h er e s e a r c hb a c k g r o u n da n dc o n t e n to ft h i sp a p e r a r ee x p l a i n e da f e rt h a t s e c o n d ，w ea r ee n g a g e di nt h er e s e a r c ho ft h ee y et r a c k i n gt e c h n o l o g ya n d s y s t e mb a s e do ng a z ei n p u t ，s u p p o r t e db yt h e o r i e so ft h eh c is y s t e ma n di t sr e s e a r c h m o d e l s ，a n a t u r a la n dh a r m o n i o u s m o d e lo fg a z ei n p u ts y s t e mw i l lb ep u tf o r w a r d i nt h i sf i e l d t h a tm e a n s t h r o u g ht h em o v i n go b j e c r 1 h ee y eb l i n kw h i c hi sr e g a r d e d a sap r o b l e mb yf o r m e rr e s e a r c h e r s ，w eu t i l i z et h em e t h o do fd i f f e r e n t i a t i o ni ni m a g e s t oi n t e r c e p tt h eo b j e c t si m a g e f l e e t l ya n dc o n s t r u c tt h i sg a z ei n p u ts y s t e m t h i r d ，b a s e do nt h i ss y s t e mm o d e l ，w ea n a l y z et h ee x i s t i n gm e t h o d sa n d a r c h i t e c t u r e , a n dt h ef u n c t i o no fa l lt h ep a r t si nt h i ss y s t e ma r ea l s od e s c r i b e d ，t h e m a i np a r t so ft h i sp a p e ri n c l u d e sa n a l y z i n ga n dd e s i g n i n gs e v e r a li m p o r t a n tp a r t sa n d p o i n t so ft h i sm o d e l a i m i n ga tt h eh u m a nc o m p u t e ri n t e r a c t i o ns y s t e mw h i c h r e q m r e sp r o c e s s i n gh u m a ne y ei m a g er a p i d l ya n di nr e a l t i m e ，w ep u tt h ee y e t r a c k i n g p a r t si n t ot w os t e p s o n ei sc a l l e dr o u g hl o c a l i z a t i o n ，a n dt h eo t h e ri s p r e c i s e d l o c a l i z a t i o n a tf i r s t ，w ee s t i m a t ea n ds e p a r a t et h ee y ea r e a sf r o mt h ee n v i r o n m e n t b a c k g r o u n d ，f o l l o w i n gt h et e c h n i q u eo fd i g i t a li m a g ep r o c e s s i n go fe y eb l i n k t h e n 2 w ee x t r a c tt h ec e n t e rp o i n to fe y ep u p i lu s i n gh o u g ht r a n s f o r m ，w h i c hw ec a l li tt h e p r e c i s e dl o c a l i z a t i o no ft h ee y e s a c c o r d i n gt o t h ep u r k i n j ep o i n to nt h ec o r n e a p r o d u c e db yt h el i g h ta n ds l i g h tm o v e m e n t so ft h ep u p i l ，w ec a n d e t e c ta n dc a l c u l a t e t h et h eg a z ed i r e c t i o nt h r o u g ht h ed i g i t a li m a g ep r o c e s so fi t sp i c t u r e s w ei m p l e m e n t m el - e m o t ec o n t r o l l e rt oa d j u s tt h ec c dc a m e r aa c c o r d i n gt ot h es l i g h tm o v e m e n t so f t h eu s e r ，sh e a d ，a v o i d i n gt h ee x i s t e dd i s a d v a n t a g eo ft h er e q u i r e m e n tf o rs t e a d yh e a d p o s t u r eo fu s e r t h a tw i l l r e d u c et h er e q u i r e n m e n tf r o mt h es y s t e m a n dt h i s p r o c e d u r ei n v o l v e si nt h es o f tw a r ed e s i g no f t h ec o m m u n i c a t i o nb e t w e e nc o m p u t c r a n dr e m o t ec o n t r o l l e r a tl a s t ，ah u m a nc o m p u t e ri n t e r a c t i o ns y s t e mc a l l e dd a s h e rw h i c hi n t e r a c t sw i t h at e x ti n p u ts y s t e mb u i l tf o rt h ed i s a b l e di si n t r o d u c e da n ds h o w sa na p p l i c a t i o no f t h i ss y s t e m k e yw o r d s ：h u m a nc o m p u t e ri n t e r a c t i o n ，e y et r a c k ，g a z ei n p u t ，d i g i t a li m a g e p r o c e s s i n g 3 武汉理工大学顾七学位论文 第l 章绪论 1 1 选题的理论背景与意义 1 1 1 人机交互的理论背景 ( 1 ) 人机交互系统 人机交互技术作为一个独立的、重要的研究领域受到了世界各计算机厂家 的关注。并成为9 0 年代计算机行业的又一竞争领域。从计算机技术的发展过程 来看，人机交互技术还引导了相关软硬件技术的发展，是新一代计算机系统取 得成功的保证。8 0 年代以来，计算机的软件和硬件技术取得了较大的发展，同 时，计算机的使用者也从计算机专家迅速扩大到了广大未受过专门训练的普通 用户，由此极大地提高了用户界面在系统设计和软件开发中的重要性，强烈地 刺激了人机交互技术的进步与发展。人一计算机的交互作用是通过用户界面来 实现的。与传统人一机系统不同的是，人一计算机系统中的交互形式已成为用 户与计算机两个“智能系统之间的通讯和对话。在计算机技术发展的初期， 由于系统的运行速度慢、价格昂贵并且可靠性差，不可能进行交互使用，用户 必须调整自己的行为去适应机器的要求。因此，与计算机使用中的其它问题相 比，界面只是一个小问题。随着计算机性能的提高，系统能够用一部分资源来 处理人机交互系统，其中包括一些人机交互手段以及人机交互界面设计开始不 断引起人们的注意。不同的交互手段和多样性的交互界面的研究与发展对实现 计算机系统的广泛应用和整体性能的提高所具有的重要性己经得到了人们的高 度重视。与此同时，围绕人机建模业已形成了计算机产业又一新的竞争领域。 在美国，人机建模研究在信息技术中被列为与软件和计算机并列的六项国家关 键技术之一，并被认为“对于计算机工业有着突出的重要性，对其它工业如医 学和国防也是很重要的”。美国国防关键技术计划不仅把开发人机交互列为软件 技术发展的重要内容之一，而且还专门增加了与软件技术并列的人一系统界面 一项内容。日本也提出了f p i e d 2 1 计划( f u t u r ep e r s o n a l i z e di n f o r m a t i o n e n v i r o n m e n td e v e l o p m e n t ) ，其目标就是要提高计算机到人的通讯带宽。 我国在人机交互系统的设计与国际同类研究相比还存在较大差距。目日订的 武汉理工大学硕十学位论文 研究仅仅着重于支持界面的软件和硬件，对界面本身还缺少深入的研究，用户 界面的设计还没有成为软件设计中独立的一部分，也缺少新的人机界面交互技 术。当前人对计算机输入的手段相对较少，故需要发展多通道界面，即要使人 的多种感觉通道与运动器官参与到人机交互中，使人能以连续的语言，手的各 种动作，姿势等多种表达模态与之交互，甚至连眨眼或脑电波也可作为输入信 号。而另一方面，计算机科学的发展和计算机的普及应用却对人机界面的研究 提出了越来越高的要求。 ( 2 ) 人机交互技术 人机交互技术几十年来经历了几个不同的主要发展阶段和典型风格。当前， 占统治地位的图形用户界面( w i m p g u i ) _ i t 遭受不断的批评，而新的交互技术尚 不成熟和普及，于是人们更为热衷于争论未来的人机界面“可能是什么样子” 而且莫衷一是。经过几年的研究，我们认为在人机工程学这个大背景下，遵循 人机工程学的基本观点，在“以人为中心 前提下强调人机配合。 较为合理的看法是“自然人机交互是利用人的日常技能进行的 ，强调无需 特别训练或不需要训练。但究竟什么是“日常技能 以及同常技能是否都是不 经训练或稍作训练即可获得呢? 语言( 特别是书面语言) 是必须经过训练的。音 乐、绘画、生产工艺等莫不如此。所以我们不能以是否需要训练来衡量人机交 互技术的好坏。人机工程学并不否定训练。避免训练或减少训练是人们的愿望， 但能否做到并不完全由人的主观意志决定，应根据人机交互任务的目的、特点、 场合以及实现成本等因素来决定人机交流应达到的自然性程序。 也许对于早期的“纯粹 的计算机问题和为数极少的计算机专家而言，命 令语言及程序语言界面是足够的。但是当计算机大量应用于c a d c a m 、文字处 理、m i s 等非数值计算领域之后，需要进行大量几何的、空间的、非数值的、 非符号的信息处理手段，此时形式语言界面的复杂性、抽象性，对记忆负荷要 求等限制了计算机应用的深入和普及。目前，直接操纵界面不但没有彻底取代 形式语言界面，而且其自身也表现出许多局限性。而基于语言的对话式交互方 式又重新开始受到重视，只是对话语言不再限于单纯的形式语言，而是引入了 自然语言或类自然语言对话。如所谓的第四代语言，甚至引入基于语音的人机 对话。这两种本质不同的人机交互模式在人类的日常活动中都存在其对应的形 式，分别对应于语言的和非语言的交际活动，后者泛指形体语言，包括姿势、 情态、触摸、近体以及标志等。语言具有后天习得性，有口头语言和书面语言 2 武汉理工人学硕上学位论文 两种，书面语言需要正规和专门的教育和训练才能掌握。 我们认为，自然人机交互模式是以直接操纵为主的、与命令语言特别是自 然语言共存的人机交互形式。理想的人机交互模式就是“用户自由”。 1 1 2 人机交互的研究现状 1 1 2 1 人机交互技术的发展川【2 1 随着电脑的进一步发展，人类的生活更加多元化，同时也改变着人类的生 活方式。办公无纸化，远程会议，网络通信等就是最好的证明。如何与电脑相 互之间进行更好的交流，已成为人类研究的一大课题。因此，人机交互已成为 计算机科学研究的一个越来越重要的领域。所谓人机交互技术，就是利用人类 自身的语言、文字、图像等进行人机之间通讯的技术统称。人机交互技术的发 展经历了以下几个阶段： ( 1 ) 计算机发展早期一非交互的批处理方式 计算机诞生与发展的早期，人与计算机的交互很困难，采用批处理方式： 穿孔卡片或纸带输入设备将数据与程序输入，控制面板的指示灯显示着寄存器 的内容，调试时用很多的开关去控制，只能用二进制的机器语言去编程。总之， 需要人去适应笨拙的机器，只有专业的计算机工作者才会使用。 ( 2 ) 5 0 年代中期至6 0 年代一文本( 一维) 方式为主 人可以用汇编语言，高级程序设计语言来编程，并用作业控制语言进行操 作。以后又出现了交互终端，有键盘，单色显示器，光笔等。命令语言与功能 键是主要的输入方式，它们的表达功能强，至今仍是许多专业工作者不愿舍弃 的交互方式。但是人的记忆负荷重，且敲键难免出错，普通人感到有所不便。 ( 3 ) 7 0 年代后期以来一图形( 二维) 界面和“所见即所得”的直接操作界面 7 0 年代后期以来出现了图形化的多窗口系统产品，受到了用户的普遍欢迎。 这种被称为“所见即所得”的人机界面有4 个要素即：窗口、菜单、图标，定 位器。要控制的对象在屏幕上有一个代表( 仿真表示) ，人用鼠标或键盘对它操 作，且以动作代替了复杂的语法，可立即看到作用的效果( 反馈信息) ，因而称作 “直接操作界面”。图形界面比文字直观，理解时不受国界限制，“菜单选择 大大减轻了记忆负担，易学易用。直接操作界面的另一特点是对话过程是异步 的，也称为多线程对话或基于事件的对话，用户在某一时刻或状态下可使用多 武汉理工大学倾士学位论文 个处理任务。直接操作界面是人机交互技术中的重大进步，是“外行”易于与 计算机对话的关键。 ( 4 ) 当今一多媒体与超媒体方式蓬勃发展 8 0 年代以来，多媒体技术发展迅速，即计算机的输出形式不再限于单一的 文本，而是文本、图形、图像，声音等多媒体的集成。它提高了计算机到人的 通讯带宽，有利于人处理多件任务，还使视觉缺陷者也能使用计算机，超文本 的信息存储与管理技术使人们查询信息的交互更加灵活。电子书籍，因特网等 都是成功的运用超文本超媒体的实例。人机交互手段逐渐从“以计算机为中心 发展到“以人为中心”。目前开发或研究的人机交互手段有语音输入、手写文字 输入、视线跟踪输入及复合型多通道输入，与之相关的技术有语音识别技术、 手写文字识别技术及视线识别技术等。 ( 5 ) 今后的发展趋势一多通道交互与虚拟现实 多通道用户界面与多媒体用户界面一起共同提高了人机交互的自然性和效 率。多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对 用户意图理解的问题，它所要达到的目标可归纳为如下方面： 交互自然性，使用户尽可能多地利用己有的日常技能与计算机交互，降 低认识负荷； 交互高效性，使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机 彼此不同的认知潜力； 吸取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的 w i m p g u i 兼容，使老用户、专家用户的知识和技能得以利用，不被淘汰。 1 1 2 2 人机交互系统的关键技术 在研究开发人给计算机输入的手段时要从人类工程学、人机交互界面设计、 菜单和对话框屏幕设计以及错误信息的获取和纠正等方面考虑。 ( 1 ) 人类工程学 人类工程学是一门应用广泛的综合性边缘学科。作为一门独立的学科，人 类工程学在我国的历史还很短。我国的心理学家、人类学家、劳动保护和医学 工作者、机械工程师正结合自己的领域，开展这方面的工作。 人类工程学中人的特性 人在系统中是主体，任何先进的机器都是由人设计的，由人操纵的，所以 系统工作效率的优劣、安全性，很大程度上决定于人的工作状况。人类工程学 4 武汉理工大学顾士学位论文 中要研究人对外界信息的感知特性，人对信息的加工、处理及思维能力，人的 学习、记忆特性，人的自身节率等等。 计算机辅助设计和计算机图形学中的人的因素 利用c a d 技术并结合c a m 技术可以大大缩短产品的设计、制造周期，c a d 已经成为制造业中求生存的一种主要手段。c a d 中主要的人的因素问题有：c a d 硬件中的图形终端、输入装置和菜单设计；c a d 系统中人的信息加工能力，如 有关c a d 显示的视觉、c a d 中的空间推理、c a d 中的问题解决及运动反应等 过程；c a d 系统中人机功能分配；c a d 系统中的工作设计、人员选拔和训练等。 计算机辅助制造中的人的因素 c a d 可被广义地认为是在制造业的管理、控制和运行中有效地应用计算机 的一项新技术，其最终目标是要建成c i m s ，它将是一项在2 1 世纪最具竞争力 的技术。 ( 2 ) 人机界面设计 媒体最佳组合 媒体界面的成功并不在于仅向用户提供丰富的媒体，而应在了解媒体的功 能、选择方法的基础上，在相关理论的指导下，在语义层上将各种媒体有机地 结合起来以更有效地传递信息。 界面分析与规范 在人机界面设计中，首先应进行界面设计分析，即收集有关用户及其应用 环境信息以后，进行用户特性分析，用户任务分析，记录用户有关系统的概念、 术语，这项工作可与应用系统分析结合进行。分析任务中对界面设计要有界面 规范说明，选择界面设计类型，并确定设计的主要组成部分。由于人机界面是 为适合人的需要而建立的，所以要清楚使用该界面用户的类型，要了解用户使 用系统的频率、用途及对用户的综合知识和智力的测试，这些均是用户设计中 的内容。在此基础上产生任务规范说明，进行任务设计。任务设计的目的在于 重新组织任务规范说明以产生一个更有逻辑性的编排。设计应精心地分别给出 人与计算机的活动，使设计者较好地理解在设计一个界面时所遇到的问题，这 样形成系统操作手册在最大限度利用机器的同时，充分发挥人的积极因素。人 机结合并充分注意人的主导地位，将有效地保证系统的可靠性和寿命。这样就 形成了系统操作手册、训练文件和用户指南的基础。在考虑用户工作方式及系 统环境和支持等因素下，精心任务设计。任务确定之后，要决定界面类型。目 武汉理工人学硕上学位论文 前有多种人机界面设计类型，各有不同的品质和性能，因此设计者要了解每种 类型的优点和限制。大多数界面使用一种以上的设计类型。 1 1 3 本文研究的目的和意义 通过眼睛盯视对外部设备进行控制可以实现多任务操作。比如在军事上， 飞行员如果发现了目标，在手动操作应付不过来的时候，可以通过眼睛瞄准的 同时，用眼睛来控制发射，这样可以使飞行员既为驾驶员又为武器操纵员。同 时，在飞行加速度环境下，飞行员的头部和手部活动受到极大的限制，但眼睛 却还可以自由转动2 0 , - 3 0 度，这对于增加战斗力非常有意义。另外，对正常人 来说，通过对鼠标和键盘操作， 就能实现与计算机间的交互，但是对某些瘫痪 病人或四肢麻痹，又不能说话的人来说，如此简单的任务却无法完成。有关资 料统计显示，全国至少有1 0 0 万的人口存在不同程度的肢体瘫痪，生活不能自 理。如果他们能用眼睛来代替手操作，以后再加上机电控制技术情况就不一样 了，就完全可以增加他们的独立能力，提高生活质量。 1 2 本文研究的主要内容： 在全面了解视线跟踪技术的原理、方法、应用以及计算机视觉的基础上， 利用计算机视觉对视线跟踪技术的方法进行重点研究。完成的主要工作安排如 下： ( 1 ) 系统流程的设计。考虑到使用摄像机对视线进行跟踪，必须建立一个有 效的系统理论与研究模型，提供给后续的软件与硬件设计。 ( 2 ) 提出了新的人眼跟踪方法。将其划分为粗定位与精确定位两个部分进行 处理。 ( 3 ) 摄像系统光路设计。这是为了更准确有效地获取眼睛图像信息。 ( 4 ) 结合系统要求设计了云台与计算机的串口通信程序。 论文的章节安排如下： 第1 章将简要介绍视线跟踪技术的现有基本原理和方法，总结其研究现状 和进展，同时介绍本文的研究背景和研究内容。 第2 章将研究视线跟踪技术与视线输入系统的理论基础，分析现有的主要 6 武汉理t 大学硕士学位论文 视线跟踪技术及其原理，并对几种主要的眼动仪性能进行了对比。 第3 章将借助现有的基于视线输入的交互系统的理论与研究模型进一步分 析与总结，提出一种人机交互系统意义上的“自然和谐”式视线输入系统。 第4 章将在本系统模型基础之上，分析该系统的各个组成部分功能与结构 的现有设计方法，针对该系统研究领域中的相关重点与难点进行分析与设计， 以此作为本文的主要研究内容。最后介绍了国外最新研究的d a s h e r 助残文字 输入系统。 第5 章总结本文的主要工作和结论，并提出了对视线跟踪研究的展望。 7 武汉理工人学硕上学位论文 第2 章视线跟踪技术 2 1 视线跟踪技术的理论基础 实现视线跟踪首先要实现人眼瞳孔检测与跟踪。因此处理好人眼检测与跟 踪也是设计视线跟踪系统的关键所在。瞳孔检测与跟踪就是要检测出图像中的 瞳孔位置并进行实时跟踪。对于这个问题的深入研究要用到计算机视觉、模式 识别、人工智能、数字图像处理和图像编码等多个学科的理论。 2 1 1 计算机视觉理论 人类的视觉系统是功能最强大和完善的视觉系统，但人们并不能描述和解 释自身的视觉系统是如何对信息进行处理的，因此通过对计算机视觉的研究、 模拟，人们有可能逐步地揭开人类视觉的信息处理机制，从而了解人类的思维 机制、推理机制等。因此，用计算机信息处理的方法研究人类视觉的机理，建 立人类视觉的计算理论，也是一个非常重要和有现实意义的研究领域。 计算机视觉( c v ) 又称之为图像理解和图像分析，是当今世界上最为活跃也 是最有争议的学科之一。i e e e1 9 8 8 年8 月的会刊组织了计算机视觉专辑，在其 引言中，定义c v 为用任何办法对2 d 数据作出理解【4 1 。简单说来，计算机视觉 就是用各种成像系统代替视觉器官作为视觉信息输入手段，由计算机来代替大 脑完成处理和解释，并根据解释结果做出相应的决策。 对于正常人来说，视觉理解外部世界并不是一件困难的事，然而要建立一 个计算机系统，实现类比人类视觉的计算机视觉，却存在以下困难： ( 1 ) 由于图像是三维景物的二维投影，一幅图像本身不具备复现三维景物的 全部几何信息。 ( 2 ) 图像在形成过程中受到许多因素的影响，诸如照相机的质量，光传播介 质的特性，照射景物光的特性，目标的反射特性等，很难具体分清每个因素对 某具体图像所产生的具体影响。 ( 3 ) 图像本身不具有精确理解三维景物的全部信息，还需要知识的导引。 武汉理工人学硕十学位论文 ( 4 ) 计算机视觉是模仿人的视觉，人的感知机理影响着计算机视觉的研究。 ( 5 ) 实现图像理解，计算机数据量很大。 计算机视觉的研究历史己有四十多年，几十年的研究工作出现了很多专用 计算机视觉系统。但由于它是一门交叉性很强的学科，还涉及计算机、数学、 光学、最优控制、神经生理学、神经心理学和临床病理学等自然学科，还涉及 哲学，认知心理学以至美学等社会科学。 在理论发展的同时，计算机视觉技术也得到广泛的应用。目前主要在以下 几个方面： ( 1 ) 遥感测量：支持诸如光电，综合孔径雷达，多波段图像等多种类型传感 器获得的大尺寸的航天图像。涉及到的主要任务包括：图像获取和融合，目标 识别，变化检测和测量。 ( 2 ) 精确制导：提供目标识别和跟踪算法，将图像理解应用于导弹制导。应 用任务包括：图像序列、主动视觉和目标识别。 ( 3 ) 视觉导航：支持陆地侦察车辆的导航，应用任务包括：道路跟踪，地形 分析，障碍防撞和目标识别。 ( 4 ) 工业视觉：为先进的设计和制造技术增添新的激励，这个领域的应用任 务包括：距离图像传感器的发展和距离数据分析，图像分割自动建模学和可视 反馈。 计算机视觉的最终研究目标就是使计算机能像人那样通过对视觉信息的处 理来观察和理解世界，从而对外界事物做出反应。在瞳孔检测与跟踪中也同样 会遇到相应的问题，即从一幅图像的描述中如何抽取出能够适应各种光照变化 的瞳孔描述，从而得到瞳孔区域，正如人的视觉系统可以在各种变化的光照条 件下，清楚地辨认目标那样。 瞳孔检测与跟踪不仅与计算机视觉有紧密关系，同样，模式识别和图像处 理理论对瞳孔检测与跟踪更具有直接指导意义。下面简要做基础性介绍。 2 1 2 模式识别理论 模式识别( p a t t e r nr e c o g n i t i o n ) 诞生于2 0 世纪2 0 年代，随着4 0 年代计算 机的出现，5 0 年代人工智能的兴起，模式识别在6 0 年代初迅速发展成一门学科。 它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人 9 武汉理工大学硕十学位论文 工智能系统的发展，扩大了计算机应用的可能性。模式识别与统计学、心理学、 语言学、计算机科学、生物学、控制论等都有关系。它与人工智能、图像处理 的研究有交叉关系。例如自适应或自组织的模式识别系统包含了人工智能的学 习机制；人工智能研究的景物理解、自然语言理解也包含模式识别问题。又如 模式识别中的预处理和特征抽取环节应用图像处理的技术；图像处理中的图像 分析也应用模式识别的技术。 模式识别的作用和目的就在于面对某一具体事物时将其正确的归入某一类 别。由于目前计算机的模式识别在许多方面还远不成熟，因此研究人脑中的模 式识别过程对提高机器的能力是有益的。反之，研究机器模式识别的能力对于 理解人脑中的过程也有很大帮助，认知心理学的很多新模型即得益于此。 这罩所说的模式，广义上来讲是指存在于时间和空问中可观察的事物，如 果我们可以区别他们是否相同或是否相似，都可以称之为模式。但模式所指的 不是事物本身，而是我们从事物获得的信息。因此，模式往往表现为具有时间 或空间分布的信息。 统计模式识别的基本原理是：有相似性的样本在模式空间中互相接近，并 形成“集团”，即“物以类聚”。其分析方法是根据模式所测得的特征向量 x i = ( x i l ，x i 2 ，x i d ) t ( i = l ，2 ，n ) ，将一个给定的模式归入c 个类1 ，c 0 2 ，( 0 c 中， 然后根据模式之间的距离函数来判别分类。其中，t 表示转置；n 为样本点数； d 为样本特征数。统计模式识别的主要方法有：判别函数法、k 近邻分类法、 非线性映射法、特征分析法，主因子分析法等。在统计模式识别中，贝叶斯决 策规则从理论上解决了最优分类器的设计问题，但其实施却必须首先解决更困 难的概率密度估计问题。b p 神经网络直接从观测数据( 训练样本) 学习，是更简 便有效的方法，因而获得了广泛的应用，但它是一种启发式技术，缺乏指定工 程实践的坚实理论基础。统计推断理论研究所取得的突破性成果导致现代统计 学习理论- v c 理论的建立，该理论不仅在严格的数学基础上圆满地回答了人工 神经网络中出现的理论问题，而且导出了一种新的学习方法一支撑向量机。基 于统计方法的模式识别系统主要由4 个部分组成：数据获取，预处理，特征提 取和选择，分类决策，下面分别进行描述。 数据获取就是从外部客观世界获得我们要研究的对象的数字化描述的过 程。输入对象的信息通常有三种：二维图像、一维波形、物理参量和逻辑值。 通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形。这就是 l o 武汉理工人学硕士学位论文 数据获取的过程。视线跟踪技术中输入的对象是二维彩色图像。 预处理是将模式识别的样本从一定的环境中抽取出不受更多干扰因素影响 的待识别样本。其目的是去除噪声，加强有用的信息，并对输入测量仪器或其 它因素所造成的退化现象进行复原。视线跟踪技术中的预处理通常是对二维彩 色图像进行低通滤波或中值滤波来降低噪声。 特征选择和提取就是要从许多特征中找出那些最有效的特征。由图像或波 形所获得的数据量是相当大的，为了有效的实现分类识别，就要对原始数据进 行变换，得到最能反映类别本质的特征。 特征提取和选择后得到的特征空问是为了分类，对于相同的物体在不同的 分类规则下，所提取的特征必须满足在某种准则下的分类错误最小。在一般情 况下，选择适当的正交变换，考虑特征之间的统计关系，提取出最有效的特征。 瞳孔检测与跟踪实际上是在颜色空问中对于像素点的瞳孔与非瞳孔的分 类，这罩的特征提取与选择实际上是为解决相应的问题而选择合适的颜色空间 或经过适当的正交变换生成新的特征的过程。 分类决策就是在特征空间中用统一方法把被识别对象归为某一类别。基本 做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对 象进行分类所造成的错误识别率最小或引起的损失最小。好的模式识别算法在 特征空间上必然有好的分类算法来减少分类的错误率，在特征空间充分地反应 模式空间的程度也决定分类的错误率，因此降低错误率是模式识别研究的中心 问题。 2 1 3 图像处理理论 图像处理就是对图像信息进行加工以满足人的视觉心理或应用需求的行 为。本文的图像处理主要是数字图像处理( d i g i t a li m a g ep r o c e s s i n g ) ，通常用计算 机进行处理，因此也叫计算机图像处理( c o m p u t e ri m a g ep r o c e s s i n g ) 。数字图像 处理最早出现于2 0 世纪5 0 年代，当时的电子计算机已经发展到一定水平，人 们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形 成于2 0 世纪6 0 年代初期。早期的图像处理的目的是改善图像的质量，它以人 为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像， 输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码， 武汉理工人学硕上学位论文 压缩等。从7 0 年代中期开始，随着计算机技术和人工智能、思维科学研究的迅 速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机 系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计 算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取 得了不少重要的研究成果。数字图像处理主要包括以下几项主要内容： ( 1 ) 点运算主要针对图像的像素进行加、减、乘、除等运算。可以有效改变 图像的直方图分布，提高图像的分辨率和图像均衡。 ( 2 ) 几何处理包括坐标转换，图像的移动、缩小、放大、旋转，多个图像的 配准以及图像扭曲校正等。 ( 3 ) 图像增强突出图像中的重要信息，同时减弱或者去除不需要的信息。 ( 4 ) 图像复原主要是去除噪声干扰和模糊，恢复图像本来面目。j ( 5 ) 形态滤波是数学形态学的延伸，是一门独立的研究学科。利用图像形态 学处理技术可以实现图像的膨胀、腐蚀、细化和分割等效果。 ( 6 ) 图像编码主要是利用图像信号的统计特性及人类视觉特性对图像进行高 效编码，以达到压缩图像的目的。 ( 7 ) 图像重建主要是利用采集的数据来重建图像，有代数法、迭代法等。 ( 8 ) 模式识别有统计识别法、句法结构模式识别法和模糊识别法等。 2 2 视线跟踪技术综述 根据科学研究统计，信息加工在很大程度上依赖于视觉，约有8 0 - - 9 0 外界信息是通过人的眼睛获得的【翻。由于人的视线具有直接性、自然性和双向性 等其它信息所无法具备的特点，人们对视线的研究有着浓厚的兴趣。眼动的早 期研究可以追溯到古希腊，但是真j 下使用仪器设备对眼动进行观察和实验是从 中世纪才开始的。直到1 9 0 1 年d o d g e 和c l i n e 才开发出第一台精确的、非强迫 式的眼追踪设备【6 1 。目前，视线跟踪技术逐步成熟，应用越来越广泛。主要应用 于图片广告研究【7 】【8 1 ( 网页评估、设计评估) 、动态分析【9 】【1 0 1 ( 航空航天相关领域、 体育运动、汽车、飞机驾驶、打字动作分析等) 、产品测试】【1 2 1 ( 广告测试、网页 测试、产品可用性测试等) 、场景研肃【”】【1 4 】【1 5 1 ( 商场购物、店铺装潢、家居环境等) 和人机交互等各种领域，另外在理解人的意图的智能计算机、具有交互功能的家 用电器、虚拟现实和电子游戏等领域也有很好的应用前景。 1 2 武汉理工大学硕上学位论文 2 2 1 眼动的基本概念和主要参数指标 目前，关于眼动的研究文献和硬件设备很多，由于每个作者和设备生产商 使用的概念和参数指标不同，造成了各种方法、模型和设备性能无法比较，给眼 动的研究带来许多困难。本文参阅了大量的文献，对眼动的概念和参数指标给 出了解释与界定。 ( 1 ) 眼动的概念【1 6 h 1 9 1 眼动主要有四种形式：注视( f i x a t i o n s ) 、跳动( s a c c a d e s ) 和平滑尾随跟踪 ( s m o o t hp u r s u i t ) 以及眨眼( b l i n k ) 。 注视。表现为在被观察目标上的停留，这些停留一般至少持续1 0 0 m s 2 0 0 m s 以上。在注视时，眼球并不绝对静止，眼球为了看清物体总是不停地做轻 微的抖动( j i t t e r ) ，其幅度一般小于1 度。绝大多数信息只有在注视时才能获得并 进行加工。 跳动。注视点间的飞速跳跃，是一种联合眼动( 即双眼同时移动) ，其视角 为1 。4 0 。，持续时间为3 0 m s - - 1 2 0 m s ，最高速度为4 0 0 。s 6 0 0 。s 。在眼 跳动期问，由于图像在视网膜上移动过快和眼跳动时视觉阈限升高，几乎不获 得任何信息。 平滑尾随跟踪。眼睛能平滑地追踪运动速度为1 。s - - - - 3 0 0 s 的目标，这种 缓慢、联合追踪眼动通常称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移 动的目标，在没有目标的情况下一般不能执行。 眨眼。医学研究表面，正常人每分钟眨眼约为2 0 次，每次历时0 2 0 4 秒，而在使用电脑的过程中则减少为四五次。眨眼是种保护性神经反射作用， 眨眼是为了调节视网膜和眼部肌肉，使它们能获得暂时的休息。它可以使泪水 均匀地涂在角膜和结膜表面，以保持眼球湿润。对于研究视线跟踪系统，人们 已经可以利用眨眼提取眼球的相关信息。 ( 2 ) 视线跟踪技术的主要参数【5 】【2 0 1 1 2 1 1 总注视次数。是衡量搜索效率的一个指标，注视次数越多，可能意味着 显示区域的布局越不合理。但也应该考虑注视次数和任务时间的关系( 例如：任 务时间越长需要的注视次数也越多) 。 注视持续时间。反映的是提取信息的难易程度。持续时问越长往往意味 着被测试人员从显示区域获取信息越困难。 武汉理工大学硕士学位论文 注视次数。区域重要程度的一个标志。显示区域越重要，被注视的次数 越多。 注视点序列。注视点在兴趣区之间的转换，能够度量用户界面布局的合 理性。 第一次到达目标兴趣区的时间。在显示区域搜索特定的目标时，第一次 到达目标区域的时间。也是用户界面布局合理性度量的一个重要指标。 2 2 2 视线跟踪的基本原理和实现技术 ( 1 ) 视线跟踪的基本原理【5 2 l 】【2 2 】 由光源发出的光线经红外滤光镜过滤后只有红外线可以通过；红外线经过 半反射镜后，部分到达反射镜，经反射镜发射到达眼球；眼球对红外线的反射 光经同一反射镜到达能锁定眼睛的特殊的瞳孔摄像机，通过连续的记录从人的 眼角膜和瞳孔反射的红外线，然后利用图像处理技术得到眼球的完整图像；再经 软件处理后获得视线变化的数据，达到视线跟踪的目的。 ( 2 ) 视线跟踪技术f 5 】【2 0 】