（光学工程专业论文）基于摄像与投影的人机交互系统设计.pdf

：0 二n 一 独创性声明 i l tll li l li ll lll llllll y 17 18 5 61 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：年 月日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：年月 日 _ o - 碱， 摘要 摘要 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n , h c i ) 是研究人、计算机以及它们间 相互作用的一门技术。人机交互的功能主要依靠可输入输出的外部设备和相应的 软件来完成。该领域的发展使得人机交互愈加趋于方便和自然化，并且随之产生 了多种类型的人机交互模式，例如基于数据、图像、语音和人体动作的交互模式。 本文所涉及的基于手势动作的摄像投影交互系统属基于人体动作的人机交互模 式。 与其它交互系统相比，基于手势动作的摄像投影交互系统由投影仪、摄像头 和计算机组成，结构比较简单、容易实现、成本较低，且投影图像可供多人观察， 因而有广阔的应用前景；然而，仍然存在着一些关键的技术问题尚未得到很好的 解决，制约着该系统的发展和应用，比如：摄像投影系统可移动性的实现、投影 仪的自动对焦、手部运动时的自动跟踪等。本文主要针对上述的三个关键问题展 开研究。 首先，为解决摄像投影系统的移动性问题，本文提出一种新颖的算法，以实 现摄像头与投影仪之间的准确配准，并输出稳定的投影图像。在该配准方法中， 用以求得摄像投影系统三维几何关系的基点数量较少，因此比现有的方法速度更 快、效果更好。实验结果表明，在摄像头、投影仪和屏幕的相对位置发生变化时， 该方法能保持稳定的影像，进而保证人机的有效交互。 然后，本文提出一种投影仪的自动对焦方法，以解决传统投影系统中对于屏 幕要求苛刻的问题。在一般的投影系统中，要求屏幕为平坦的平面且垂直于投影 方向；而在实际运用中，屏幕可能是任意方向的桌面、墙面、甚至地面。因此， 需要消除屏幕方向和表面形貌对投影质量的影响。本文所用方法有三方面的优势： 第一，对于屏幕模糊图像的获取运用一个简单的焦点模糊的计算方法，减小了处 理的数据量；第二，对于模糊图像中感兴趣区域的获取引入了通用的阈值运算， 降低了算法的复杂度；第三，对于感兴趣区域的逐个自动对焦，设计了合理的投 影仪镜头控制流程，保证对焦的有序进行。 最后，本文提出一种更适合于摄像投影系统的手部运动跟踪算法。通常，系 统的背景是快速变化的投影图像，并且可能会出现类似于肤色的图像区域。因此， 传统的仅仅基于运动或肤色的跟踪方法难以适用于该系统。而在本文算法中，对 于单帧图像中待定人手区域的确定，引入了手部运动区别于其它物体运动的另一 摘要 重要特征：由于手势属于非刚性运动，其区域内的匹配块具有更大的残差值；再 则，鉴于手部运动具有连续性，算法运用时间滤波来进一步确定正确的手部运动 轨迹，并最终实现手部运动的自动跟踪。 本文所提出的基于摄像投影的人机交互系统具有如下优势：在应用环境改变 的情况下可实现系统自动配准，无需再另行设置系统参数；并且在复杂屏幕条件 下可实现投影仪对感兴趣区域的自动对焦；用运动残差与肤色相结合的方法实现 手部运动的快速精确跟踪。因而该系统具有广阔的应用前景。综合应用运动残差 与肤色的手势定位方法在国内未见报道。 关键词：人机交互，互动投影，配准，自动对焦，自动跟踪 n a b s t r a c t a b s t r a c t h u m a n - c o m p u t e ri n t e r a c t i o n , h c i ，i st h er e s e a r c ho nh u m a n , c o m p u t e ra n dt h e i n t e r a c t i o nb e t w e e nt h e m t h ef u n c t i o n so fh c ii s a c o m p l i s h e db yt h e i n o u t e q u i p m e n ta n dr e l a t e ds o f t w a r e a n dt h ep r o g r e s so fh c i h a sm a d et h ec o m m u n i c a t i o n b e t w e e nh u m a na n dc o m p u t e rm u c hn a t u r a l ，a n ds e v e r a lw a y so fi n t e r a c t i o nh a v e s h o w n u p ：d a t ai n t e r a c t i o n , i m a g ei n t e r a c t i o n ，v o i c ei n t e r a c t i o na n db e h a v i o ri n t e r a c t i o n 1 1 1 ec a m e r a - p r o j e c t i o ni n t e r a c t i o ns y s t e m ，b a s e do nh a n dm o v e m e n t , m e n t i o n e di nt h i s p a p e r , i si n v o l v e di n t ot h eb e h a v i o ri n t e r a c t i o n c o m p a r e d 、i m o t h e rk i n d so fi n t e r a c t i o n s y s t e m s ，t h ec a m e r a - p r o j e c t i o n i n t e r a c t i o ns y s t e m ，w h i c hj u s tc o n t a i n sp r o j e c t o r , c a m e r aa n dc o m p u t e r , h a ss i m p l e s t r u c t u r ea n dl o wc o s t ，a n dt h ei n f o r m a t i o ni se s a yt ob es h a r e d ，s os u c hi n t e r a c t i o n s y s t e mh a sab r o a da p p l i c a t i o n a lv i s t a h o w e v e r , t h e r ea r es t i l ls o m ep r o b l e m s ，w h i c h n e e dt ob es o l v e dt ob r i n gt h es y s t e mi n t oah i g h e ra d v a n c e ，s u c ha st h em o b i l i t y , a u t o f o c u s i n go fp r o j e c t o r , a u t o - t r a c k i n go f h a n d i nt h i sp a p e r , m e t h o d st os o l v et h r e e o f t h ep r o b l e m sa r ei n t r o d u c e dm a i n l y f i r s to fa l l ，an e wa l g o r i t h mo ft h ec a l i b r a t i o nb e t w e e np r o j e c t o ra n dc a m e r ai s i n t r o d u c e dt os o l v et h ei n m o b i l i t yp r o b l e ma n dp r o d u c i n gan o r m a li m a g eo nt h ef i x e d s e r o 朗1 1 l e s sb a s ep o i n t si su s e di nt h ea l g o r i t h mt oc a l c u l a t et h et h r e e - d i m e n s i o n a l g e o m e t r y t h e r e f o r e , s u c hm e t h o dc o u l db em o r ee f f i c i e n tt h a nt h ec u r r e n tm e t h o d s d u r i n gt h ee x p e r i m e n t ，t h ec h a n g eo f t h ep o s i t i o no ft h ec a m e r a , p r o j e c t o ra n ds c r e e n c o u l dn o ta f f e c tt h es t a b i l i t yo ft h ei m a g e ，t h e r e b yn o ta f f e c t i n gt h ee f f e c t i v e h u m a n m a c h i n en t e r a c t i o n s e c o n d l y , a u t o f o c u so ft h er e g i o no fi n t e r e s th a sb e e na c h i e v e di nt h i sp a p e r , i n o r d e rt om e e tt h ep r a c f i c mn e e do ft h es c r e e n i np r a c t i c a la p p l i c a t i o n s ，t h es c r e e nc o u l d b ea n yd e s k t o p ，w a l l ，o re v e nt h eg r o u n d ，s ow es h o u l da v i o dt h ei m p a c to ft h er o u g h s c r e e nt ot h ee f f i c e n c yo fi n t e r a c t i o n t h ea u t o f o c u sm e t h o di n t h i sp a p e rh a st h r e e c h a r a c t e r s ：u s i n gas i m p l ec a l c u l a t i o no ff o c a lb l u rt or e d u c et h ec o m p l e x i t yo ft h e a l g o r i t h m ；t h e ni n o r d e rt og e tt h er o i ，t h r e s h o l d i n gm e t h o di sp r o p o s e di nt h eb l u r i m a g et or e d u c et h ec o m p l e s i t y ；t h ea u t o f o c u si se v e n t u a l l ya c h i e v e db yt h er e s o n a l i i i a u t o - c o n t r o lo fl e n s f i n a l l y , as u i t a b l eh a n dt r a c k i n gm e t h o di sd e s i g n e dt om e e tt h ep r a c t i c a ln e e do f t h es y s t e m i nt h i ss y s t e m ，t h eb a c k g r o u n di sr a p i d l yc h a n g i n go nt h ep r o j e c t i o ns c r e e n ， a n dt h ei m a g ea r e aw h i c hh a st h eg a m ec o l o rt oh a n dc o u l da p p e a r t h e r e f o r e ，t h e t r a d i t i o n a lb a c k g r o u n ds u b t r a c t i o nm e t h o di sn o ta p p l i c a p a b l ef o rt h ec a n l e r ap r o j e c t i o n s y s t e m i nt h ea l g o r i t h mt h i sp a p e rp r e s e n t s ，an e wh a n dm o t i o nf e a t u r e , w h i c hi sq u i t e d i f f e r e n tf r o mo t h e rm o v i n go b j e c t s ，i sf i r s tu s e dt od e t e r m i n et h ec a n d i d a t eh a n da r e a f r o mt h es i n g l e - f r a m ei m a g e s ：al a r g e rv a l u eo fm o t i o nr e s i d u e t h e n , t h et r a c k i n g a l g o r i t h m u g e 8t h e c o n t i n u i t yo ft h em o v e m e n to fh a n dm o t i o n , b a s e d o nt h e c o m t e m p e r a lf i l t e r i n gt oi n d e n t i f yr e a lh a n dt r a j e c t o r y , a n du l t i m a t e l ya c h i e v et h ea u t o l o c a t i o no fh u m a nh a n d t h ei n t e r a c t i v et e c h n o l o g yp r o p o s e di n t h i sp a p e rh a st h e s et h r e ea d v a n t a g e s ： a u t o - c a l i b r a t i o ni sr e a l i z e dw i t h o u tr e s e t t i n gt h es y s t e mw h e nt h ea t m o s p h e r e sc h a n g e ； t h er o ic o u l db ea u t o f o c u s d , i g n o r i n gt h es c r e 圯r lc o n d i t i o n ；t h et r a c k i n gm e t h o d c o m b a i n i n gi n f o r m a t i o no fm o t i o nr e s i d u ea n dc o l o rc o u l dr e a l i z et h ef a s ta n dp r i s i c e h a n dt r a c k i n g , a n ds u c hm e t h o dh a sn o tb e e ns e e ni nt h ep a p e r sh o m e t h e r e f o r et h e c a m e r a - p r o j e c t i o nh u m a n - c o m p u t e ri n t e r a c t i v es y s t e mi nt h i sp a p e rc o u l db eu s e d b r o a d l y k e y w o r d s ：h u m a n c o m p u t e ri n t e r a c t i o n , a u t o - f o c u s ，a u t o - t r a c k i n g i v 目录 目录 第一章引言1 1 1 人机交互技术1 1 1 1 人机交互技术综述l 1 1 2 人机交互的模式2 1 2 基于摄像投影的人机交互技术3 1 2 1 摄像投影交互系统介绍3 1 2 2 摄像投影交互系统的应用前景5 1 2 3 摄像投影交互系统的技术难点6 1 3 本文研究目标和组织结构8 1 4 本章总结9 第二章摄像投影系统的配准1 0 2 1 配准技术的提出1 0 2 2 摄像投影系统的校准1 0 2 2 1 摄像头与投影仪之间的相互关系1 1 2 2 2 摄像头与投影仪的对应几何关系1 2 2 2 3 投影矩阵的计算1 2 2 3 弱配准下稳定图像的输出13 2 3 1 平幕的三维重构1 3 2 3 2 稳定图像的输出1 4 2 4 完全配准下稳定图像的输出1 6 2 4 1 平幕的三维重构1 6 v 目录 2 4 2 输出稳定图像1 6 2 5 实验结果18 2 5 1 可移动的摄像投影系统1 8 2 5 2 输出图像的稳定性1 9 2 6 本章总结2 l 第三章摄像投影系统自动对焦技术2 2 3 1 自动对焦技术的提出2 2 3 2 焦点模糊的计算方法2 2 3 3 投影仪自动对焦算法2 6 3 3 1 感兴趣区域( r e g i o no fi n t e r e s t ，r o i ) 的获取。2 6 3 3 2 自动对焦算法2 7 3 4 投影仪镜头控制算法2 7 3 5 实验结果2 8 3 5 1 摄像投影系统的设置2 8 3 5 2 自动对焦实验结果分析2 9 3 6 本章总结31 第四章人手的自动跟踪3 2 4 1 人手跟踪算法的提出。3 2 4 2 在单帧中确定待定手势区域3 3 4 2 1 基于图像金字塔的匹配方法3 3 4 2 2 运动残差与肤色判决的引入3 5 4 3 基于连续性的手势定位算法3 5 4 3 1 人手轨迹判定准则3 6 4 3 2 观测概率的估算3 7 v i 目录 4 3 3 连续帧间一致性的计算3 8 4 3 4 手势自动跟踪算法实现3 9 4 4 实验结果与分析4 l 4 4 1 单帧中待定区域的定位4 1 4 4 2 图像序列中基于连续性的手势区域确定4 2 4 5 本章总结4 3 第五章改进的摄像投影交互系统的实现4 4 5 1 系统的硬件结构4 4 5 1 1 硬件系统的要求4 4 5 1 2 系统的硬件构架4 5 5 2 系统的软件设计4 6 5 2 1 系统程序流程4 6 5 2 2 软件构架4 7 5 2 3 软件系统的接口技术4 7 5 3 系统运行结论与分析。4 8 5 3 1 实验结论4 8 5 3 2 误差分析与展望4 9 5 4 本章总结4 9 第六章结论5 0 致谢5 l 参考文献5 2 攻硕期间所取得的成果5 5 v i l 第一章引言 1 1 人机交互技术 1 1 1 人机交互技术综述 第一章引言 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n , h c i ) 【啦】，顾名思义是指人与计算机 之间的有效互动，或者是人与包含计算机的机器之间的互动。而人机交互技术研 究的最终目的在于设计出这样的系统，该系统允许人类能够更有效、更自然地 ( n a t u r a l l y ) 【3 】实现与计算机之间的互动。其中，“自然”特指人类根据自身特有的 动作或者特征来实现人与计算机的沟通。 自1 9 4 6 年世界上第一数字计算机e n i a c 诞生以来，计算机技术已取得了惊 人的发展。但对于人类来讲计算机仍然是工具，它是人类大脑、双手和眼睛的扩 展，因此人与计算机彼此之间仍然受控于对方。在这情况下，需要人和计算机的 有效沟通，即所谓的人机交互。而包含了能够实现人机沟通能力的硬软件系统， 便被称之为人机交互系统。人机交互的发展大致可以分为三个阶段 4 】： ( 1 ) 创立时期 一位美国学者b s h a c k e l 在19 5 9 年发表了一篇名为如何实现人在操作计算机 时缓解手指疲劳的文章，该文被认为是针对计算机面板革新的第一篇文章。1 9 6 0 年，l i k l i d e rj c k 提出了一种人机密切共生的概念，它被认为是引导了人机界面研 究领域的出现。随后1 9 7 0 至1 9 7 3 年，4 本关于计算机工效学的书籍面世，并且 19 7 0 年成立了两个人机交互研究中心：一个是英国h u s a t 大学的l o u g h b o c o u g h 研究中心，另一个是美国施乐公司的p a l oa l t o 研究中心。 ( 2 ) 发展时期 八十年代早期，出版了6 本最新的人机交互的研究专著，并且人机交互逐步 形成自己的理论和实践系统。从人体工效学独立出来以后，人机交互将重点放在 认知心理学、社会学和行为学上，并在实践中从人机界面扩展开来，加强了人机 交互技术的发展。 ( 3 ) 推广时期 到九十年代后期，随着高速芯片的发展，多媒体和互联网技术得到有效的发 电子科技大学硕士学位论文 展和推广。人机交互的研究将重点放在了智能互动、多模互动媒体 4 1 ，以及以人为 中心的虚拟人机交互等领域【5 1 。 1 1 2 人机交互的模式 人与计算机的交互是一个输入与输出的过程，用户通过交互界面输入指令， 计算机将输出有效的呈现出来。输入输出方式的不同导致人机交互模式多样化【6 】。 ( 1 ) 数据互动 数据交互是指向计算机输入数据以待处理，它是人机交互的一个重要的模式。 该模式的一般过程如下：首先，系统要求用户输入数据并引导其如何输入；然后， 基于用户的输入，系统在显示器上给予特定的反馈；同时，系统会检测用户的输 入，若输入错误会要求用户重输入。不同的数据输入模式决定了不同的数据互动 方式。并且数据可以是任何的有效信息，比如数字、图像、颜色和符号。 ( 2 ) 图像互动 人类通常通过如下三种方式来传递信息：语言、文字和图像。并且有高达7 0 的信息时通过视觉系统所获取的图像信息。因此，图像交互的研究显得相当重要。 该交互方式是指计算机对基于人类行为的图像信息的理解，并对其产生相应的反 应。 到目前为止，机器视觉系统可以分为三个层面：图像处理、图像识别和图像 感知。图像处理主要任务是增强视觉效果并将图像转换为期望的效果，该过程的 输入输出介为图像；图像识别的目标在于计算图像中感兴趣的区域并为其确定一 个客观的描述方法，该过程主要是指图像的获取；图像感知着重于图像识别、图 像特征，以及特征之间的相互关系一即以图像为输入，以图像的解读为输出。 ( 3 ) 语音互动 语言一向被认为是最自然、最方便、最有效的信息互动的方式。一系列的研 究表明基于听觉的交互具有很多优点。例如听觉信息的感知比图像信息更快，人 们对于声音具有很高的敏感度，并且同时感知听觉和视觉信息可以使人有更强的 存在感与真实感。因此，基于声音的交互方式在人机交互领域具有相当突出的地 位。 基于声音的人机交互技术重点在于研究通过人类的自然语言与计算机之间的 沟通。其中包括了跨学科的研究，例如语言学、心理学、人类工程学，以及计算 机技术。语音互动，不仅在于研究语音识别和语音合成技术，而且还研究当用户 2 第一章引言 参与语音互动时的互动机理和行为。 目前，语音互动基本有两种方式：一种是基于运用语音理解和识别技术的语 音互动系统；另一种是采取了语言技术与其他方式的互动技术综合运用的互动系 统，在该方式中声音成为交互媒介中的一部分。 ( 4 ) 基于人体动作的互动 同样地，除了运用声音作为交互媒介以外，人们还常常运用肢体动作和移动 方式作为表达信息的方式。该方式被命名为基于人体动作的互动。在某些情况下， 人类的动作可以通过预先设计而产生比基于语音的交互更好的互动效果。 基于人类动作的人机交互方式是这样的一个过程，该过程中计算机首先确定 人体方位并对其进行识别，然后对人类肢体移动进行跟踪以便即时地理解人类的 动作，最后根据这些动作作出相应的反馈r 刀。基于动作的互动将开启更新颖的交互 方式，通过用户行为计算机可以预知用户的需求并满足其需要。 本文所涉及的基于手势动作的摄像投影交互系统其交互模式属于基于人体动 作的人机交互模式范畴。我们在接下来的章节将对其进行详细的叙述。 1 2 基于摄像投影的人机交互技术 近年来，随着数字摄像头与投影仪成本的逐渐降低，以及外形的逐渐变小， 关于它们的研究和应用课题【8 ，9 】也越来越多。 在某些情况下，我们可以把投影仪看作可编程的光源，从而可以通过摄像头 获得场景中更为详细的影像信息。还有一些情况下，我们还可以把摄像头看作影 像传感器，通过摄像头的辅助，投影仪能够在任意的表面上投影出高质量的图像。 并且，投影仪与摄像头可以在同一个空间中进行相互组合，进而同时提供了 影像输入和输出的能力，因此产生了一种新的人机交互技术一基于摄像投影的人 机交互技术。 1 2 1 摄像投影交互系统介绍 依靠先进的计算机视觉技术和投影显示技术，基于摄像投影的交互系统可以 营造一种更加具有实际感受的交互模式1 0 】。该系统通过专用画面投射装置投影 仪，在指定屏幕上投射出一组特定的影像信息，该信息表达了此刻计算机的输出： 文档、图像或者指令。当用户的肢体进入该影像区域并进行相应动作，系统可以 根据用户的动作作出特定的反应并以相应的形式进行输出反馈。该过程较为详细 电子科技大学硕士学位论文 的表述如下【1 1 】：系统通过互动分析感应传感器摄像头跟踪识别用户作出动作部 位的位置及具体动作，并将这些数据反馈给软件核心引擎。软件引擎将各种数据 进行综合处理、判断出互动关系并对用户的动作做出具体的反馈。并且，系统可 以通过影像画面合成模块将输出特效画面和先前的影像画面进行合成，最后由影 像画面投射装置投射到屏幕上。互动投影系统让用户可以置身于系统设定的特定 情境中，给人一种全新的交互体验。 在图1 1 中我们可以直观地了解到基于摄像投影的人机交互系统的结构及特 点。 计算机 投影皿 图1 - 1 基于摄像投影的人机交互系统 从该图我们可以看出，在该系统中投影机将虚拟画面直接生成在屏幕的表面 即可实现人与计算机的实时互动，从而解决了其他方式交互系统的不方便性问题， 用户不需要配戴任何额外的设备就能够与系统进行交互。 并且系统结构非常简单，仅由投影仪、摄像机和p c 组成，相比于其他例如基 于头盔显示器【1 2 1 或者数据手套【1 3 】的交互系统，它有下面几个优势：第一，投影将 在真实环境的表面上直接生成虚拟图形，用户无需配戴特殊的眼镜和各种传感器 就可以直接观察到这些信息；第二，由于图形信息是直接生成在实物表面的，因 此系统不再需要额外的图像显示设备来表达影像信息。第三，使用投影仪使多个 用户可以方便地共享所输出的投影信息。 4 第一章引言 1 2 2 摄像投影交互系统的应用前景 影像互动投影系统，由于综上所述的诸多优点，使其应用范围可以相当的广 泛，例如互动资料查阅，广告、展览等互动娱乐活动等。现就本文重点研究的基 于人手动作的摄像投影系统的几个应用示例进行简单的说明。 ( 1 ) 手术室内互动操作系统 众所周知，外科医生执行手术是一个相当复杂且要求相当严谨的过程，特别 是一些重大手术。不可避免的，在医生执行手术的过程中需要不时地查阅相关资 料并对一些仪器进行即时操作，如图1 - 2 ，以保证手术的顺利进展。而于此同时， 手术操作的条件却制约了医生或者手术助手对于资料的翻阅或仪器的操作：手术 操作者往往佩戴了手套，且手套上会有血渍等液体。这些都使得传统的，基于按 钮或者触摸屏式的显示设备或仪器不适用于手术室的实际操作环境。因此，我们 可以借助基于摄像投影的交互系统的优点将其运用到手术环境，来实现通过人手 动作的人机互动。 图l - 2 手术过程图 ( 2 ) 互动电子书多媒体电子杂志 可以随手而动的神奇互动电子书【1 4 1 ，其效果如图1 2 所示。无需触摸，只要 用手划过翻书按钮，就可以一页页的翻阅图书。该系统可以被运用在图书馆、科 技展馆的引导大厅位置，比现行液晶等离子屏幕更加适合公共场所且灵活易维护。 系统不单可以通过人的挥手产生翻页的效果，当人的手放置在书签上方时，书本 将会按照书签的自由跳转需要的目录，使查找能更方便快捷且成本更低。 5 电子科技大学硕士学位论文 图1 3 基于投影的互动电子书 1 2 3 摄像投影交互系统的技术难点 尽管基于摄像投影的人机交互系统具有综上所述的诸多应用领域，而该系统 仍然面临一些技术难点问题，制约着该系统的发展。接下来我们将逐一对各关键 技术难题及其解决方法进行说明。 ( 1 ) 系统的不可移动性 首先，要实现有效的人机互动就要求摄像投影系统所输出的背景影像是稳定 的，这就需要我们预先将投影仪和摄像头相对于投影屏幕的距离、位置设定好并 保持不变。这使得基于某个场景的摄像投影系统变得不可移植，且在每次的实际 运用中都要进行重新设定，进而增加了系统成本。 因此，提出了摄像投影系统中投影仪与摄像头的配准技术。要实现虚拟与现 实物体的完美结合，必须将虚拟物体合并到现实世界中的准确位置，这个过程通 常称为配准( c a l i b e r a t i o n ) u5 1 ，因此系统必须能够实时地检测观察者在场景中的位 置，甚至是运动的方向，以便用来帮助系统决定显示何种虚拟物体，并按照观察 者的视场重建坐标系。 配准的方法有很多，主要可以分为两大类【1 6 】：主动目标系统和被动目标系统。 主动目标系统一般事先测量好实验环境，并在指定的位置放置特定的信号发生器， 传感器或标志物，通过磁场、声、光、电等途径来提供配准数据。被动目标系统 则完全靠感知周围环境或依靠自然界的信号或依靠某些物理规律来获取数据。比 如惯性传感器感知自身的线性加速度和角速度变化，指南针依靠地磁场，视觉系 统感知自然景物特征等。其中视觉方法由于误差小，使用方便，经常被各种交互 系统所采用。 6 第一章引言 各种配准系统往往都具有不可回避的缺点对于主动目标系统而言，目标所 产生的信号经常被环境嗓声所干扰，造成配准误差。被动目标系统也会由于接收 到的信号好质量不好而导致误差。 基于视觉的配准是通过给定的一幅或多幅图像来确定摄像机和真实世界中目 标的相对位置和方向。采用视觉方法时，配准所用图像和用户看到的是同一幅图 像，因此相对于其他配准方法，根据该图像配准的结果具有非常小的测量误差。 同时如果系统本身具有图像采集设备，可以在不增加其它设备的前提下完成配准。 但是视觉方法也有一些缺点。一方面，视觉方法的鲁棒性差，经常受到光照、遮 挡等因素的影响而无法正常工作；另一方面，视觉方法计算量可观。一幅3 2 0 x 2 4 0 的图像共有像素7 6 8 0 0 个，如果每秒处理2 5 帧，则总共需要计算近2 0 0 万个像素 的数据，很难达到实时的要求。 ( 2 ) 投影屏幕的苛刻性 其次，一般情况下，投影系统都要求屏幕是平的且垂直于投影仪，而这些也 大大减小了该系统的适用性。 因此，提出了投影仪的自动对焦技术。近年来，运用单个或者多个摄像头与 投影仪的摄像投影系统在许多领域被广泛的使用，例如基于结构光的3 d 重构系统 0 7 1 ，自校准系统【1 8 】，多分布显示系统，增强现实技术1 9 】等。而与投影仪运用有关 的最关键问题在于投影仪的焦距范围( 场的深度) 太短。在这种情况下，当场景 中的物体超出焦距范围时所投影的物体模式焦点【2 0 】发生模糊。尽管有一些关于摄 像头自动对焦技术【2 l 】的提出，然而关于投影仪自对焦的技术却很少有研究。有一 个商业上可用的自动对焦投影仪，它利用红外线传感器来测量投影仪和屏幕之间 的距离。此方法假设屏幕是相对平坦并垂直于投影仪。该方法的局限性在于，它 只能对焦于一些特定的区域，并且该方法还假设了投影仪与屏幕之间的距离是不 变的。然而，在许多实际的应用中，屏幕可能是不平坦并且不垂直于投影机的。 进而，该方法需要一些额外的辅助设备，比如一个可以帮助投影仪观测屏幕的摄 像装置。 ( 3 ) 交互媒介一人手的精确自动跟踪 最后，本文所重点描述的基于人手动作的互动投影系统能否进行有效的互动 还有一个很重要的因素，即人手的精确跟踪技术。其稳定性和精确性直接影响到 后续基于人手动作的影像互动的真实性和互动效果。而现行的人手跟踪方法或多 或少有其不适应于该系统的不足之处。 通常情况下在一般的跟踪问题上，基于预更新技术的跟踪方法被广泛的使用。 7 电子科技大学硕士学位论文 卡曼滤波【2 2 】和粒子滤波【2 3 】也曾经被运用到人手的跟踪当中。i s a r d 和b l a k e 2 4 】介绍 了一种名为凝结的统计抽样算法来在凌乱的背景中进行手轮廓的跟踪。该方法被 m a n l m e , n 1 2 5 】扩展到进行双手跟踪。在这种方法中，由于阻塞或杂波产生了大量的 误差。并且，这些方法需要对追踪模型参数手动初始化，而不知道何时能会出现 跟踪丢失。 在y a n g 和a h u j a 2 6 】的方法中，运用了时间滞后神经网络( t i m e - d e l a yn e u r a l n e t w o r k ) 来跟踪识别人手，并通过运动估计的特征来实现。这种方法并没有解决 当手的很大一部分被遮挡或当两手重叠情况的实际问题。在m a r t i n 【2 。7 】的方法中， 运用肤色探测和图像差的特征来实现二维人手跟踪。而这些特征在某些区域不充 分。例如无法获取肤色信息，或者图像差也包括进了衣服、脸部或其他物体的运 动。 r a s m u s s e na n dh a g e r 2 8 1 运用p d a f ( p r o b a b i l i s t i cd a t aa s s o c i a t i o nf i l t e r ) 【2 9 】来跟 踪多个的物体。他们的算法执行概率排斥的原则，以防止从两个跟踪器抓住了同 样的目标。然而，该系统仍需要初始化，以及两个目标之间的最小距离。 大量的工作的重点放在了手的精确跟踪上面。其目标在于跟踪每个手指和手 掌的运动细节，而非仅仅是跟踪二维的手势位置区域。r e h ga n dk a n a d e 【3 0 】提出了 一种运用三维手势模型的跟踪方法，在他们设计的d i g i t e y e s 手势跟踪系统中。 s t e n g e r 3 1 1 运用了3 9 二次型和卡曼滤波的人手模型来实现跟踪。l u 【3 2 】运用了边界 和光流的方法实现三维向二维图像的转化实现人手运动估计。s u d d e m l 【3 3 】使用非参 数信念传播和几何模型来追踪手的运动区域。精确的人手模型需要精确的初始化， 他们的方法对于手势的重叠仍然敏感，而重叠在人类的手势和手语系统中出现的 几率相当高。 1 3 本文研究目标和组织结构 本文的研究内容和组织结构包括： 第一章引言 介绍了本文的研究背景和现状，包括人机交互技术的发展及其各种应用模式、 摄像投影系统在人机交互领域中的广泛应用及其发展的瓶颈。 第二章摄像投影系统的自动配准技术 为了降低系统设计的成本，能够随意移动位置且不影响图像输出的摄像投影 系统成了目前研究的热点。然而，系统的移动需要摄像投影系统的自动配准技术， 8 第一章引言 以及稳定的投影图像的输出。因此，本文研究了一种能够实现系统自动配准，并 在平幕上输出稳定图像的方法。 第三章投影仪的自动对焦技术 在许多实际的应用中，屏幕可能是不平坦并且不垂直于投影机的。因此在本 文中，我们提出了一种投影仪自对焦的技术。该技术采用了一个简单的模糊焦点 的计算方法。本方法运用了高斯各向同性点分布函数模型，并且所捕捉到的数字 重模糊版本间的差被运用来计算边界检测以外的模糊半径。 第四章人手的自动跟踪算法 基于人手运动不同于其他运动物体运动的特点，本文提出了基于运动残差与 肤色相结合的方法，实现单帧中待定人手区域的确定。继而，由于人手的运动是 连续的，本文采用了继续人手连续特性的方法运用连续滤波来实现人手运动轨迹 的精确定位。最终实现人手的自动跟踪方法。 第五章摄像投影交互系统的实现 介绍了所提出的基于摄像投影系统的人机互动方法的实现，包括硬件结构和 软件的组织方法。 1 4 本章总结 本章介绍了本文的研究背景和现状，包括人机交互技术和系统的特点、应用 模式实例。并介绍了摄像投影系统在人机交互系统中的应用及其优势，并简单介 绍了其结构模式。最后介绍了本文的研究目标和主要工作。 9 电子科技大学硕士学位论文 第二章摄像投影系统的配准 2 1 配准技术的提出 摄像投影系统，作为一个新颖的信息表达设备，正被广泛得运用于社会生活 的各个领域【3 4 1 。而伴随着该系统简易程度的逐渐提高，能够随意移动位置的摄像 投影系统成了目前研究的热点，以降低系统设计的成本，提高系统的普遍适应性。 进而，系统的移动引发了新的研究课题：摄像投影系统的自动配准技术，以及稳 定的投影图像输出技术。鉴于此，在本章中，我们研究了一种能够实现系统配准， 并在平幕上输出稳定图像的方法。 要在固定的平幕上产生正常的图像，重要的是要准确地计算出投影摄像系统 与屏幕的的三维几何关系。由于现有的投影摄像机系统认为他们的位置和方向是 在三维空间中不动，我们没有必要特别注意校准投影摄像机系统所需的基点的个 数。但是，在此文的假设中，摄像投影系统和屏幕是相对移动的，因此我们要在 摄像机图像中跟踪基点，来实时计算投影摄像系统和屏幕之间的几何