（信号与信息处理专业论文）计算机视觉与增强现实技术的研究.pdf

摘要翼3 9 3 6 3 舫1 姒珊粼文 摘要 增强现实是项从虚拟现实研究中发展出来的新兴技术。它 通过在真实场景的图像上叠加计算机生成的虚拟景物混台而成， 虚拟景物用以增强用户对真实场景的感觉和认识。虚拟景物必须 和真实场景配准，使得用户感觉它们是混然一体的。增强班实中 的关键技术是配准。实现配准的方法很多，因为计算机视觉方法 的精度高，设备简单，所以经常被采用。常见的增强现实系统的 显示方式有：直接显示器显示，视频叠加透视头盔显示和光学叠 加透视头盔显示0 本论文通过对计算机视觉和增强现实技术的研究，在p c 机 平台上建立了一套增强现实系统。首先通过计算机视觉方法获取 配准参数。本系统的配准参数主要是手部位置、姿态和运动参数。 为此首先对指定处理区域内的真实场景图像应用基亍颜色特征的 分割方法，分割出手部图像，然后通过基于搜索算法的手部位置 和姿态参数提取算法获取位置和姿态参数，最后通过视觉运动估 计算法获取手部运动参数。处理区域由视觉跟踪方法给出。然后 根据配准参数和真实场景中的物理规律，基于质点一挡板模型列 虚拟景物的运动进行分析，计算出每一帧图像中虚拟景物的位 置。最后将虚拟景物叠加到真实场景中，得到增强现实场景； 一，本论文采用的显示方式为直接显示器显示。一般来说这种显 示方法不会使用户产生沉浸感，但是论文对采用这种方式的增强 现实系统的结构进行了改进，在图像采集部分后增加了镜像音c 分使得图像水平翻转后显示，造成镜面的效果，带来明显的沉 浸感。y 关键词计算机视觉增强现实手部参数提取运动分析 垫茎 ! ! 查奎望查兰婴主兰垡兰：苎 a b s t r a c t a u g m e n t e dr e a l i t y f a r li san e wt e c h n o l 0 9 3 7r a i s i n gf r o m v i r t u a lr e a l i t yr e s e a r c h i ti sa r c h i v e db ya d d i n gc o m p u t e rg e n e r a t e d v i r t u a lo b j e c t st or e a le n v i o r m e n ti m a g e v i r t u a lo b j e c t se n h a n c eo r a u g m e n tt h eu s e r l ss e n s eo fr e a le n v i o r m e n tv i r t u a lo b j e c t sm u s tb e a c c u r a t e l 3 ，r e g i s t e r e dw i t ht 1 1 e r e a le n v i o r m e n tt om a k et h eu s e rf e e l t h er e a la n dv i r t u a li m a g e sa sf u s e dt h ek e yt e c h n o l o g yi na ri s r e g i s t r a t i o n t h e r ea r em a n 、，w a y st oa r c h i v er e g i s t r a t i o n c o m p u t e r v i s i o nh a sh i g ha c c u r a c ya n ds i m p l ed e v i c e s s o i ti so f t e na p p l i e d t h em o s tc o m m o nu s e dd i s p l a ys y s t e m si na ra r em o n i t o rb a s e d d i s p l a y v i d e os e e - t h r o u 曲d i s p l a y a n d o p t i c a ls e e t h r o u g hd i s p l a 3 - t h i sp a p e rp r e s e n t e d a i la rs y s t e mo np cp l a t f o r mb a s e do n r e s e a r c ho fc o m p u t e rv i s i o na n da u g m e n t e dr e a l i t 3t e c h n o l 0 9 3 f i r s t l 3 r e g i s t r a t i o np a r a m e t e r sa r ea c q u i r e dt h r o u g hc o m p u t e rv i s i o n m e t h o d s r e g i s t r a t i o np a r a m e t e r si nt h i ss y s t e ma r em a i n l yc o m p o s e d o fh a n d p o s i t i o n ，p o s t u r e a n dm o t i o n p a r a m e t e r s t o g e t t h e s e p a r a m e t e r s 、f i r s t l yp e r f o r m c o l o rb a s e d s e g m e n t a t i o n o n s p e c i f i e d r e g i o n t h e nu s eh a n dp o s i t i o na n dp o s t u r ee x t r a c t i o na l g o r i t h mb a s e d o ns e a r c ha l g o r i t h mt o g e tp o s i t i o na n dp o s s ep a r a m e t e r s f i n a l l 3 e x t r a c tm o t i o np a r a m e t e r sb yv i s u a lm o t i o na n a l y s i s p r o c e s sr e g i o ni s g i v e nb yv i s u a 】t r a c k i n ga l g o r i t h m t h e nc a l c u l a t ev i r t u a l o b j e c t s 。 p o s i t i o ni ne a c hf r a m eb a s e do nm o t i o na n a l y s i sw i t hp a r t i c l e b a f f l e m o d e l r e g i s t r a t i o np a r a m e t e r sa n dp h i s i c a ll a w si nr e a lw o r l d f i n a l l 3 s u p e r i m p o s ev i r t u a lo b j e c t s i nr e a ls c e n ei m a g eo ng i v e np o s i t i o n g e n e r a t e sa r e n v i o r m e n t t h i sp a p e ru s e sm o n i t o rb a s e dd i s p l a ) f _ c o m m o n ht h i sk i n do f d i s p l a yc a r ln o tm a k et h eu s e ri m m e r s e di na r e n v i o r m e n tb u it h i s p a p e ri m p r o v e st h es y s t e mo nt h es t m c t u r e a d d i n gm i r r o rp r o c e s s s e c t i o na f t e ri m a g ea c q u i s i t i o ns e c t i o n w h i c hg i v e st h ef e e l i n go fa m i r r o r m a k e st h eu s e ri m m e r s e d k e y w o r dc o m p u t e r v i s i o n a u g m e n t e dr e a l i t 3 ，h a n d p a r a m e t e r se x t r a c t i o nm o t i o na n a l y s i s 第一章综述 北方交通大学硕士学位论义 第一章综述 1 1 增强现实技术概述 虚拟现实技术( v i r t u a lr e a l i t y ，简称v r ) ，又称灵境技术， 是近年来的一个研究热点。1 9 9 2 年a u k s t a k a l n i s 和b l a m e r 给出 的虚拟现实定义为：计算机生成的三维交互式虚拟场景，使用户 感觉到沉浸于其中。 但是现实世界中的场景是相当复杂的，包含了非常可观的数 据。从现有技术看，性能再高的计算机，生成的图形再精确，也 难以完全描绘它。而在很多场合，人们需要的更多的是对真实场 景的认识，所以也没有必要由计算机生成全部场景。因此相对于 虚拟现实而言，一种称为增强现实的新技术更加适用于这样的情 况。 增强现实( a u g m e n t e dr e a l i t y ，简称a r ) 是虚拟现实研究 中的一个迅速发展的新方向。它由用户看到的真实场景和叠加于 真实场景上的计算机生成的虚拟景物组合而成，虚拟景物对真实 场景起增强作用，提高人们对真实场景的感觉和认识。增强现实 的最终目标是生成一个真实场景和虚拟景物完全融合的场景，使 得用户感觉不到哪些是真实的，哪些是虚拟的，而认为自己所看 的是一个完全真实的场景。 增强现实与虚拟现实的关系 对比虚拟现实和增强现实我们可以发现，计算机图形在其 中起的作用是不一样的。虚拟现实要求给用户以完全的沉浸感， 因此计算机图形必须尽可能地模拟真实场景中的环境。用户所看 到的全部内容都由计算机控制显示，用户完全沉浸在计算机所生 成的虚拟场景中，看不到真实的场景。而增强现实中，计算机图 形仅仅对真实场景作出一定程度的增强，用户看到的大部分内窖 仍然是真实场景，因此仍然会感到身处真实场景中，只不过这个 场景中融入了一些虚拟物体，看上去与真实的场景略有不同。 关于虚拟现实和增强现实的分类，1 9 9 4 年多伦多大学的 第一章综述北方交通大学硕十学位论奠 m i l g r a m 提出了一种有效的分类方法a 他给出了一个真实虚拟 连续体图( 图1 ) 用以说明虚拟现实和增强现实之间的关系。 真实场景增强现实c 蛆，增强虚拟( y ，虚捌场景 图1m i l g r a m 的真实一虚拟连续体图 连续体的两端分别是完全的真实场景和完全的虚拟场景，中 间则是混合现实场景。 混合现实场景泛指各种将真实场景和虚拟场景以一定比例混 合为一个整体的场景。增强现实和m i l g r a m 给出的另一种情况“增 强虚拟( a u g m e n t e dv i r t u a l i t y ，简称a v ) ”均属于混合现实。增 强虚拟靠近虚拟场景端，指的是场景中的大部分内容为计算机 生成的虚拟场景，但添加一些真实景物，以增加真实感。增强现 实靠近连续体中真实场景的端，要求大部分场景为真实场景， 添加虚拟景物以增强对真实场景的认识。 增强现实系统的结构 增强现实系统的一般结构如图2 所示。 崔刍l 却 图2 增强现实系统结构图 图像采集部分用来获取真实场景，将真实场景转化成可供后 续处理和显示的图像数据。采集到的数据分别送往配准部分和叠 第一章综述 北方交通大学硕士学位论卫 加部分。虚拟物体生成部分产生符合要求的虚拟物体，用以嵌入 图像中。配准部分分析采集到的图像数据并配合其它相关数据， 确定出虚拟物体应处的位置。图像生成部分根据虚拟物体和配准 部分给出的位置，生成虚拟物体的图像。叠加部分将采集到的真 实场景图像和虚拟景物图像混合到一起，并送到显示部分，将最 终结果显示出来。 增强现实系统的关键技术 影响增强现实系统性能的主要因素有两个：速度和配准精 度。 第一个因素是速度。速度是增强现实系统性能的一个重要标 志，只有连贯的显示才能给人以真实的感觉。为了使虚拟景物的 运动不致产生明显的跳动，每秒钟至少要显示1 0 帧图像。随着 计算机硬件性能的不断提高，这个问题的解决难度已经大大降低 了。但是如果虚拟景物结构过于复杂并要求光照、阴影等诸多效 果，目前还有可能无法达到这个要求。 第二个因素是配准精度。为了使计算机生成的虚拟景物和真 实场景融合为一体，必须将虚拟景物放在准确的位置上。配准部 分的主要任务就是确定将虚拟物体放置到真实场景的哪个位置。 影响配准精度的因素主要是噪声和延时。由于配准系统必须依靠 外界数据来确定虚拟景物的位置，因此如果获取外界数据的时候 受到噪声的干扰，将导致数据不准确。人眼是相当敏感的，这种 误差哪怕只有一个像素，也经常可以被人观察到。延时导致另一 种配准的误差。从图2 中我们可以看出，如果配准数据是根据， 时刻的外界数据产生的，配准需要耗时，；丽图像生成部分耗时，： 则图像生成部分的输出要等到，= ，+ ，+ ，时刻才能产生。也就是 说送往叠加部分的数据分别产生于，和，时刻，导致真实场景和 虚拟景物的不统一。如果真实场景变化较快，这种误差将变得相 当明显。 所以，增强现实中的关键技术在于配准。 配准的方法有很多。已有的系统可分为两大类：主动目标系 统和被动目标系统。主动目标系统一般事先测量好实验环境蒡 在指定位置放置特定的信号发生嚣，传感器或标志物，通过磁场、 热一章综述 北方交通大学硕士学位论文 声、光、电等途径来提供配准数据。被动目标系统则完全靠感知 周围环境或依靠自然界的信号或依靠某些物理规律来获取数掘。 比如惯性传感器感知自身的线性加速度和角度变化，指南针依靠 地磁场，视觉系统感知自然景物特征等。其中视觉方法由于误差 小使用方便，经常被各种系统采用。 各种配准系统往往都具有不可回避的缺点。对于主动目标系 统而言，目标所产生的信号经常被环境噪声所干扰，造成配准误 差。被动目标系统也会由于接收到的信号质量不好而导致误差。 有些系统，如惯性系统，其测量结果是多次测量值的积分，则还 可能导致误差积累。 采用视觉方法时，配准所用图像和用户看到的是同一幅图 像，因此相对于其它配准方法，根据该图像配准的结果具有非常 小的测量误差。同时如果增强现实系统本身具有图像采集设备， 可以在不增加其它设备的前提下完成配准。但是视觉方法也有一 些缺点。一方面，视觉方法的鲁棒性差，经常受到光照、遮挡等 因素的影响而无法正常工作；另一方面，视觉方法的计算量可观。 一幅3 2 0 2 4 0 像度的图像共有7 6 8 0 0 个像素，如果每秒处理2 5 帧，则共需计算近2 0 0 万个像素的数据，常规计算机难以胜任。 针对这些问题，很多人采用了混合配准系统，即同时采用两 种以上的配准系统，两种系统互相补偿，以获得较好的效果。如 s u y ay o u 等人在1 9 9 9 年提出的视觉系统和惯性系统混用的方法， 由惯性系统提供大致方位，而视觉系统负责具体配准。惯性系统 的感知范围大，速度快，可以迅速提供大致的配准数据，以增加 视觉系统的鲁棒性，减少运算时间。而视觉系统的精度高，可以 纠正惯性系统的误差，以此取得较好的效果。 增强现实系统的显示方式 图像生成部分依据配准参数，就可生成虚拟物体的图像，送 往叠加部分和真实场景图像混合后显示。增强现实系统叠加和显 示的方法大致有三种：直接显示器显示，视频叠加透视头盔和光 学叠加透视头盔。 直接显示器显示系统将虚拟物体图像和真实场景图像直接叠 加，送往一般的显示器显示。这种方法往往被形象地称为“透过 窗户看世界”，用户几乎没有沉浸于其中的感觉。 头盔是虚拟现实系统常用的显示装置。它用微型显示器遮挡 在用户眼前，阻隔了用户原有的视线，将用户所看的景物替代为 第一章综述 北方交通大学硕士学位论文 显示器中显示的景物。视频叠加透视头盔就是在这种头盔的基础 上作了相应改动而成的。由于增强现实系统要求用户能看到真实 场景，因此需要在头盔适当的位置安装摄像机，将该摄像机摄取 的图像与虚拟物体图像叠加，送往显示器显示。这样用户从头盔 中看到的景物仍然包含他本来应看到的真实场景，看上去好像是 从头盔中透过来看到外面一样。同时头盔又可以显示虚拟物体， 达到增强现实的效果。 虚拟物体图像 用户真实场景 图3 光学叠加透视头盔 光学叠加透视头盔的结构如图3 所示。这种头盔的结构与战 斗机上常用的平视显示器( h u d ) 类似。一般来说，玻璃等透明 材料都具有定的透射和反射能力，光学叠加的就是同时利用透 射和反射完成叠加的。用户透过斜放的透明板中可以看到外部的 场景，同时显示器显示出的虚拟物体图像经过透明板反射给用 户。在用户看来，这两者是叠加在一起的，以此达到增强现实的 效果。 三种显示方式各有优缺点。光学叠加透视头盔方式省略了前 两种方式中必不可少的图像采集设备，因此可以降低成本。但是 如前所述，影响配准精度的个重要因素是延时。前两种显示方 式中，由于用户看到的真实场景是系统通过图像采集设备获取后 提供的，因此系统可依据配准和图像生成部分的延时对真实场景 的图像作出相应延时，以降低延时造成的配准误差。而用户从光 学叠加透视头盔中真接看到真实场景，系统无法作任何调整，因 此配准误差会较大。同时由于省略了图像采集设备，这种方式无 法采用视觉方法来实现配准。 第一章综述 北方交通大学硕士学位论文 增强现实系统的用途 随着图像设备、微型计算机和各种传感技术的飞速发展，增 强现实技术已经走出实验室，渐渐融入我们日常生活中的各个方 面。增强现实系统在很多领域都开始发挥作用。 医学 一般来说各种和图像相关的技术总会在医学领域得到应用 增强现实也不例外。增强现实可将有关数据直接显示在病人 身体的图像上，方便诊断和治疗。例如在外科手术中，利用 增强现实技术，可将预先获得的解剖学图片和病灶位置叠加 在手术部位上，使得医生做手术时有更多的资料可用，大大 提高手术的准确性。 工程制造及维修 当设计一部复杂的机器时，设计人员经常会对某些部件的选 用和安装产生疑问。利用增强现实技术，可以根据图纸，在 尚未完成的机器上叠加各种虚拟的部件依据完成后的效果 与客户和其他技术人员一起决定如何设计该部分。当机器内 部发生故障，需要更换零件时，可利用增强现实技术在机器 上叠加透视图并指明故障所在，方便维修。 机器人技术 机器人经常替代人前往危险和对人体有害的环境中工作，丽 操作者在远端控制它们。因为机器人的视野有限，操作者很 难达到亲临现场时的准确程度，难免会出现误操作。因此可 在机器人返回的真实场景图像上叠加虚拟的机器人，先操作 虚拟机器人执行任务，出现错误则退回重来，直到确认无误 后再下达命令，由真实的机器人完成。这样可大大减少操作 失误。 军事 战斗机上的平视显示器本身就是一种增强现实设备，它可在 真实目标上实时叠加其飞行轨迹，并给出假定在当前时刻射 击时的弹道。飞行员可据此得到最佳的进攻位置和开火的时 刻，准确击中敌机。另外当进行地面作战时，士兵佩带的增 强现实设备可以及时给出所在地的注释信息，并指出隐藏着 的敌人。 商业 增强现实系统用于商业中时，可用来提供顾客购置商品后的 镍一章综述 北方交通大学硕士学位论卫 图像，以协助顾客选购。比如顾客需要为自己的居室添加新 家具，增强现实系统将虚拟的新家具叠加到顾客居室的真实 场景中，顾客可以随意更换虚拟家具的款式、颜色，随意搬 动它们，直到这些家具和自己的居室相称为止。 旅游业 一般来说，游客对观光地都不甚了解，增强现实系统可以在 游客游览时，在他所看到的景点上添加标注，使他从旅游中 了解更多的信息。 娱乐 娱乐业中的很多方面都可以使用增强现实技术。电影中的某 些特效就需要在真实的场景上叠加虚拟的光影、火焰等效果。 星球大战中的英雄手持的光剑在拍摄时只是一根木棍，光剑 是叠加上在木棍的图像上的。电视广播中也有不少应用。真 实的演播室中块普通的讲板，经过叠加操作，在电视上看 到的则是解说员面对的一幅不断变化的图片。 总之，增强现实技术的应用越来越广泛，它的发展必将为生 产和生活带来更多的方便。 1 2 计算机视觉技术概述 人类对外界世界的感知很大程度上是通过视觉。据专家测定， 人类所获取的外界信息有8 0 是来自视觉的。在计算机技术迅速 发展的今天，让计算机和人一样通过视觉途径获取外界信息，正 是我们需要研究的目标。 视觉一词具有多方面的意义。它不仅指眼睛接收到周围环境 所发的光，还包括了对视觉信息的获取、传输、处理、存储与理 解的全过程。人类的视觉是由眼睛配和大脑来完成的。眼睛完成 视觉信息的获取，大脑负责处理、存储与理解。随着信号处理理 论和图形图像技术的发展，人们可以用摄像机将周围环境的图像 转换成计算机所能处理的图像数据，用计算机实现对视觉信息的 处理。这样就形成了一门新兴的学科：计算机视觉。 计算机视觉的研究目标，就是使计算机具有从一幅或多幅图 像中获取三维世界的各种特性的能力。计算机通过视觉方法获取 三维世界的几何特征和运动信息，例如物体的形状、位置、姿态、 第一章综述 北方交通大学硕士学位论文 运动等，然后对这些信息进行储存、分析与处理，实现对三维世 界的进一步认识。 计算机视觉的发展很大程度上得益于对生物视觉系统的研 究。但是，人类对生物视觉系统，特别是人类自身的视觉系统的 了解还很有限，难以满足计算机视觉研究的需要。因此计算机视 觉研究采用了一套独立的计算理论与算法，使得计算机能对视觉 信启、进行分析和处理。作为门独立的学科，计算机视觉正在受 到目益广泛的重视。 8 0 年代初m a n - 首次从信息处理的角度提出了一个较为完善 的视觉系统框架，认为对视觉系统的研究应该分三个层次：计算 理论，表达和算法，硬件实现。计算理论层解决计算目的和计算 策略的问题；表达和算法层解决如何实现计算理论的问题，给出 各部分的输入和输出和内部的信息表达和实现的算法，不同的表 达和算法，在计算理论层上是可以相通的；硬件实现层决定如何 用硬件来实现信息的表达和算法。这一框架虽然还存在很多不完 备的地方，但是仍是计算机视觉研究中最通用的框架。 计算机视觉的研究涉及很多方面，视觉运动分析就是其中之 一。) d f 生活的环境是不断运动的，运动是自然世界中的基本特 征。在计算机视觉中，仅靠一幅图像不能全面了解变化中的景物。 因此通过分析客观世界中事物发展变化的视觉信息，而获得客观 事物的有关特征和运动规律，进而达到对周围景物和其中事件的 理解，成为计算机视觉研究的重要课题之一。这方面的研究就称 为视觉运动分析。 19 7 9 年在美国宾夕法尼亚的费城召开的第一届运动图像处理 与分析研讨会宣告了图像序列分析作为一个研究领域的正式诞 生。在此以后的短短十几年里，它已发展成为计算机视觉研究的 核心课题之一。各种与图像序列分析有关的学术会议也接连召 开，包括两年一度的模式识别国际会议( i c p r ) ，计算机视觉国 际会议( i c v c ) ，i e e e 视觉运动研讨会( i e e e w v m ) ，欧洲 计算机视觉会议( e c c v ) ，一年度的由i e e e 计算机学会召开 的计算机视觉和模式识别会议( i e e e - - c v p r ) ，以及由美国摄影 与光学仪器工程师学会召开的年会( s p i e ) 等。 由于图像序列中包含景物的三维结构和运动规律的冗余信 息，所以在一定物理约束条件下，通过对序列图像的视觉运动分 析，可以获得从单一图像中无法获取的信息，如景物的运动参数， 立体景物的深度等。视觉运动分析与其它运动分析方法相比，具 第一章综述北方交通大学硕士学位论文 有许多突出的优点：适用范围广，抗电子干扰能力强，测量精度 高，保密性好。正因为这些优点视觉运动分析已逐步应用于军 事，导航，机器人技术，气象分析，医疗诊断，交通管制，安全 防范等许多方面。 在增强现实技术的研究中，视觉方法直占有重要地位。利 用视觉方法完成真实场景和虚拟场景的配准，可以充分利用增强 现实系统的设备以降低成本，同时获得较高的精度，所以很多砂 究者采用视觉方法。但是由于采用视觉方法时，输入图像是二维 图像的灰度和颜色，它是三维物体几何特征、光照、物体材料表 面性质、物体的颜色、摄像机参数等许多因素的函数，由二维图 像反推以上各个参数是逆问题，这些问题往往是非线性的，解不 具有唯一性，而且对误差极其敏感，造成配准精度降低。同时配 准有速度要求，而视觉方法计算量大，势必造成运算速度的降低， 为此需要改进计算方法，以提高处理速度。 1 3 本论文实现的计算机视觉与增强现实系统概述 根据课题要求，本论文需要根据计算机视觉和增强现实技 术，利用现有软硬件技术，在p c 机平台上建立个可以与用户 进行自然交互的增强现实系统。作为增强现实的实验实例是在室 内场景中建立一个虚拟的球场，用户可在其中进行虚拟的简单球 类活动。该系统通过摄像机对真实场景进行图像采集，运用计算 机视觉技术对采集到的序列图像进行分析，获得用户手部的位 置、姿态和运动速度，并据此生成最终的虚拟图像，与原图像叠 加后显示。 兰二兰簦鲨 ! ! 查銮望查兰婴! 苎塑! ! ! 苎 图4 计算机视觉一增强现实系统结构图 本论文实现的计算机视觉一增强现实系统的结构如图4 所 示。本系统采用的显示方式为改进后的直接显示器显示。从图中 可以看出，系统结构上的主要改进在于增加了镜像部分，将采集 到的图像进行水平翻转后再进行后续处理。实际系统使用时摄 像机和显示器均面向用户，用户从显示器中看到的图像是摄像机 拍摄的水平翻转后的自身图像，因此感觉上就像在照一面镜子。 虽然“镜子”中的图像上叠加了虚拟景物，但是人在照镜子时 从心理感觉看是认可镜子中图像的真实性的，因此视觉上不会对 虚拟物体的真实性产生质疑。对比于一般的直接显示器显示万 法，本系统的此点改进可带来明显的沉浸感，使增强现实场景看 上去更加真实。 视觉分析部分根据手部颜色特征对每一幅图像中用户的手部 的位置和姿态参数进行提取，并从图像序列中获取手部运动信 息。因为本系统生成的增强现实场景中，虚拟的球只和用户的手 接触，因此依靠手部参数就可完成虚拟景物与真实场景的配准， 虚拟物体生成部分用以生成虚拟的球和球场( 主要是一个篮 筐) 图像生成部分基于质点一挡板模型的物理规律和手都参数 对球的运动进行分析，以获得每帧图像中球的具体位置。篮筐则 安置在真实场景的边缘上。生成的虚拟图像送往叠加部分与真实 场景图像叠加后，由p c 机显示器显示。 实验程序由c 丁十语言和汇编语言混合编程，配合f m 2 3 0a v p 型摄像机和f l a s h b u sm v 图像采集卡在使用p e n t i u m 1 14 0 0 m h z c p u 的主机上实现实时生成增强现实场景。实验结果的主观感宪 良好，具有较好的流畅性和真实感。 第一章综述北方交通大学硕士学位论文 1 4 论文工作及结构安排 增强现实是一项新兴技术，已经逐步应用于生产生活的诸多 领域，涉及的内容也非常广泛。作者在论文期间，主要在增强现 实系统的结构、配准和强真实感图像生成方面进行了大量的理论 和实践上的研究，并在此基础上，建立了一个采用计算机视觉方 法进行配准的增强现实系统，取得比较满意的效果。 本论文的结构安排如下： 第一章综述 介绍本论文的研究背景和研究目标。首先详细介绍了增强现 实技术的概念，增强现实与虚拟现实的区别和联系，增强现实系 统的结构，关键技术，显示方式及用途。而后介绍了本系统的配 准方法所采用的技术一计算机视觉技术的概念、背景、发展过程 和特点。本章第三部分介绍了本论文所实现的计算机视觉一增强 现实系统的结构、特点、功能和系统运行的结果等。最后一部分 介绍本论文的工作和结构安排。 第二章基于颜色特征的手部参数提取 手部的位置和姿态检测一直是视觉分析中的难点。原因是多 方面的：手的形状可随意改变，手不能简单认为是刚体：手的颜 色特征不明显：手在活动中可能出现比较严重的模糊问题等。本 章采用基于彩色直方图的颜色检测方法从图像中分割出手部图 像，并提出获取手部的位置和姿态参数的搜索算法。最后给出实 验数据并作相应分析。 第三章基于视觉运动分析的手部运动参数提取 上一章给出了手部位置和姿态参数的提取方法，为获取运动 参数，需要对序列图像进行分析。本章将通过对序列图像视差的 分析获取手部运动参数。同时在上一章中，通过基于颜色特征的 参数提取方法获得了单帧图像中的手部参数，但是该方法需要预 先知道手部的大概位置，以划分处理区域。本章将运用视觉跟踪 的方法获取手部位置。最后给出实验数据并作相应分析。 第一章综述 北方交通大学硕士学位论文 第四章虚拟物体运动分析及图像生成 为了生成逼真的虚拟物体图像，并实现手与球的交互，需要 进行虚拟物体的运动分析。通过前两章给出的方法，可以获取手 部位置、姿态和运动参数，根据这些参数即可分析球的运动。本 章首先分析质点一挡板模型的物理特性，并依据此模型进行虚拟 物体( 球) 的运动分析，计算出对应于每一帧图像中球的具体位 置，然后将预先生成的球的图像放置到虚拟图像的相应位置手 在图像边缘绘制篮筐，完成图像生成。最后给出实验数据并作相 应分析。 第五章实验系统的实现 第二、三、四章给出了本系统所使用的各种算法。本章主要 介绍整个系统的实现方法。首先介绍采用f l a s h b u sm v 图像采集 卡的图像采集及后续的镜像处理，然后介绍虚拟物体的生成和图 像的叠加方法，最后介绍使用d i r e c t d r a r 技术的图像显示方法， 本章最后给出整个系统的运行结果，并作相应分析。 第六章结束语 本章将对本论文的工作作总结，并指出尚未解决的问题和今 后的研究方向。 本论文的主要工作如下： 1 改进了使用直接显示器显示方式的增强现实系统结构，增 加了镜像部分，带来明显的沉浸感，提高增强现实场景的 真实感。 2 在基于颜色特征的手部图像分割的基础上，提出基于搜索 算法的手部位置和姿态参数提取算法。 3 将真实场景中的物理规律应用于虚拟景物，依据质点一拦 板模型对虚拟物体的运动进行了分析。 4 在p c 机平台上实现了一套计算机视觉一增强现实系统。 第二帝基于颜色特征的手部参数提取北方交通大学硕士学位论文 第二章基于颜色特征的手部参数提取 手部的位置和姿态检测一直是视觉分析中的难点。原因是多 方面的：手的形状可随意改变，手不能简单认为是刚体：手的筋 色特征不明显；手在活动中可能出现比较严重的模糊问题等。本 章采用基于彩色直方图的颜色检测方法从图像中分割出手部图 像，并提出获取手部的位置和姿态参数的搜索算法。最后给出实 验数据并作相应分析。 2 1 彩色图像处理概述 景物的颜色是景物的重要特征之一，人眼能分辨的灰度只有 数十种，而能分辨出的颜色则可达上千种。彩色处理就是根据景 物的颜色来对景物特征进行分析的处理方法，是计算机视觉技术 中的一个重要组成部分。特别是当处理人体运动信息时，因为随 着人的运动，身体各部位受到的光照经常改变，而彩色的变化很 小，因此彩色处理的鲁棒性相对较好，同时彩色处理方法容易实 现，速度也比较快，所以经常被采用。 彩色处理是以人眼对彩色的感觉机理为基础的。人对颜色的 感觉来自于人的视觉系统对不同波长的光线的感受，那么人眼是 如何分辨出颜色的昵? 视觉三色假说解释了人的辨色原理。该假 说设想视网膜上存在三种锥状细胞，它们有各自不同的光谱灵敏 度其灵敏度的最大值分别在红、绿、蓝光的区域内，这三条光 谱灵敏度曲线的和，就是人眼的相对光谱灵敏度。当一定频耋三的 光线照射到视网膜上时，红、绿、蓝三种锥状细胞分别产生对生 于各自频段的光刺激，并在神经系统内把这三种刺激混合起来 使人们产生各种颜色的感觉。一般来说其它颜色均可由这三种颜 色混合而成，因此称这三种颜色为三基色。 颜色混合有相加混色和相减混色两种方式。相加混色是由多 种光源发出的光相加而产生新的颜色，其三基色为红( r ) 、绿r g 、 蓝f b ) 。相减混色是从白色光中减去某些颜色后得到的颜色，一 般用于反射混色，如彩色印刷，其三基色为青( c ) 、品红f m ) 、黄f 、，i ， 第二章基于颜色特征的手部参数提取 北方交通大学硕士学位论文 对于计算机视觉系统来说，摄像机所采集到的颜色信息是依据入 射光的颜色得到的，因此属于相加混色。 国际照明委员会( c i e ) 选择了红色( = 7 0 0 o o n m ) 、绿色 ( = 5 4 6 1 n m ) 和蓝色( = 4 3 5 8 n m ) 作为相加混色系统的三基 色。白色光由三基色按特定比例相加： l l m ( w 1 = 0 3 0 1 m ( r ) + o5 9 1 m ( g ) + 0 1 1 l m ( b ) 显然白色光是由不同比例的三基色混合而成。因为白色是非 常常用的颜色，这种混合给实际使用带来诸多不便。为此可采用 t 单位制，即规定： 1t ( r ) = 0 3 0 1 m ( r ) 1t ( g ) = 0 5 9 1 m ( g ) 1 t ( b ) = o 1 1 l m ( b ) 此时l l m ( w ) = 1 t ( r ) + 1 t ( g ) - 1 t ( b ) ，大大简化丁计算。 根据三基色原理，各种颜色的光都可以由红、绿、蓝三种基 色光加权混合而成，因此彩色空间是三维的线性空间。选择具有 确定光通量的红、绿、蓝三基色光作为该三维空间的基，使得任 何一种具有一定亮度的颜色光都是该空间中的一个点。这样组成 的彩色模型称为r g b 彩色模型。 区分不同颜色的特征量有亮度、色度和饱和度。亮度表示颜 色的强度，色度与颜色光的波长有关，饱和度表示颜色中添加白 色光的数量。色度和饱和度合称彩色。 实验表明当物体受到的光照强度变化时，反射光的亮度变化 很大，而色度和饱和度的变化则相对很小。因此对特定颜色物体 的视觉检测通常去掉亮度成分，只对彩色信息进行处理。为此我 们需要找到单纯颜色的表征量。色度图便是常用的颜色表征方式 之一。我们将r g b 颜色模型的三个分量归一化： 严i v f r + g + b 1 g = g ( r + g + b ) 6 = b ( r + g + b ) 从上式可知6 = 1 - ，g ，也就是说归一化后蓝色信息是冗余的。 剩下的两个等式定义了一个从r 、_ r ：的映射，映射结果目| j 色度 图。考虑到r 、g 、b 均不能小于零，因此r + g 小于等于1 ，er 和2 均大于等于0 。由此得到色度图的有效范围为一三角形，如 图1 所示。 第二章基于颜色特征的手部参数提取北方交通大学硕士学位论文 图1 色度图 色度图的横轴为，纵轴为g ，原点处为纯蓝色。一般来说 任何颜色均可在图中找到唯一的对应点。白色的- p = 6 ，因此位 于图中r = l 3 ，g = l 3 处。色度图只包括单纯的彩色信息，不包括 亮度，因此当某颜色的亮度值变化时，它在图中的对应点的位置 并不改变。该特性在后面将进行的皮肤颜色检测中将发挥很大作 用。 如果将幅图像中所有像素的颜色都在色度图上技到对应 点，并统计出对应于每种颜色的像素个数，就得到一个二维的直 方图一彩色直方图。彩色直方图给出幅图像的彩色分布，如果 该图像仅由特定景物组成，则可得到该景物的彩色分布，并可依 据该分布从其它图像中识别出该景物来。 本章利用用户手部图像的彩色直方图对采集到的图像进行分 割，取得了比较准确的分割结果，供后续处理使用。 2 2 基于颜色特征的手部图像分割 选择基于颜色特征的分割的依据 在介绍分割算法前，首先介绍下皮脓反射的机理。皮肤列 光线的反射主要发生在两个部分：表皮层和真皮层。当反射发生 第二章基于颜色特征的手部参数提取北方交通大学硕士学位论文 在表皮层表面时，因为光线并未进入皮肤，所以反射的光谱分布 与光源大致相同。没有被表皮反射的光线进入皮肤，被表皮层和 真皮层的各种组织吸收部分能量后反射回来，使得此部分光线具 有皮肤的颜色。最终的反射光是两种反射的叠加。因为实验中采 用的光源一般为阳光或荧光灯，光源本身的颜色为白色，因此表 皮层表面的反射光为白色光。随着光源位置的改变，此部分反射 光所占的比例也会改变，造成最终反射光的饱和度变化。如果饱 和度的变化超过规定范围，就会使检测结果产生误差。 手部皮肤具有丰富的颜色，皮肤本身不是平坦的，凸起处和 凹陷处的颜色不会完全一样。同时掌纹处的颜色也与其它部分不 同。表1 给出从用作模板的手部图像中从一个代表性区域中连续 取的5 个点颜色。 编号 l234 5 r1 9 318 11 7 91 8 71 9 9 g1 3 8 1 2 71 2 4 1 3 31 4 0 b 1 2 41 1 01 0 3 1 1 21 1 9 r0 4 2 40 4 3 304 4 10 4 3 3o4 3 4 _ g 0 3 0 30 3 0 40 3 0 50 3 0 8o 3 0 6 表1 手部图像中5 个点的数据 从表中可以看出，尽管手部皮肤的颜色多种多样，彩色分布 却比较集中。2 、4 、5 三个点的r 、g 值非常接近，1 、3 两点的 相差也不大。因此可根据颜色在色度图上的位置对图像进行分 割。 基于彩色直方图的分割方法 本系统采用的分割方法为：首先建立用户的手部图像模板， 然后建立模板的彩色直方图，最后依据彩色直方图判断目标图像 中每个像素是否属于手部。 图像模板的建立需要人工标定。首先利用系统的图像采集设 备采集包括用户手掌的图像，需要采集手掌的正反两面共两幅图 像。然后采用人工标定的方法标出图像中属于手都的部分，将其 余部分置为黑色，并将两幅图像拼成一幅，作为模板。最后统计 出模板的彩色直方图。 彩色直方图用如下方法统计：先计算出模板中的每个像素的 垄三里苎士塑鱼竺笙塑王塑叁塑塑坠韭查奎望查兰丝兰兰竺! ：墨 ，、g 值，并进行量化，共分2 5 6 个量化阶而后依据下式计算出 量化后每组r 、g 值出现的概率： 蹦惴沪等( o 1 o g t 1 ) ( 1 ) 。是颜色为l 和g 。时，模板中此颜色的点的个数。n 为模板 中点的总数。统计结果即为彩色直方图。因为不属于手部的部分 已经置为黑色，所以模板图像中的黑色不参加统计。本方法的统 计结果的范围如图2 所示。 图2 手部图像模板的彩色范围 得到手部图像模板的彩色直方图后即可对采集到的图像进行 分割。分割的方法为： 计算目标图像中每一像素的r 、g 值，并按着模板采用的量 化方法进行量化，得到量化结果。和g 。 依据下式进行判断，结果为1 表示该像素属于手部： f 1 ，p w ( ，g 。) tm 1 0 ，p 。( 7 j ，g 。) l o 时，参数提取的结果可信。当参数可信 时，重心的处理区域内坐标取本帧图像的提取结果：当某参数不 可信时，重心的处理区域内坐标取前一帧图像的提取结果，以保 证结果的完整性。 最后根据处理区域内重心的坐标位置换算出状态向量x 。重 屯、位置相当于每个模板范围内手部图像的中心，而实际上x 中的 第二章基于颜色特征的手部参数提取 f l e 力- 交通大学硕士学位论文 前点和后点应位于指尖和手腕部位，因此需要根据几何关系作相 应调整。由于重心位置是以处理区域内坐标给出的，所以还需要 作坐标转换。最后的x 按以下公式计算： x l = x 1 一c x 2 + x 一4 0 ) l = j i 一号y 2 + y 。一4 0 。：2 。：+ x h 一4 0 f 1 0 1 j ，：= j 。2 + y 。一4 0 x 3 = - 。3 x ；一c x ；+ x 一4 0 y 3 = y ；一y ；+ y 一4 0 2 4 实验结果及分析 基于颜色特征的手部参数提取的实验结果如图9 图1 3 所 示。实验结果给出的是处理区域内的图像，左侧图像是基于颜色 特征的分割结果，右侧图像是提取到的手部位置和姿态参数在原 图中的对应点。三个黑色标志点分别指出手部的前中后三个点的 位置。t 为模板旋转角度，以角度值给出。实验结果均由系统自 动生成。 图9 手部倾斜时的处理结果 第二章基于颜色特征的手部参数提取 北方交通大学硕士学位论文 ( c ) f 1 7 4 3 7 5 。( d ) t = 1 1 8 1 2 5 。 图1 2 存在较强干扰时的处理结果 第二帝基于颜色特征的手部参数提取北方至通太兰堕主兰堡笙奎 图1 3 平面外旋转时的处理结果 图9 给出的是手部倾斜时的处理结果。从图中可以看出当 手掌向上倾斜时，手部光照均匀，分割结果比较理想。手掌向下 倾斜时，由于手臂和手掌一起遮挡了部分光线，造成手部光照不 均匀，使得分割结果不够好，较大部分属于手部的区域被错误划 分成背景。但是分割结果所集中的区域基本正确，因此参数提取 部分取得比较准确的结果。因为手部没有弯曲，所以搜索算法得 到的模板旋转角度基本正确。 图1 0 给出的是手部弯曲时的处理结果。图1 0 的分割部分存 在与图9 类似的问题，即手掌向下倾斜时分割效果不够好。尤其 是( c ) 图，分割结果已经很模糊了。但是从实验结果上看，参数提 取部分仍可正常工作，获取的参数仍然可以准确表达手部的位置 和姿态。因为手部存在弯曲，搜索算法得到的模板旋转角度并不 准确，在( c ) 图中得到的角度是1 3 5 。，与实际值存在明显偏差。 但是该角度仅仅作为后续运算的参考，并不代表实际结果，因此 这种偏差也是允许的。 图1 1 给出的是手部快速运动时的处理结果。快速运动将导 致图像沿运动方向的模糊，使手部图像与背景的边界变得不明 显。但是由于模糊后的图像仍保持原有颜色，这种模糊对基于颜 色特征的分割方法影响不大。从图1 1 中可以看出，虽然手部图 像的模糊很严重，但是分割后的结果与图9 相比差别不大，因此 获取的参数仍比较准确。另外手部运动速度变化剧烈时，