（信号与信息处理专业论文）虚拟现实中头部姿态视觉检测方法的研究.pdf

北方交通大学硕士学位论文 摘要 摘要 i 该论文是在进行国家自然科学基金项目“计算机视觉与虚 拟现实集成模型研究”的工作中完成的。该项目已经通过了鉴 定，得到了各位专家的一致好评。 本论文的主题是研究在虚拟现实系统中利用计算机视觉技 术检测人体头部运动姿态参数，然后将该参数通过网络传递给 另一台计算机，由该计算机根据接受到的参数生成虚拟场景。 即是以计算机视觉技术来检测人的头部运动来作为虚拟现实系 统的人机交互手段。针对这主题，本文系统的研究了虚拟现 实的人机交互的要求、计算机视觉中从序列图像中提取摄象机 运动信息的分析方法、并根据具体要求设计了相应的算法。并 且在系统软件开发，实验平台的建立以及对理论及方法的实验 验证等方面取得了系列有价值的研究成果。 本课题是通过将计算机视觉中序列图象运动分析技术和三 维入机交互界面技术及网络技术相结合的基础上实现的。 钵文主要研究了虚拟现实系统中人体头部姿态的计算机视 觉检测方法。主要工作集中在以下方面： 1 、通过对摄像机和特征标志的三维空间相对距离的计算，实 现了对人体头部姿态的分析。提出了种基于静止的多个标志 特征参照物的通过对视频序列图象进行分析，获得在大空间范 围中摄像机运动信息的方法( 也即实现了对人体头部位置和姿 态的确定) 。 2 、基于i p 网络和p c 机的分布式虚拟现实系统的实现。 3 、利用计算机视觉技术实现大空间虚拟现实系统的人机交互。 4 、建立了一个实验系统。 北方交通火学硕士学位论文摘要 本课题是一个全新的课题，在国内外尚没有看见完全 类似的研究，是对当前虚拟现实人机交互方法的创新。也是对 计算机视觉技术的应用领域的拓展。卜7 厂。 关键词：计算机视觉虚拟现实序列图象运动分析 头部姿态 竺曼堕塑坠茎i 塑主兰垡堡苎 墨= 兰鳖鎏 1 1 研究背景 第一章综述 1 1 1 虚拟现实系统概述 虚拟现实( 灵境) ( v i r t u a lr e a l i t y ，v r ) 技术自6 0 年代经 i v a ns u t h e r l a n d 、j a r o nl a n n i e r 等人所作的开创性工作后， 进入八十年代后期取得了迅速的发展。目前作为一个全新的新技 术生长点受到了国内外学者的广泛关注。美、英、日等政府及大 公司己投入巨额资金进行该领域的研究和开发，它的应用前景涉 及科学可视化、设计与规划、教育与培训、医疗、娱乐等各个领 域，有人认为二十一世纪将是“虚拟现实技术”时代。 虚拟现实( 灵境) 技术是一个高度逼真的模拟人在自然环境 中视、听、动等行为的人机交互技术，一个完整的虚拟现实系统 可包括视觉子系统、听觉子系统、触觉子系统等一系列信息处理 系统。虚拟现实技术的三个基本特征即三个“i ”，它们是 ir r h n e r s i o n - i n t e r a c t i o n - i m a g i n a t i o n ( 沉浸一交互一构想) 。 沉浸，是指用户借助各类先进的传感器进入虚拟环境之后， 由于他所看到的、听到的、感受到的切内容非常逼真，因此他 相信这一切都“真实”存在，而且相信他自己正处于他所感受到 北方变通大学硕士学位论文 第一章综述 的环境中。 交互，是指用户进入虚拟环境后，不仅可以通过各类先进的 传感器获得逼真的感受，而且可以用自然的方式对虚拟环境中的 物体进行操作。如搬动虚拟环境中的一个虚拟盒子，甚至还可以 搬动盒子时感受到盒子的重量。 构想，是由虚拟环境的逼真性与实时交互性而使用户产生的 更丰富的联想，是获取沉浸感的一个必要条件。 虚拟现实是近年来十分活跃的技术研究领域，是一系列高新 技术的汇集，这些技术包括计算机图形学、多媒体技术、人工智 能、人机接口技术、传感器技术以及高度并行的实时计算技术， 还包括入的行为学研究等多项关键技术。虚拟现实是多媒体技术 发展的更高境界，是这些技术的更高层次的集成和渗透。它能给 用户以更逼真的体验，它为人们探索宏观世界和微观世界提供了 极大的便利。由于它的诱人前景，经闯世就立即受到了人们的 高度重视。有关人士认为，8 0 年代是个人计算机年代，9 0 年代 是多媒体计算机年代，2 1 世纪初将是v r 技术的时代。 虚拟现实是一种可以创建和体验虚拟世界的计算机系统。虚 拟世界是全体虚拟环境或给定仿真对象的全体。虚拟环境是由计 算机生成的，通过视、听、触觉等作用于用户，使之产生身临其 境的感觉的交互式视景仿真。因此，为了研究如何设计和构成一 个身临其境的虚拟现实系统，需要包括计算机图形学、图象处理 与模式识别、智能接口技术、人工智能技术、多传感器技术、语 音处理与音响技术、网络技术、并行处理技术和高性能计算机系 统等等。 虚拟现实系统要求计算机所创建的三维虚拟环境能使用户全 身心感觉到参与和体验感，而虚拟现实( v r ) 的交互是通过人类 6 北方交通大学颈士学位论文 第一荦综述 自然技能与虚拟现实环境进行交互观察和操作，这种直觉式的交 互和操作将涉及视觉、听觉、触觉等一系列感知功能，这是v r 技术有待攻克的目标。目前世界上已有v i d e o p l a c e 系统、v i e w 系 统、d i a l o g u e 系统、s u p e r v i s i o n 系统等虚拟现实系统。 v r 技术的渊源可以追溯到5 0 年代开始产生的立体电影以及 各种宽银幕、环幕、球幕电影。具有深度感、大视野、环境感的 电影图像加上音响的配合，使观众沉浸于屏幕上变幻的情节场景 之中。这种使人置身于图像环境的方式也直用于几十年以来的 飞行模拟训练系统中，航空航天飞行员在训练舱中亟对屏幕进行 各种驾驶操作，模拟窗外场景的屏幕图像随之变化，飞行员可得 到仿真的训练感受。 一般认为，研究目标明确的v r 技术是从6 0 年代开始形成 的，但由于技术复杂、投资太大，除了少数军工方面的研究之外， 几乎很少被大家注意。 6 0 年代初，电影摄影师m o r o nh e i l i n g 构造了第一个多感知 仿真环境的原型，这是第一个v r 视频系统。人坐于拱顶装置下， 手操纵摩托车把，仿佛穿行于纽约闹市，能看到立体、彩色、变 化的街画面，听到立体声音，感到行车的颠簸、扑面的风，创建 了一个能向观众提供完全真实感受的剧院。 1 9 6 5 年，在i f i p 会议上，有v r “先锋”之称的计算机图 形学的创始入i v a ns u t h e r l a n d 作了题为“t h eu e l i m a t ed i s p l a y ” 的报告，提出了一项具有挑战性的计算机图形学研究课题。他指 出，人们可以把显示屏当作一个窗口来观察虚拟世界，使观察者 有身临其境的感觉。这一思想提出了虚拟现实概念的雏形。1 9 6 8 年，他使用两个戴在眼睛上的阴极射线管( c r t ) ，研制了第一 台头盔式显示器h m 。并发表了题为“ah e a d m o u n t e d3 dd i s p l a y ” 7 北方交通大学硕士学位论文 第一牵综述 的论文，对头盔式三维显示装置的设计要求、构造原理进行了深 入的讨论，并绘出了这种装置的设计原型，成为三维立体显示技 术的奠基性成果。 1 9 7 5 年，m y r o n k r u e g e r 提出“人工现实“( a r t i f i c i a l r e a l i t y ) 的思想，展示了称之为v i d e o p l a c e 的“并非存在的一种概念化环 境”。实验者丽对投影屏幕，摄像机摄取他的身影图像，与计算 机产生的图形合成，由投影机投射到屏幕上，室内的传感器识别 实验者的动作，屏幕上可显示诸如实验者在游泳、爬山等情景。 v r 研究的进展从6 0 年代到8 0 年代中期是十分缓慢的。直 到8 0 年代后期，v r 技术才得以加速发展。这是因为图形显示技 术已能满足视觉耦合系统的性能要求，液晶显示( l c d ) 技术的 发展使得生成廉价的头盔式显示器成为可能。 1 9 8 5 年，美国航空航天局n a s a 的s c o t tf i s h e r 等研究了著 名的v i e w 一种数据手套( d a t ag l o v e ) ，这种柔性、轻质的 手套装置可以测量手指关节动作、手掌的弯曲以及手指间的分 合，从而可编程实现各种手语。与数据手套原理类似的还有数据 衣。 n a s a 科学家又继续制成第一套v r 系统，由一台d e cp d p i l - - 4 4 主机、一个图形系统及图形计算机和一个p o l h m u s 非接触 式跟踪仪组成。用跟踪仪检测用户的头部运动并把数据传送给 p d p ，然后主机把这些数据重新排列传送给图形计算机，由它加 速出图像，并在v i v e d 上立体显示出来。 在1 9 8 5 年，s c o t tf i s h e r 加入了此项研究工作，他在模拟中 又增加了一种新的传感手套。早期这种手套被t h o m a sz i m m e r m a n 和j a r o nl a n i e r 用来作为非程序员的一个虚拟编稷界面。f i s h e r 用v i v e d 系统作实验。1 9 8 6 年终于研制成功了第一套基于h m d 北方交通大学硕士学位论文 第一章综述 及数据手套的v r 系统v i e w ( v i r t u a li n t e r a c t i o ne v i r o n m e n t w o r k s t a t i o n ) 。这是世界上第一个较为完整的多用途、多感知的 v r 系统，使用了头盔式显示器、数据手套、语言识别与跟踪技 术等，并应用于空间技术、科学数据可视化、远程操作等领域， 被公认为当前v r 技术的发源地。 1 9 8 9 年，v p l 公司的创始入之j a r o nl a n i e r 创造了“v i r t u a l r e a l i t y ”( 虚拟现实) 这一名词。从此，d a t a g l o v e 和v i t u a lr e a l i t y 便引起新闻媒介极大的关注和丰富的想象。 v r 第一次展出是在1 9 9 0 年第1 7 届国际图形学会议上，图 形学专家们报道了近年来输入输出设备技术以及声、像等多媒体 技术的迸展。随着新的输入设备研制成功和微型视频设备投入使 用，再加上工作站提供了更加强有力的图形处理能力，从而为构 成虚拟现实的交互环境提供了可能。 1 9 9 2 年，c a r o l i n ac r u zn e i r a 等建立的大型v r 系统c a v e ， 在国际图形学会议上以独特的风貌展现在人们面前，标志这一技 术已经登上了高新技术的舞台。用户置身于一个边长为3 米的立 方体房间，有4 面为投影屏幕，各由一台s g i 工作站v g x 控制 的投影机向屏幕交替显示计算机生成的左、右眼图形，用户佩戴 种左右镜片交替开闭的液晶光闸眼镜，就可看到环绕自身的立 体景物。图形景物随用户在室内走动时的视线变化而变化。用户 手持小棒，当与图形景物接触时便有真实的反应，例如移动一个 物体、敲响铃铛等。研制者邀请不同学科的专家进入这种虚拟环 境，试验多方面的可视化研究：分子生物模型、超导体设计、天 气预报、建筑设计等。在这次会议上，s g i 和s u n 等公司也展 出了类似的环境和系统，让人进入仿真的空中飞行器飞行、海洋 航行、汽车驾驶、建筑物内巡视等虚拟环境，这些系统弓l 起了观 北方交通大学硕士学位论文 第一毒综述 众的极大兴趣。 由于学术界、工业界及新闻界对v r 驾驶的巨大兴趣，美国 n s f ( 自然科学基金) 于1 9 9 2 年3 月2 3 至2 4 日在北卡罗莱纳 大学主持召开了一次国际研讨会，与会代表有来自美国和加拿大 的1 8 位专家学者，计算机图形学之父、v r 技术的创始人之一i v a n s u t h e r l a n d 也出席了会议。会议对v r 的定义及研究方向提出了 详细建议，奠定了v r 作为独立研究方向的地位，讨论并提出了 v r 研究的主要方向。 虚拟现实技术的出现为计算机的推广应用提供了强大的技 术支持，从这个意义上讲，虚拟现实技术是计算机技术及其发展 过程中的一次飞跃，它所带来的变革将会产生巨大的社会和经济 效益。 正如人们所预测的一样，虚拟现实技术正在许多领域得到了 应用。如： 1 、娱乐领域：由于人们越来越强调体验，而虚拟现实完全能提 供这种手段。如开车，开飞机甚至是航天飞机，或者旅游， 乃至作战等都能让人身临其境。国外目前已经开发出这类游 戏节目。 2 、学习和模拟：这是虚拟现实的个主要应用领域，由于虚拟 现实提供直观和实时交互性，使得人们很容易在这种环境下 学习。像历史、地理的学习，医学中的外科手术，各种飞行 器的驾驶等。 3 、科学计算可视化：用于探索自然界的奥秘。如n a s a 采用虚拟 现实这一技术来进行风洞的模拟，使人能真实地感受到气流 的情况。又如，与医学图像的三维重建结合在一起，更好地 用于诊断和手术。 0 北方交通大学硕士学位抡文 第一章综述 4 、c a d 领域：在c a d 的后置处理中，通过虚拟现实技术可使其 更加直观和清晰。例如在建筑结构设计中，人可以走入设计 的建筑中，获得设计效果的感受，从而达到进一步改进和合 理规划的目的。虚拟现实还可应用于信息、通信等领域。 虚拟现实技术是一门年轻的科学，有许多问题有待于进一步 研究，主要表现在：显示的分辨率不够，输入输出设备的多样化 和实时性有待于进步提高。显示分辨率的提高有待于显示器件 的发展和主机速度的提高，显示的实时性除了提高主机的绘制速 度外，在方法上还有许多值得研究的地方。 构建一个虚拟现实系统的基本手段和目标就是利用并集成高 性能的计算机软硬件及各类先进的传感器，去创建一个使参与者 处于个具有身i 临其境的沉浸感、具有完善的交互作用能力、能 帮助和启发构思的信息环境。 为了构建这样一个虚拟现实系统，在硬件方面需要有以下几 类设备的支持： 跟踪系统：以确定参与者的手、头和身躯的位置： 触觉系统：提供力与压力的反馈： 音频系统：提供立体声源和判定空间位置； 图象生成和显示系统：产生视觉图象和立体显示： 高性能计算处理系统：具有高处理速度、大存储容量、联网 特性。 在软件方面i 除一般所需的软件支持环境外，主要是提供一 个产生虚拟环境的工具集或产生虚拟环境的外壳。它至少应具有 以下的功能： 能够接受各种高性能传感器的信息，如头盔的跟踪信息； 能产生立体的显示图形； 北方变通人学硕士学位论文 第一蠢练述 能把各种数据库、各种c a d 软件进行调用和互联的集成环境。 虚拟现实技术作为一项计算机技术，引起科学界、政府部门 乃至每个人如此浓厚的兴趣，充分说明了它对现代社会带来的轰 动影响。我们都很清楚，计算机的出现给人类带来的不仅仅是一 项新技术，它的影响力已远远超出了技术的范畴，它的出现和发 展已经在几乎所有的领域得到了广泛的应用，甚至可以说，计算 机已经成为现代科学技术的支柱。 计算机的使用离不开人与计算机之间的交互，人们通过诸 如键盘、鼠标、打印机等交互设备向计算机输入指令和从计算机 获得计算结果。为了使用计算机，人们不得不首先熟悉这些交互 设备，然后将自己的意图通过这些设备间接地传给计算机，最后 以文字图表的形式得到处理结果。随着计算机技术的发展，交互 设备在不断更新，因此当新的计算机出现对用户必须重新熟悉新 的交互设备。这种以计算机为中心，让用户适应计算机的传统交 互方式严重阻碍了计算机的普及和应用，使人们有一种可望而不 可即的感觉。随着社会和科学技术的发展，以及人们对计算机需 求的日益增加，这种交互方式的问题显得越来越严重，人们渴望 着有更方便、更实用的计算机出现。 虚拟现实中的人机交互技术是种探讨如何实现人与计算机 之间理想交互方式的技术。利用虚拟现实技术，计算机可以产生 一个三维的、基于感知信息的临场环境该环境对用户的控制行 为作出动态反应，并为用户的行为所控制。这里的关键是基于感 知信息的临场环境和交互性。1 9 9 0 年，在美国达拉斯召开的 s i g o r a p h 国际会议对v r 进行了讨论，明确了v r 的主要技术构成， 即实时三维图形生成技术、多传感器交互技术以及高分辨率显示 技术。 2 北方窆通大学硕士学位论文 筢一奄综述 让计算机代替人类完成所有的工作，这是人们所期望的，但 是在目前的技术发展水平下，使计算机具有和人一样的智能是不 现实的。因此，人与计算机的理想而有可能的交互方式应该是： 扬长避短、优势互补。一方面，人们习惯于日常生活中的人与人、 人与环境之间的交互方式，其特点是形象、直观、自然；通过人 的多种感官来接受信息，如可见、可听、可说、可摸等，而且这 种交互方式是人类所共有的、对于时间和地点的变化是相对不变 的。另方面，计算机有着很强的计算能力，随着图形生成、图 象处理、语音处理、传感器以及多媒体等技术的发展，计算机处 理视觉、听觉、触觉、力觉等信息的能力大大增强，而且这种能 力是随着技术的发展而不断提高的。虚拟现实技术正是基于这种 指导思想而产生的，即为了建立起方便、自然的人与计算机的交 互环境，就必须适应人类的习惯，实现人们所熟悉的形象而直观 的交互方式。虚拟现实为此创造了极好的条件。 在目前的虚拟现实系统中，传统的人机交互工具( 键盘、鼠 标等) 已经交得不再适用，人们期待着新的人机交互手段的出现。 本文所进行的通过计算机视觉技术中的序列图象运动分析来提取 人体头部姿态参数，并以此作为虚拟现实系统中的人机交互的方 法正是对解决这一问题的尝试。 当前，虚拟现实系统作为一个尚未成熟的技术，引起了世界 上广大科技工作者的研究兴趣。虚拟现实系统的技术包括很多方 面，其中虚拟现实的人机交互子系统对于虚拟现实系统来说是非 常重要的一个关键技术。目前，虚拟现实的交互系统多种多样， 但直接利用视觉检测技术的成熟产品市场上几乎还没有。另外， 目前由于计算机技术的不断发展，计算机速度的不断提高，以前 一些需要在昂贵的工作站上才能完成的工作，现在普通的p c 机 北7 了交通人学填= e 学也论文 第一荜练述 也能胜任。 计算机视觉技术是目前计算机信息处理技术中的热点，特别 是对真实世界的自然景物的识别与理解受到极大的关注。我们希 望把计算机视觉的研究成果与虚拟现实技术“集成”在一起，在 较高层次上建立现实世界与虚拟世界的有机联系，有可能构成更 加逼真的虚拟现实环境及人机交互手段，同时也有助于高级的主 动视觉反馈系统的研究。我们希望在p c 机上建立一个基于计算 机视觉技术的的虚拟现实人机交互子系统。其人机的交互通过在 人的头部配戴上一个固定好的摄像机，通过该摄像机将其看到的 场景送给计算机进行处理，计算机利用视频采集卡对视频信号进 行采集，然后对将采集来的信号送给计算机进行处理，从中提取 出使用者的头部姿态，然后计算机利用头部姿态的数据来生成相 应虚拟场景。利用该方法来实现分布式环境下大空间范围内的基 于计算机视觉虚拟现实系统的人机交互。 1 1 2 计算机视觉技术概述 我们的生活空间是一个三维的世界。在这个世界里，万物均 处于永恒的变化发展中。运动是这个世界的一个基本特征。因此， 在以研究用机器来模拟人或动物的视觉功能为目的的计算机视觉 领域里，根据客观世界中事物发展变化过程中的视觉信息来表示 客观事物的有关特征和运动规律，进而达到对周围景物及其中事 件的理解，自然成为人们研究的一个重要课题。这方面的研究称 为视觉运动分析( a n a l y s i so fv i s u a lm o t i o n ) ，或称为动态景 物分析( d y n a m i cs c e n ea n a l y s i s ) 1 9 7 9 年在美国宾夕法尼亚的费城召开的第一届运动图像处 理与分析研讨会宣告了图像序列分析作为一个研究领域的正式诞 ：垄互奎望查兰堡兰兰丝堡苎 墨二童鳖姿 生。在此以后的短短十几年里它已发展成为计算机视觉研究的 孩心课题之一。各种与图像序列分析有关的学术会议也接连召 开，包括两年度的模式识别国际会议( i c p r ) ，计算机视觉国 际会议( i c v c ) ，i e e e 视觉运动研讨会( i e e e w v m ) ，欧洲 计算机视觉会议( e c c v ) ，一年一度的由i e e e 计算机学会召开 的计算机视觉和模式识别会议( i e e e c v p r ) ，以及由美国摄 影与光学仪器工程师学会召开的年会( s p i e ) 等。 由于图像序列中蕴含有单幅图像所不具备的有关景物三维结 构和运动规律的冗余信息，所以在一定物理约束条件下( 如刚性 约束、表面连续性约束等) ，通过对时间上前后连续的序列图像 的分析，可以解决许多仅靠单一的静止图像分析无法解决的问题 ( 如物体和摄象机之间的三维运动参数以及物体的三维结构信 息) 。序列图像分析的基本任务是：从序列图像中检测出运动信 息，识别与跟踪运动目标，估计物体和摄象机之间的三维运动和 物体的结构参数。由于一旦检测出运动信息或估计出三维运动和 结构参数，通过物体的形状、运动等属性，并根据目标的先验知 识，可以识别出目标，从而了解并预报目标当前与未来位置，也 即解决了目标和摄象机之间的运动分析问题。 视觉运动分析是图像序列分析技术的重要组成部分，与其它 运动分析方法相比，它有许多突出优点：适用范围广，抗电子干 扰能力强，测量精度高，保密性好。因此它一出现便首先被用于 军事目的，如火控、导航、制导，在近二十年来，随着计算机技 术、v l s i 技术和高分辨率传感器技术的迅速更新，有关视觉跟 踪的研究已取得了很大进步，目前它的应用已扩展郅机器人工 程、气象分析、医疗诊断、交通管制、安全防范等许多方面： 通过对图像序列分析来提取人体头部姿态的方法，主要依靠 北方突通犬擎硕上学垃论文 第一章综述 计算机视觉技术中通过分析序列图象来分析摄像机的三维运动状 态来实现。在图像序列分析的研究领域里，通过对二维图像序列 分析实现对目标和摄象机之间的运动分析，一直是一个重要的课 题。这首先是因为此领域的研究有很强的实用价值，其次是因为 该领域仍有许多理论与实际问题尚未得到很好的解决，在虚拟现 实系统中目前的人机交互技术还有许多不完善的地方值得去研 究。 1 2 研究的目标 根据课题的要求，利用目前计算机视觉和虚拟现实系统的技 术构建一个基于p c 机上的基础平台。在该平台上，以计算机视 觉技术为基础，为虚拟环境的实现提供一种简便、可靠的参数提 取方法，提高人在虚拟环境中的真实感与参与感。建立一种新的 v r 与c v 相结合的集成模型。该模型的结构如图1 所示： 幽1c v 与v r 集成模型 苎互奎墨查兰婴主兰垡整苎 篁= 兰堡鎏 v r 系统交互的自然度在虚拟现实系统中是一个重要因素，它 要求i 0 具有较少的妨碍，较大的范围，强有力的v r 引擎，我 们设计以人体头部姿态作为v r 系统的一种人机交互手段。针对 该目标，我们进行了利用计算机视觉提取人体头部姿态参数与虚 拟场景生成接口及交互策略的研究。由此提出了一种新的人机交 互方法。 1 3 论文主要内容和结构安排 本文所研究的是国家自然科学基金资助项目“计算机视 觉与虚拟现实集成模型”中的一个组成部分“虚拟现实中头部姿 态视觉检测方法”。它属于虚拟现实中的人机交互范畴。根据课 题的要求，建立了基于p c 机的，并且在网络上实现的分布式虚 拟现实系统。在一台计算机上利用计算机视觉技术检测出入体头 部的姿态，然后将检测出的姿态参数传送给另一台计算机，由该 计算机根据所检测的参数生成虚拟的场景。 论文的主要结构安排如下： 第一章综述 介绍了本文所研究的课题的研究背景和研究的目标。详细介 绍了虚拟现实技术和计算机视觉技术相结合研究的意义，及其起 源和发展，它的应用及有待解决的问题。介绍了计算机视觉技术 中序列图象运动分析技术的发展和应用。最后介绍了论文的主要 工作和结构安排。 第二章虚拟现实的物体定位 详细介绍了虚拟现实系统中物体定位技术的各种方法和要 求。 北方变通大学硕士学位论文第一章综述 第三章序列图象运动分析方法综述 详细介绍了各类序列图象运动的分析方法。主要介绍了单目 短序列的图象运动分析方法。 第四章头部姿态视觉检测 在这一章里主要介绍了整个实验系统的实现方法，然后介绍 了为了快速有效的进行对人体头部姿态的提取我们所提出的新的 算法。详细讲解了该算法的实现方法。 第五章分布式虚拟现实系统 在这里介绍了分布式虚拟现实系统的实现，采用了基于 t c p i p 的w i n s o c k e t 的编程实现。另外介绍了视频信号采集系 统，主要介绍了在实验中使用的两秘视频采集卡的性能。最后给 出了我们实验的结果和分析。 j e 方交通天学学位论文 第二章虚拟现实的物体定位 第二章虚拟现实的物体定位 2 1 虚拟现实中物体定位的方法 虚拟场景的产生均需要现实运动物体的位置及方位角的 知识，如在笛卡儿坐标上的“摇动”( y a w ) ，“俯仰”( p i t c h ) 和“转动”( r o l l ) 。目前，这些动作的检测都采取了无接触 技术，如：低频磁场、超声波、雷达、红外线传感器、摄象 机和l e d 等技术。这些3 一d 传感器都用一些通用参数。测量 运动参数的研究主要集中在刷新率的提高和等待时间的减少 方面，也就是动作和产生结果之间的时间要尽可能减少。采 用目前的技术刷新率可做到5 - 5 0 0 组( 参数) 秒，等待时间 希望越小越好。另外一个参数是传感器的准确度。从处理速 度看也应考虑传输时间，如果每秒处理3 0 帧，每帧需要3 3 m s ， 用9 6 0 0 波特传一组数约用1 2m s ，所以传输就用了3 6 的时 间，这无疑是非常重要的。3 一d 传感器目前主要有如下几种： l 、3 一d 磁传感器 这种传感器用低频交变磁场确定运动物体的位置和转 角。发射和接收装置都是用三个互相垂直的天线组，天线接 收的信号经一定的算法确定发射器与接受器的位置和方向。 然后，直接跟踪发射机。由跟踪数据确定用户在虚拟场景中 的观察方向并显示更薪的场景。如：测量手的运动是把接收 器装在手套上。有种类似的传感器叫“i s o t r a c k ”，它的取 北方交通大学学位论文 第二章虚拟现实的物体定位 样率6 0 次秒、3 0 位置秒。这种装置等待时闯大，感知范 围小，而且噪声大，有可能导致图象抖动，从而使观察者感 到很累。“f a s t r a c k ”是另一种利用d s p 技术的传感器。它采 用o v e r s a m p l e 技术改进了s n r ，取样率提高了一倍。 “i n s i d e t r a c k ”是9 3 年推出的传感器。它可以通过i s a 总 线插入p c 机内，其噪声比f a s t r a c k 大。f a s t r a c k 的准确度 是7 5 c m 。 “f l o c ko fb i r d s ”是另一种取样率为1 4 4 组秒的传摩 器。一个发射机玎与3 0 个接收机联系，用多处理器减少了处 理时间。该传感器可以用来跟踪人体头部和关节的运动。 总之，磁3 一d 传感器工作范围较大，但准确度较低，如 有强磁场在传感器范围会产生畸变。另外，这种传感器需要 复杂的标定与补偿也是其弱点。 2 、超声波3 d 传感器 这类传感器包括三个部件：发射器、接收器和电子装置。 相距3 0 c m 的三个发射器装在三角形的刚体上，作为接收机 的三个麦克风也装在三角形刚体上，接收机通常装在头盔上。 这类传感器的位置是基于三角测量原理。超声波的速度由下 式确定：c = ( 1 6 7 6 + 0 6 疋) ，这里瓦是空气温度。知道了速 度可测出位置和转角，把该数据传入主机，刷新h m d 显示， 刷新率为5 0 组秒。这种传感器的缺点是发射与接收间的直 线被遮断或头偏离了接收范围时信号会丢失。另外信号也会 受噪声的影响。 3 、光学3 d 传感器 北方交通大学学位论文 第二章虚拟现实的物体定位 ( 1 ) 红外光3 d 传感器 红外光3 一d 传感器依靠跟踪附在运动物体上的红外光发 射标志，来检测运动物体的3 d 运动位置。它不象传统的视 频跟踪系统依靠的是标志物的反射，其标志物是主动发射红 外光：并且它的精度较高。这是该系统具有的两大优点。另 外。它还能够排除周围反射光的干扰。它在使用中有一定的 范围限制，当标志物不在检测范围内时，它不能对运动物体 进行跟踪。 ( 2 ) 视觉3 d 传感器 视觉3 一d 传感器通过检测物体上的标志物来实现对物体 3 一d 运动的跟踪。具有体积小，性能价格比优，实时跟踪， 精确度较高等优点。并且能实现对主动或被动标志物进行跟 踪。但目前作为大空间的人体位置或姿态定位的系统还没有 出现。国外有些研究单位也在进行视觉传感器和其他传感器 综合起来作为人体姿态识别的方法。 4 、跟踪球 前面谈到的3 一d 传感器是返回关于图象坐标下的绝对参 数，虚拟目标物的控制也是绝对位置。另外一种控制器就是 相对参数传感嚣。这种传感器如果没有运动其参数就是0 。 这种传感器的一个例子就是“d i m e n s i o n6t r a c k b a l l ”。这个球 带有6 个传感器，可测量三个力和三个转矩。它们经软件处 理返回一个差分变化，从而改变目标物的位置和方向，大的 增益导致大的速度。跟踪球的缺点是它的操作是开环的，用 北方交通太学学位论文 第二章虚拟现实的物体定位 户可以控制虚拟目标和环境的力，但不能感觉到这些力。有 一种g l o b a ld e v i c e sc o n t r o l e r 对其作了改进。 5 、3 d 探测头 “i m m e r s i o nc o r p o r a t i o n ”是另一种i o 工具。它可以控 制绝对和相对位置。它是个传感器和机械臂组成的装置， 探测头有6 个关节，每个关节表示一个自由度，可以对位置 和旋转进行模拟。这种装置的精度可达到o _ 3 5 0 ，每秒可测2 0 0 个位置，等待时闯只有3 m s 。它的优点是不受磁场影晌，缺 点是精度受温度影响较大，而且其误差从基座到探头是累加 的。 6 、感觉手套( s e n s i n g g l o v e s ) 跟踪球和探头的优点是简单、紧凑、操作平稳，但自由 度有限，与虚拟世界的交互缺少感觉。这里感觉手套就有其 优点。目前在美国的感觉手套有如下几种： ( a ) d a t a g l o v e 这是1 9 8 7 年由t h o m a s z i m m e r m a n 发明的手套。由n a s a 支持，后改为v p l ( 专利号4 5 4 2 2 9 1 ) 。数据手套是把光纤传 感器安在一个轻便的手套上( l y c r a ) ，为测量手指的位置， 每个手指上都有一个光纤环路，基本配置只有两个传感器装 在手指的背面，它感觉主要连接处的活动，对次要连接处和 其他运动的传感器是可选的。光导纤维直接连接到光电接 口上，末端有一个l e d 。其基本原理是把手指的位置转换成 折射系数，根据光返回的强度测量连接处的角度，这个过程 北方交通大学学位论文 第二章虚拟现实的物体定位 叫原始数据的读取，把原始数据转换成关节角度口q “手套标 定”，当然每次都要标定。1 9 8 7 年h o n g 和t a n 给出了标定方 法。标定后对于弯曲的测量误差为4 7 。 f b ) c y b e r g l o v e c y b e rg l o v e 是由j i mk r a m e r 发明的。他主要用神经元网 络作姿势识别。该手套使用电应变片的阻抗变化直接测量关 节的弯曲角度，由惠更斯电桥测得的电压差经a d 变换送至 主机后经标定程序测得角度。分辨率在0 5 0 左右。 ( c ) p o w e rg l o v e 这种主要用于游戏的手套售价便宜，只有$ 5 0 0 。后来，s e g a 公司开发了相应的软件“v i r t u a lg a m e ”。在廉价的手套中手 腕传感器用超声波器件，声源在p c 机上，弯曲的传感器用 导电油墨实现，通过弯曲时导电油墨电阻的变化经转换得到 角度变化数据。p o w e rg l o v e 是廉价手套，后来由i l l i n o i s 大 学开发了借口软件“p g s i ”，解决了多机种通信问题。这种 手套的刷新率为2 7 组数据秒。 ( d ) d h m ( d e x t r o u sh a n dm a s t e r ) 这是由e x o e 公司9 0 年推出的金属骨架的手套。5 个手指 有2 0 个传感器，每个角度位于机械结构关节处的霍尔传感器 测量，结构的设计是特殊的，用户的手与m a s t e r 的接触用一 个带子来实现，用附加的支撑和调整杆补偿不同用户手的大 小。m a s t e r 是目前为止最贵的手套。这种手套的分辨率和灵 敏度大大高于d a t ag l o v e ，缺点是定标复杂，重量太重，并 缺少腕部位置测量。 塑堡兰苎登垒堡塞 兰三童壁垫墨塞塑塑篷塞垒 由以上这些3 一d 传感器的特性可看出作为虚拟现实系统 的交互工具，至少应具备绘虚拟现实系统提供3 d 空间场景 变化的参数，并且这些参数传递给虚拟场景生成的速率越快 越好，为了使得虚拟场景生成的效果逼真自然，应达到2 5 帧 秒的场景速率。 2 2 虚拟现实人体头部姿态检测的要求 作为虚拟现实系统的交互手段，至少应具备以下的功能： ( 1 )能够检测出人体头部的三维移动参数，并将参数送给 虚拟现实系统生成虚拟场景 ( 2 )三维虚拟场景图象的生成跟随人体头部移动变化的延 迟越短越好。 ( 3 )系统的初始安装调试越简单越好。 ( 4 )对人的活动限制越小越好。 只有满足了上述要求，虚拟现实系统的沉浸感才能实现。 目前虚拟现实系统采用的物体位置检测方法来进行虚拟现实 系统中的头部姿态，并不能很好的达到以上的要求，并且价 格也较为昂贵。所以如果采用计算机视觉的方法来进行检测， 将是一种理想的方法。 2 4 苎立茎望壁坠竺垡! 坚 兰三兰壁型璺叁墨垫竺堑直堡簦鎏 第三章序列图象运动分析方法综述 本章详细介绍了各类序列图象运动的分析方法。主要介绍了 单目短序列的图象运动分析方法。通过对序列图象的分析我们可 以获得摄象机和场景之间的 目对运动信息。 3 ，l 图象序列的分析 在以研究如何用计算机实现部分人类视觉的功能及由此帮助 理解人类的视觉机理为目的的计算机视觉领域里，根据客观世界 中事物发展变化过程中的视觉信息来表示客观事物的有关特征和 运动规律，进而达到对周围景物及其中事件的理解，自然成为人 们研究的一个重要课题。这方面的研究称为视觉运动分析 ( a n a l y s i so fv i s u a lm o t i o n ) ，或称为动态景物分析( d y n a m i c s c e n ea n a l y s i s ) 或图象序列分析( i m a g es e q u e n c ep r o c e s s i n g ) 。 图象序列分析的产生 自然界中的大部分动物，即使是非常低等的动物，都具备一 定程度的物体识别、相对运动检测，以及对自身在三维空间中的 视觉导引的能力。这些能力是物体在自然界中赖以生存的基本条 件的一部分。人们对自身机理产生兴趣的一个重要的原因就是希 望我们能够在对自然生物视觉充分了解的基础上，用人工的方法 对生物视觉功能进行一定程度的仿真( 或者说用机器来实现生物 体的视觉功能) 。这就是计算机视觉研究的出发点，也是其最终目 标。但是，实验证明，用机器来实现生物视觉功能，即使其仿真 程度十分有限，也是项非常困难的工作。 ! ! 室奎望查兰堡圭兰堡笙苎第三嚣序列图象运动分析方法综述 人们对视觉问题的研究经历了近百年的历史。本世纪四十年 代中期开始的以计算机技术为标志的信息技术革命，正在为人类 带来一场深刻的社会变革。它同样也极大的影响了视觉研究领域。 五十年代后期，人们开始了图象的计算机处理的研究。到了六十 年代又开始了计算机图象识别和景物理解方面的工作。在七十年 代，二维图象处理和分析技术得到了长足的进步。到了八十年代 则又开始了三维景物理解为主要特点的发展时期。从此以后，计 算机视觉作为一门新兴的研究领域便被正式确立下来了。 3 2 图象序列分析研究综述 3 2 1 图象序列分析的定义 视觉运动分析或称图象序列分析，作为计算机视觉研究中心 的核心课题之一，已经有了近二十年的历史。它的蓖要性在计算 机图象处理和分析技术刚刚进入比较成熟的七十年代中期便开始 得到研究者们的普遍重视。从生物仿真学的角度来看，一切具有 视觉能力的生物，均是在运动中使用其视觉功能的，或是自身在 运动，或是其它生物在作相对于它的运动，或是两种同时发生。 从数学建模的角度来看，在一定的物理约束条件下( 如刚性约束、 表面连续性约束等) 通过对在时间上前后连续的图象序列的分析， 可以解决许多仅靠对单一的静止图象分析而无法解决的问题( 如 摄象机的三维运动参数和三维结构信息的理解) 。这是由于在时间 上连续的图象序列中蕴涵有单幅图象所不具备的有关景物的三维 结构方式和运动规律的“冗余信息”。 视觉运动分析是个含义十分广泛的概念，一般意义上的视 觉运动分析包括了生物视觉和计算机视觉中有关的视觉活动机理 些立奎堡查兰塑士学位堡塞第三章序列图象运动分析方法综述 的研究。本文中视觉运动分析主要是指以计算机为信息处理和分 析手段的运动问题分析。在这里物体或景物的运动是通过被观察 对象在时间序列图象中的离散特征或连续灰度模式所表现出来的 视在运动来表示的：对物体或景物的真实运动的理解则通过对序 列图象中的这种视在运动分析来实现的。因此，计算机视觉中的 视在运动分析又称为序列图象分析。 图象序列定义为多帧二维图象的集合。它由一系列图象组成， 它们具有给定的或假设的相对次序，并给出相邻两图象获取的时 间间隔关系，一般表示为： ， f ，y f ，t o ) ，t x ? ，y f ，t 1 ) ，t x f ，y i ，t “协i ，j 2 0 ，1 ，n - 1 妈，1 式) 它有空间图象序列和时间图象序列之分，它们都属于三维系统通 常二维图象的空间坐标为x 、y ，如果扩充到三维空间，引入空间 坐标z ，在不同z 值之间取得多帧二维层面图象的集合，这叫作 空间图象序列，应用它可以重构三维物体，计算机层析x 线照片 ( 即c t ) 就为一例。对于时间图象序列，则引入时间轴t ，在不同 时刻之下摄取正在运动的目标照片，可获得沿时间轴的多帧二维 图象集合，称之为时间图象序列，本文即研究此类型的图象序列。 动态图象本身有其特性，图象序列分析有两个主要问题有待 研究：其一，通盘考虑整个序列，沿时间轴有机贯穿每帧中取得 貌似不同而语义上相同的目标特征信息，综合形成一个表征活动 目标变化的总体信息，用于定量描述运动目标的位移量、转动角 度、速度、形状、形态或大小等的变化，最终完成定位检测、识 别、跟踪等任务。也即从二、三维图象序列检测景物运动、提取 运动参数，分析物体或摄象机的运动规律；其二，解决遮挡问题， 这是指在运动过程中，目标被另一个动的或不动的目标遮挡住了， 怎样依赖动态图象处理发现有遮挡存在，并且预报目标何时再出 北方交通大学硕士学位论文 第三耄序列图豫运动分析方浩综述 现于画面，这是一个有难度的研究课题。另外，如何获取立体景 物的深度、遮盖和表面主方向等信息的问题，也是动态图象处理 的研究内容。 运动分析是图象处理的关键。要沿时间轴贯穿综合以建立帧 间图象特征的相互联系，必须完成从一帧到下一帧的目标配准， 由于目标处于运动之中，这一配准问题本质同运动估计相当。此 外，在不同的应用场合下，对图象的处理速度也提出不少要求， 在军用及交通运输方面常常要求实时处理：工业、气象预测方面 需要有大量计算的能力和一定的快速性：因此图象序列处理中值 得重视的另一个问题便是快速、实时处理。在虚拟现实系统中对 人机交互的反应速度要求也是要迅速及时，延迟越少越好。 在实际应用中，通过直接摄影，红外摄影以及其它扫描设备 取得照片序列。通常分为两种情况，一种是摄影镜头不动，目标 运动；另一种是目标不动，摄影镜头运动。当然，也有两种情况 兼而有之的。时间图象可以揭示目标的动态过程，反映出在不同 时间下目标的状态和位置，其中目标的运动方式可以是平移、旋 转或比例尺的改变等。下面介绍几种图象序列分析中常用的数据 结构： 图象的数据结构有数组( 具有相同类型的数据组成) 、记录( 可 以含有实数、整数、文字、数组的数据结构) 和文件( 容许按顺 序存放数组和记录的数据结构) ( 如图案3 一l 所示) 。为了统一图 象的读写方式，人们还规定了许多图象格式，例如：$ t i f 、$ g i f 、 b m p 、$ p c x 等等。 些互茎望查兰巫主兰垡堡兰 塑三皇! 型堕墨垄垫坌塑查堕塑堕 ( a 擞组 匦皿正 匝亚亟 三 ( b ) 记录 ( c ) 文件 图3 - 1 图象的数据结构 3 2 2 序列图象分析方法分类 我们知道，三维空间中的物体与摄像机之闯，或者物体与物 体之间的相对运动会在由摄像机拍摄到的序列图象中产生相应的 视在运动( a p p a r e n tn 1 0 t i o n ) 信息。图象中的这种运动是由图象 中表征运动物体的某些特征或灰度模式的位移来表现的。序列图 象分析的目的就是通过分析图象序列中的这些特征或灰度模式的 运动来推演出运动物体和摄像机在空间中之间的实际相对运动。 序列图象分析的方法在不同标准下可分为不同的类型。根据 所处理的图象信息种类不同，可以将分析方法大体归类为基于特 征信息的方法和基于灰度分析的方法：根据所使用的序列图象的 帧数的多少，可将分析方法分成短序列( 仅用2 - 3 帧图象) 分析 方法和长序列分析方法：根据所使用图象数据维数的不同，又可 将分析方法划分成单目( 使用的是2 d 图象序列) 和双目( 立体) 式( 使用的是3 d 图象序列即立体图象序列) 。根据表，我们可以将 现有的方法分为8 类( 即便2 x 2 1 2 种组合方法) 。 北方交通大学硕士学位论文 第三章穿到图象运动分析方法综述 序列图象分析方法的划分 帧间变化信息使用图象帧数数据维数 特征小( 2 3 ) 帧 2 d 灰度大( 长序