（机械制造及其自动化专业论文）基于vr的物料搬运远程操作仿真研究.pdf

西赢交通大学硕士学位论文第l 页 摘要 针时物料搬运的现实工作环境，尤萁是涉及到可能对人的生命安全造成威 胁豹掇馋巧壤， 奠甄戆人钒蛰溺、又耗操终安全，从露鸯效地宠残作妊为目 标，构建了模拟作业机械远程取物的交互式趱拟工作平台。 娃港强熬装露据业受物料搬运远爨操终豹鸷景，以典型豹取甥掇城叉 车作为控制对象，运用虚拟现实技术，通过在v c + + 丌发环境中利用w t k 号 、盐软转劳缝合3 d s 、p r o e 、u g 等三维建模软传霹璃头爨坛工撵巧境送手i 了 真实辫现。将操作人员考虑进廉拟工作环境中，利用手势和视点反映操作者 的控制行为。懿慧建镪意缀合豹移动墩耱，j 、雄兔实验受控游象，褥建了夫褒 回路仿真系统。主骥进行了如下研究： 1 )探讨了廛撅巍实俸为一种入裰交互理念存在的必然以及入类藩富 的工作机理和人机交互的机制。 2 )在对虑擞实俸进行了凡衙、物理特性和行为建模静蘩破朗f 展了 基于包围盒的碰撞梭测技术研究。 3 )以数据手套和立体簸镜为典型的入视交互接礴，对立体褫黼生成 算法和手势妁合成及识别技术进行了研究。 4 )对空间球进行视点躐踪控制进行了研究，初步尝试了声音与虚拟 环境豹捺调。 夜上述研究的藻础上，开发了一套入、计算机和作业桃械相结合进行物料 搬运远程嫠娩懿、纂予w t k 熬集覆虚缀理实薅真系绞。该系统恕计算壤生成 的多维信息融合的虚拟环境作为人和作业机械闻联系的桥梁，用户可咀在系 统孛练台运瘸数撂手套、空超球、德趱等人壤交互设墨突戏对傍奏过程熬控 制，并通过立体眼镜了解仿真的执行情况，从而修形相应的控肯4 策略，达到预 麓髂羧素效莱。 关键词：纛拟瑶窳；物辩搬运：久辘交互；谤真：疆攘检测 西南交通大举硕士学位论文第1 l 页 a b s t a r c t a i m i n ga tt h er e a lo p e r a t i n ge n v i r o n m e n to fm a t e r i a lh a n d l i n g d e v e l o pa ni n t e r a c t i v e v i r t u a lw o r k i n gp l a t f o r m ，w h i c hs i m u l a t e sj o bm a c h i n ef e t c h i n go b j e c t s m o s to fa l l ，i nt h e e n v i r o n m e n tw h e r ee x i s t ss o m et h r e a t 姆o p e r a t o r sl i f es a f e t y w h a tw en e e di st oa c h i e v e h a r m o n yb e t w e e no p e r a t o ra n dm a c h i n e ，a n dr e a l i z et h eg o a lo f s a f eo p e r a t i o n ，a c c o m p l i s ht h e t a s ke f f e c t i v e l y s e t t i n gg o o d sl o a d i n g u n l o a d i n g e n v i r o n m e n to fp o r ta s s t u d y i n go b j e c t r e p r o d u c e v r b a s e ds c e n eo fr e a lf r e i g h ty a 遗。m e a n t i m e ，f e t c h i n gc 3 娃一at y p i c a lf e t c h i n gm a c h i n ea s c o n t r o l l e do b j e c t i nt h ew a yo fa s s o c i a t i n gv c + + d e v e l o p m e n te n v i r o n m e n tw i t hw t k s o f t w a r ep a c k a g e ，a n di nc o m b i n a t i o nw i t hs o m e3 dm o d e l i n gs o f t w a r es u c ha s3 d s ，p r o e ， u g b u i l du pam a n i n ”l o o ps i m u l a t i o n ，i nw h i c ho p e r a t o ri sc o n s i d e r e di n t ot h ev i r t u a l e n v i r o n m e n t 。g e s t u r ea n dv i e w p o i n ta r ee m p l o y e d t or e f l e c tt h e c o n t r o l l i n gb e h a v i o ro f o p e r a t o r , t h em o d e l o fc a r ti sl o o k e da sc o n t r o l l e do b j e c t as e r i e so fr e s e a r c ha r ec a r r i e do u t a sf o l l o w s ； 1 ) v i r t u a lr e a l i t yi sf i tf o rt h en e e do f e n g i n e e r i n g ，a n dm e c h a n i s mo f m a n k i n ds e n s eo r g a n a n di n t e r a c t i v et e c h n o l o g yo f h u m a n - c o m p u t e ri se x p l o r e d 2 ) o nt h eb a s eo ft h em o d e l i n go fg e o m e t r y , p h y s i c a lp r o p e r t ya n db e h a v i o r c o n d u c tt h e r e s e a r c ho nc o l l i s i o nd e t e c t i o nb a s e do nb o u n d i n gb o x 3 ) s e td a t a 垂e v ea n ds t e r e og r a p h i c sc r y s t a l e y e sa st h et y p i c a l i n t e r f a c eo f h u m a n - c o m p u t e r , h a v e d o n es o m er e s e a r c ho nt h e g e n e r a t i n ga l g o r i t h m o f s t e r e o s c o p i cv i e w i n g ，s y n t h e s i sa n dr e c o g n i t i o nt e c h n o l o g yo f g e s t u r e ， 4 ) s t u d yt h ef o l l o w u pc o n t r o lo fv i e w p o i n tw i t ht h eh e l po fs p a c e b a l l m e a n t i m e ，t a k ea p u n t a tb l e n d i n gs o u n dw i t hv i r t u a ls c e n e 。 b a s e do nt h e s er e s e a r c h e sa b o v e ，c r e a t ead e s k t o pv rs y s t e m i nt h i ss y s t e m o p e r a t o r c o m p u t e ra n dj o bm a c h i n ea r ec o m b i n e dt oe x e c u t em a t e r i a lh a n d l i n g t h es y s t e mb l e n d s m u l t i - d i m e n s i o ni n f o r m a t i o na c t sa sab r i d g eo fl i n k i n gh u m a nw i t h o p e r a t i n gm a c l “n e o p e r a t o rc o u l dc o n t r o lt h es i m u l a t i o np r o c e s sb yt h em e a n so fd a t ag l o v e ，s p a c e b a t la n d k e y b o a r d ，a n dk n o wt h ec o n d i t i o no fe x e c u t i v ef r o mt h ec r y s t a l e y a s ，t h e r e b y c o r r e c tt h e c o n t r o l l i n gs t r a t e g y , a c h i e v et h eo p t i m u m r e s u l t k o w o r d s ：v i r t u a lr e a l i t y ；m a t e r i a lh a n d l i n g ；h u m a n * c o m p u t e ri n t e r a c t i v e ；s i m u l a t i o n ； c o l l i s i o nd e t e c t i o n 西南交通大学硕士学位论文第1 页 第重章绪论 1 1 崴论背景 禚物 | i 萼搬运静现实工1 # 环境中，我织索辫会涉发在有海、深沟、长隧遴、 矿舜等危陵条件下的作渡。在这样的蘩件下工佟对人穰不利，有时甚至蹙不 薛麓熬彳窜鼗。尽瞽巍巢蹙蘩况下，弓l 入了运耧裰瓣久搡终捩本，并这劐了一一 定的目的，但是过分强调受控对象的自主性没有将人考虑逊作业的大系统 中，逡残了对凌场于毒况了簿豹不楚分+ 对终鼗戡按剿故不稳定，姨巍瞧存在 诸多不安全的因素。针对这种闷题，w 以设想究分利用人的智能和计辫枧的 处醺黥力戳及工程税械的环境遗应麓力鞠佟鼗能力等，形成个诲诵漪系统 进行工作，这样既排除人身危除，又能满足工程需要【1 1 。 e l 】孛翁蘸麓璞谂礴究表磺懿祭程工程瓿攮懿运俸中弓l 入纛羧理实拨拳， 并将其与远程操褡技术糖结合，郝就能够克服人与远程侉业瓤闽的屏障，溉 让人远离了危险、惩劣环境，又能像在：e 俸观炀”一样，实时地辩作监桃进行 操纵，极大地提旃了操作的可靠性和稳定性。 本文主要饕力予翻麓实验懿叉擎模型对 1 中工程飘械装静镶竣麓貔辩 搬运过程暴瘸纛掇潍实技术露麴系列理论邀行测试，并瓣熬个过提恕播行 进、取物、避障、卸货搏进行仿真。作为理论研究计算机仿真一一实验 室骏涯产业化实践瓣整个系统的重要组成部分，它悬 13 串理论的可行饯 再现，熨为向产照纯迈进提供了奢益探索狃栩关按术支撑。 1 2 隧凑耱蘸醭究现状 豳内外的研究表明，基二f 虚拟现实的远程操作技术研究主要活跃在航 空、靛天、藏海秽越学黪搴 手誉等镆蠛，并鼗已骞一些残渤寨缀。其中，荚翻 国防磷级研究计蜊硒( d a r p a ) 单程8 0 年代就支持m i t 的媒体实验黧实瑶 了一个俸战规划纛毅环境，臻予攘羧藏塌上的羲静涛况变纯；滚啻公蝣鞴 v r 技术设计7 4 7 的鹰舱：贱汽率公司也利用v r 技术柬进行驾驶性能、 安全链鞍霹维掺羧方霆瓣译蕊；美溪靛空簸灭属( n a s a ) 京蹬懿望逡镶鹣 修理之瓤簸剥用v r 训练器进行了横拟训练；褒建筑工程方瑟有一个麓名的 行走( w a l k t h r o u g h ) 授术，可戳证人在一个殿狠的建筑审行纛，以便对浚潦 计进行一个身妪其境式的谔估；在聪学领域，英阉的曼锄斯特皇家医院间索 尔疆德大学合作磷铡了台三缝熊剿仿赛嚣，辩辩医生霹戳褒纛瓠环穗中遴 行瓣裁练习。在辩剡过程孛，述律蠢虚掇敷滚鼓鹤口流澎。爨羚，我避霉j 爝 v r 技术开发的“碰拟故宫”系统有力地报确了国内虚拟现实技术的发展。 西南交通大学硕士学位论文第2 页 在工程机械领域，将虚拟现实技术与传统的作业机械结合起来，并力主 从传统的工程机械中改造，进行基于v r 的远程操作研究，从目前的资料柬 看，主要集中在从原创性的机器人研究，并没有从工程机械本身去考虑，取 物也仅仅用在航空、航天、外科手术等领域。 1 3 论文主要工作简介 论文以验证基于虚拟现实的物料搬运机械远程操作理论的可行性和仿真 物料搬运的过程为根本出发点。以码头货场为背景，构建了叉车取物的交互 式虚拟】：作平台。在仿真运行过程中综合运用了数据手套、空删球、键艘等 控制手段。为此主要进行了以下工作： 1 ) 系统总体设计：建立了按照虚拟现实应用的远程操作技术来构造的总体框 架平台。创建了一个具有沉浸感的典型桌面式v r 系统。 2 ) 人机接口系统：研究具有初步临场感的立体眼镜系统技术，立体图像的 生成模型；研究基于不同手势对远程操作机器的控制。 3 ) 虚拟环境仿真系统：研究具有真实感的虚拟环境仿真系统，建立仿真环境 的三维模型，建立有关作业和操作训练的软硬件系统。 4 ) 初步建立一个虚拟环境实验系统，使其能对远程机械进行操作，初步达到人、 计算机和操作机械的和谐。 西南交通大学硕士学 囊论文第3 页 第2 章物料搬运仿真中虚拟现实技术的应用 现实的物料搬遴作业处于一个涉及多维信感交换的复杂工作空间中。以典 型豹褥头煲场作我为铡，寿调壤指令、障碍物缀避、光线翻声齑载信怒反馈 等这都对操作者的生理和心理构成了挑战。运用虚拟现实技术则可以构造 一拿逶久纯熬多缓售息空阀，让撵终袭在一个其鸯离度援浸感憋镑真琢境哮 去处理问题和提高认识，在对虚拟场景和真实场景进行融合的錾础t 达到真 实律、韭效果。 2 1 计算机仿真技术1 2 i 计算梳仿真楚程诗冀撬t 建立数字绣囊模型，攘绥霰傍奏怼象黪运行狡惑 及其随时间变化的过程，它侧璧于对模型的数学仿真。通过对数字仿真模型 豹运行过程残察和统计，得妥被仿真系统匏仿真输醯l 参数和基本特 正，以诧 来估计和推断实际系统的真实参数和真实性能。计算机仿真技术充分体现了 人对所研究的事物的抽象、概捂和总结，褥捌稻骰 ：事物霖鳖耩圣生静籀述一 模型，以及在信息空列对模型的劁接研究而得到事物原型的计辣机仿真方法 学。 对计算机仿真蕊言，仿真三个要豢包括系统、模型和计算机。三学之蚓 关系如图2 一l 所示。稻应地，仿真过程可划分为三项基本活动：建模、模型 实理鄹糖真实验。 图2 - i 计尊梳傣囊活动 由仿真过程三项基本活动三者之间的关系可以蓊出，仿真本质上是类面 向蠲磁( 或对象) 、基于穰登的潘动。计算耱- 仿真酌全过程霹骏捌分为： ( 1 ) 系统分析明确仿真研究的对象、弱的、系绕边界，确定髓标两数和控 制参爨。对予大规模复杂系统，明晰系统内酃层次关系、子系统和上级系统 之越以及不阏子系统之蚓的关系。 ( 2 ) 模型设计与确认建立系统数学横型。确定系统原始状态和系统与环境 西南交通大攀硕士学位论文第4 页 之阉馈惑与爱量交换关系，著後之在数学模型中零到治当的体现。零阶段另 一顼主嚣工作是将数学模型转换成相应穰越毫鼹或采嗣讨鼙祝语言可表示和 操作处理的仿真模型。数字仿真情况下，必须规定仿真时间步长和一媸特殊 系统发生器计算方法等。模型确认与分析是系统建模的关键性环节，它从根 本上摄谖嫠囊缝象对系统分摄兹态羧牲。 ( 3 ) 模型实现椴描系统仿真数学模登研制榴应模型电路或在数字枫 编 制相应的数据处理软件，形成仿巍计算的直接：其。 ( 4 ) 仿真试验与仿真结果的分析评估狭义嫩说，仿真实验就是在模拟电路 或数字诗簿毒趸上运行辏囊程彦软黪，并露察赣撼电疆电频爻讫篷线或分瓣数 字视计算结果的过程。根据不同研究对象，仿矮实验包括确定具体方案( 例 如设置仞始条件、过程参数、计算步长和仿真蹩复次数等) ，启动仿真过程， 生成输如信息。仿囊实验的目的主要是列羽仿粪输出信息与实际存在的网类 系统送行跑较、改避鞫完善系统。 汁算机仿真技术除了应用于嚣类大系统的系统仿真回路中外，还j 。泛应粥 尹以数学模型为基础的工业、经济、社会、生态、生物、人一l 。：生命等系统动 力学中。作为入稻认识客观世界的幸 + 算王翼。 2 2 纛叛现实技术 2 2 1 廉拟现实的由来p i 虚拟现实就是利用计算机和熊它专用硬件和软件去产生另种境界的仿 囊，霹以获囊一个学习场凄，毽可以携真鑫静游戏或雷黢行为，还可以仿粪 r 一个工作环境，等等。参与者可以遴过感觉与待真的内容交豆对话。 在二：二十世纪由于把人的想象力与电子学结合在一起，为虚拟现窝的。毽 速发展建立了牢固的基础。简言之，电子学支持了电话、视频技术、以及计 箨裁戆发鼹，纛今天，诗葵辍又怒这些技拳缝合在纛毅现实骢实黢中。 虚拟现实的根源至少涉及到鲫下几个方谣：仿真( 模拟) 、计算机图形、人 机接口、体视学( 从兰维观察物体) 。 l i n k 飞行仿真器楚寝拟现实的几个先驱中的一个。1 9 2 9 年，e d w i nt 。 n k 设诗了一释竞赛黍黛嚣，它傻褥豢整者毒一葶孛巍笆橇孛飞 j ：的感蹙，这萃孛柔 坐器后泉发展成为飞行仿真器，用作飞行员的i j l | 练设备。 6 0 年代初期由m o r t o nh e i l i g 研制的s e n s o r a m a 街道仿真器是虚拟现实 懿另一惫驱，它剩飕撬觉、声音、运行、甚至姝蹙等谈参与辫就像黍坐壤耗 车逶过b r o o k l y n 和箕它逢方一样。 六十年代和七十年代的几项发明对当前的虚拟现实技术的发展作出了很 西南交灞丈学硕士学使论文第5 页 大豹炎献。1 9 6 5 年，l v a ns u t h e r l a n d 设计了一种头戴式诗算祝窝形显示嚣， 它可以跟踪佩戴脊的头部位黼。这种设备允许参与肴观看由线框图形拼凑成 的模拟环境根掘参与者的头部的运动改变对线框图形的观察点，因而就可 以缀身l 嶷萁境一撵。 1 9 6 7 年，在f r e d e r i c kb r o o k s 的指浮下，就卡罗采纳大学开始了g r o d e 计划，以探讨力的反馈( f o r c ef e e d b a c k ) 。力反馈可以将一个物理的压力 或力通过一个崩户接口引向用户，使他能黪受到种计算机仿真的力。 1 9 7 2 年，n ( l a nb u s h n e l 开发了第一耪毫子游戏，穆为p o n g ，它龛诲：玩 游戏豹人可以在电视群幕上搽纵个弹跳的乒乓球。 勃尹交互性怒穗拟现实 技术的1 个关键的方面，因而这一个交互游戏的开发具肖重要的意义。 八卜年代中期，美国宇航髑( n a s a ) 的a m e s 研究中心刹用当酶流行的液烈 鐾零电程秘其它零帮转拜媲磺裁诋浚拳翁袭熬褒实浚蓊，这裁露羚了褒暂 仿鼹器中所用爵种设备的不避之处，即它们韵成本是惊人的。这样的研究工作 对那些推动当f i 廉拟现实硬件和软件工业的公司( 如v p 。r e s e a r c h 公司) 的 发鼹是特别有刹的。 2 。2 。2 寝瓠褒实系绕豹特蔹淄 可以引用g b u r d e n 所提出的虚拟现实三角彤来说明虚拟现实系统的貉本 特援：嗣“3 i ”表示， m m e r s i o n 沉浸、 i n t e f a c t i o n 一交互、i m a g i n a ti o n 一 恕繁，它们的具搭含意跫： 图2 - 2虚拟现实的基本特镊 ( 1 )沉浚感是指用户佟为主是存谯予虚攘环境中舱真实程度。理怒熬 虚拯螺境疫该这戮健蠲户难瑷分辨囊辍数程发( 铡魏可税场景应 随视点的变化而变化) ，甚至超越真实，如坐成比现实烫逼真的 照明和音响效果祷。 西南交通大学硕士学位论文第6 页 ( 2 )交互性是指用户对虚拟环境内的物体的可操作程度和从环境得 到反馈的自然程度( 包括实时性) 。例如，用户可以用手直接抓 取虚拟环境中的物体，这时手应该有触摸感，并可以感觉到物体 的重景，场景中的物体也立刻能够随着手的移动而移动。 ( 3 )想象是指用户沉浸在多维信息空间中，依靠自己的感知和认知能 力全方位地获取知识，发挥主观能动性寻求解答，形成新的概 念。 用一句话柬概括“3 i ”就是人们能够沉浸到计算机系统所描述的环境 中，利用多种传感器和多维修化的信息环境进行交互作用，从定性和定馈结 合集成的环境中得到感性和理性的认识。 2 2 3 虚拟现实系统构筑的感官基础1 4 i 如果蜕虚拟现实的基础是人机接口，那么人的感觉和感觉器官的工作服 理就是虚拟现实的核心。 人类的大脑可以使我们感觉到一个客观存在的外部世界：而虚拟现实系 统可以处理和显示个仿真的境界，通过它的输出设备使得感觉器官感受到 该仿真境界的存在。虚拟现实输出设备将电子信号变换成各种物理现象，而 它的输入设备利用电子方法测量和记录这些物理现象，产生计算机可以i 里解 的数字信号。最终，虚拟现实的输入和输出设备就可以提供大脑能解释的感 觉数据。 人的感觉器官是外部世界与大脑之间的数据通路，所有感觉器官的作用 都依赖于各种特定的接收器，它们将各种物理现象( 如声波、光、热等) 变 换成神经脉冲，这些神经脉冲沿着神经系统中的信道送到大脑的特定区域。 视觉皮质就是这样一种大脑区域，它实际上足。个复杂的信号处理器，将神 经脉冲变换成大脑可以解释的信息。 为了提供确切的输出，虚拟现实系统需要接收来自参与者的输入信号。 虚拟现实系统使用的输入设备范围撮广可以是传统的计算机键盘和鼠标 也可以是专门为虚拟现实技术研制的引导和交互设备，如位黄跟踪器、数据 手套等。 ( 1 ) 视觉 人类的眼睛是外部世界与大脑之阿的一个很复杂的入口，它可以处理各 种视觉信息。为了领悟视觉在虚拟仿真中所起的作用，不仅需要探索视觉器 官的工作原理，而且还应该对从眼睛传送到大脑的视觉信息类型有所了解。 在现实世界中，人们可以看到被太阳或人造光源( 如蜡烛或电灯) 照射 西南交通大学硕士学位论文第7 页 的物体，而实际上我们看到的是从被照射物体上反射的光波。眼睛的晶状体 集中这种反射光，并把它折射到眼球的后面，称为视网膜。视杆和视锥是视 网膜内的神经接收器，它们把接收的光变换成神经脉冲，然后通过视觉神经 送到视觉皮质，这是大脑中的一个区域，在那旱神经脉冲被变换成我们所看 到的景物。 当我们看到物体时，同时看到了它的颜色和形状，也感受到了它的深度 和运动。因此在用计算机图形产生虚拟现实图像时，解释器要考虑这必因素。 还有大多数的人都具有立体视觉，也就是酷每一只眼睛都从不同的观察点 去观看同一个三维景物，大脑将这些稍有不同的视图组合成一个立体视图。 这种立体视觉有助于提供一个深度感受，这”点对用计算机图形产生一种有 真实感的景物是一个关键因素。 一个虚拟现实显示设备的基本任务就是将计算机生成的信号变换成呵见 光，经过聚焦后将光引向眼睛。它可以很方便地将计算机所产生的境界中的 物体替代从现实世界中餐到的物体。这种情况f ，人的眼睛并不接收来自真 实世界的反射光波，它接收的是一种出虚拟现实显示设备所产生的替代兕波 人的大脑同样对它进行解释而造成参与者可以看见的感受。 计算机屏幕是最简单的虚拟现实最示设备，常常将立体眼镜配合计算屏 幕使用提供一个立体图像。 ( 2 ) 听觉 人的耳朵是将声波转换成大脑可以解释的信号的感觉器官，根据耳朵所 接收的声音，大脑能判断它的大致距离和方向，然后将它所解释的声音变换 成一张与眼睛同时接收到的视觉图像相对应的思维图。 听觉是虚拟环境系统中最重要的接仁j 之。在虚拟现实系统中，听觉信 息即三维虚拟声音是种新的特殊媒体。这种媒体可以独立存在，但它是多 感觉虚拟环境中的个重要组成部分。在动态三维环境下，传播、模拟基r 物理定律的声音，能以更自然的方式定义许多声学参数，可以使产生的三维 音响达到以假乱真的效果。虚拟环境中的三维虚拟声音可以与视觉同时并行， 使用户从既有视觉感受又有听觉感受的虚拟环境中获得更多的信息，从而增 强沉浸感和交互性。 ( 3 ) 触觉和力反馈 在很多情况下，尽管人们能看到一个物体的形状，听到它发出的声音 但还是希望通过自己亲手触摸来感知它的质地、纹理和温度等，从而获得更 多信息。只有这样才感到较全蘧地了解了该物体。也就是说，在虚拟环境中 西南交通大学硕士学位论文第8 页 操纵和使用物体时如果具有触摸和力量感觉，就可以提高动作任务完成的效 率和准确度。触觉和力反馈在虚拟现实系统中具有熏要的作用，在虚拟环境 中，哪怕只是提供了极为有限的触觉反馈，就有了对虚拟环境中物体相匣作 用的感受，从而能够大大增强虚拟环境的沉浸感和真实感。 2 2 4 虚拟现实的硬件和软件i 1 虚拟现实系统和其它类型的计算系统一样，必须利用硬件和软件彳+ 能进 行仿真。个人计算机、工作站、超级计算机等都属于进行仿真所需的硬件， 输入和输出设备也属于虚拟现实硬件的范畴。虚拟现实场景使得参与者可以 在仿真中去操纵其环境。 诸如鼠标、掌上型操纵器和数据手套之类输入设备都是虚拟现实系统接 收参与者发出的信息所用的1 ：具，这类信息可以g l 导整个仿真过程，并操纵 在仿真境界中所存在的物体。一个称为六自由度( 6 d o f ) 的性能指针代表。 个输入设备参与仿真时的控制能力，蝗专用的六自由度输入没备可以用柬 控制与改变参与者的位最和方向有关运动。 场景软件可以生成各种虚拟现实应用，这类应用统称为虚拟场景。场景 构造包括建模和绘制对象、给这些对象指定行为、提供交互性和编程；面向 对象编程( o o p ) 对虚拟现实应用的发展起了很大的促进作用，这种类型的编 程将程序段附分成很多独立的对象，它们可以反复使用、可以很方便地在不 同的计算机间使用。面向对象的编程语言( 如c + 。) 对于产生虚拟场景是一种 很实用的工具，因为程序员可以按模块的方式编写程序，这就比标准编程技 术具有更大的灵活性。 ( 1 ) 基本的硬件配置 对应任何一个虚拟现实系统的开发者和用户，最根本的要求是硎有一套 v r 显示和观察系统，有了基本的硬件平台后再借助相应的虚拟现实或视景仿 真软件就可以开发出榜合自己需求的应用软件。目前虚拟现实研发中最经济 和最基本的硬件配置要求一般是：中、高档p c 平台及s g i 图形工作站平台， 支持i n t e l 及a l d 芯片，支持w i n d o w sn t 及w i n d o w s9 x 2 0 0 0 x p 操作系统， 能平稳运行目前以三维绘图语言为基础的开放式虚拟仿真系统以c r t 懿示 器或外接投影仪为主要展示手段，配合v r 立体眼镜能在c r t 显示设备上进行 立体显示观察。对于经费充足的单位可以考虑在自己的系统中增加一些虚拟 外设，如：数据手套、三维鼠标、操纵杆、头盔显示器、跟踪定位器等。 8 跟踪系统：以确定参与者的头、手和身躯的位置： b 触觉系统：提供力与压力的反馈； 匿南交通大举硕士学位论文第9 页 c 蠢频系统：掇馔立莽声澡鞠判定窆掏袋鼹： d 黼像生成嚣示系统：产生戳觉匿像和立体现实： e 离性能计算机系统：有搿处理速度、大存储能量、强的联网特性。 ( 2 ) 基本的软件配置 可数程v c 下矮o p e n g l 来_ 歼发，遣可翅或澎戆专泣豹惑袋霪熬瑷实蠛粳 景仿真软件柬歼发，如w o r l d t o o l k i t 、v e g a ；蟪模可用u l t i g e nc r e a t o r 。 用o p e n g i 丌发的局限性在于写起来会f 分复杂和繁琐，画图颁从最底层的点、 线、面玎始做起，工作璧特别臣犬，玎发周期长需要较强的技术力疑和较 多夔久力凌添，毽其後点在予宅楚免费静：蔼专犍敬袋髟软俘蔓乏矮笈，缡程 会显得t “分简单、方便、快捷，憾这些软件的价格均 一分昂赛。这些软件成 具有以f 的功能： a ，旺够接收嚣年申嵩性熊健感器豹信息： b 。熊产生立侮瓣显示鬻形： c 能把各种数据库、各种c a d 软件进行调用和甄联。 2 2 5 热趔的虚拟现窳系统 按照纛拟现实系绕的定义和蒸本耪鬣，联累裂具体兹硬 譬相软件转系 个夔羹酌￥r 系统可黻稍下圈寒播述。 图2 - 3 个完整的虚拟现实系统 2 3 携j l ； 搬运规棱系统孛鏖羧壤实技零的成建n 3 臻裔的耨料搬运橇壤系统，赣越重枫、装载橇、帮煤橇、叉车、控撵穰等， 其工作一般由人童接搛作来完成。由于入的操作可靠性与人的心理状态、经 西南交通大学硕士学位论文第1 0 页 验、环境等因素有关，这不仅影响工作效率，而且当在有毒、隧道、深沟等 恶劣环境下工作时，操作人员的生命安全受到很大的威胁。解决这一难题的 最好途径是提供一个能全部代替人的全自动机器入，但是由于操作现场的复 杂性，实现个全自动的机器人难度相当大。虚拟现实技术的发展为解决这 一难题提供了一个有效的途径。通过在人与机器入之间引入计算机实施虚 拟现实技术，并与远程操作技术结合起来，在远离有毒、隧道、深沟等恶劣 环境下实现物料搬运机械的作业，不仅出于现实的需要，而且出于现代虚拟 现实技术发展的可能。 基于虚拟现实的远程操作技术是虚拟现实技术在现代物料搬运机械中 应用的重要方向。根据物料搬运机械工作的特点，这技术用在物料搬运过 的原理如下图： 幽 j 矧像州抖i 型像获取 像 i 墨| 缘| 丐讲蝴缮律l -处 i 摄像机 凡和二1 乒 通理 机维场虚拟控制窀、虚 i 讯 一 、 i 寸 授景触 拟r 年f 1 虚拟主 环 柠 从操 t 操作机的生成 节 剖作机u ，数据融台器现场 图2 4搬运作业的虚拟现实系统示意图 利用一部或多部摄像机获得操作现场的图像= i _ ：作人员在远程的操作室 中+ 戴上头盔显示器和立体耳机好像在工作现场一+ 般，能看到机器的操作过 程和听到机器工作的声音回晌。操作人员可以通过各种手势、手柄、键盘等 发出指令，控制机器的移动和作业。这种方式将人真i f 考虑到参与操作的过 程中，较之现有的操作模式，既保证了人身安全，又能获得与操作现场相似 的坩操作有用的信息。从而有效地发挥操作员本身的主观能动性和判断能力， 提高 ：作效率。 2 4 小结 在对虚拟现实技术进行了总体介绍的基础上，描述了其用于物料搬运的 可行性。在对人的感官机理进行了分析的基础上，指出通过丰富的人机接口 技术，能将v r 技术赢用于物料搬运作业，增强临场感，从而将操作人员从 危险、恶劣的工作环境中解放出来。 西南交通大学硕士学位论文第1 1 页 第3 章虚拟现实环境中的人机交互和控制 研究虚拟现实环境下的物料搬运的目的是要用户在这种相对真实的环境 中去行动，去参与决策，从而可以替代真实实验获得所需要的研究结果。使 用户能以人类自然的方式与虚拟环境交互，做出可以近似自然实际的决策行 为。当然，与虚拟现实系统交互必须借助于专业的交互工具，用来将用户在 虚拟现实环境中的行为信息及时传送到核心的控制计算机：同时又必须保 证可以向用户提供反馈信息。虚拟现实技术发展到今天，人机交互的方式已 经远远超出了键盘和鼠标的传统模式，目前的虚拟现实交互e 具是根据人类 的不同行为和感官功能进行设计和开发的，主要包括三维方位传感器用柬跟 踪人体运动、数据手套用来数字化手势、视觉反馈用来发送给主体显示器、 三维声音发生器用来产生虚拟声音等。如下图： 头部动作跟踪器 图3 1人机交互的典型系统示意图 由上图可以看出，人机交互是虚拟现实的核心。在物料搬运的现实工作 环境中，作业机械及时响应人机交亘设备发出的操作指令，同时人机交互设 备将反馈信息送往主计算机，主计算机将虚拟场景信息和反馈的真实信息融 合后更新视景生成子系统，更新的结果会在头盔照示器中显示。 西南交通火学硕士学位论文第1 2 页 3 1 三维交互的概念模型“1 燎羧现实系绫中嚣要的三续交互搜寒豹野发强瓣仍然处于越步玲段，三 维交互还没商形成一个究整的概念层次结构。根据经验和育关专家的论述， 般采用下残繇示瓣三维交互撩念凄次结秘。 匿3 - 2三维交互概念层次结秘 输入层：在输入屡取不仅甑括一般的二维输入设备，还增加了一二雄输入 设备，如三维鼠标、空间球、数摆手套和眼鄢跟踪器等，这些三维输入设备 为虚拟坯境中的离缀交互提供了硬件基础。 攀件层；三维输入设备层的建立丰富了事件层的内容，耪增加的事件 寅手势、移动、篷力等。隧羞三维羧入设备糖类豹爝搬，基本誊 孛的内霉更 加丰鬻。 交互接：主要毽据三维欲传接述，霄移礁、攘淘，掇驭、释教及手势露 言等。在事件层的驱动”f 这些基本动作就形成了三维的燮互任务。 接疆瑟：三缝接墨屡楚一令需要开发大瓣专嚣l 较 孚声鑫，它毖须遮藏穰 应豹三维交互硬设备能够将用户的交互任务完备地进行表达并及时传送到 核心诗雾耩中，它实际上跫一系巅豹互娶驱动零| 擎软件鬣。一个瘫窑事寓、 全面的成熟的接口朦将大犬降低虚拟现实系统的开发费用。 馥瘸层：应焉艨就是虚豫璃实髑户在与系统交互对的研究黼豁秘任务， 包括娱乐、仿真决策、c a d 等。 3 2 典型的入祝交互设备强1 虚拟现实交曩系统是根攒人类的感官功能设计的，其涉及的技术主要 有针对视觉的三维瞬形交互技术和针辩听觉的语音输入技术等。三维交? i 技 拳使爆三缨输入输如设冬来完成交互任务。理在常见豹三维交耍设备可以分 为两类，即三维显示设备和三缎控制设备。 3 。2 。1 三缝轰忝设备 三维照示设备有头擞式显承器和立体眼镜等。头盔式显示器采用立体图 西南交通大学硕士学1 盎论文第13 擞 绘制技术来产生两幅相隔一定间距的透视图，并照接显示到对应于用户生、 言黢鹣两个显示嚣土。毅型麴头盔式显示嚣罄酲以磁定位传感器，可以测定 用户的视线方向，使场景能够随着罔户视线的改变而作出相应的变化。头盔 式最示嚣俸为赣蹬设器为我们提供了攫觉笺像，缓我们霹强遴入讨葵枧剖建 的虚拟世界并体验一种身临其境的感受。立体眼镜( 如下图) 是根据光学偏 摄琢瑾设诗静，它的左右凌冀楚嚣嚣歪交翁偏羲滤光黄，分鬣只髓容诲一个 方向的偏振光通过。监视器显示屏前安装有一块与显示屏同样尺寸的液晶立 体谲耩器，监视器显示的左右壤税图经液晶立俸调制器后形成左偏掇光和在 偏掇光，然后分别透过立体眼镜的左右镜片，实现左右限分别只能爵到凌视 器l 显示的左右视嚣的蜡的。 巨3 3立体隈镳 3 ，2 2 三维控制设备 三维控制设备主簧有：数据手囊、空闻球、躐踪球、操锨秆、数据衣、 普通键盘湘鼠标。所有三维空间控制设备的共同特征是能够控制6 个寤由度， 对应于描述三维对象的宽度、离度、深度、俯郝( p i t c h ) 角、转动( y a w ) 角和偏转( r o i l ) 角。 、 目前，键盘褥鬣舔翮宅们与计簿椒鞯行变互媳最为骛通的方法。键瘴最 弱户襄计爨援之阉重要鲢交互工具，堡它对于实时的三维图形计冀极系绞却 起不了什么作用。同样，鼠标为二维空间交互提供了出色的手段，但对于像 霪羧现实技寒中的三缝空瘸寒说是掇石方袋豹。 空间球是蒸本的虑拟现焱交互设备，用于6 个自由度的三维虚拟现实场 西南交通必举硕士学位论文第1 4 页 景酶模熬交互，可驮不阉载角度鄹方位对3 d 耪俸送行残察| 黪测览、操缀；也 可作为3 d m o u s e 来德用。可与数攒手套和立体酿镜结合使用，作为跟踪定位 装置。媾外形如下圈所示。 强3 - 4 空闽球 数瓣手套是应掰竣为广泛的靡数现实输入装置。它奄一个附加在手背上 的传感器以及附加程拇指和其它各手指上的可弯曲的柔性传感器。这种装备 可使系统在任何时刻( 该系统向手套控制器询阀它的当前数据) 计算出芋的 位萋秘方囊。善令黍墼羹传惑器龟瓣予测定舞撂帮箕它器手撵熬关节驽，鲞醴 上装备与相应的款髀越合使用时，这些鼗籀戴被用于基予手势的系统输入， 这与使阁某种形式的符号语言把命令输入计算机是一个道骥。数据手套也是 基本的壤拟现实交豆设备，作为一只寝拟的手躐控件用予三维虚拟现实场景 中瓣穰拯交互，还哥豉进鼋亍糁钵豹捱取、移韵、装配、搽缎霸控裁等。英井 形如下豳所示。 图3 - 5 数据手套 西藏交邋大学硕士学位论文第15 页 3 ，3 纛掇现实交甄系缝熬运器控潮 在交互系绞中，实验者不孬缘在传绕的决蒺仿真过煺中部襻游离予系绞 之外，而是可以实时地参与仿真系统的运行，能够随时得到现行时刻的状态， 从而可以通过由系统存储的用户历史上的决策行为，参考和修难过蠢决策的 偏藏并颈溺来采状态走势，竣邈当瓣决镶，对系绞获态避幸亍有效圭l 囊控镶， 不断获得系统静现行获悉，献褥控剡整个决繁钫囊系绞静避程，最后穗到最 优策略。这蟮的决繁过程与反馈机制有一定程艘的相似燃，如下图。 图3 ：6交互控制的过程 3 。4 小结 阐述了入辍曼壤交夏控裁慧 零框絮。奔缮了典燮豹入槐交互控制设蚕媳王 乍蹶璎，对其在方索设诗孛所担当豹煺癌黪麓逃野了潮步麴想。 嚣瀚交通大学硕士学位论文第16 员 第4 耄叉车熬运动建模秘仿真 以典型的物料搬运设备叉车作为基于v r 的远程操作仿真的远程操 作视，在裰叛的场景中，虚缀叉车鼯在一定鹣蕊锈策略下搭蕊与实际= i ：= 作过 程楣类似的操作，其运动建模楚仿真辨关键。 在研究中，以慧鱼剖意组合的移动敬物小车为澄控对象。通过研究虚狱 状况f 的运动控制模型，获得操作的经验，达到虚拟场景控制与实际情况一 致，从而验证控制的实盱性和真实性。 4 。l 慧鱼模型甓介 “慧鱼教具及创意组合模型”，又称为“工程椒术”，“智能魔方”，简称 “慧鱼”。“蘩鱼”有套耱型号鞠娌穆瓣零转近于季申，一般工程孛几缀铡遗所需 要的零部件如连杆、齿轮、马达、涡轮，以及汽缸、压缩机、发动机、离合 纂，甚至热( 竞、触、磁) 壤传感爨、僖号转换开关、计算搬接口等等，在“慧 鱼”中都可以找到。利用慧鱼配套的各种零件、如齿轮、圆盘、立柱、蜗轮、 媾抒、散鼙宠枫、 亍程开关良及各释羧据搏、紧器件等竣浚诗瑟袭爵缀装残 叉车的模型。这些零件大都是l = l j 工程鞭料制成，有相当的强度与硬度，而且 蕊工尺寸标准、糟度镬赢，因黼踅装越来琵台耩誉、模型牢蕊稳定翱。 4 ，2 叉车的结构及机器人化的简化 莉用慧鱼模蘩，创建的叉车结梅如下圈衙示。 图4 。l 叉距模型 主要装置骞：工侔装置帮幸亍走装鼙。工作装爨毽摇靛叉、顿摆甓及撩应 的驱动电机；行走装置憩括左右轮、后轮及相应的驱动电机。利用p r o e 对叉 车逡行蓠能建模襻掰下潮。 西南交通太学硕士学俄论文第1 7 员 强籼2 剽羽p r o e 建立的叉车模型 小车带两个驱动前轮。每个驱动轮都有一个獭立的马达( m i 和m 2 ) ， i i 裁是说它魅独立于雯一个马达淘嚣或岛爱转动。这意嚷着小车不援能魄翦或 向屠运动，它还能以任崽曲率转弯，甚至在一个点上转圈。这取决于是如何 茬裁骂这秘。小霉蘩嚣装静取耪叉，它可通过马达m 3 上下移动。这样它就 可以叉超个物体并把它放到别的地方。叉车的倾摆臂上安装马达m 4 让其 蘸籁或磊 牵，使葵在工佟过程中取秘方倭耘糗蕤。 叉车的运动主要有如下动作： 表4 1 叉车静运动状态 叉车在工作时，行走装鬣将工作装置带到合适的位鬣，前叉放下，倾摆 西南交通大攀硕士学位论文第18 页 霪瓣颓一定燕瘦，叉藤终彀耪，籁摆罄爱秘一定角度，德取物疆藉叉b 完 成一次工况。为便于分辑，将叉擎结构蔺纯为魏f 的模受。 4 。3 叉车的运动仿真 献上闰可鞋看鑫，颓摆甓o l 绕o 点攒动；取物薅叉k 潦蠢轮鑫条带动， 沿倾摆臀作上下移动。 为分析l j f 叉的运动方便起见，构造了三个坐标系，一个是过o 点的龄参 考坐搽系0 0 ( x 0 ，y 0 , z 0 ) ，它与叉擎潮定在一起；个是动参考坐标系o l l x 。 y l ，z 1 1 ，它与顿撰臂的旋转中心蘸台：一个蓬动参考警标系0 2 ( x 2 ，y 2 z 2 ) ， 它固定予| ； 叉并与动参考坐标系o l 的一个坐标轴重台，如下闰： 、 ，7 z o 2 妥4 4 叉车瓣塑棘系 4 3 1 廉拟场景与真震墒蓉的转按 本系统须解决的弱一个关键阀题是虚拟场景的动作合理性，在真实l 醚界 墨，夫稍鬻常要擞鹣动终霹楚诧必平移与转动鹃会残，夏在不嗣豹坐标累“f ， 刚数馕不黼，合成运动方式也不麓嘲。 西南交遇大学硕士学位论文第1 9 页 裂4 * 5镑体褒糙器鲣椽糕鞠凌坐瓠系中鹣位餮 在纛羧环境申，每拿构成璐豢的物体楚在鸯己鹩动肇豁系o mr = l 避 j ：活 动，磷实骏鹰帮魁夜纛缀环境的燧赛嫩扔i 系o w 中。圆藏鲞实验喾活溯和交 至鹃时候，蛤出黝薅患怒罄予擞器坐蜷系系线o w 的，它的移动参照予世界 坐标轴( x w , y w z w ) 系统。鼠j ：漪可懿看岛，物体在不翮钓辍栎祭下抟嫩梅方 式笱运动羹舆有寇的麓异，为了实璐嚣者的交匿，把壤敞两最中的物体的 运动看俸3 3 鹩斑阵t a f 穰a 2 a 3 1 ii i r a = l 球| 群5 疗6 l( 4 一1 ) 嚣7 露8a 9 l oo 淹了把这个矩阵转换到实骚簧懿颧界受梅系统o w ，以移动矩阵t m ；每t a 稻黎。 m lm 2 t m lm 4m 5 l m 7m 8 这撑就把虚拟场蒺黥物傣爨搽耱羧为谶辨燮貅系统o w ，实验翥舄穆侮坐 标达成一致，德睦l 予对携体避行了平移与旋转，其在 | 妻器坐标系的使爱则发 生了变化，为了撼物体的位黉後笈藤位，激兔媛环葵在场豢中秘健溪翁台理 性，薅对秘体进行次艇薄攥俸，把上面褥弱的缒阵写 缮缀簿r 稻藜，强 同样为3 3 的艇阵， c l c 2 c 3 1 怒= c 4 c 5 c 6 | 4 - 3 ) ll l c 7 踌c 9 2 睁 ，；，；，； 瓣晒椭 西粥交通太举硕士学使论文第2 0 磺