（检测技术与自动化装置专业论文）组态软件三维虚拟场景快速构建技术的研究.pdf

摘要 随着科技的发展和工业化进程的加快，监控组态软件已经成为现代计算机控 制系统的核心。针对传统组态软件人机交互性差、工艺流程画面表现力弱、动画 呆板等诸多不足，课题组在研究如何把虚拟现实技术更加有效地应用到工业监控 组态界面方面做了大量的工作，研究开发了虚拟监控场景组态运行原型系统，力 图建立更加高效、人性化、交互性强的组态监控界面。 但在基于该原型系统进行监控场景的组态过程中，由于三维组态界面比二维 界面多了z 向的景深空间，导致设备模型的位姿调整和场景构建的难度增大，耗 时增长，人机交互的效率不高，急需在场景构建的快速性方面进行研究和改进。 为此，本文在分析虚拟场景快速构建技术及其研究现状的基础上，以虚拟监 控场景组态运行原型系统为研究平台，根据其运行机制，结合场景建模技术、三 维拾取技术、人机交互技术、计算机图形学、虚拟现实技术等领域的研究成果， 从组态功能的完善和新交互技术的应用两方面着手，以提高原型系统组态平台中 虚拟监控场景构建的快速性为目标，着重就工业现场构建中耗时突出的三维管道 连接组态问题，以及新交互方式和技术的探索应用方面进行研究和探讨。研究主 要集中在以下两方面： ( 1 ) 重点解决了在三维管道连接组态过程中，待连接设备模型的优化和导 入、管道起止端口的拾取与定位、管道路径生成方式和生成策略的设计、管道三 维实体的显示生成、管道类型的选取确定、及管道路径的生成与切换显示等问题， 有效降低了监控场景构建的难度，实现了三维管道的快速连接组态。 ( 2 ) 根据双手三维交互的认知特性和行为学特点，通过选取适当的交互设 备组合，设计并分配了符合原型系统特点的交互任务。最终通过评估实验，分析 验证了该交互方式可以减轻用户的操作记忆负荷，从而使交互过程更加自然，有 效提高了虚拟监控场景构建的快速性。 本论文所进行的研究工作既是虚拟现实技术在工业监控领域的应用扩展和 功能完善，同时也为未来组态软件及相关三维设计、造型软件在场景快速构建方 面的研究和发展作出了有益的探索。 关键词：虚拟现实；组态软件；场景快速构建；三维管道；双手交互 a b s tr a c t w i t ht h e r a p i dd e v e l o p m e n to ft e c h n o l o g ya n di n d u s t r y , t h em o n i t o r i n g c o n f i g u r a t i o ns o f t w a r eh a sb e c o m et h ec o r eo ft h em o d e mc o m p u t e rc o n t r o ls y s t e m t h et r a d i t i o n a lc o n f i g u r a t i o ns o f t w a r eh a ss o m ed e f i c i e n c i e s ，s u c ha st h e 、e a l 【 p e r f o r m a n c eo ft h eh u m a n - c o m p u t e ri n t e r a c t i o n ，t h eu n m e a n i n gf l o ws h e e t sa n ds oo n s ot h er e s e a r c hg r o u ph a dd o n eal o to fw o r kt od e v e l o pa n dd e s i g na p r o t o t y p e s y s t e mo fc o n f i g u r a t i o ns o f t w a r eb a s e do nv i r t u a lr e a l i t y , a i m i n ga t m a k i n gt h e h u m a n 。c o m p u t e rm o n i t o r i n gi n t e r f a c em o r ee f f i c i e n t ，h u m a n o r i e n t e da n d p o w e r f u l w h e nc o n f i g u r i n gt h em o n i t o r i n gs c e n e sb yt h ep r o t o t y p es y s t e m ，t h e r ei saz a x i sd e p t ho ff i e l ds p a c ei nt h r e e d i m e n s i o n a lc o n f i g u r a t i o ni n t e r f a c e ，w h i c hc a u s e l o n gt i m ec o n s u m p t i o no fp o s i t i o na n dp o s ea d j u s t m e n t ，a n dt h ei n e f f i c i e n t h u m a n 。c o m p u t e ri n t e r a c t i o n s oi t sa nu r g e n tn e e dt or e s e a r c ho nf a s tc o n s t r u c t i o n m e t h o d sf o ri n d u s t r i a l3 - d m o n i t o r i n gs c e n e so ft h ep r o t o t y p es y s t e m f o ra b o v er e a s o n s ，t h ep a p e rs t u d i e st h er e s e a r c hs t a t u sa n dr e s u l t so ff a s t c o n s t r u c t i o nm e t h o d so f3 - ds c e n e s ，s c e n e m o d e l i n gt e c h n o l o g y , 3 - dp i c k u p t e c h n o l o g y , h u m a n c o m p u t e ri n t e r a c t i o nt e c h n o l o g y , c o m p u t e rg r a p h i c s ，v i r t u a l r e a l i t yt e c h n o l o g ya n ds oo n t h e n ，b a s e do nt h ep r o t o t y p es y s t e mo fc o n f i g u r a t i o n s o f t w a r ea n dt h eo p e r a t i n gm e c h a n i s mo f i t ，a n da i m i n ga ti m p r o v i n gt h ee f f i c i e n c yo f c o n s t r u c t i o no fi n d u s t r i a l3 - d m o n i t o r i n gs c e n e s ，t h ep a p e rd o s er e s e a r c hw h i c hf o c u s o nt i m e c o n s u m i n g3 - d p i p e l i n ec o n f i g u r a t i o na n dn e wi n t e r a c t i o nt e c h n o l o g y ( 1 ) t h ep a p e rp r o p o s e ss o m em e t h o d st os o l v et h ek e yp r o b l e m so fo p t i m i z i n g t h ee q u i p m e n tm o d e l sw h i c hi sc o n n e c t e dw i t ht h e p i p e l i n e ，o b t a i n i n gt h ep o s i t i o n so f t h ep i p e l i n e ss t a r ta n de n dp o i n t s e x a c t l y , d e s i g n i n gt h eg e n e r a t i o nm o d e sa n d s t r a t e g i e so f3 - dp i p e l i n e ，g e n e r a t i n gp i p e l i n e se n t i t i e s ，d i s t i n g u i s h i n gd i f f e r e n tt y p e s o fp i p e l i n e ，m a k i n gt h ed i f f e r e n tp i p e l i n e p a t hs w i t c hd i s p l a ya n ds oo n t h e s e r e s e a r c h e sr e d u c et h ec o m p l e x i t yo fo p e r a t i o n se f f e c t i v e l y , a n dm a k ei t p o s s i b l et o s a v et i m ea n di m p r o v ee f f i c i e n c yi n3 - d p i p e l i n ec o n f i g u r a t i o n ( 2 ) t h ep a p e rp r e s e n t st h ec o g n i t i v ea n db e h a v i o r a lc h a r a c t e r i s t i c so fb i m a l l u a l i n t e r a c t i o n b yc h o o s i n gt h ea p p r o p r i a t ei n t e r a c t i o nd e v i c e sb a s e do nt h ep r o t o t y p e s y s t e m ，t h ei n t e r a c t i v et a s k sa r ed e s i g n e da n d d i s t r i b u t e d u l t i m a t e l y , b ya s s e s s i n gt h e e x p e r i m e n t a l ，t h ep a p e rv e r i f i e st h eb i m a n u a li n t e r a c t i o nc a nr e d u c et h eu s e r s m e m o r yl o a de f f e c t i v e l ya n dl e tt h ei n t e r a c t i o np r o c e s sm o r en a t u r a l ，w h i c hm a k et h e c o n s t r u c t i o no fi n d u s t r y3 一dm o n i t o rs c e n em o r ee f f i c i e n t t h es t u d yp r e s e n t si nt h i sd i s s e r t a t i o ni sa l la p p l i c a t i o no fv i r t u a lr e a l i t yi nt h e i n d u s t r i a lm o n i t o r i n gf i e l d ，a sw e l la sag o o de x p l o r a t i o no ft h ef a s tc o n s t r u c t i o n i l a b s t r a c t 曼量曼曼曼曼曼曼! 曼曼曼曼曼量曼曼量鼍曼曼曼曼曼曼曼曼曼皇! 曼曼笪曼曼曼曼曼曼曼曼曼曼曼曼曼曼皇曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼璺 m e t h o d sf o rt h ec o n f i g u r a t i o ns o f t w a r e ，3 一dd e s i g ns o t l w a r e ，a n d3 - dm o d e l i n g s o f t w a r e k e y w o r d s ：v i r t u a lr e a l i t y ；c o n f i g u r a t i o ns o f t w a r e ；f a s tc o n s t r u c t i o nm e t h o d ；3 一d p i p e l i n e ；b i m a n u a li n t e r a c t i o n l l i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：兰盛日期：兰! ! l5 ：兰 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 塑盘 导师签名： z o o 呷玉 第1 章绪论 1 1 引言 第1 章绪论 随着科技的发展和工业化进程的加快，工业检测和控制系统突破了早期封闭 和专用设备的局限，向以计算机控制技术为主导的集散控制系统( d i s t r i b u t e d c o n t r o ls y s t e m ，简称d c s ) 转变。而工业监控组态软件也随之被越来越多的生 产过程自动化技术人员所熟知。其人机交互界面作为工控系统中直接面向用户的 组成部分，承载了系统组态、信息监控、设备遥控等重要功能，因此如何建立友 好、直观、高效的组态监控界面，就成为监控组态软件研发人员的研究热点【l j 。 最近几十年来，知识工程和生物工程领域涌现出大量的新概念、理论、技术 和方法，伴随计算机软硬件技术的迅猛发展，多媒体、图形图像处理与生成、数 据库及信息合成等相关技术也日趋成熟，这些技术的发展带动了虚拟现实技术 ( v i r t u a lr e a l i t y 简称v r ) 的进步，也推动了其在众多研究和应用领域形成交 叉和辐射。目前，虚拟现实的研究也逐渐渗透到工业控制领域，其富有成效的应 用效益及广阔的发展前景为工业监控组态软件的开发提供了新思路，成为人机监 控界面新的发展方向。 1 2 课题研究背景及意义 目前，大多数组态软件所能够提供的监控界面基本都采用二维图形界面，所 有设备子图以平面方式排布于监控窗口之上，画面表现力弱，工艺流程仿真也只 是对现场设备工艺流程的示意，特别是对于设备较多、流程复杂的工艺仿真则需 要把不同的设备分割到不同的监控窗口进行表示，这样势必会造成工艺流程的间 断。同时监控过程中，监控人员需要在不同窗口之间进行切换，从而大大降低监 控效率。而对于不熟悉现场的监控人员，由于画面的抽象性，更是难以通过监控 界面了解现场设备的布局以及工艺流程。在人机交互方面，监控人员依然处于被 动的信息接收状态，且长时间面对二维图形简单呆板的监控界面很容易产生视觉 疲劳，因此在无法达到真正意义上人机交互的同时，还存在着引发生产安全问题 的隐患。 为此，考虑将虚拟现实技术应用于工业监控领域当中，以形象直观和拟人化 交互优势，为用户提供更为友好、直观、人性化的三维场景式交互监控界面，从 而解决工厂人员不能根据本厂情况进行自我开发虚拟监控系统，和操作复杂、入 机交互性差、工艺流程画面表现力弱等问题。 然而目前虚拟现实技术在工业监控领域的研究虽然取得了一定进展，却仍然 存在着诸多问题，主要表现在以下两个方面： ( 1 ) 在场景构建方面，许多研究示例都只是针对某个特定的场合设计了相 应的虚拟监控三维场景，系统缺乏通用性和扩展性，虽然在一定程度上实现了虚 拟现实技术与监控技术的结合，但如果监控现场发生变化通常需要重新设计，并 进行相应的编码等工作，场景组态的效率不高，用户需要采用编程的方式进行虚 拟场景的构建，组态效率等； ( 2 ) 在人机交互方面，示例中用户需要控制各种专用交互设备，虽然这些 设备可以帮助用户完成各种交互动作，如移动物体、改变系统参数等，但一种设 备往往是为某种系统而设计的，同样缺乏通用性。同时这些系统多定位沉浸式， 对运行环境、用户操作和交互设备的要求太高，从而限制了这些系统在工业监控 领域的应用和普及。 针对上述问题，课题组根据现代工业自动化领域的发展趋势，着眼于工业组 态软件未来的发展需要，在研究如何把虚拟现实技术更加有效地应用到工业监控 组态界面方面做了大量的工作，致力于开发一种基于虚拟现实技术的真三维通用 工控组态软件【2 j ，使用户不需要了解相关的三维图形学知识或进行大量编码，就 可以以组态方式灵活快捷地构建所需的各种虚拟监控场景，实现工艺仿真，并能 够借助虚拟现实技术提供的强大交互功能，应用常见交互设备实现与虚拟场景的 自然交互。 目前已经重点解决了虚拟设备的面向对象建模方法，研究了在监控过程中的 虚拟漫游、漫游过程中的碰撞检测技术，并基于上述理论成果结合虚拟现实软件 引擎和m f c ( m i c r o s o f tf o u n d a t i o nc l a s s ，m s - v i s u a lc + + 的基本类库) 设计 开发了虚拟监控场景组态运行原型系统。 在基于该原型系统进行监控场景的组态过程中，由于三维组态界面比二维界 面多了z 向的景深空间，导致设备三维模型的位姿调整和场景构建的难度增大， 耗时增长，人机交互的效率不高，从而影响了基于虚拟现实技术的组态软件没有 得到广泛应用。因此，急需在场景构建的快速性方面进行研究和改进。 本文基于课题组前期开发的虚拟监控场景组态运行原型系统，主要从组态功 能的完善和交互技术的应用两方面着手，以提高原型系统组态平台中虚拟监控场 景构建的快速性为目标，着重就工业现场构建中耗时突出的三维管道连接组态问 题，以及新交互方式和技术的探索应用方面进行研究和探讨，结合虚拟现实技术 和组态监控软件在人机监控场景构建方面各自的特点和优势，力争使原型系统中 虚拟监控场景的组态交互过程更加自然、智能、高效。本论文所进行的研究工作 既是虚拟现实技术在工业监控领域的应用扩展和功能完善，同时也为未来组态软 件的研究和发展作出了有益的探索。 13 国内外相关技术研究现状 131 监控组态软件及虚拟现实技术的发展与应用 ( 1 ) 监控组态软件的发展 监控组态软件是面向监控与数据采集的业软件开拉平台它无需用户编程 就可以生成町视化的监控界面，使用简单方便，容易掌握。组态完成的人机监控 界血投入运行后，最终面向监控层人员，实现监控层与现场数据信息的沟通。 最甲丌发的监控组态软件基于d o s 环境，其特点足基本功能简单、人机交互 方式单而且不便，不能自然高效地提供服务。随着w i n d o w s 图形用户界面的发 展，基于w i n d o w s 图形开发环境下的组态软件成为主流，国内外也出现r 很多优 秀的监控组态软件，如w o n d e r w a r e 公司的i n t o u c h 、s i e m e n s 公刊的w i n c c 、 r o c k w e l l 公吾】的r s v l e w 、力控的p c a u t o 以及亚控科技的组卷王k 1n gv i e w 等， 虽然较之d o s 环境下的组态软件在界面友好度和交互操作性上都有了很大的提 高，然而仍然存在着如监控界而采用二维图形模式、画面表现力较弱，监控曲面 仅仅是静卷仿真、用户只能从单桃角观察等不足。 目前，人机交互界i 酊正在朝着三维化、町视化以及自然化方向发展，这无疑 为解决上述问题提供r 很好的思路。然而目前许多伪二维或仿二维组态软件( 如 图1 1 所示) 其计算机屏幕显示本质上仍然是二维监控界而仅仅是通过二维 图像技术住人的视觉感官上提供一种类三维空间感，而不是真正意义t 的三维。 w i n d o w sv l s b n 氘饨 g l t 岳f m 耕城水似州哳扑” 罔11 仿三维交互界面 f i gi o lt h ei m i t a t e d3 di n t e r f a c e 在进行真三维人机交互界面研究的过程中，人们对虚拟现实技术在工业监控 领域的应用进行了大耸有益的探索，希望能够构建一种自然、友好、高效的二维 监控界面，从而把虚拟现实技术的优点有效的应用到t 业监控系统l | 。 ( 2 ) 虚拟现实技术住工业! 监控领域的研究现状 虚拟现实( v i r t u a lr e a l 儿y 简称v r ) 技术”惺一种高端的人机接口，它综 合了计算机图形学、图像处理与模式识别、人工智能、网络技术等多门技术，通 过为用户提供视觉、听觉、触觉等多种直观而自然的实时感知交互的方法与手段， 最大程度地方便用户操作，减轻用户负担、提高系统的工作效率。 任何一个虚拟现实系统都具有三个基本特征：沉浸性( i m m e r s i o n ) 交互性 ( i n t e r a c t i v i t y ) 和想象性( i m a g i n a t i o n ) ，这三大基本特征体现了虚拟现实 技术作为新一代人机交互界面的优点，从根本上改变了人与计算机的交互方式， 从而为用户提供一种以人为主导，更加自然和谐的人机界面环境。虚拟现实的研 究也逐渐渗透到工业控制领域，其富有成效的应用效益及广阔的发展前景，为工 业监控组态软件的开发提供了新思路，成为人机监控界面新的发展方向。其优越 性主要体现在以下几个方面： 界面从原有的二维图形扩展为三维空间，从而避免了由于受到屏幕大小 的影响，而产生的窗口效应问题，使屏幕信息量得到极大提高。 充分的利用了现实世界中对象的各种特征，通过对现实世界中对象的真 实再现，使用户感觉如同与真实世界中对象交流一样。 更加自然的交互方式，使用户充分利用自身感知来体验并获得相关信息， 从而在交互方式上更加接近于人的习惯。 目前，虚拟现实技术在工业监控领域的研究工作主要集中在工业现场的三维 可视化仿真。通过对现场设备进行建模以及流程仿真，构建相应的虚拟监控场景， 来实现对现场设备的监控。鲁强、孔英会等人研究开发了基于w e b 的变电站虚拟 监控系统【4 j ，该系统利用网络三维建模语言v r m l 为变电站构建特定的三维监控 场景，用户通过网络就实现对变电站的虚拟监控，但该系统只局限于网络环境。 陈善林等人研究了基于v r m l 的虚拟监控系引5 1 ，利用v r m l 和j a v a 作为开发工 具设计了一个直观的虚拟监控场景，实现了对工控现场的监控功能。类似的还有 基于虚拟现实技术的供热生产过程可视化监控系统研究【6 1 、水煤气生产虚拟现实 监控系统的开发与设计【7 】等。 1 3 2 虚拟场景快速构建的相关技术及研究现状 对于虚拟场景快速构建技术，目前还没有明确的定义，通常意义上是指能够 通过该类技术提高虚拟监控现场( 或虚拟工厂) 构建的快速性。目前，相关的技 术和方法主要涉及以下三类： ( 1 ) 三维模型重建技术 三维模型重建技术是计算机视觉领域最热门的研究方向之一，它是研究如何 通过物体的二维影像获取其在空间中的三维信息，从而建立物体的三维模型。通 过该技术可以有效减少模型贴图的手工操作时间，降低建立模型的工作量。目前， 对该技术的研究已经在医学、建筑、交通、农业、文物保护等领域广泛展开4 1 ， 第1 章绪论 并成为提高三维虚拟场景构建速度的一个新的研究思路。 利用计算机构造物体三维模型的方法主要有三种：利用三维扫描仪等硬件获 得精确的三维模型，基于几何造型的方法，和基于图像建模的方法。基于图像序 列的三维建模技术是计算机视觉和计算机图形学技术相结合而产生的一种新技 术，它用物体的图像恢复物体的三维模型，是相机拍摄照片的逆过程。其优点是 建模简单、更新速度快、方便、实时、费用低。 对于不同成像模型下的二维图像，进行三维重建的方法显然是不一样的。如： c t 和m r i 是利用间隔切片扫描，形成序列且成比例的若干二维图像，将这些序 列图像按比例放大，再按原间隔距离组合起来，就能实现三维空间的重建；机械 制造业中的激光扫描测绘也是利用与上述相同的重建方式；雷达图像本身就提供 了各坐标点深度信息，所以也能方便的实现重建的目的；单张针孔模型下的二维 图像几乎失去了所有的深度信息，而且也没有比例可言，这是各种模型成像中较 难实现三维重建的一种。对于三维模型重建技术的研究，内容主要涉及图像获取、 图像特征点提取、图像匹配、摄像机标定和三维表面重建等。 ( 2 ) 快速装配技术 快速装配技术是指根据设计要求，运用面向具体产品的专用设计工具和设计 知识，快速制定可用于装配的方案并迅速付诸实施，涉及的主要内容包括装配序 列构造、装配可行性分析和装配实现等。其应用主要是针对产品的模型部件进行 快速装配，与虚拟监控组态软件中工控场景的构建十分相似，因此对它的研究为 实现三维虚拟场景的快速组态具有很好的借鉴意义。 目前，国内外学者对于快速装配技术的研究主要应用于虚拟装配、虚拟生产 过程中，对提高虚拟部件模型的装配效率产生了积极的影响，研究的重点主要集 中在以下两方面：利用装配导航技术【b 】，使得几何元素更容易被拾取；通过 装配约束识别技术，由程序自动识别装配约束关系，实现智能装配。f a 等提出 基于直接三维操作和约束的实体三维造型方法【l 引，通过约束识别与允许运动推理 来实现操作定位；美国h e r i o t w a t t 大学的r i c h a r dgd e w a r 等提出用近似捕捉 ( p r o x i m i t ys n a p p i n g ) 和碰撞捕捉( c o l l i s i o ns n a p p i n g ) 方法【r 7 】来解决虚拟环境 中部件的精确定位；庄晓等人提出虚拟环境中基于约束识别【1 8 】的“堆积木 式快 速产品装配建模；种永民提出了采用基于约束的装配操作【1 9 】( 包括放置、特征配 合、对齐与插入等操作) 进行虚拟装配造型，有效地简化了装配过程。 ( 3 ) 新的交互技术和设备 随着虚拟现实、科学计算可视化及多媒体技术的飞速发展，新的人机交互技 术不断出现，更加自然的交互方式正逐渐被人们所重视，新的交互设备已在不断 开发和研制。新的交互方式的主要特征有：以用户为中心。人不再作为被动的 操作者，而是主动的参与者，设备将对人的各种动作做出反应，理解人们的要求； 非精确。精确交互技术是指能用一种技术来完全说明用户交互目的的交互方 式，而人们的动作或思想往往是模糊的。计算机应该理解人的要求，甚至纠正人 的错误，从而使交互智能化。多通道、高带宽。在计算机操作时，人的眼和手 负担过重，效率不高，易疲劳。采用多通道可以利用一个以上的感觉和运动通道 的互补特性来捕捉用户的意向，从而增加自然性和输入带宽，实现高效人机通信。 欧洲正在进行的m i a m i ( m u l t i m o d a li n t e g r a t i o nf o ra d v a n c e dm u l t i m e d i a i n t e r f a c e s ) 项目，主要涉及多媒体和高级多通道人机交互领域，通过听视觉和手 势来访问、表示和产生多媒体信息，实现多通道交互。在c o u t a z 和n i g a y 设计 的系统m a t i s ( m u l t i m o d a la i r l i n et r a v e li n f o r m a t i o ns y s t e m ) 中，用户可以利用 键盘、鼠标、话筒或者它们的组合方式查询航班信息，沉浸式的头盔显示器已经 开始使用，新的立体显示设备和各种形式的输入技术也正在研制和研究中。华盛 顿州立大学与美国国家标准技术研究所n i s t 合作开发了一个沉浸式的虚拟装配 系统v a d e ( v i r t u a la s s e m b l yd e s i g ne n v i r o n m e n t ) ，该系统利用虚拟现实工具建立 有价值的设计信息，通过双手装配方式更加灵活地操作执行虚拟装配任务。 上述技术对于虚拟场景的快速构建有很好的借鉴意义，对基于虚拟现实技术 开发的组态软件存在一定的适用性。因此，课题组为提高虚拟场景构建的快速性 所作的前期工作包括： ( 1 ) 为解决虚拟工控场景的快速建模问题，提出了采用基于双目立体视觉 理论的三维模型重建技术，开发出一套操作简单、使用方便的三维重建系统【2 】。 并对三维重建中特征点的提取、图像立体匹配和摄像机标定，提出新算法，解决 工控虚拟场景中三维模型的重建问题。但该方法只适用于对简单设备模型的重 建，对于复杂的工控现场整体建模还存在着一定的缺陷，因此没有从根本上解决 快速组态虚拟工控场景的问题。 ( 2 ) 为了提高虚拟工控场景的组态效率，运用快速装配技术的思想，在以 模块化为基础的工控组态软件虚拟监控场景构建中，引入约束算法【2 0 1 ，通过装配 约束识别技术和特征装配技术，由程序自动识别组态约束关系，从而缩短了三维 虚拟场景的组态时间，提高了组态效率。但该方法只有在一定的约束区域内才能 发挥作用，因此在对设备模块的组态操作中，并没有节省对其位姿进行不断的调 整的时间浪费，因此在提高场景构建的快速性方面，效果并不理想。 因此本文综合场景建模技术、三维拾取技术、人机交互技术，运用计算机图 形学等相关原理，就工控现场构建中耗时问题突出，具有普遍意义和代表性的三 维管道连接组态问题展开研究，并通过对新的三维交互方式和设备的探索与应 用，力争使原型系统中虚拟监控场景的组态方式更加自然，交互过程更加智能， 场景构建更加高效。 第l 章绪论 1 3 3 三维管道组态技术的研究 管道在工业现场中纵横交错、分布复杂。在传统二维平面上，上下起伏的空 间管道与视点垂直的一段只能以一个点与相应的文字说明来表示，没有任何直观 的视觉效果，这显然在描述管道空间位置关系上存在着缺陷。伴随三维可视化人 机交互界面的发展，逐步实现了管道的虚拟现实表达，从而有效解决了上述弊端， 使纵横交错的三维管道得以直观明了的进行显示，并充分体现管道的空间特征， 便于用户感知掌握其空间位置 2 1 , 2 2 l 。 在应用虚拟现实技术为管道的显示提供真实、可视的三维环境的同时，由于 三维组态界面在比二维界面增加了z 向的景深空间，导致三维管道的位姿调整和 场景构建的难度增大，耗时增长，人机交互的效率不高，存在着管道实体生成、 管道问及管道与起止端口位置的准确对接、管道类型的确定等问题。 一些运用虚拟现实技术开发的监控软件解决空间管道连接问题的方法通常 是使用三维建模软件或三维设计软件( 如：3 d s m a x 、a u t op l a n t 、s o li dw o r k s 、 s o l i de d g e 、m i c r os t a t i o n 、p d s o f t 、v a t i a 、p r o e n g i n e e r 等) 生成全部管 线和设备模型并进行连接。在虚拟场景搭建完成后，整体调入监控运行界面，即 组态功能是借用其它软件实现的【2 3 - 2 5 1 。 而就三维虚拟化监控场景而言，它既是组态人员的设计产物，同时也是监控 运行的人机界面。若借用其它软件实现其组态功能，则在场景变化要进行修改时， 需要调用相关的软件平台进行相应的编码和改动，而研究开发的新型组态软件则 要求在具备良好兼容性的同时，也要保证原型系统中组态和运行平台的一致性。 并且，上述三维建模或设计软件所提供的管道实体造型及装配功能，需要进行多 次对话框操作来设置复杂的参数，并进行费时费力的位姿调整。这不仅不能够实 现空间管道的快速连接组态，还要求组态人员不仅需要了解现场工艺、设备环境， 而且需要掌握较熟练的三维建模和设计软件的操作技能，同时具有良好的虚拟现 实技术基础，这对于普通的自动化工程师来说通常较为困难。 为解决空间管道在三维场景中的装配定位和实体生成问题，大量专家学者进 行了相关技术的研究工作。杨红，杨巍巍等人基于v r m l 构建了一个虚拟炼油厂 场景，并以此为例展开对虚拟工厂场景构建的相关技术研究【2 6 】，重点针对三维管 道的铺设问题，提出了一种管头定位法，即以管头球体的球心为管道铺设时的定 位点的方法，从而有助于提高管道铺设的快速性，但其在管道实体生成方面还存 在缺陷。h uz h u o w e i ，g o n gh u i l i 等人利用o p e n g l ，在坐标变换的基础上，采 用剪切变换技术，设计了不同情况下采用直线、不光滑管线弯角、光滑管线弯角 的显示方式【2 7 1 ，解决了管道的三维实体生成问题。但在管线弯角和交会处二次曲 面平滑增加的运算量却影响了管道三维实体的显示速度。肖平阳，毛听等人基于 s o l i de d g e 根据求空间曲面交线的原理，将管道抽象为两圆锥曲面的交线，定 位其端点坐标，再经过坐标转换进行建模【2 8 】。该方法在提高管道设计效率的同时， 对于基于草图平面进行实体建模的三维实体软件具有普遍意义。 1 3 4 三维交互技术的发展 三维人机交互技术是为了克服传统交互的二维的限制而发展起来的，其目的 是在人机之间构造一种更加自然直观的三维交互方式，提高交互效率，因此，也 成为对虚拟场景实现快速构建的研究重点之一。 三维交互技术是使用交互设备来执行特定交互任务的一种方式。传统w i m p ( w i n d o w s 图形界面所采用的界面典范) 图形交互技术采用的交互设备，如鼠标、 触摸屏等只有两个自由度( 沿平面x 、y 轴平移) ，而三维交互技术则采用六自 由度( 沿x 、y 、z 轴平移和绕x 、y 、z 轴旋转) 交互设备，自由度的增加使交互 的复杂性大大提高。对于该技术的研究主要针对人机交互过程中的一些具有共性 的、可以应用到不同的环境下的交互技术，从而为人机交互增加新的，高带宽的 交流方式。目前的研究总体上可以分为以下几类【2 9 】： l 、基本任务的交互技术：基本任务指的是对象操纵技术、漫游技术、系统 控制任务。对象操纵技术是三维用户界面的基础，它通常是交互技术的基本组件， 例如对三维物体的选择等；在基于离散点的漫游技术中，也需要连续地选择多个 点组成相机运动轨迹；系统控制主要用于完成改变系统参数、操作模式等。 2 、混合交互技术：混合交互技术是相对于基本交互技术而言的，一般由基 本交互技术组合而成，是设计交互技术的主要方法。 3 、基于二维设备的交互技术：基于二维设备的三维交互技术来源于c a d 领 域，目前主流的c a d 软件都提供了鼠标直接进行三维变换、选取和变换视点的功 能，而指点选择是二维设备最适合的交互技术。由于笔有可以自由勾画的优点， 笔式三维交互也是典型的此类交互技术，被广泛用于手势交互和草图建模。 4 、三维w i d g e t s ：三维w i d g e t s 是从二维图形界面中引申过来的一个概念， 类似于w i m p 下的按钮( b u t t o n ) 和图标( i c o n ) ，主要目的是为了辅助用户使用 低自由度设备完成复杂交互任务，经常用于实体的数据访问，如缩放、旋转、拉 伸等。由于一个w i d g e t s 的自由度有限，因此也被称为受约束的操纵技术。过多 地使用w i d g e t s 会占据屏幕空间，同时要求用户记忆每个w i d g e t s 的映射关系， 因此它常用在桌面环境下的三维交互中。 5 、多通道交互技术：由于人本身具有多通道感知的特点，而虚拟环境的出 发点就是给用户提供逼真的感官体验，因此虚拟环境是研究多通道交互技术的理 想环境。手势、姿态、语音甚至表情都可以作为输入通道，力觉、触觉、嗅觉、 听觉甚至味觉和嗅觉也可以作为输出通道。多通道交互技术研究的关键问题是通 第1 章绪论 道融合和用户意图的提取。 6 、双手三维交互技术：双手操作是人们在现实中的自然行为，人的大部分 活动都是由双手配合完成的。而在目前的w i m p 界面下，用户只能用一只手操作 鼠标来进行人机对话，用户必须将一个动作串行分解到一个动作序列中，这既限 制了输入带宽，也增加了用户的认知负担。研究双手操作的特点及其任务分工机 制，将其应用到三维用户界面中是目前的一个研究热点。虚拟制造是其典型的应 用。 基于虚拟现实技术的组态监控界面中的人机交互远远超出了键盘和鼠标的 传统模式，因此要实现真正意义上的三维人机交互，提高监控场景构建的交互效 率，就要在交互设备和交互方式上寻求新的解决途径，本文将研究的重点放在双 手三维交互技术研究与应用评估上。 1 4 论文的组织结构 本文共有四章，安排如下： 第一章，绪论。概述现代工控系统及其工业组态软件的发展，提出本文的课 题研究背景和意义。重点综述了课题相关技术的研究现状，并对论文的研究内容 及组织结构作了简要介绍。 第二章，虚拟监控场景组态运行原型系统。对课题基于的研究平台一一虚拟 监控场景组态运行原型系统进行了介绍，简述了系统定位，软硬件开发环境和各 主要功能模块，提出了针对该原型系统提高虚拟场景构建快速性的研究方向。 第三章，三维管道的实体生成与连接组态。以增强系统的组态功能，提高监 控场景构建的快速性为目标，重点研究了在三维虚拟场景组态平台中，空间三维 管道的生成连接组态问题。结合w t k 引擎的特点，本文实现了两种对管道起止端 口进行准确拾取的方法，确定了自动和手动两种管道生成方案和三种自动生成方 案的具体策略，提供预制管道模型和直接绘制模型两种管道实体生成方式，并解 决了两种生成方式下管道类型的表示等问题。 第四章，双手三维交互技术的研究与应用评估。以分析应用新的人机交互方 式，提高监控场景构建的快速性为目标，研究了双手交互技术的理论基础，并将 双手非对称操作的情况作为研究重点，选取了适用于原型系统的双手非对称交互 设备组合，设计并分配交互任务，通过对实验及其结果的分析对该交互方式进行 了评估。 文章最后对研究工作进行了总结，并对下一步工作进行了展望。 第2 章虚拟监控场景组态运行原型系统 21 系统构建的目的和意义 针对传统组态软件二维监控画面死板，交互方式单一的不足，虚拟监控场景 组态运行原型系统将虚拟现实技术与现有组态软件的优点相结合，力图通过更加 自然、友好、交互功能强大同时便于操作的人机临控界面来降低操作人员在监控 过程中的疲劳度，提高监控效率和生产的安全性。 虚拟监控场景组态运行原型系统的开发主要以能够以组态方式构建虚拟监 控场景和以运行方式实现对虚拟场景的交互监控为目标，提供工程组态人员以构 建虚拟监控场景为目的的组态平台，进行工艺设各模型导入、组合、布局以及属 性配置等操作，同时提供监控人员逼真的虚拟场景监控平台，通过虚拟监控、场 景漫游、虚拟设备控制等，实现对工业现场的工艺运行仿真和实时监控。原型系 统还可以作为客，、端平台为管理层提供远程监管，虚拟t 业现场浏览以及了解现 场设备运行环境等功能，原型系统在d l k 监控系统中的功能架构如图21 所示： j 崮圃 i 面 霖丽”“士盛壹 图2 - 1 原型系统在监控系统中的功能架构图 f i g2 - 1 t h e f u n c t i o nf r a m e o f t h es o f t w a r e i ns u p e r v i s o r c o n t r o ls y s t e m 此外，原型系统还可以作为虚拟工厂规划设计平台，在工厂投入实际建设运 第2 章虚拟监控场景组态运行原型系统 行之前，对工厂内的各种设备单位进行规划布局，对生产工艺流程进行仿真，提 前发现工厂投入运行后可能产生的生产瓶颈问题，从而节约生产成本，提高生产 效率。对于工厂操作人员培训，平台可以提供虚拟环境下虚拟设备控制操作训练 功能，让受训人员理解现场的实际操作步骤以及设备工艺运行仿真流程，从而降 低培训成本，提高人员培训效率。 2 2 系统简介 2 2 1 系统定位 在实际应用中，根据“沉浸性”程度的高低和交互程度的不同，大致可以分 为：沉浸式虚拟现实系统、桌面式虚拟现实系统和分布式虚拟现实系统。由于虚 拟现实系统的软硬件成本较高，相应的交互设备特点不一、各有利弊，可以根据 不同用途和不同配置的系统达到不同的沉浸感。沉浸程度适当的虚拟环境不会使 系统过于复杂，或成本、维护的负担过重。 沉浸式虚拟系统是一套比较复杂的系统，如果原型系统定位于沉浸式虚拟现 实系统，则相关交互设备的价格昂贵，实时性和操作精度也还有待进一步提高， 且运行环境要求太高，而作为用户界面来说，大众化，实用化才是其能够普及的 关键因素。因此本系统不适合定位于沉浸式虚拟现实系统。 分布式虚拟现实系统与当前组态软件的分布式网络应用设计思想密切相关， 但是当前网络式应用要以单机式系统的成功应用为前提，而本系统则是在单机系 统中进行监控界面三维虚拟化的初步尝试。因此基于分布式应用的虚拟现实组态 软件应该是在单机系统开发成熟、应用成功后的功能扩展。 基于上述原因，原型系统定位于桌面虚拟现实系统，它基于普通p c 或工作站 进行仿真，将计算机的屏幕作为用户观察虚拟环境的窗口，使用者通过键盘、鼠 标便可与虚拟环境进行交互。这种系统结构简单、价格低廉，因此应用比较广泛， 是一套经济实用的系统，比较适合于刚刚介入虚拟现实研究的单位和个人，可以 方便用户灵活处理三维场景构建中的各种活动或操作，同时也比较适用于工业控 制现场的环境需要。 2 2 2 开发环境 ( 1 ) 系统的硬件组成 系统定位于桌面