（机械电子工程专业论文）基于图像的虚拟制造辅助建模方法研究.pdf

摘要 随着虚拟现实技术的发展，机械工业的很多领域也开始应用虚拟现实技 术，产生了虚拟制造技术。虚拟制造是信息时代制造技术的新概念，是应用计 算机仿真和虚拟现实技术对实际制造过程在计算机系统上“本质上的”实现， 是对制造过程的高逼真度的仿真。虚拟制造技术作为一种新的制造战略，涉及 产品的虚拟设计、虚拟加工、虚拟装配等各方面，是c a d c a m c a e 的更高级 阶段，应用虚拟制造技术服务于社会生产实践，其社会效益和经济效益都十分 显著，具有广泛的前景。 建立虚拟制造数学模型是实现虚拟制造的关键技术之一。目前传统的几何 建模方法繁琐、工作量大，这在很大程度上制约了虚拟制造的发展和推广应用。 本课题针对这一问题，在对计算机图形学和虚拟现实技术进行深入学习研究的 基础上，提出了基于图像的虚拟制造辅助建模方法。 本课题首先对现实空间采集一系列相邻图像具有重叠部分的图像序列，然 后通过图像处理，把它们融合为一幅能够反映整个虚拟空间的图像。在图像的 融合过程中，引入了小波变换的方法，使得图像经小波分解后数据总量不会变 大，而且融合效果比较好。对于融合后图像的边界问题，采用了渐入渐出的方 法，利用c u b i c 函数进行灰度插值予以消除。 在图像的空间模型映射方面，选择了建立比较简单的圆柱面空间模型，并 对现有的映射算法进行了简化。通过j a 、，a 程序，实现了基于图像的空间环境 的虚拟。 作为一种基于图像的虚拟现实技术，本课题还研究了对单独实体对象的虚 拟。利用在对要虚拟对象各个不同角度采集的图像序列，进行加工处理，通过 j a 、，a 程序，实现了w e b 页面上对物体的虚拟浏览。 利用本课题的研究方法，可以非常容易的完成虚拟制造中的空间环境建 模，减少了建模的工作量。对于虚拟制造的发展与推广应用必将起到极大的推 动作用。 关键词虚拟制造：基于图像；融合；空间模型；映射 a b s t r a c t a 1 0 n gw “ht h ed e v e l o p m e n to fv i r t u a lr e a l i ty ，m a n yr e a l m so fm e c h a n i s m i n d u s t r yb e g i nt oa p p l yv i r t u a lr e a “t yt e c l m i q u e a n dv i r t u a lm a n u f a c t u r i n gc a m e i n t ob e i n g f t u a lm a n u f a c t u r i n gi st h en e wc o n c e p to fm a n u f a c t u r et e c h n i q u ei n i n f o r m a t i o na g e s i t i st h ee s s e n c er e a l i z a t i o no nt h ec o m p u t e rs y s t e mo ft h e a p p l y i n gc o m p u t e r i m i t a t i o na n dt h ev i r t u a lr e a l i t yt e c h n i q u et ot h ea c t u a l m a n u f a c t u r i n gp r o c e s s a n di ti st h eh i g hf i d e l i t yi m i t a t i o nt ot h em a n u f a c t u r i n g p r o c e s s a sak i n d o fn e wm a n u f a c t u r i n gs t r a t e gy t h ev i r t u a lm a n u f a c t u r i n g t e c h n i q u ei n v 0 1 v et h ev i r t u a ld e s i g n ，t h ev i r t u a lp r o d u c tp r o c e s s ，t h e v i r t u a l a s s e m b l e ，a n ds oo n i ti sac a d c a m c a es t a g ei nh i g h e rc l a s s ，a p p l y i n gt h e v i n u a lm a n u f a c t u r i n gt e c h n i q u es e r v et ot h ep r o d u c ea n df u l f i l l m e n ti nt h es o c i e t y ， i t ss o c i a lp e r f o r m a n c ea n de c o n o m i cp e r f o r m a n c ea r ea l lv e r yr e m a r k a b l e v i r t u a l m a n u f a c t u r i n gh a v ee x t e n s i v ef o r e g r o u n d e s t a b l i s h i n gt h em a t h e m a t i c 8m o d e l0 ft h ev i r t u a lm a n u f a c t u r i n gi so n eo ft h e k e yt e e b n i q u e st or e a l i z ev i r t u a lm a n u f a c t u r i n g c u f f e n tt f a d i t i o n a lg e o m e t f i c a l m o d e l i n gm e t h o di sv e r yf u s s y ，a n dh a v eg r e a tw o r k l o a d ，t h i sh a sr e s t r i c t e dt h e d e v e l o p m e n ta n dp o p u l a r i z a t i o no ft h ev i r t u a lm a l l u f a c t u r i n gt oal a r g ee x t e n t a i m i n ga tt h i sp r o b l e m ，o nt h ef o u n d a t i o no ft h o r o u g hs t u d ya n di n v e s t i 鐾a t i o ni n l 。a r n i n gt ot h ee o n l p u t e rg r a p h i c sa n dt h 。v i r t u a lf e a l i t yt e c h n i q u e ，t h i sp a p e rp u t f o f w a r dt h ei m a g e 岛a s e da s s i s t a n tm o d e l i n gt e c h n i q u ef o rv i f t u a lm a n u f a c t u r i n g f i r s to fa i l ，t h i sl e s s o nc o l l e c t sas e r i e so fi m a g e st ot h er e a l l i f 色s p a c e t h e s e i 搬a g e sa 揩f e q 艇主f e dt o 量l a v eo v e r i 姻p e dp 矗r ti n 搬ea a c e n tt w oi 芏n a g e s a n d 氆e n p a s s i n gt h ei m a g oh a n d l e s ，b l e n dm e ma sai m a g et h a tc a nr e f l e c tt h ew h o l ev i r t u a l s p a c 。d u r i n g 强oc o u f s eo fi m a g eb l e n d 呈n 重h i sl e s s o ni m p o n e dt h em e h o do ft h e w a v e l e tt r a n s f o r m t h i sm a k e st h eg r o s so ft h ed a t aa f t e ri m a g oa n a l y z e db yt h e w 鞋v e l e tw o 羹tb et o og f e a t 。a 珏d 氆eb i e 娃d i n ge f 毪c ti sb e l t e f f o r 撮eb o u 拄幽f y p r o b l e mt h a t a f t e rb l e n d i n gi m a g e ，a d o p tt h em e t h o do ft h eg r a d u a l l yi n t oa n d g f a d 毽a l l yo 醢 。a 建蘸l 牲呔e 毽s eo ft 魏ec l 南i ef u 珏e t 主。矬p r o e e e d i 魏gi n t e r p o l a l i o no ft h e a s hd e g r e et oe l i m i n a t et h eb o u n d a r y 1 n 镪嚣a s p e c to f 氇e 黼鑫p p n go ft h ei 矬a g e ss p a e el 熊o i d ，e 珏o o s et h oi o ，l i 娃d e f i i s p a c em o d e lw h i c hi ss i m p l e rw h e ne s t a b l i s h e d a n ds i m p l i f i e dt h ec u r r e n t a r i t e t i co ft h ei m a g em a p p i n g r e l y i n go nt h ep r o c e d u r eo fj a v a ，r e a l i z e dt h e i m a g e - b a s e dv i r t u a ls p a c e a sak i n do fr e s e a r c ht ot h ei m a g e b a s e dv i r t u a lr e a l i t yt e c h n i q u e ，t h i sl e s s o n h a v ea l s or e s e a r c h e dt h ev i r t u a lt ot h ea l o n eo b j e c t 】a k eu s eo ft h ei m a g e sl i s t t h a tc o l l e c t e da td i f f e r e n ta n 9 1 et ot h eo b j e c tw h i c hw ea i ma t ，r e l yo nt h e p r o c e d u r eo fj a v a ，w er e a l i z em ev i r t u a lb r o w s e t ot h eo b j e c to nt h ew e b p a g e m a k i n gu s eo ft h er e s e a r c h m e t h o di nt h i s1 e s s o n ，w ec a nc o m p l e t et h e m o d e l i n go ft h es p a c ee n v i r o n m e n ti nt h ev i r t u a lm a n u f a c t u r i n gv e r ye a s i l y a n d t h i sr e d u c e st h em o d e l i n gw o r k l o a d i tw i l lt a k et r e m e n d o u sp u s hf u n c t i o nt ot h e d e v e l o p m e n ta n de x p a n s i o no ft h ev i n u a lm a n u f h c t u r i n g k e y w o r d s v i r t u a lm a n u f h c t u r i n g ；i m a g e b a s e d ；b l e n d i n g ；s p a c em o l d ；m a p p i n g i i i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指姆下， 独立进行研究所取得的成果。除文中已经注明葶 用的内容外，本 论文不包含任何其链个人或集体已经发袭或撰写过的科硬成果。 对本文的研究作出重鼹贡献的个人和集体，均融在文中以明确方 式标骥。本声臻鳇法律责任悫本人承担。 论文作者签名： 数遮 鼙鬻：丝垒兰： 关于学位论文使臻授权的声畴 本人完全了解由东大学有关探整、使鼹学位论文的规定，疑 意学校保留或向国家有关部门或机构送交论文的复印件和电子 叛，龛诲论文被查瓣翻借麓；本入授权出东大学霹爨将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 绣印或其毽复京l 手段保存论文帮汇编本学位论文。 ( 保密论文在解密厥应遵守此揽定) 论文作案签名：! 狴 导牺签名：匿期：蛰盟! f 1 1 概述 第1 章绪论 虚拟现实( v i r t u a lr e a l i t y ) 技术是二十世纪末才兴趣的一门崭新的练 台性信息技术，它融合了数字黼像楚溅、计葬梳鹜形学、多媒体技术、传惑黎 技术等多个绩息技术分支。廉拟现实技零最视由美国加隆兰里尔( j a r o n l a n i e r ) 提出，现在正逐渐成为现代科学领域中发展前景广、发展速度茯静一 项接术【。 虚拟现实技术探讨如何实现入与计算机之间理想的交互方式，利用虚拟璇 实技术，诗羹戡爵戮产生一令兰缝熬、莲予惑躲簧怠熬罄场鄹壤。出于人类鹪 视觉原本对三维空间图像产生的反应比对二维平面图像产生的反应疑强烈，所 娃痿羧壤实魏三维窒海，令天巍蕊萁壤，曼方霰姨荟令方嚣雯好遗鼹察事物黝 本质及就相互关系和技展趋向。因而，虚拟现实技术的应用领域和交叉领域非 常广泛，尼孚舞了无新不惫、凳磊不入靛建多。囊鞋肖人莰梵，虚熬瑷实技术 将是2 l 世纪信息技术的代表哼j 。 廛撼嚣实拔零最警痘蔫予零事模数孛，鼗采蕉纛援褒实技术翦飞行摸羧 嚣，可以让人感到与在真的飞机上一样，而且柱虚拟环境中既不会危及人的生 命，毽不会损坏“飞税”，是释理戆黪谢练方式p j 。 随着虚拟现实技术的发展，机械工业的很多领域也开始应用虚拟现实搜 米，产生了虚攮翻造投术，它渗及产麓戆虚数设诗、纛掇热工、鏖蘩装嚣等各 个方露，是c a d c a m 鼢e 的耀高级阶段。农机械设计领域，虚拟设计技术使 得设计者能够鬣身予霜攘静环蕊中开发产箍。巍产晶的设计除浚裁考虑其可靠 性、可铡造性、可装配性等因豢，并便于产品设计的现场修改。在机械制造领 域，虚拟制造技术使祷工作人员能够充分提前考虑产晶的可涮造往，对改避产 燕熬功缝设计、工艺设计等起积极 乍髑，还能用于制造过程的优化分析等。此 外，在并行工程、机械仿真等领域，也都开始应用纛拟技术。总之，虚撅制造 按零捧为一种毅静利造战路，瘦弱它鼹务予社会生产实黢，冀社会效益酾经济 效益都十分显瓣，具谢广泛的前景捧咱j 。 程生述熬震撼嚣安援零瓣凌廷孛，藏搂瀚瑟一薹 避一巾复杂繁疆麴辩题。 因为在大多数情况下，建模的工作餐部是非常大，这在很大程度上制约了虑拟 裁造投零豹废雳。 。2 盘撅翻造中基于图像的￥r 技拳的应嗣 拭虚按现实系统的孛奄成方瑶看，虚叛强实系统可以划分为6 个功能摸块 现以图1 1 为例讨论虚拟制造系统的模型。 倒l l 虚拟现实系统的构成 系统由检测模块、反馈模块、传感器模块、控制模块、3 d 模型库和建模 模块六个模块组成。其中，建模模块为获取所需虚拟对象的各组成部分的三维 数据，并建立它们的三维模型m 】。 虚拟现实要模仿现实的三维空间，首先必须完成对实体及所处空间环境的 构造，建模的质量直接决定着虚拟的真实度。目前，虚拟现实技术对实体及空 间的构造，采用的都是传统的几何建模的方法( 如e u c l i d e a n g e o m e t r y 方法、 f r a c t a 卜g e o m e t r y 方法、p h y s i c a l l yb a s e dm o d e n g 等) ，其技术核一心是计 算机辅助设计( c a d ) 。这种方法，可以获得较为精细而准确的三维模型，但是 却有一个缺点：由于很多的三维模型极其复杂，是一个非常复杂的建模过程， 所需的工作量非常大。例如，南卡州立大学的一栋新建的计算机系办公大楼的 三维模型，即使较为粗糙仍需5 0 0 0 一8 0 0 0 个多边形来拼接形成，而且还要处 理各自的几何实体对应的纹理 9 ，其工作量之大可想而知。 同样，在虚拟制造技术中，建模问题也是一个非常困难的问题。在虚拟制 造的实际应用中，为了达到逼真的效果，往往需要对包括设备、工件、周围环 境等等在内的所有一切都进行虚拟。而实际上，有可能( 也是大多数情况下) 重点关心的并不是其全部。比如说，在一个虚拟加工中，重点关心的可能只是 刀具、工件等关键部分，对于其他的，尤其那些相对静止的部分，在可视化过 程中并不是非常重要的。但是，为了达到逼真的虚拟效果却又是必需的，必须 进行虚拟。这样所需的建模工作量也是非常大的，在很大程度上限制了虚拟制 造技术的推广及发展。因此，本课题提出了一种基于图像的虚拟现实建模方 法，来减少这种整体建模的工作量。 本课题研究基于图像的虚拟现实建模方式，利用对被虚拟空间获得的一系 列相关的图像，构造一个完整的空间环境，从而达到了较好的三维视觉效果。 利用这种方法，可以比较容易的完成在虚拟制造中一些场景、工作环境的虚拟， 解决了在虚拟制造的实际应用中，整体建模所需的庞大工作量问题，可以提高 工作效率。对虚拟制造技术的发展及推广会有很大的推动作用。 1 3 目前国内外的研究情况 虚拟现实技术是随着计算机技术及图形处理技术的发展而不断发展成熟 起来的。随着计算机图形学的发展，从上个世纪九十年代末，人们开始考虑能 否不通过建模，直接利用从现实中获取的图像，对其进行一定的处理就在计算 机上再现一个虚拟的现实。 西蓊邀乔主许多著名静公霹、大学葙磅究抵穆都在觚事遮方面静磷究。魄 较著名的有卸p l e 、d e c 、i b m 簿公司， 葑a v i ds a r n 。f f 研究中心等研究梳构1 1 m i t 、c m u 等大学以及i b ma 1 m a n d e n 、 往】，尤英筵a p p l e 公司的q u i c k t i 孺ev r 技术，做德非常好1 4 4 1 。不过它的空间模型采用的立方体表面模型，这样虽然 可以达铡任意角度的浏览的目的，但英在浏览盼时候，所呈现的并不怒我们在 现实中真实感受到的那种弧空蚓，所以会产生空间变形的感觉。另外，它还需 要专门的插件，而且在网络上，它一般采用一个弹出式窗口，很容易被浏览器 爨薮掉， 珂无法正常浏甍。 这里还需要特别提到美国的s g i 公司。它结合其多年的图形技术及网络邋 谶技术黪经验，在雄嬲戆虚拟现实建横语言( v i r t u a lr e a l i t y 挞o d e l i n g l a n g u a g e ) v r m l l + o 的基础上，联合s o n yr e s e a r c h 和m i t m a 于1 9 9 6 年推出了 v r 醚l 2 o 舨羲标准盼h j 。营竞，它是一零孛三维文4 孛豹辏式标羰，完许将其内鸯 嵌入其他w e b 信息中，方便地对三维倍息进行交互操作；其次，v r m l 是跨平 台豹，哥瘸子嬲聿晁到褰挡工终棼。本误题对纛数裁遗建模搀想麴可行牲在缀 大程度，t 是基予v r m l 与j a v a 的可l 冀混合编程。合理酶剩瑁这巍嵇语言翳搭鬣， 可以更方便的实现虚拟现实。u n l e a d 公司也推出了一个非常实用的软件c 0 0 l 3 6 0 ，它的使用非常简单，但目前它只实现了定褫点静潮览，褫点在鹰叛空阕 中不能自由变化，虚拟效果不够好。 我髫酶虚拟现实技术正鲑在快速发震韵过程中，著已经制定了开震盎拟蕊 实技术磺究 l 每舰划，捌妇，丸五规划、国家国然科学撼金会、国家禽技术研究 发展计划等部把虚被黼实弼入了研究瓒日h “。莺酶科技大学、矫江大学等研 究单臻，都开疑了对纂予图豫瓣虚拟飙实技术豹楣关研究。趟且，翻翁国内已 经有了眈较广黼的基于图像的虚拟聪实技术的应蔫需求，在建筑援娜、远强教 骞、囊鲢爱示等诸多领域都有广泛静成蠲兹疑。 。垂塞要研究内容 零谦蘧充分裂霸计舞瓤黧彩学懿籍谖，麸塑豫熬蒸毯鲡谈入手，蔷走撼多 幅内容相关的图像序列融合成一幅能够反映躲个视澈空间的图像，然后建立能 够反浃蠛实褫嚣感受魏空藤攘羹，将露稼映射爨摸黧量，逶遭j 鑫￥a 程摩影袋一 个可以多视点、多角度自由漫游的虚拟空间。另外，还研究了基于豳像的单独 羲蓓熬痰攘。 t 4 1 图像酌获取及编辑 图像静质嚣壹接黪稠蓑蔽终形成戆虚毅蜜瓣鹩囊实度，疆挽，在嚣麓麓酲 像序列的采集过程就鼹对图像质量严格要求。因此，在这一部分首先需要研究 为了熊够实现蘩于图像静窒闷馐撅，采集酶黼像痔弼需要满足兹基率条释。 在出弱邦敝列图像获得完整空阋圈缘( 见图卜2 ) 的融合中，为了提高融 合质量，没有采用基予面积的方法，而是采糟基于特征能方法h “n 小波变按豹聚焦佟爆，可以分攒到图像靛任 可细节，丽复数小波变换所具 有g a s b o r 变换的特性，可酞帮察经分艨后信怠的各个方向的细节，大大提高融 合螽掰获得辫像豹囊蕉。强此，在銎缘韵融合算法上弓 入小渡变换mj ，并对 其具体应用谶行研究。 4 图卜2 由局部散列图像获得完整空间图像示意图 两幅图像融合为一幅图像之后，由于融合后所得出的像素坐标位置可能不 在整数像素上，会造成图像的模糊和存在明显边界的问题，对此利用c u b i c 函 数灰度插值的方法予以消除。 另外，图像的大小对浏览速度的影响也很大。一张普通的数码照片，比如 一幅分辨率是1 6 0 0 1 2 0 0 ，2 4 位颜色的照片，其大小就有7 0 0 多k ，一个虚拟实 景空间的图像一般都有十几幅，这样形成的一幅整个空间的图像，其大小就至 少有7 m 。很显然，如此巨大的数据量，既增加了系统管理的难度，也造成了不 必要的存储资源浪费。所以，对图像的优化处理进行了研究。 1 4 2 空间模型的建立 为了对构造的虚拟空间能进行全方位观看，所选择映射图像的空间模型非 常重要。 常见的空间模型主要有球面空间模型、立方体表面空间模型、圆柱面空间 模型，通过对这几种空间模型在视觉失真度、建模难易度等方面的比较，并充 分考虑了现实生活中，人在任何一个视点处所看到的空间都是弧空间这一事实 基础，选择圆柱面空间模型作为本课题中所采用的模型。为了完成空间模型的 建立，需要针对这种模型，提出相应的图像映射算法。 另外，为了满足虚拟浏览的实时性，需要对重投影算法进行研究。 1 4 3 虚拟空间漫游的实现 在痿羧空阗疆游靛实凌中，蓠先嚣藜瓣决夔润越魏楚戆孝语京鹣选舞瓣 图卜2 由局部散列图像缺得完整空间图像示意图 两幅图像融合为幅图像之后，由_ 丁融合后所得出的像素坐标位置可能不 在整数像素上，会造成图像的模糊和存在明显边界的问题，对此利用c u b i c 函 数灰度插值的方法予以消除。 另外，图像的大小剥浏览速度的影响也很大。一张普通的数码照片，比如 一幅分辨率是1 6 0 0 1 2 0 0 ，2 4 位颜色的照片，其大小就有7 0 0 多k ，一个虚拟实 景空间的图像一般都有十几幅，这样形成的一幅整个空间的图像，其大小就至 少有7 m 。很显然，如此巨大的数据量，既增加了系统管理的难度，也造成了不 必要的存储资源浪费。所以，对图像的优化处理进行了研究。 1 4 2 空间模型的建立 为了对构造的虚拟空间能进行全方位观看，所选择映射图像的空间模型非 常重要。 常见的空间模型主要有球面空间模型、立方体表面空间模型、圆柱面空间 模型，通过对这几种空间模型在视觉失真度、建模难易度等方面的比较，并充 分考虑了现实生活中，人在任何一个视点处所看到的空间都是弧空间这一事实 基础，选择圆柱面空间模型作为本课题中所采用的模型。为了完成空间模型的 建立，需要针对这种模型，提出相应的图像映射算法。 另外，为了满足虚拟浏览的实列性，需要对重投影算法进行研究。 1 4 3 虚拟空间漫游的实现 在虚拟空间漫游的实现中，首先需要解决的问题就是程序语言的选择问 在虚拟空间漫游的实现中，首先需要解决的问题就是程序语言的选择问 图卜2 由局部散列图像获得完整空间图像示意图 两幅图像融合为一幅图像之后，由于融合后所得出的像素坐标位置可能不 在整数像素上，会造成图像的模糊和存在明显边界的问题，对此利用c u b i c 函 数灰度插值的方法予以消除。 另外，图像的大小对浏览速度的影响也很大。一张普通的数码照片，比如 一幅分辨率是1 6 0 0 1 2 0 0 ，2 4 位颜色的照片，其大小就有7 0 0 多k ，一个虚拟实 景空间的图像一般都有十几幅，这样形成的一幅整个空间的图像，其大小就至 少有7 m 。很显然，如此巨大的数据量，既增加了系统管理的难度，也造成了不 必要的存储资源浪费。所以，对图像的优化处理进行了研究。 1 4 2 空间模型的建立 为了对构造的虚拟空间能进行全方位观看，所选择映射图像的空间模型非 常重要。 常见的空间模型主要有球面空间模型、立方体表面空间模型、圆柱面空间 模型，通过对这几种空间模型在视觉失真度、建模难易度等方面的比较，并充 分考虑了现实生活中，人在任何一个视点处所看到的空间都是弧空间这一事实 基础，选择圆柱面空间模型作为本课题中所采用的模型。为了完成空间模型的 建立，需要针对这种模型，提出相应的图像映射算法。 另外，为了满足虚拟浏览的实时性，需要对重投影算法进行研究。 1 4 3 虚拟空间漫游的实现 在痿羧空阗疆游靛实凌中，蓠先嚣藜瓣决夔润越魏楚戆孝语京鹣选舞瓣 鼷。霹为零谦题所磷究静癌吝，不孳攀是鸯了实壤盛掇琢蘩的建模，更主要韵 戆使实现的结果能够与蕻它虚拟建模技术相结合，完成虚拟制造系统中庞大的 建模蔺憨。 通y 过对人在真实场娥中的遮动情况的分析，发现在运动中娥为常见的两种 溉觉交纯是裰意豹移动帮褫楚方蠢懿转臻。轰了实现寨歪酶空瀛授游，达到逝 较好豹虚数效果，需要对基于瀚像的虚拟空间浏览过程中，图像的输出原理进 行分析，通过稔痔实现在虚撼窝闯对遮两释禚觉交纯静模毅e 在实酝豹擞搬制造系统中，虚拟空间有时会不止个，对由多个虚拟空间 构成的斑拟制造系统的宙由浏蕊，通过空离编辑予戳实琉。 1 4 4 纹理平滑楚瑗 由予在实际场景中采集的纹理图像分辨率不够，w 髓在溪游的遗稷中窭蕊 潍赛竟懿羹瑟。弹了籍扶遮一鞠鼹，辩罄予e 氇t m u l l e l 毪r k 缨分麴聪媳纹理平 滑算法避行研究， 美使被理图像在场添的虚拟濑游中躯保持蘸好的逶续萑和淹 潦毪。 。毒5 戆傣熬虚熬测蓬 穆体懿纛熬溆整蘧零渣文中一令独立熬落势，主骚疼窑包戆嚣攀令饕蕊瓣 8 6 0 度图像采集，图像烊到的加工处璁，虚拟泌j 览的洪现。为了达到较好的艘 搭淡楚效暴，嚣蒌重蠢瓣嚣豫澎囊戆热工整理遴孬臻鳃，露袋怒建较广泛熬爨 像序列使用方法进行改进。 。5 课题的娥究意义 本谍题所激翔豹熬予图像姻虚拟现实建模方式，附虚拟制造技术的应用鸟 普及暴露菲露蕊要静煮义，瑟鼓还霹黻痉溪予其它簇竣： ( 藏少邈摸王 髻装在浆翅了这张建横方法之尉，虚拟制造系统中的大 多数耩楚鄱楚黧乎餮像瓣，鑫就它霸纛蓣截造中簧蓑辩三黎蕊蓐建壤与实辩缭 鼷嘉法糕滋；瓣嚣颊羰费对的建模过褪，计爨量非嫩小，大大减少了工作辘， 提高了虚拟制造的效率。而且如果需要改动的话，也很方便，可扩展性好。 ( 2 ) 增强真实度传统的虚拟环境生成主要采用几何建模及光线和表面特 征的方法，对于形状、纹理、光线等的处理非常困难。尽管投入较大努力，但 是与现实仍然存在着或多或少的差异，难以达到真实情况，尤其是对于自然界 中的复杂纹理和微妙光照效应等。而本课题中的这种方法，作为已知的源图像 不仅可来自于绘制系统，也可从真实环境中捕获，因此可以反映更加丰富的明 暗、颜色、纹理等信息，真实度强。另外，它的图像不需要实时绘制，因而使 用者在控制场景的移动过程中，不会感觉到跳动，而是非常平滑。 ( 3 ) 提高实时性通过几何建模方法做出来的虚拟现实文件都相对比较大， 有的几十兆，甚至几百兆。而用本课题所采用的这种方法，生成的文件一般只 有一二百k ，再加上对具体重点对象的虚拟建模，文件也不会很大。而且生成 图像的质量、场景的绘制时间以及交互显示的开销都与场景的复杂度无关，只 与分辨率有关，因而运行的时候占用的内存少，速度快，提高了实时性。也适 于在网络上发布。 ( 4 ) 降低对计算机硬件要求虚拟现实系统对计算机的要求比较高，而且 为了获得客观真实的图像和实时的交互速度，就需要些昂贵的专门的图形处 理硬件的支持，难以应用于低档计算机及微机。基于图像的虚拟现实这种技术 可以在不使用专门硬件加速器的情况下获得客观真实的图像，耗资低廉，可以 广泛应用于模拟视觉感知的虚拟现实系统中，为利用低档计算机及微机来实现 虚拟现实系统开辟了一条途径。 ( 5 ) 应用领域推广在机械控制领域，这一研究也有着非常广阔的应用。 例如，在远程控制中，可以利用这一技术完成对控制现场的虚拟，其效果比用 一副普通的平面图像逼真多了。在生产培训中，可在新产品设备投入使用之前， 先用“虚拟工厂”来增加员工的操作熟练程度。另外，机械零件模型在机械行 业的技术交流中是一种不可缺少的工具，但实体模型制造比较麻烦，而且不易 携带，在较大程度上影响了工作效率。可以考虑利用对物体的虚拟，造出造型 逼真的三维模型，它控制灵活，可以很方便的在网上浏览，也可在单机上使用， 使用者可以在浏览器中自由操纵模型，从各个角度进行观察，并可方便的适时 扩充。虚拟现实模型库的建立，对机械设计生产中模型的需要将是有力的补充。 总之，这种技术以设备简单、兼容性好、高度的现实性、数据量小、制 作简单等特点，为虚拟制造技术的大众化铺平了道路，具有非常广泛的应用前 景。 1 6 论文内容结构介绍 本文的内容结构如下： 第二章主要是图像的前期处理，包括采集的图像序列的基本要求，通过一 定的算法，利用v c 十十程序完成图像序列的融合；第三章通过对几种常见的空间 模型在视觉失真度、建模难易度等方面的比较，选择并建立了圆柱面空间模型， 并对实时重投影算法进行了研究；第四章在第三章的基础上，通过j a v a 程序实 现了在虚拟空间中的前进、后退、上看、下看、左看、右看的功能，真正实现 了虚拟空间的漫游；第五章对基于c a t m u l l 一c l a r k 细分曲面的纹理平滑算法进 行了研究；第六章主要研究了对单独物体基于图像的虚拟技术；最后一部分对 整个课题进行了总结。 第2 章图像的获取及编辑 本章主要在计算机图形学中图像处理知识的基础上，从如何得到满足要求 的高质量图像序列、图像序列匹配融合的角度出发，采用基于特征的方法，并 结合小波变换和网格匹配算法，研究将图像序列合成为能反映整个空间的一幅 完整图像。对融合后的图像存在的边界线问题，采用了灰度插值的方法，用 c u b i c 核函数与图像进行卷积予以解决。因为在后续的图像融合以及虚拟漫游 的实现过程中，都需要根据图像文件的结构进行编程，因此，在本章中对采用 的j p g 格式及其文件组织结构也进行了简单介绍。 2 1 采集图像序列 2 1 1 图像序列的基本要求 原始图像的质量好坏不仅影响着前期处理的工作量，而且直接影响到最后 的融合效果，所以对采集的反映局部空间信息的图像序列有一定的要求，除了 拍摄位置要尽量选在所要虚拟的空间的中心位置，掌握好拍摄角度外，重要的 是每幅图像的水平线要尽量保持水平，并且尽量避免不同图像的亮度、色度、 对比度产生较大差异。采集的图像数量要根据镜头的焦距来决定，但是要注意 相邻图像之间必须有3 0 一5 0 的重合部分，而且第一张与最后一张也必须有重 合【1 8 j ( 如图2 1 所) 。 图像l图像2 图像n l图像n 图2 1 反映完整空间的图像序列 2 1 2 图像序列的采集 根据图像序列的基本要求，确定图像序列的采集的基本过程如下：首先选 择图像的采集点，一般来说，这个点尽量定在所要虚拟的空间的中心位置，这 样有利于保证所采集的图像的景深基本一致，效果比较好。确定了图像的采集 位置之后，在这个位置上开始进行图像的采集工作：在水平方向上，每隔定 角度采集一幅图像，直至使首尾两张图像也有重叠的部分。至于图像采集过程 中，每次采集所转过的角度，并无严格的要求，跟相机的镜头也有很大关系， 但只要能保证相邻的两幅图像保持大约3 0 5 0 的重叠度就可以。 在具体的图像采集过程中，有很多技术和技巧，可以使得采集的图像质量 比较高。在此不做过多的赘述，仅对以下三个问题进行简单说明。 ( 1 ) 水平的保持通过图2 1 可以看出，如果获得的图像序列都在同一条 水平线上，可以为图像的融合带来很大的便利。因此在采集时，在一个水平 面上旋转相机很重要，最简单的方法就是使用三脚架，它可以使旋转保持水平， 是获得高质量图像序列的保障。 ( 2 ) 衔接点的选择两幅图像之间要有一定的重合，要求大约是3 0 一 5 0 ，这么大的变动范围为衔接点的选择提供了保证。在拍摄的时候要尽量选 择有明显标志的部位作为衔接点，避免在衔接处出现移动物体。 ( 3 ) 对移动物体的处理对移动的物体如果处理不好，将使后期图像的处 理变得很困难，甚至失败。因此需要特别注意。如下措施可以很好的解决这个 问题。 ( 1 ) 尽量掌握好按快门的时机，不要把不好处理的活动物体拍摄进去； ( 2 ) 尽量在光线充足的环境拍摄，这样快门速度快，活动物体不会虚； ( 3 ) 尽量一个镜头把活动物体一次捕捉，减少拼接的麻烦： ( 4 ) 镜头离活动物体越远越好。 2 2j p g ( j p e g ) 格式 图像在计算机中以文件形式存储。图像文件格式分为两大类：一类是静态 图像文件格式，一类是动态图像文件格式。静态文件格式有：g i f ，t i f ，b m p ， p c x ，j p g ，p c d 等；动态图像文件格式有a v i ，m p g 等。在本课题中，通过比 较各种图像存储格式，主要是考虑到j p g 格式具有较强的压缩性能比，所以选 择使用j p g 格式。 不同格式的文件在计算机中的存储方式是不同的，因为在图像的融合以及 虚拟漫游的实现过程中，都需要根据图像文件的结构进行编程，因此，下面简 单介绍一下j p g 格式及其文件组织结构。 2 2 1j p g 格式简介 j p g 格式也称为j p e g 格式，它由联合照片专家( j o i n tp h o t o g r a p h i ce x p e r t g r o u p ) 开发并命名为“i s 01 0 9 1 8 ”，j p g 仅仅是一种俗称而已。 j p g 文件格式的特点： ( 1 ) 它用有损压缩方式去除冗余的图像和彩色数据，在获得极高的压缩 率的同时能展现十分丰富生动的图像，即用最少的存储空间得到较好的图像质 量。 ( 2 ) 具有调节图像质量的功能，允许用不同的压缩比例对这种文件压缩。 ( 3 ) j p g 格式的文件尺寸较小。 目前，j p e g 组织负责制定了j p e g 2 0 0 0 ，正式名称为“i s o l 5 4 4 4 ”，与j p e g 相比，它是具备更高的压缩率以及更多新功能的新一代静态影像压缩技术。 2 2 2j p g 文件组织结稳 在邋行j p e g 文侔格式豹介缓之蓠，需要特麓藉出点：j p g 文 誓掰采用静 数据存储格式悬m o t o r 0 1 a 格式，而非通常的i n t e l 格式，也就是说，在存储 个字的数据时，要遵循高字节在前，低字节在后的舔瓣。 j p g 压缩码流的结构如图2 2 所示。在存储格式上，j p g 文件是由文件头、 文件尾和位于箕中的彳王意数量的段( s e g m e n t s ) 组成。每个段的长度不超过 6 4 ( ( 6 5 5 3 6 ) 。各个段均是从以o x f f 打头的标记字( t a 曲开始，以非o 字节和o x f f 结束。标记字有许多种，通过第二个字节的段类型予以识剐，例如o x d a 表示为 s o s ( s t a r to fs c a n ) 标记，攒明应该开始绱码；蕊o x d b 则表示d q t ( d e f i n e q u a n t i z a t i o nt a b l e ) ，其后应有6 4 个字节的爨化表。j p g 段类型的详细说明参 见参考文熬1 6 。 蹴 t h e p a r t 头文件 图2 2j p g 压缩码流结构示意图 2 3 图像融合技术的方法研究 图像融合髭对取融不同时间、不同传感器或者不同视角的同一场景的两 蠛圈豫绒者多螭图像，通过一定的算法融合到一幅图像，从而获得比在单幅图 像上更完整、更精确的信息。刹目前为止，图像融合大致分为以下三类傍t 4 l ： ( 1 ) 麓单麴图像融会方法该方法不对参加融合的原图像进行任何的变换 和分解，而是赢按对其进行选择、平均或加权等简单处理后台成一幡新图像， 多数情援下，这秘筏攀瓣融合方法褥不到满意靛融合结果。 ( 2 ) 基于塔形分解的图像融合方法如拉普拉斯塔形分解、对比度塔、低 邋跑率塔。 ( 3 ) 基于小波变换的图像融合方法 在本谋嚣中，采曩了第三耱方法一基予，l 、波交换懿方法。 2 3 1 图像融合牵的枣波盎按 ，| 、波溪稔爨= l 蘸卡霉发震起寒熬一耱蕤瓣分耩理谂。套波变换麓黠在窒霾爨 频域上矮有趣好麴局部特性，将空间私频域统一予一体米研究信号，因而对警 间和频率同时具有较好的分辨率，是对传统的f o u r i e r 变换的一个突破。正因 为如此，小波理论在图像分析和图像处理的诸多方面获得了较好应用 2 5 q ”。 从数学上来看，小波分析是一个新的数学分支，在众多的非线性科学领域， 它被认为是近年来在工具及方法上的重大突破。在本课题的图像融合中，采用 的就是这种方法，并对基于特征的融合算法进行了深入研究。利用小波变换进 行分析的优点是： ( 1 ) 继承和保留了塔形分解融合方法的主要优点； ( 2 ) 由于小波分解具有非冗余性，使得图像经小波分解后数据总量不会变 大； ( 3 ) 利用小波分解的方向性，有可能针对人眼对不同方向的高频分量具有 不同分辨率这一视觉特性，获得视觉效果更佳的融合图像。 小波变换的基本思想是用一组正交函数表示信号，这一族正交函数称为小 波正交基、王，。( 曲，该基是由一个被称为母小波的核函数甲( x ) 经过伸缩、平移 而得到的。即 墨， ( x ) = 22 ￥( 2 。x 一玲 其中，j 和k 均为实数。 ( 2 一1 ) 鑫予舞芷交链，穰弩f x ) 懿夺波交换系数e 。可戳j 蓬过翔下诗算褥爨： 。j ，k2 ( 2 2 ) 由夸波系数。玉k 可戬实瑶结弩f ( x ，y ) 静重构，豫 f ( x ) * c 拈。( x ) ( 2 3 ) j 土 母小波函数甲( x ) 是幽尺度聪数西( x ) 生成的，它们满足如下的双尺度关系 方程： 辔( x ) = 拓h 圆毋( 2 x 一 k ( 2 4 ) ￥( x ) = 压g ( x ) 国往x 一粒 k 萁中，h k ) 被稼为低通滤波器，g ( k ) 被穆冀高通滤波器，h ( k ) 和g ( k ) 为聂 交镜象滤波器，存在如下联系： g ( 羚= ( 一1 ) 。联l 一蛰 ( 2 5 ) 2 3 2 图像的小波分解 m a l l a t 所提出的多分辨分析的概念将正交小波基的构造统一起来，给出了 图像分解为不同频率通道的算法及重构算法，根据分解方法的不同，可将小波 变换区分为塔式小波分解和小波包分解。 塔式小波分解过程如下：假设原始图像表示为a ，f ，则a 。f 可以分解到分辨 率2 1 以下，也就是说，a 。f 可以用分辨率2 1 下的近似a ：1 f 和3 j 个差值表示为： a 1 f = ( a 2 ，( d ：j f ) “每l ，( d ：j f ) m 辟l ，( d ；，f ) “诤1 ) ( 2 6 ) 这里a 。f 是图像的低频子带，d ：，f ，d ：，f ，d ：f 分别为图像的垂直、水平、 对角线三个方向的高频子带，a 。f 为图像的离散逼近，d ：f ，d ：。f ，d ：i f 为图 像的离散细节。由分解式( 2 6 ) 可以看出，塔式小波分解每次仅对低频分量再 分解为一个低频分量和三个不同方向的高频分量。 图像的小波包分解与塔式小波分解的不同在于：每次进行分解时，不仅对 低频子带再分解为4 个分量，而且对三个方向上的高频子带也可进行再分解为4 个分量，图像小波包分解的系数可表示为d w t ( p ) ，其中p = ( i ，j ，k ，1 ) ， ( i ，j ) 为分解系数的空间位置，k 为分解层数，1 为子带频段( 1 = 1 ，2 ，3 ，4 ) 。 小波包分解优于塔式小波分解的优点就在于它能按照一定的规则，自适应的根 据图像的子带能量决定图像的分解。小波包分解可称为完全树分解方法。 根据小波分解的原理可知，小波分解层数越高，分辨率越低，对塔式小波 分解而言，没有