（模式识别与智能系统专业论文）最小轴向包围盒的增强现实虚拟测量及其应用研究.pdf

最小轴向包闸盒的增强现实虚拟测量及其应h 研究摘要 最小轴向包围盒的增强现实虚拟测量及其应用研究 专业：模式识别与智能系统 硕士生：骆智彬 指导教师：王国利教授 摘要 三维物体的最小轴向包围盒测量问题在现代工业领域具有十分重要的意义，它 对节省产品用料，提高生产效率和产品质量，实现生产的最优化起决定性的作用。 目前三维物体最小轴向包围盒的计算算法存在物体表面顶点获取困难和计算时间 长的问题。由于增强现实具有虚实结合的特点，因此本文针对三维物体的最小轴向 包围盒测量问题，研究基于增强现实的虚拟测量方法实现最小轴向包围盒的测量， 并构建虚拟测量系统进行了实验验证，最后研究了该方法在玩具声级检测任务中的 应用。 本文的主要研究工作包括： ( 1 ) 分析了最小轴向包围盒测量问题，根据透视投影的特点提出了在三视角俯视、 前视和右视图像中标定被测物与最小轴向包围盒切点的测量方法，并设计立体 视觉三视角配置方案获取被测物的俯视、前视和右视图像。 ( 2 ) 在增强现实的虚实注册技术的基础上，结合立体视觉三视角配置获取的被测物 图像，研究了基于增强现实的虚拟测量原理。增强现实的虚实注册技术实现了 真实空间和虚拟空间的尺度对准，然后人在虚拟测量环境中操作虚拟标尺对立 体视觉获取的被测物图像进行匹配，从三幅二维图像上还原被测物的三维信息， 实现对被测物最小轴向包围盒的测量。 ( 3 ) 构建了虚拟测量系统实现对最小轴向包围盒的增强现实虚拟测量。虚拟测量系 统包括立体视觉模块、虚拟交互环境模块和虚实注册模块三部分，分别完成了 最小轴向包f l j l 盒的增强现实虚拟测量及其应用研究 摘要 被测物图像获取、虚拟标尺交互操作和虚实注册功能。人可以在虚拟测量系统 中对被测物最小轴向包围盒进行虚拟测量。 ( 4 ) 对基于增强现实的虚拟测量方法进行了实验验证。实验对长方体、圆柱体和模 型船三个物体进行了最小轴向包围盒的虚拟测量，结果证明该测量方法对最小 轴向包围盒的测量相对误差在3 以下。基于增强现实的虚拟测量方法有效实 现了对空间三维物体最小轴向包围盒的虚拟测量。 ( 5 ) 将基于增强现实的虚拟测量方法应用在玩具声级检测任务中，总结了该方法在 实际应用中存在的问题，并研究了可行的解决方案。 关键词：最小轴向包围盒；增强现实；虚拟测量 最小轴向包用盒的增强现实虚拟测量及其戍用研究a b s t r a c t r e s e a r c ho ha u g m e n t e dr e a l i t yb a s e dv i r t u a lm e a s u r e m e n tf o r t h em i n i m u m a x i s - a l i g n e db o u n d i n gb o x m a j o r ：p a t t e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m n a m e ：l u oz h i b i n s u p e r v i s o r ：p r o ew a n gg u o l i a bs t r a c t t h ep r o b l e mo fd e t e r m i n i n gt h em i n i m u ma x i s a l i g n e db o u n d i n gb o xf o rag i v e n3 do b j e c t p l a y sa ni m p o r t a n tr o l ei nm o d e r ni n d u s t r i a lt e c h n o l o g y i tc a ns a v et h ep r o d u c t i o nm a t e r i a l ，i m - p r o v et h ep e r f o r m a n c eo fp r o d u c t i o n ，a n da c h i e v em a n u f a c t u r eo p t i m i z a t i o n t h e r ea r et w od i s - a d v a n t a g e so ft h ea l g o r i t h m sw h i c hd e t e r m i n et h em i n i m u mb o u n d i n gb o x o n ei st h ed i f f i c u l t y o fo b t a i n i n gt h ev e r t e x e so ft h ep o l y h e d r o ns u r f a c e , a n o t h e ri st h ep r o b l e mo ft h es i g n i f i c a n t c o m p u t a t i o n a lt i m e b e c a u s ea u g m e n t e dr e a l i t yh a sa d v a n c e si nv i r t u a l r e a lf u s i o n ，av i r t u a l m e a s u r e m e n ta p p r o a c hi sp r e s e n t e dw i t ha u g m e n t e dr e a l i t yt e c h n i q u e s a c c o r d i n gt ot h ev i r t u a l m e a s u r e m e n ta p p r o a c h ，av i r t u a lm e a s u r e m e n ts y s t e mi se s t a b l i s h e d a tl a s t ，t h ep r o p o s e da p - p r o a c hi se x p e r i m e n t a l l yv e r i f i e di nt h ev i r t u a lm e a s u r e m e n ts y s t e m ，a n da p p l i e dt ot h ec o n t e x to f m e a s u r i n gt h et o y sr e f e r e n c eb o xi nn o i s et e s t s t h em a i nr e s u l t so f t h i st h e s i sa r es u m m a r i z e da sf o l l o w s ： ( 1 ) a c c o r d i n gt ot h ep r o b l e mo fd e t e r m i n i n gt h em i n i m u ma x i s a l i g n e db o u n d i n gb o xa n dt h e c h a r a c t e r i s t i co fp e r s p e c t i v ep r o j e c t i o n ，am e t h o do ff i n d i n go u tt h ep o i n to ft a n g e n c yo ft h e o b j e c ti nt h r e em a i np l a i ni m a g e si sp r e s e n t e d t h e nas c h e m eo fs t e r e ov i s i o ni sc o n s t r u c t e d t og e tt h ei m a g e so f t h eg i v e n3 do b j e c t ( 2 ) t h ev i r t u a lm e a s u r e m e n tp r i n c i p l ei se x p l o i t e db a s e do nt h er e g i s t r a t i o np r i n c i p l ea n dt h e i m a g e so b t a i n e db yt h es c h e m eo fs t e r e ov i s i o n o n eo ft w oe s s e n t i a li n g r e d i e n t si nt h ep r o - p o s e dp r i n c i p l ei st h ea l i g n m e n to fa no b j e c ti nt h er e a la n dv i r t u a le n v i r o n m e n t sw i t hr e - s p e c tt oe a c ho t h e rb a s e do nt h er e g i s t r a t i o np r i n c i p l e a n o t h e ri st h ei m p l e m e n t a t i o no fv i r - i i i 最小轴向包嗣盒的增强现实虚拟测量及其应用研究a b s t r a c t t u a lm e a s u r e m e n t sw i t ht h eh u m a n m a c h i n ei n t e r a c t i o n t h e nt h em i n i m u ma x i s - a l i g n e d b o u n d i n gb o xc a nb em e a s u r e df r o mt h r e et w o - d i m e n s i o n a li m a g e s ( 3 ) a v i r t u a lm e a s u r e m e n ts y s t e mi se s t a b l i s h e dt oi m p l e m e mt h ev i r t u a lm e a s u r e m e n ta p p r o a c h i tc o n t a i n ss t e r e ov i s i o nm o d u l a r , v i r t u a le n v i r o n m e n tm o d u l a ra n dr e g i s t r a t i o nm o d u l a r t h e i m a g e so ft h eg i v e n3 do b j e c tc a nb eo b t a i n e db yt h es t e r e ov i s i o nm o d u l a r m a nc a ni m p l e m e n tt h ev i r t u a lt a p ei nt h ev i r t u a le n v i r o n m e n t s t h eo b j e c ti nt h er e a la n dv i r t u a lw o r l d s w o u l db ea l i g n e dw i t hr e s p e c tt oe a c ho t h e rb yt h er e g i s t r a t i o nm o d u l a r ( 4 ) t h ep r o p o s e da p p r o a c hi se x p e r i m e n t a l l yv e r i f i e di nt h ev i r t u a lm e a s u r e m e n ts y s t e m ab o x ， ac y l i n d e ra n dat o ys hi pa r em e a s u r e db yt h ev i r t u a lm e a s u r e m e n ta p p r o a c h t h er e l a t i v e e r r o r so ft h er e s u l t a n tm e a s u r e m e n t sa r el e s st h a n3 ，w h i c hs h o w st h a tt h ep r o p o s e da p - p r o a c hc a nb eu s e dt om e a s u r et h em i n i m u ma x i s a l i g n e db o u n d i n gb o x ( 5 ) t h ep r o p o s e da p p r o a c hi sa p p l i e dt ot h ec o n t e x to ft h et o y ss o u n dp o w e rl e v e lt e s t t h e p r o b l e m si nt h ea p p l i c a t i o na r es u m m a r i z e d a n ds o m es o l u t i o n sa r ep r o p o s e dt os o l v et h e p r o b l e m s k e y w o r d s ：m i n i m u ma x i s a l i g n e db o u n d i n gb o x ；a u g m e n t e dr e a l i t y ；v i r t u a lm e a s u r e m e n t i v 最小轴向包隔盒的增强现实虚拟测量及其应用研究 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名：召誊胬杯弓 日期：加。叮年厂月乞日 最小轴向包围盒的增强现实虚拟测量及其应用研究 学位论文使用授权声明 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版 和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论文进入 学校图书馆、院系资料室被查阅，有权将学位论文的内容编入有关数据 库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：筘智彬 日期：伽听年岁月1e l 导师签名： 日期：加7 年j 月叫日 最小轴向包隔盒的增强现实虚拟测量及其应用研究 第1 章前言 1 1 研究背景 第1 章前言 在计算机图形学中，最小包围盒问题是指寻找包围三维物体的体积最小的盒， 包括计算机辅助设计，虚拟现实中的虚拟物体碰撞检测【1 1 ，机器人抓取规划 2 1 等都 涉及三维物体的最小包围盒问题。在现代工业设计和制造领域中，最小包围盒问题 涉及如何实现加工生产最优化和布局最优化，如产品包装设计中，设计一个大d , 冈w j 好合适的盒子放置物品可以有效地节约包装用料；在零配件生产中，选择合适的毛 坯进行加工制造可以有效地节省用料，节约成本；在模具生产制造中，模具分割方 向选择【3 1 直接影响了生产的效率和质量；在玩具声级检测中，被测玩具的最小包围 盒检测精度直接影响了声级检测的精度。三维物体的最小包围盒在现代工业领域具 有十分重要的意义，它对如何有效节省产品用料，提高生产效率和产品质量，达到 生产的最优化起了决定性作用。 最小包围盒包括轴向包围盒( a x i s a l i g n e db o u n d i n gb o x ) 和方向包围盒 ( o r i e n t e db o u n d i n gb o x ) 。轴向包围盒指边平行于坐标轴的包围盒，而方向包围盒指 相对于坐标轴方向任意的包围盒【l 】。在实际应用中，由于大部分三维物体都能平稳 地放置在水平面上，即这些三维物体的其中一面与世界坐标的眉平面平行，此时 轴向包围盒即为它们的最小包围盒。因此研究三维物体的最小体积轴向包围盒对工 业应用具有一般现实意义。 工业上对三维曲面的测量方法有三维坐标测量机测量、光栅投影法、机器视觉 测量等 4 1 。这几种方法中，三维坐标测量机采用接触式测头进行测量，可以精确测 定被测物表面上的空问三维坐标，但对设备要求剐5 1 。机器视觉有结构光视觉测量 1 6 1 和立体视觉三维重构7 1 等测量方式，但目前仍存在重构算法复杂度高等问题。由 于最小轴向包围盒的测量不需要三维物体表面上全部点的精确坐标，因此增强现实 技术的出现为其测量提供了一种新思路。增强现实是虚拟现实领域发展的一个分 支，它允许人看到周围的真实场景，并且通过在真实场景中添加或合成虚拟物体， 增强人对真实场景的感知能力【8 】。增强现实的虚实注册技术实现了真实空间和虚拟 最小轴向包围盒的增强现实虚拟测量及其应研究第l 章前青 空间的尺度对准，通过虚拟物体在图像上的叠加增强了人的视觉感知能力，同时也 引入了人机交互操作，使得采用增强现实技术进行虚拟测量成为可能。本文针对最 小轴向包围盒的测量问题，研究了基于增强现实的虚拟测量方法，并构建虚拟测量 系统对该测量方法进行了实验验证。 1 2国内外研究现状 1 2 1 最小包围盒研究 最小包围盒问题的研究始于二维平面上任意曲线的最小包围框问题。f r e e m a n 和s h a p i r a 针对二维布局最优化问题提出了二维平面上对任意形状曲线寻找最小面 积包围框的算法【9 1 ，算法先寻找包围给定曲线的最小周长凸多边形，然后再选择包 含凸多边形的最小面积的包围框，并且证明了包围框的一边一定与凸多边形的一边 共线。 m a r t i n 等人将f r e e m a n 和s h a p i r a 的研究扩展到三维，描述了物体在三维空间 内寻找最小包围盒的算法【l o 】，并且证明了包围任意多面体凸包的最小包围盒等价于 包围这个多面体的最小包围盒。o r o u r k e 证明了包围具有n 个顶点的凸多面体的包 围盒至少有两面与这个多面体的边相接，并且提出了在空间n 顶点集中寻找最小体 积包围盒的算法【1 1 1 。b a r e q u e t 和h a r p e l e d 提出了复杂度为o ( n + l e 4 5 ) 的计算包围n 个顶点的近似最小体积包围盒算法【1 2 】。 上述算法当三维物体表面曲面或顶点数目增多，精确度要求提高时，计算时间 会相应增加，成为最小包围盒测量一个不可忽略的问题。c k c h a n 等人针对上述算 法存在计算时间长的问题提出了利用轴向包围盒投影面积寻找最小方向包围盒的 算法【b 】。同时c k c h a n 等人证明了当模型作适当旋转使得它的包围盒在三个主要 平面上的投影面积最小时，包围盒的体积是最小的。他们还证明了当三维模型绕着 穿过其轴向包围盒中心的坐标轴旋转，并且模型方向是由轴向包围盒在三个主要平 面的投影面积最小来决定时，此时模型的轴向包围盒等价于模型的最小方向包围 盒。另外，文献【1 4 j 6 】贝l j 描述了将三维物体放入最小体积包围圆柱体的算法。 国内对最小包围盒测量问题的研究较少，戴光明等人对二维平面上的凸多边形 2 最小轴l 句包围盒的增强现实虚拟测量及其麻用研究第1 章前言 最小面积四边形包围盒进行了研究【，郭九生等人对空间多面体最小包围盒生成算 法进行了研究【1 8 1 。 1 2 2 增强现实及基于增强现实的虚拟测量研究 目前增强现实是计算机视觉、计算机图形学，虚拟现实等领域中的一个研究热 点。国外对增强现实在医学、生产和维修、机器人路径规划、娱乐等方面的应用进 行了研究i s ，并且在增强现实涉及的头戴式光学透镜、跟踪技术、户外环境、交互 式界面和可视化等方面取得了不少进展【眇】。 增强现实可以实现虚拟信息和真实世界的融合，通过在真实世界图像中添加虚 拟信息，增强人对真实世界的感知能力。针对人在图像中的视觉感知能力，l e o n a r d r w a n g e r 等人通过实验验证了人能在二维图像中感知物体在空间中的三维位置关 系【2 0 1 。由于人具有强大的视觉感知能力，w e sb e t h e l 等人研究了人通过感知物体图 像的方式对未知物体的测量，并且认为人的感知系统可以在虚拟测量中辅助解决可 视化和分析问题【2 1 1 。在增强现实提供的虚拟辅助信息的基础上，引入人的视觉感知 能力，使得人对真实世界中的物体进行虚拟测量成为可能。 在医学领域，许多研究将增强现实技术用于进行手术规划和医疗虚拟测量等。 新加坡南洋理工大学对增强现实技术应用于外科手术规划进行了探讨【2 2 1 。澳大利亚 g r a z 大学建立了一个增强现实系统进行手术规划【2 孙，对医学成像获取的人体器官在 增强现实中的三维虚拟测量进行了探讨【2 4 1 ，并且对增强现实手术规划中的人机交互 工具【2 5 j 和空间测量分析工具f 2 6 1 进行研究。但上述研究是基于医学成像所获取的人体 内部器官数据，即在进行手术规划和测量以前，就已经获取了被测物的三维数据， 增强现实的作用仅是在三维数据可视化基础上进行人机交互的测量，用于对医疗人 员的培训或手术前的规划。而医学上也有对未知物体进行测量的研究，p a u lm i l g r a m 等人通过增强现实技术建立内窥镜虚拟标尺测量系统对内窥镜获取的图像进行虚 拟测量【”1 ，日本h i r o m a s an a k a t a n i 等人通过结构光技术在内窥镜中建立虚拟标尺对 人体内部器官进行虚拟测量【2 8 1 。 在机器人领域，增强现实用于为远程机器人的操作、路径规划等提供依据。加 拿大多伦多大学自行建立了a r g o s ( a u g m e n t e dr e a l i t yt h r o u g hg r a p h i co v e r l a y so n 3 最小轴向包围俞的增强现实虚拟测量及其虑_ h j 研究第1 章前青 s t e r e o v i d e o ) i 具包，借助此工具包将增强现实技术应用于远程机器人控制眵9 1 ，并 建立虚拟标尺对未知的远程环境进行建模和测量 3 0 , 3 1 】，为远程机器人的操控和路径 规划提供依据。英国的s h a u nwl a w s o n 等人则研究了利用增强现实进行远程机器 人开发和对远程环境的建模【3 2 】。 基于增强现实的虚拟测量在其它领域中也进行了许多研究。m i n gh o u 等人研 究了物体表面特性对人机交互虚拟测量的影响【3 3 1 ，在此基础上提出了虚实物体交互 模型【3 4 1 ，并且对交互测量过程中的影响因素进行了研究【3 5 1 。j e d w a r ds w a n i i 等人 对人在增强现实中的目标测量和深度测量能力进行了研究 3 6 , 3 7 】。 国内对增强现实的研究主要集中在配准技术及系统应用方面【3 8 】。在配准技术方 面，施琦等人提出基于计算机视觉的增强现实三维注册算法，并应用到透视式头盔 显示器的增强现实系统中【3 9 1 ，明德列等人将仿射变换技术理论应用到虚实注册技术 4 0 】，顾耀林等人研究了基于平面模板的虚实注册算法【4 1 1 ，而陈靖等人则对基于自然 特征的虚实注册算法进行了研究【4 羽。 在增强现实系统应用方面，易俊等人研究了海底冒险室内增强现实系统【4 3 1 ，沈 可等人研究了基于增强现实的人机物理交互仿真系统【4 4 1 ，赵新灿等人对增强现实维 修诱导系统进行了研究【4 5 1 。而朱广超等人将增强现实用于机器人遥操作，以达到消 除通信时延，提高操作精度和效率的目的【4 6 1 。 虽然国内外对增强现实技术做了许多的研究，但在基于增强现实的虚拟测量方 面，目前仅就物体间的距离或物体在空间的深度测量进行了探讨，没有涉及对未知 尺寸的三维物体的虚拟测量。本文基于前人的研究，通过立体视觉配置扩展了增强 现实中的虚拟测量能力，提出针对最小轴向包围盒的基于增强现实的虚拟测量方 法，有效地实现对未知物体最小轴向包围盒的三维尺寸标定。 1 3 本文的内容与结构 本文的主要内容是针对空间三维物体的最小轴向包围盒测量问题，提出基于增 强现实的虚拟测量方法，在此基础上构建了虚拟测量系统并进行了实验验证。最后 研究了该测量方法在玩具声级检测任务中的应用。本文共分为七章，具体内容包括： 4 最小轴向包围俞的增强现实虚拟测量及其应燃研究 第l 章前青 第一章：前言，介绍本文的研究背景，国内外的研究现状，并对论文的结构安 排做出说明。 第二章：基于增强现实的虚拟测量立体视觉配置，首先对基于增强现实的虚拟 测量方法进行了概述，然后分析了空间三维物体最小轴向包围盒的测量问题，并对 立体视觉三视角配置进行了研究。 第三章：基于增强现实的虚拟测量原理，首先分析了摄像机的成像模型及增强 现实的虚实注册技术，然后重点论述了基于增强现实虚实注册技术的虚拟测量原 理，最后介绍了虚拟测量原理中的人机交互机制。 第四章：虚拟测量系统构建及实现，介绍了依据基于增强现实的虚拟测量方法 构建的虚拟测量系统，详细讨论了虚拟测量系统的组成结构，最后介绍了虚拟测量 系统的软硬件实现。 第五章：实验结果及误差分析，介绍基于增强现实的虚拟测量方法对最小轴向 包围盒的测量实验，根据实验结果对该测量方法的有效性进行了讨论，并对实验中 的误差进行了分析。 第六章：玩具声级检测应用，介绍了基于增强现实的虚拟测量方法在玩具声级 检测任务中的应用，并对实际应用中存在的问题进行了分析，提出了可行的解决方 案。 第七章：总结和展望，本文研究工作的总结和对未来工作的展望。 最小轴向包用盒的增强现实虚拟测量及其应用研究第2 章基于增强现实的虚拟测量：妒体视觉配置 第2 章基于增强现实的虚拟测量立体视觉配置 2 1 基于增强现实的虚拟测量概述 基于增强现实的虚拟测量通过立体视觉获取真实空间被测物图像，通过计算机 三维建模技术构建虚拟空间，借助增强现实的虚实注册技术将真实空间和虚拟空间 实现虚实对准，然后人在虚拟空间中操作虚拟标尺对被测物图像进行匹配，实现对 真实空间被测物的最小轴向包围盒的标定，如图2 1 所示。 图2 1 基于增强现实的虚拟测量框架图 图2 1 中，虚拟测量系统是根据基于增强现实的虚拟测量方法构建的测量系 统，用于实现对真实空间被测物最小轴向包围盒的虚拟测量。虚拟测量系统包括立 体视觉模块、虚拟交互环境模块和虚实注册模块三部分，分别实现基于增强现实的 虚拟测量方法中的立体视觉获取、虚拟空间构建和虚实注册功能。 基于增强现实的虚拟测量的研究主要包括两部分： ( 1 ) 立体视觉配置。立体视觉是获取真实空间被测物图像的手段，所获取的图 像用于虚拟测量。因此立体视觉的合理配置是基于增强现实的虚拟测量的前提，如 何建立立体视觉配置使获取的图像能够满足虚拟测量的需要是研究的重要内容。 6 最小轴向包围盒的增强现实虚拟测量及其戍用研究第2 章基于增强现实的虚拟测量。茳体视觉配置 ( 2 ) 虚拟测量原理。虚拟测量原理基于增强现实的虚实注册技术，描述的是如 何在立体视觉获取的被测物图像中通过虚拟标尺完成被测物最小轴向包围盒的测 量。虚拟测量原理是基于增强现实的虚拟测量方法的原理性描述。 本章主要分析基于增强现实的虚拟测量中的立体视觉配置，虚拟测量原理将在 下一章进行介绍。 2 2最小轴向包围盒测量分析 在实际应用中，大部分三维物体都能平稳地放置在水平面上，即这些三维物体 的其中一面与世界坐标的x y 平面平行，此时这些三维物体的最小轴向包围盒即为 它们的最小包围盒。由于其中一面与x y 平面平行的三维物体具有一般性意义，因 此本文将研究这种三维物体的最小包围盒，并假设最小轴向包围盒即为三维物体的 最小包围盒。 最小轴向包围盒是指包围三维物体的最小体积外切长方体，其中长方体各边与 三维物体所在的局部坐标系的坐标轴平行，并且对角线由物体的最小x ，y ，z 坐标 和最大x ，y ，z 坐标【4 7 1 划界。在最小轴向包围盒测量中，三维物体在世界坐标系中 任意放置，即三维物体的局部坐标系与世界坐标系不一致。根据前面对三维物体的 假设，三维物体最小轴向包围盒的x y 平面与世界坐标系的a t 平面平行，即三维物 体所在局部坐标系与真实世界坐标系的不一致仅由局部坐标系相对世界坐标系作 了绕z 轴的旋转和z 】，轴方向的平移形成。因此对空间中三维物体最小轴向包围 盒的测量，包括对最小轴向包围盒位姿和尺寸的测量。 根据c k c h a n 等人提出的物体投影轮廓算法【1 3 】，只要令三维物体的轴向包围 盒在三个主要坐标平面麒x z 和眩上的投影面积最小，则此轴向包围盒即为最 小轴向包围盒。 2 。2 。1 最小轴向包围盒位姿测量 以计算机图形学中的著名的几何对象犹他壶为例，其最小轴向包围盒在3 d s m a x 中的仿真如图2 2 所示。 7 r 小轴向也m 盘的增“耻蜜m 扭世硅 日f 究筇2 章非t m “脱吐的$ 拟w 4 m 件视觉m h 窿震邃鎏灌篷鲎鞫睦堂霆蓉睦錾! _ _ _ 塑 摩：嚣 噬嗣鬻辩拿。 圈2 - 2 蛀小轴向包m 盘不意图 在图2 - 2 - hj ；- j 角为犹他矗的f 行投影俯视图，左r 舶为犹他血的、m r 投影 前视网，以r 角为犹他壶的平打投影右枞，右r 角为犰他靠在| l 上界坐札：中似置的示 意蚓。n 也方框为犹他啦的最小轴阳包田盒。罔l l ，俯州摄像机重卣j 最小轴向包 i 嗣龠的顶而，前视和右视摄像机年直于最小轴向包i 箍两个棚t 乖亢的侧何，二台 摄像机获墩r 被删物的俯视罔、时说罔和右视图。俯视图川为犹他盘存r 平面的 、阿? 投影成像，前视h 为犹他赢n ：冀z 半而的、阳j 投影成像，视蚓为犹他壶在陀 甲l m 的下行投蟛成像。 1 l 门摄像机是以垂九j 。毋小轴向也h 1 龠埘商和侧【f 【l 的角度拍摄，【飘此从图2 - 2 ，j 以靠山，最小轴向包围盒在i 视罔小的甲行投影为而枞最小的- 个m 彤框。假设 也最小轴 1 】j 包f l i l 禽的测请- _ 轴乜盒的仞婚位姿。i 最小轴向也盒他姿小一 敛，如图2 - 3 所不。，此叫轴 h j 包围盒在俯税吲t 的甲行投影仍为矩形框，f h 是轴向 包嘲盒扯日u 视和冉视吲。 ，的、i7 行投影为其盘体投蟛，_ | j 影积也相麻增人。 糜糜 譬羞蕾羞 图2 - 3 轴向包围盒位姿调整示意图 最小轴向包隔盒的增强现实虚拟测量及其应用研究第2 章基丁增强现实的虚拟测量矗体视觉配置 对比图2 2 和图2 3 ，只要在图2 3 的俯视图中调整轴向包围盒的位姿，使其 与最小轴向包围盒的位姿一致，则位姿调整后的结果就会如图2 2 所示。因此只要 立体视觉以垂直于被测物最小轴向包围盒顶面和侧面的角度配置，轴向包围盒位姿 的调整只需要在俯视图中进行，就可以将其调整至与最小轴向包围盒的位姿一致， 完成最小轴向包围盒位姿的标定。 2 2 2 最小轴向包围盒尺寸测量 以图2 2 为例，当轴向包围盒的位姿确定后，俯视、前视、右视摄像机获取的 是轴向包围盒在a i r 平面、x z 平面和y z 平面的平行投影。根据c k c h a n 等人提出 的物体投影轮廓算法【1 3 j ，此时只需调整轴向包围盒尺寸使其在三个面的投影面积最 小，即可确定最小轴向包围盒。即在图2 2 的俯视、前视和右视图中，调整轴向包 围盒的尺寸，使其在三个坐标平面的投影正好与被测物在三个坐标平面的投影相 切，所获得的轴向包围盒即为最小轴向包围盒。 综上，为了实现对三维物体的最小轴向包围盒测量，设计垂直于最小轴向包围 盒顶面和两个相互垂直侧面的俯视、前视和右视摄像机组成立体视觉，获取被测三 维物体的俯视、前视和右视图。在测量中，先通过俯视图像标定出三维物体最小轴 向包围盒的位姿，然后在俯视图像中调整轴向包围盒x 轴和】，轴的尺寸使其与被测 三维物体相切，在前视或右视图像中调整轴向包围盒的z 轴尺寸使其与被测三维物 体相切，就完成被测物最小轴向包围盒的测量。 2 3 透视投影分析 前面对最小轴向包围盒测量问题的分析是在三维软件3 d sm a x 中进行，其中仿 真采用的摄像机成像模式是理想的平行投影模式。在理想平行投影模式中，物体无 论距离摄像机远或近，成像大小是不变的，因此通过俯视、前视和右视的三视图就 可直观标定出被测物的位姿和尺寸。 真实世界中常用的摄像机不是平行投影成像，通常将真实世界中的摄像机近似 为针孔摄像机，其成像模型为透视成像模型。透视成像具有近大远小的显示效果， 透视成像示意图如图2 4 所示。 9 最小轴向包围盒的增强现实虚拟测量及其应刚研究 第2 章基丁增强现实的虚拟测量矗体视觉配鬣 乙 户p l ， t 图2 - 4 透视成像不葸图 图2 4 中，o w - x w k 磊表示真实世界坐标系，倪比肠表示针孔摄像机的坐标 系，其中原点佛与g 针孔重合，乙表示摄像机光轴。o - x y 表示图像平面坐标系， 摄像机光轴乙与图像平面的交点d 为图像中心。p l = ( x i ，y l ，z l ，1 ) t 为真实空间中一 点，p 2 = ，y 2 ，z , 2 ，1 ) t 是与p l 在同一条入射光线上的一点，p 3 = ，y 3 ，z 3 ，1 ) t 是p l 和 p 2 在图像平面上的对应点。厂为摄像机焦距。 因为p 3 在图像平面中，所以有z 3 = f , 又因为p i ，佛，p 3 三点共线，所以有公式 f 2 1 ) f 4 8 】： x 3 。石五 y 32 以m f = 名z 1 名：量：丝： 一m毛 ( 2 - 1 ) 式中，x 3 和y 3 为p 3 在n 肼平面的坐标分量，x l ，y l ，刁为p l 的坐标分量，厂为摄 像机焦距，九为比例因子。 根据公式( 2 1 ) ，可以得到如下公式： l o 最小轴向包f ；i 盒的增强现实虚拟测量及其应用研究第2 章基于增强现实的虚拟测量立体视觉配置 卜詈 。二芍 卜噜 从公式可以看出，p 3 在图像中的坐标与p t 的z l 坐标分量即深度相关，因此透 视图像呈现出近大远小的显示效果。 从摄像机成像模型分析，如公式( 2 3 ) 所示1 6 】，世界坐标系中点p l 通过摄像机成 像模型转换为图像坐标点p 3 。由于投影矩阵m ，是不可逆的，因此这个对应关系是 单向的，即已知世界坐标点p l 可求解出唯一的图像坐标点p 3 ，但已知图像坐标点 p 3 却无法从数学模型上求解出唯一的世界坐标，即p 3 对应的世界坐标不唯一。 s p 3 = m ，p l ( 2 3 ) 式中，j 为任意比例因子，p l = l ，y l ，z i ，1 ) 。为世界坐标点的齐次形式，p 3 = ，y 3 ，2 3 ， 1 ) 为p l 对应的图像坐标点的齐次形式，m ，为摄像机投影矩阵。 从图2 4 中也可以直观看出这个结果。图中，世界坐标点p l 在图像坐标系中 成像坐标为p 3 ，图中虚线表示光线。p l 对应唯一图像坐标p 3 ，但图像坐标p 3 对应 的世界坐标不唯一，逆着光线方向看，光线上任意一点如p 2 都可以与图像坐标点 p 3 对应，这与摄像机成像的数学模型是一致的。因此仅根据一幅图像上的图像坐标 无法计算出唯一对应的真实空间三维坐标点。 2 4立体视觉三视角配置 根据2 2 节的分析，只要建立立体视觉三视角的配置方案，设置以最小轴向包 围盒为基准的俯视、前视和右视摄像机对被测物进行拍摄，获取被测物的俯视图、 前视图和右视图，就能够实现对最小轴向包围盒的测量。但是，由于真实世界中透 视成像具有近大远小的显示效果，并且从单幅透视图像中无法直接计算被测物的空 间三维坐标，因此对立体视觉三视角的配置方案仍需作进一步的研究。 在2 2 节对最小轴向包围盒测量分析中，图2 2 和图2 3 均为平行投影模式， 由于这种投影方法将投影中心移至无穷远处，因此各投影射线互相平行，物体无论 最小轴| = l _ e 田盘的增强现史m 拟测* 其 州研究第2 章壮r 增强m 实的虚拟测韭 件枞觉m * 远近，成像大小是不变的。而真实世界中透视摄像机的成像效果与平行投影有很大 的区别。图2 - 5 所示为3 d sm a x 中对犹他壶的最小轴向包围盒采用透视摄像机拍摄 的仿真图。 一厂一一 q l 吐 鲨逆一霹 l，# 、 圈2 - 5 最小轴向包围何透视投影囝 罔2 - 5 中，左卜角为犰他壶的透视投影俯视幽，五：f 角为透视投影i u 视图，右 j 一角为透视投影7 - 视图，z ，下珀为犹他壶在世界坐柏：中位置的示意图。广1 色方框为 蛙小轴向包倒盒。三台摄像机的似置如前面所述，伸视摄像机垂直r 最小轴向包围 俞的顶而，6 口视和右视摄像机分刖垂直于最小轴向但盒两个柑气圣直的侧面，井 口一台摄像机的光轴均穿过最小轴向包围盒的巾心。从图2 5 可以看h ，山于透视 投影的影响，无法直接通过时辅向乜 f j l 盒的尺寸调整，获得被测物的最小轴向包囤 盒。从一维蚓像中直接感圭空问二维尺寸是不准确的。 分析此时市体j _ 【i 觉获取的= 视图，俯视削像获取的是被测三维物体在x y 平面 的透视投影，前视剐像获取的足被测维物体在船平血的透视投影，冉视图像获 墩的是被测三维物体在圮平面的透视投影。时最小轴向包m 盒位姿的判定仍可卧 在俯视图像中进行。因此俯视摄像机的位置需保证光轴垂氲于x y 平面并且穿过最 小轴向包围盒的中心。 对最小轴向包围盒尺寸的标定方法则需要根据透视投影的特点作适当的改变。 根据ckc h a r t 等人提出的算法m i ，最小轴向包田盒在x y , x z ，y z 平面的投影面 积虽小。在最小轴向包围盒的位姿确定后，蛀小轴向包围盒在三个坐标平面的投影 面积大小实际上与包围盒和被测物体的切点位胃相关。在最小轴向包围盒的位姿确 定后，只要标定出包围盒与被测物的切点位置，即相当于标定出最小轴向包围盒项 最小轴向包闸盒的增强现实虚拟测量及其戍j l j 研究第2 章基丁增强现实的虚拟测量立体视觉配置 面和所有侧面的位置，此时包围盒在三个坐标平面的投影面积必然是最小的。这样 就将平行投影中寻找最小面积的包围框，转化为在透视投影中寻找包围盒与被测物 的切点位置，这两种方法的效果是等效的。只需通过俯视图、前视图和右视图的相 互配合，标定出包围盒与被测物切点的位置，即可标定出最小轴向包围盒的尺寸。 综上，在实际测量中设计立体视觉三视角配置如图2 - 6 所示。 图2 6 立体视觉三视角配置 图2 6 中坐标系o - x y z 为真实空间中建立的世界坐标系，俯视摄像机以光轴垂 直于x y 平面的角度对世界坐标中心拍摄，同时需要保证俯视摄像机的光轴与世界 坐标系的z 轴重合。前视摄像机以光轴垂直于x z 平面的角度对世界坐标拍摄，由 于透视投影中尺寸标定为寻找包围盒与被测物的切点，因此前视摄像机的光轴相对 x y 平面内以一定倾角对世界坐标进行拍摄影响不大。同理右视摄像机以光轴垂直 于y z 平面的角度或在x z 平面内相对x y 平面以一定倾角对世界坐标进行拍摄。 实际测量时，将被测物放置在世界坐标中心，并且估计被测物的最小轴向包围 盒位姿，调整被测物在世界坐标中的位姿，保证其最小轴向包围盒的中心在世界坐 标系z 轴上，且局部坐标系的x 轴、】，轴和z 轴分别平行于世界坐标系的x 轴、】， 轴和z 轴。此时立体视觉三视角可以获取被测物的俯视图、前视图和右视图，下一 章介绍的虚拟测量原理将在这三幅图像中标定出最小轴向包围的位姿和尺寸。 最小轴向包日习盒的增强现实虚拟测量及其应刚研究第3 章基丁增强现实的虚拟测量原理研究 第3 章基于增强现实的虚拟测量原理研究 基于增强现实的虚拟测量原理建立在增强现实的虚实注册技术基础上。通过立 体视觉三视角配置获取了三幅真实空间图像，虚实注册技术就是将真实空间和虚拟 空间实现虚实对准，使虚拟标尺可以真实叠加在三幅真实空间图像上。虚拟测量原 理是在实现增强现实虚实注册后，人借助人机交互机制操作虚拟标尺对真实空问图 像进行匹配，标定被测物的空间三维信息。 3 1摄像机成像模型 在增强现实的虚实注册技术中涉及摄像机的成像模型，因此首先对摄像机成像 模型进行分析。摄像机成像是通过透镜将真实世界三维场景投影到摄像机的二维成 像平面上 6 1 。摄像机成像模型是由世界坐标系、摄像机坐标系、理想图像坐标系和 实际图像坐标系组成。摄像机坐标系与理想图像坐标系之间的几何变换关系由摄像 机内部参数表示，包括镜头焦距、成像c c d 尺寸等参数。摄像机坐标系与世界坐 标系之间的几何变换关系由摄像机的外部参数表示，包括两个坐标系之间的旋转、 平移等几何变换。实际图像坐标系与理想图像坐标系之间的关系由镜头光学畸变参 数描述，实际图像坐标系是理想图像坐标系经畸变校正后获得h 引。摄像机成像模型 中坐标系的几何关系如图3 1 所示。 ， 摄像机坐标系 ， 理 图3 1 摄像机成像模型坐标系图 1 4 最小轴向包隔盒的增强现实虚拟测量及其应用研究第3 章基于增强现实的虚拟测量原理研究 图3 1 中，世界坐标系0 - z w 是在真实场景中建立的基准坐标系。摄像机 坐标系。出圪乙是根据摄像机建立的坐标系，其中五、k 是与摄像机成像平面平行 的水平轴与垂直轴，z c 为摄像机光轴。理想图像坐标系o - u v 为不考虑镜头畸变时 摄像机理想的成像平面建立的坐标系。实际图像坐标系d 阮虼为考虑镜头畸变时 摄像机实际的成像平面建立的坐标系。 3 1 1 线性摄像机模型 摄像机成像模型可以分为线性摄像机模型和非线性摄像机模型1 6 1 。其中，线性 摄像机模型是理想的成像过程，它不考虑透镜引起的非线性畸变。理想摄像机成像 过程可以表示为世界坐标点w 经坐标系的旋转平移转换到摄像机坐标点c ，再转换 到理想图像坐标点p ，摄像机成像模型就是描述其中的坐标变换关系。由于摄像机 坐标系位于世界坐标系中，因此摄像机坐标系在世界坐标系中的