（计算机应用技术专业论文）基于图象的树类物体的三维重建.pdf

摘莹 摘要 弋孙 f 虚拟现实技术的发展需要获墩虚拟环境中各实体的三维模型。而基于图象的建模技 术是近年来兴起的一种备受关注的物体j ：维建模方法，试图从二维图象数据出发获得特 定物体的三维模型数据。树类物体作为一种普遍的自然实体，其三维模型的建立在自然 景物模拟和医学生物学方面都有重要的意义。) 本文讨论了基于图象的树类物体的王维重 建问题，研究了利用双视点图象重建煎查焦王送型的方法。同时，对其中涉及的国鑫坌 割和识别技术进行了探讨，研究了足球视题序列中球员的分割和跟踪算法。本文的主要 瓦容包托： 一【 提出了一个从双视点图象重建无叶树类物体三维枝干模型的方案。利用基于立体视 觉的点重建方法，通过树木。一：维主干骨架点的对应来重建树木的三维骨架，然后在 三维骨架上加入宽度信息生成树木枝干的三维模型。提出了一个自动获取树木二维 t r 骨架数据的方法，实现了二维骨架点对应关系的求解以及三维骨架点的重建、 简化和枝干表面网格的生成。实验表明，本文提出的方案在交互量很小的情况下保 证了重建质量，是一个确实可行和有效的树木重建方法。 2提出了个对足球比赛视频序列中的球员进行实时分割和跟踪的算法，实现了球员 的分割、队属辨别和跟踪。( 1 ) 根据足球场地的颜色特征，利用颜色分量差值的统 汁信息，实现了视频序列中球员的自动分割：( 2 ) 充分利用图像的颜色信息，将球 员与两球队模板各颜色分量的归化统计直方图作相关性比较，辨识球员所属的球 队：( 3 ) 利用球员的上下文信息，结合基于相关的模板匹配方法，实现了球员的跟 踪。本算法成功实现了足球场景中球员的实时跟踪，很好地处理了不同队的队员发 小遮挡的情况，并能处理多人遮挡情况。 目前，基于图象的树类物体的重建技术还处于发展的阶段，还有许多问题需要解决。 其中，由于树木枝干的复杂结构，还需要迸一步的研究以更好地完成枝于图象的自动分 割和谤! 别工作。尽管如此，基于图象的树类物体的重建技术仍然蕴藏着巨大的发展潜力， 受到人们的广泛重视o l 移 关键词： 基f 图象鑫模，( ，树，骨架融乳跟踪弘均私_ a b s t r a c ! a b s t r a c t i m a g e - - b a s e d 3 - dr e c o n s t r u c t i o no ft r e e - l i k e0 b i e c t s l i uy a n h o n g ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yl ih u a v i r t u a lr e a l i t yt e c h n o l o g yn e e d st o a c q u i r et h e 3 - dm o d e lo ft h eo b j e c t si nav i r t u a l e n v i r o n m e n t a n d i m a g e b a s e dm o d e l i n g i sam e t h o do fm o d e l i n gw h i c hh a sb e e n a t t e n t i o n g e t t i n gi nr e c e n ty e a r s i tc a ng e tt h er e a l i s t i cm o d e lo f as p e c i f i co b j e c t f h e3 - d r e c o n s t r u c t i o no ft r e e l i k e o b j e c t sh a si m p o r t a n ta p p l i c a t i o ni nm e d i c i n e ，b i o l o g ya n dt h e s i m u l a t i o no fn a t u r a ls c e n e t h i st h e s i s e x p a t i a t e s t h ep r o b l e mo f3 - dr e c o n s t r u c t i o no f t r e e l i k eo b j e c t sf r o mi m a g e sa n dd i s c u s s e st h em e t h o do f r e c o n s t r u c t i n gt h eb r a n c hm o d e l s o fat r e ef r o mt w op h o t o g r a p h sa td i f f e r e n tv i e w p o i n t s i nt h em e a n t i m e ，w ep r o b ei n t ot h e p r o b l e mo fi m a g es e g m e n t a t i o na n dr e c o g n i t i o nr e l a t e dt ot h er e c o n s t r u c t i o n ，a n dd i s c u s st h e p r o b l e mo ft r a c k i n go fp l a y e r sf r o ms o c c e rv i d e os e q u e n c e s t h em a i n c o n t e n to ft h i st h e s i si s a sf o i l o w s 1t h et h e s i sp r e s e n t sas c h e m eo fr e c o n s t r u c t i n g3 - dm o d e lo ft r e e l i k eo b j e c t sw i t h o u t l e a v e sf r o mt w op h o t o g r a p h sa td i f f e r e n tv i e w p o i n t s t h es c h e m eu s e st h et e c h n o l o g yo f 3 一dp o i n t sf r o ms t e r e o i tr e c o n s t r u c t st h e3 - ds k e l e t o nf r o m2 - ds k e l e t o n ，a n dt h e na d d s t h eb r e a d t hi n f o r m a t i o nt o g e t t h e3 - dm o d e lo ft h et r e e i t p r e s e n t s am e t h o do f a u t o m a t i c a l l ya c q u i r i n g 2 - ds k e l e t o nd a t ao fm a i nb r a n c h e si ta l s os o l v e st h e c o r r e s p o n d e n c e o ft h e2 - ds k e l e t o n p o i n t s a n d i tr e a l i z e st h er e c o n s t r u c t i o na n d s i m p l i f i c a t i o no f3 - dp o i n t s ，a n dt h eg e n e r a t i o no fs u r f a c e m e s h e so fb r a n c h e st h e s c h e m ep r e s e r v e st h eq u a l i t yo f r e c o n s t r u c t i o nw i t hal i t t l ei n t e r a c t i o ni ti sap r a c t i c a la n d e f f e c t i v em e t h o d 2 t h et h e s i s p r e s e n t sam e t h o dt oi m p l e m e n tq u i c ks e g m e n t a t i o na n dt r a c k i n go fp l a y e r s f r o mas o c c e rv i d e o t h i sm e t h o dd i s c u s s e st h es e g m e n t a t i o n ，t e a mi d e n t i f i c a t i o na n d t r a c k i n go fp l a y e r s ( 1 ) p l a y e r s a r es e g m e n t e d a u t o m a t i c a l l yb yu s i n gt h es t a t i s t i co f c o l o r c o m p o n e n t sd i f f e r e n c e s ；( 2 ) c o r r e l a t i o no f t w on o r m a l i z e dc o l o rh i s t o g r a m si su s e dt o i d e n t i f yt h et e a mt ow h i c hap l a y e rb e l o n g s ；( 3 ) t ot r a c kt h ep l a y e r s ，i t h a su s e dt h e c o n t e x tf e a t u r e sa n dc o r r e l a t e d t e m p l a t em a t c h i n gt h em e t h o dr e a l i z e st h er e a l t i m e t r a c k i n go fp l a y e r ss u c c e s s f u l l y i td e a l sw e l lw i t ht h eo c c l u s i o no f t w op l a y e r sb e l o n g i n g t od i f f e r e n tt e a m s ，a n dc a nt r a c kw h e n m u l t i p l ep l a y e r sa r ei no c c l u s i o n l m a g e b a s e d3 。ljr e c o n s t r u c t i o no l f r e e - i i k eo b j e c t s a tp r e s e n tt i m e ，t h et e d m o l o g yo f i m a g e b a s e d3 - dr e c o n s t r u c t i o no ft r e e - l i k eo b j e c t si s d e v e l o p i n ga n dt h e r ea r es t i l lm a n yp r o b l e m st os o l v e o fw h i c h ，d u et ot h e c o m p l e x s t r u c t u r e o fat r e e ，f u r t h e rr e s e a r c hi s s t i l ln e e d e dt os o l v eb e t t e rt h ep r o b l e mo f i m a g es e g m e n t a t i o n a n dr e c o g n i t i o n h o w e v e r , t h et e c h n o l o g yo fi m a g e b a s e d3 - dr e c o n s t r u c r i o no ft r e e - l i k e o b j e c t si sv e r yp r o m i s i n ga n dw i d e l yr e g a r d e d k e y w o r d s i m a g e b a s e dm o d e l i n g ，t r e e ，s k e l e t o n ，s e g m e n t a t i o n ，t r a c k i n g 第一辛绪论 第一章绪论 日前，虚拟现实技术正处于一个全面发展的时期。它利用计算机生成逼真的j 维虚 拟环境，提供视觉、听觉、触觉等感觉，使用户可以通过使用专用设备对虚拟环境中的 实体进行交互考察与控带i j c r u z l 9 9 3 。 在一个虚拟环境中，用户可以从场景内任意视点来进行观察。基于图象的绘制技术 ( i m a g e b a s e dr e n d e r i n g ) f m c m i l 9 9 5 干0 用已有视点的摄像机拍摄的照片图象，生成新 视点位置的观察图象。从光学意义上讲，i b r 技术是从一组相关的采样图象中恢复或重 建出光线的描述信息( 全光函数) ，然后根据视点的变化对全光函数进行重采样，得到 新的结果图象。目前已有的1 b r 系统，如q u i c k t i m ev r c h e n l 9 9 5 1 没有进行深度估计： m o s a i c s h u m l 9 9 9 1 虽, 应用了常深度假设，但当新视点位置的图象视野较大或产生了较 明显的视差变化时，深度扭曲现象就会比较明显；全光模型、l u m i g r a p h g o r t l 9 9 6 1 、 l i g h t f i e l d l e v 0 1 9 9 6 1 系统可以绘制出较高精度的结果图象，但是全光函数的采样、重 建和重采样计算过程复杂，仍需要花费大量的时间。采用1 b r 可能绘制出高质量的图象， 但是，现实世界物体由于遮挡的存在造成了已有视点的拍摄图象对真实数据的不完全和 不连续记录，从而使某些在新视点生成的图象发生失真。 为此，在许多情况下需要建立虚拟环境中各实体的三维模型。这样，用户就可以在 场景内任意的位置移动，而又能观察到逼真的景物外貌。更重要的是，有了物体的- - i 维 模型后，可以方便地实现与虚拟实体的交互，并对其进行控制。这是虚拟现实技术的重 要特征之。下面讲述目前树类物体三维建模的两个主要应用方面。 1 1 自然景物模拟 为了使用户能够真萨“沉浸”于一个由计算机生成的虚拟现实环境中，经常需要实 现对自然景物的真实再现。其中，树木是现实世界中分布最为广泛的自然实体之。所 以，实现对自然树木的三维重建与逼真模拟是虚拟现实的重要研究内容 a o n 0 1 9 8 4 1 。 有了树木的三维模型后，在虚拟环境里它就是一个确实存在的实体，具有了许多现 实特徂，可以对它进行许多仿真操作。可以实现在有胍情况下的树木动画；叮以n - 虚拟 的树木实体l 进行 对枝的修剪设计，直接观察到设计结果，而不用在实物j 二操作，1 i 似 肖省了化费，f 阿 j 方便；可以埘+ 个现有场景的虚拟生成环境进行改变，使其更符合人 的感受：町以模拟树木的生长及生存状况，当给一个虚拟树木赋予了各种乍存条f f - 的 堆卡幽象的树类物体的二维重建 生长参数，就可以模拟和预知它在一个具体的生长环境犟的生存状况。总之，树木i 维 模型的建立在自然景物模拟方面有许多应用 o h y a l 9 9 6 】。 1 2 血管模型获取 从2 0 世纪8 0 年代未，人类已开始了人体信息数字化的研究，出现了一系列的研究 计划，统称为数字人计划 钟世镇2 0 0 1 】。人体信息的数字化是利用信息技术与计算技术 实现人体从微观到宏观的结构和机能的数字化、可视化，建立人体的三维几何模型，并 能精确模拟人体的生物物理特征。数字化的虚拟人体模型具有广泛的应用前景，在医学 生物学领域可以为医学研究、教学与临床提供形象而真实的模型，为疾病诊断、新药和 新的医疗手段开发提供参考。还可以为航空、航天、汽车、服装、建筑、家具、影视与 广告制作、体育运动等与人直接相关的领域提供有意义的人体模型，减少开发费用。 人体三维几何模型建立的一个关键部分是血管三维几何模型的建立。长期以来人们 都想解决一个问题：心脏是如何将血液供向身体各部分，又如何将血液从身体各部分输 回心房。为此，人们致力于心脏血管机理的研究，研究心脏主干血管的几何拓扑结构与 这一功能的联系。还有，在临床应用中，血管三维模型的建立可以为血管病变的诊断与 治疗提供帮助；为各组织器官的无损伤解剖提供有力的辅助手段，等等。 由于几何形态上的相似性，在实际研究中，人们通常都是将血管作为树类物体来考 虑的。 2 第一章州究综述与相关技术介绍 第二章研究综述与相关技术介绍 在计算机图形学领域，树类物体的三维重建是一个极富挑战性的问题。长期以来人 们提出了许多重建方法，目前树状物体的几何与拓扑结构信息的建模方法大致有三种： ( 1 ) 基于参数控制的过程化方法。针对特定的一类树木利用参数控制来建模，很难生 成某个具体树木的模型。 ( 2 ) 基于体数据的立体逆投影法。针对枝叶繁茂的树木的组多视点定标图象，利用 空间逆投影得到树木的三维体数据，再从三维体数据生成一棵外形与特定树木相 似的三维树模型。 ( 3 ) 基于立体视觉的三维点重建。针对无叶树类物体，寻找枝干骨架上的对应点，重 建骨架，再根据二维图象获得的宽度信息，来生成三维树模型。 1 1 树类物体的建模方法综述 1 1 1 基于参数控制的过程化方法 过程化技术是人们最早采用并相对成熟的树木建模方法( e g ， m e c h l 9 9 6 1 ) 。它用 某种数学模型模拟树木的生长或形态特性，通过少量的参数产生复杂的树结构。不同种 类的树木可能需要使用不同的数学模型。文献严涛1 9 9 8 中比较详细地介绍了过程化技 术的各种方法。其中，l 系统 l i n d l 9 6 8 是常用的过程化建模方法之- - p r u s l 9 9 0 1 。它用 事先定义好的符号反复充实一个字串，然后将字串中的每一符号翻译成几何造型命令， 最终得到几何模型。尽管过程化方法具有强大的生成能力，它无法从给定参数f 确估计 所建模型的最终形态，从而无法建立给定的一个具体树木的三维模型。而特定树类物体 的建模是有应用需要的，例如，当人们计划修剪一个特定树木时，就需要该树木的忠实 i 维模型：在l 临床上想要观察一个病人的血管病变，也需建立它的特定模型；等等。为 此，人们提出了另外的建模方法。 11 2 基于图象的建模方法 接f - 图象的建模技术( i m a g e b a s e dm o d e l i n g ) 是当前的研究热点之 ，它从纠i 3 筚十例象的树类物体的二维章建 象序列中提取图象中物体的几何信息，然后对物体进行三维建模。i b m 是基于实物的照 片图象来提取建模信息的，因而所建立的三维模型带有实物的明显特征，具有较强的真 实感。经过多年的发展，基于图象的建模技术已出现了许多研究方法，大致分为：基于 体数据的、z 体逆投影 s h l y 2 0 0 1 1 s e i t l 9 9 7 】【k u t u 2 0 0 0 1 、基丁二轮廓的曲面重建 【r e l n 2 0 0 0 、基于立体视觉的三维点重建 o k u t l 9 9 3 】。 11 2 1 基于体数据的立体逆投影法 在树木建模时，基于体数据的立体逆投影法主要用来针对枝繁叶茂的树木，建立 个外形相似的模型，达到景物模拟的效果。 图2 - 1 s h l y 2 0 0 11 的透视逆投影吲】 麻省理工学院的l l y as h l y a k h t e r 等在文献 s h l y 2 0 0 1 】中将基于图象的建模技术与过 程化方法相结合，采用透视投影的摄像机模型，首先对每幅图象从摄像机光心沿图象中 树的二维轮廓按定标数据进行逆投影，得到空间中的若干锥体，各锥体相交获得树体的 外轮廓，如图2 1 。然后从树体中根据外轮廓提取中心线作为树的主于骨架。最后，根 据外轮廓数据运用l 系统从主干骨架上模拟生长出一棵与原树形态相似的树模型。 4 訇2 - 2 【s a k a l 9 9 9 1 f 1 自1f l - i 交逆投影f 引】 第一章f 洲究综述与棚笑技术介绍 在文献【s a k a l 9 9 9 】中，日本a t r 实验室的s a k a g u c h i 将摄像机模型简化为i f 交投影， 把棵树各个视点的灰度图象中的树区域归一化，用正交逆投影得到树的三维体数扼， 如图2 - 2 。给这个三维形体中的每个体素赋以所有输入图象相应象素灰度的平均值。然 后根据一定的分枝规则、限制条件及体素值在树体中重建树模型。 1 1 2 2 基于立体视觉的三维点重建 可以看出，基于体数据的立体逆投影法得到的树模型在枝干结构上与原树还相差很 多。在某些应用领域，为了获取较为精确的树木枝干模型，需要针对无叶树类物体来进 行建模，一般采用基于立体视觉 马颂德1 9 9 8 1 的三维点重建方法。 当空间一点投影在两幅图象中时，根据两个投影点坐标、两个摄像机的内部参数和 位置关系，将从摄像机光心通过投影点的两条射线求交，可以计算空间点的三维坐标。 o k u m m i 和k a n a d e o k u t l 9 9 3 将这一技术推广到多视点图象，提高了重建的准确度。 一个主要的难点在于如何找到空间同一点的各个投影点，即建立各幅图象二维点的对应 关系。目前主要的求对应方法的基本思想都是基于相似性度量和连续性假设的。 树木的表面点在图象中很难寻找对应关系，因为一棵树木的表面纹理非常相似或近 于没有纹理，而且树干的圆柱形状使得相同点在另一不同视角就可能看不到了，所以通 过树木表面点的对应来重建一般是不可取的。针对无叶树类的三维重建，目前般采取 基于骨架重建的策略。即首先从树木二维骨架重建出树木的三维骨架，然后在三维骨架 点处加上宽度信息，生成树木的表面模型。国内中科院软件所的严涛 严涛1 9 9 8 实现了 一种基于骨架重建的树木建模方案，在重建过程的各个环节提出了若干加速和改进算 法。 无叶树类重建的一个重要应用领域是在医学生物学研究上从x 光照片通过立体视觉 技术来重建人体血管的三维模型 p e i f l 9 9 0 【c h e n 2 0 0 0 。从8 0 年代末开始，人们已丌 始了这项研究，主要是人体器官主干血管的建模，以获耿其拓扑信息与三维模型。 1 2 图象分割与识别的研究 图象分割一直是人们高度重视的。个研究内容，在实践中具有广泛的应j h 。各种图 象分割算法层出4 ：穷，根据不同的应用背景有不同的分割算法。文献 章毓晋2 0 0 1 1 将分 割算法分为两大类：利用区域问特性不连续性的基于边界的算法和利用区域内特性相似 寸叶的基j 二【k 域的算法。 5 堆十例象的树类物体的二维革建 图象分割是图象分析与处理的首要而关键的步骤。无叶树类建模的首要前提是获取 枝下的_ 二维几何信息，即将树木枝干从背景图象中分割出来。由于树木枝干结构上的复 杂性，特别当图象为x 光照片时，图象的分割尤其困难。所以，很有必要在图象的分割 及i t 别方面进行研究。 近年来，视频图像处理技术不断发展，应用也越来越多。其中，视频图象理解技术 通过实现对动态场景中单个或多个运动目标的跟踪，为用户提供关于场景的解释性与描 述性的信息。这一技术在许多动态场景中有重要运用，如对城市街道的十字路口、机场 上空的飞行情况、高速公路的特定区段、运动场、超市、股票交易市场、人行道、畜群、 云层变化、室内人群的监控等。 目前，足球运动可以说是最有影响力的体育运动之一，通过对足球视频序列进行处 理，可以用于交互式电视转播，辅助训练，足球视频自动分析，误判问题的解决，三维 动画生成等许多方面( 【k a w a l 9 9 4 】， t a k l l 9 9 6 】 m a t s l 9 9 8 】) 。其中一个不可缺少 的步骤是实现对视频序列中球员的分割与跟踪。 下面介绍一些现有的跟踪算法 i n t l l 9 9 4 。 1 2 1 传统跟踪算法 相关性模板匹配 相关性模板匹配 s h a p l 9 8 7 z 哿- - 个称为模板的图象区域与一幅图象中的某些区域 进行匹配，寻找相关值最大的区域。为方便计算图象区域通常选择为矩形区域。相关 性模板易受被匹配区域的图象变化的影响，这在目标物体会发生变形和碰撞的场景中尤 其严重，相机镜头的变焦也会造成不希望的图象变化。当物体或相机的运动使得目标物 的图象随时间发生变化的场景中，人们采用了可适应的相关性模板，就是当一次模板匹 配成功后，将模板更新为从图象的当前匹配位置提取的一个新的图象区域。可适应模板 可以反映随时间变化的目标图象。然而，如果微小的匹配错误逐渐积累时，相关模板也 许会从目标物图象j 二偏离，成为一个与目标物体完全无关的图象区域。为了使可适应模 板能始终代表目标物图象，需要用一定的规则对模扳的更新加以限制。 运动跟踪算法 6 运动跟踪算法为h 标物设想个运动模型，通常似设 | 标物以。眦定速度或光滑路径 第一二章州究综述与拥关技术介绍 运动。有时，模型中希望加入加速度特征，但是图象数据的噪音和时空子采样使得对加 速度的估计很困难。光流场运动算法假设目标物的运动模型满足光滑和平面运动的特 征，这样对于具有碰撞、遮挡、分辨率低和块状特征的1 7 1 标物体，跟踪效果就很差。 足球运动场中球员的运动不满足运动跟踪算法的基本假设：光滑、变化小和刚体运 动。对于非刚体运动物体，通过对从目标物的整个图象区域计算的所有运动向量进行平 均可能会得到一个正确的整体运动向量。但是，它需要精确地知道目标物体所覆盖的图 象区域，这不适宜于球员发生遮挡的情形。 变形模板匹配 变形模板匹配方法利用一个能量参数模型来预测运动的目标物体是如何变形的，来 让模板随时问进行小量的、有限的变化。如何选择适当的能量模型是该方法成功跟踪的 关键问题。足球球员的运动姿态变化多端，需要选择一个尽量简单的能量模型以使该模 型可以从数据中提取出来而又能恰当地变换被跟踪的特征。 结构跟踪法 结构跟踪法是在匹配之前对图象进行预处理以发现鲁棒的、不变的结构特征，用于 帧间的对应。这些预处理方法有边缘检测、运动差块、角点提取、区域检测和颜色直方 图等。当足球球员发生碰撞和遮挡时，这些结构特征可能失效。 时空跟踪法 当目标物体在相邻帧之蚓的形状与位置变化缓慢时，可以采用时空跟踪法。将若干 相邻帧作为个切片数据来统一分析，其中目标物的位置与运动特征通过边缘检测或曲 线检测来确定。但是，时空跟踪法需要预先知道摄像机或物体的比较精确的运动模型。 122 基于知识的跟踪算法 将低层的图象处理与高层的特定场景的领域知识榭结合，“，以使跟踪算法更加鲁棒。 这些可利用的领域知i = 何刚体目标物的儿何模型、启发式知谚 和上f 文知识。对足球场 景中的球员进行跟踪，我们也需要利用领域知识柬达到更好的跟踪效果。 7 摹于图象的树类物体的二维罩：建 1 3 树类物体重建的相关技术 1 3 1 已有的枝干分割方法 二维图象中树木枝干的分割与骨架提取是三维重建的关键步骤，直接影响到重建的 效果。文献 o b p d l 9 9 4 实现了x 光照片图象上的血管分割与骨架提取。首先手工在血 管区域中点取种子点( 点集) ，然后用区域增长法从种子点处进行扩张，i ： 别出血管区 域。再对血管区域中的每个象素执行气球测验判别法，将以待测象素为中心的一个圆盘 半径由小变大，直到圆盘上某象素接触了血管区域边界。如果有两个同时接触了区域边 界的圆盘象素等距地位于圆盘相对两侧，则待测象素为骨架象素点。最后，可对计算结 果进行交互修正。 文献 c h e n 2 0 0 0 是从x 光照片中对血管主干逐条进行分割与骨架提取的。对于每 条血管，首先通过手工交互近似地点取血管骨架线上的一个点集，由这些点集生成一个 初始样条曲线。再识别出灰度值处于区域最低值的一个象素集，来指示血管骨架线的位 置，然后利用一个变形模板 k a s s l 9 8 8 将其作用于初始的样条曲线，使该样条曲线最后 变形至实际的骨架线位置。 文献 严涛1 9 9 8 从自然界树木的照片中也是对主要枝干实行逐条分割的。对每枝 干，点取它的一个矩形包围盒。然后对包围盒内的象素运用“智能剪刀”这一基于动态 规划的交互式图象分割算法 m o r t l 9 9 5 。 1 3 2 立体视觉技术 这罩介绍一下基于立体视觉的三维点重建方法所使用的相关技术和概念。 1 3 2 1 摄像机定标 当我们从给定物体的组拍摄图像重建其三维特征时，首先需要知道字间一点p j 它住各幅图像中的对应图像点的位置关系，以及各对应图像点之i 训的几何位苜天系。这 些位置关系由摄像机成像几何模型及各视点的相对位置决定。而求解摄像机成像几何模 型与各视点相对位置( 即摄像机内外参数) 的过程称为摄像机定标。图2 3 示意了双视 点罔像的摄像机几何关系。其中，由x w ，y w ，z w 轴组成的坐标系称为世界举标系， 它是存上小境中选择的一+ 个基准坐标系，r 可以描述环境中任意空间点及各视点处摄像机的 8 第一二章蝌究综述与相关技术介绍 绝对位霄。由x c ，y c ，z c 轴组成的坐标系称为摄像机坐标系，用来描述空问点相对于 某视点处摄像机的位置。由点o o 与x ，y 轴组成了以物理单位表示的图象坐标系。由x 。， y 。轴以图像左卜角为原点组成了以象素单位表示的图象坐标系。 z w 定标参数 则 x w p 图2 3 双视点图象的摄像机几何关系 首先介绍小孔线性模型下的摄像机投影关系 马颂德1 9 9 8 ，设有以下定义 n l r m ：摄像机内部参数矩阵； e x t r m ：某视点的摄像机外部参数矩阵： ( x w , y w , z w ) ：空问点p 在世界坐标系下的物理坐标； ( 21 ) ( x c ，y c ，z c ) ：空i b j 一点p 在摄像机坐标系下的物理坐标； ( x n ，y p ) ：空间一点p 的投影点在图像坐标系下的象素坐标； x c y cl = e x t r m l z c j 五w ， 肌 1 ( 2 2 ) 9 基于图象的树类物体的二维审建 x t ，胎z c i 弦i ：砌护m ly c z c l jl z c z c j ( 2 3 ) 设x 。= x c z c ，y 。= y c z c ；( x 。，y 。) 称为p 3 - 化的图像坐标，相当于以物理单位表示时 摄像机焦距为单位距离时的图像坐标。 在采用非线性摄像机模型时，设( x 。，y 。) 为小孔模型( 理想) 下的归一化图像坐标 实际( 带畸变) 的归一化图像坐标为( x n l ，y n l ) ，( x n by n l ) 为( x 。，y 。) 发生扭曲后的结果 满足关系， 阱呲印诚z n 中，鬻：蒜 ： 焉薏矧a ， 其中r 2 = x 。2 + y 。2k 为存储畸变系数的一个5 元素的一。维向量。 定标技术介绍 摄像机定标的目的是获得摄像机的内外参数矩阵，从而可以计算摄像机在多个视点 的立体位置关系。人们在这方面已经作了很多工作，定标技术大致分为两类：摄影测量 定标法和自定标。 摄影测量定标法 f a u g l 9 9 3 对个几何尺寸精确已知的三维物体( 定标块) 进行拍 照，通过分析处理定杯块的多幅图像来获得摄像机参数。定标结果可以达到非常精确的 程度。自定标技术 l u o n l 9 9 7 7 f ( 2 7 ) ( 2h ) i j ： y y y y r p p ? x y 工 y ，厂，r 第一章州究综述o 卡h 关技术介绍 口j 以采用最小一乘法求解x w ，y w ，z w 。 14 本文的工作 1 4 1 基于图象的树类物体的三维重建 本文利用基于立体视觉的点重建方法，针对无叶树类物体的建模，采用基于骨架重 建的策略，在w j n d o w s 2 0 0 0 系统、v c 6 0 与o p e n g l 丌发平台上实现了一个从双视点图象 来重建树木三维模型的系统。文中详细描述了该系统所使用的重建方案。讨论了树木二 维主干骨架的获取，二维骨架点对应关系的求解方法，以及三维骨架点的重建、简化与 枝_ f 表面网格的生成。本文提出的方案在交互量很小的情况下保证了重建质量，是一个 确实可行、有效的建模方法。同时，本文对今后的工作及改进作了设想。 1 4 2 足球视频序列中球员的分割与跟踪算法 为了进一步探索图象分割及识别技术，本文以足球视频序列为对象，实现了一个球 员的快速分割和跟踪算法。根据足球场地的颜色特征，利用颜色分量差值的统计信息， 从视频序列中自动分割球员；充分利用图像的颜色信息，将球员与两球队模板各颜色分 量的归一化统计直方图作相关性比较，辨识球员所属的球队：利用球员的上下文信息， 结合基于相关的模板匹配方法，实现球员的跟踪。本算法成功实现了足球场景中球员的 跟踪，很好地处理了不同队队员发生遮挡的情况，并能处理多人遮挡情7 兄。 1 3 第二章萆f 图象的树类物休三维蕈建的实现 第三章基于图象的树类物体三维重建的实现 树类物体的三维重建一直是一个人们很感兴趣的研究内容。为了获取特定树木的三 维模型，人们利用了基于图象的建模技术。其中，基于体数据的立体逆投影法只是针对 带叶树木建立一个外观相似的模型，达到自然模拟的效果。为了建立一个树木的较为精 确的模型，包括枝干的拓扑结构和外在形态，建模的对象应选择无叶树类物体。 尽管无叶树木的图象上没有了叶子的干扰因素，枝干的复杂结构和遮挡情况，使得 想要重建所有的枝干细节成为几乎不可能的事。为此，人们通常只从树的根部开始，建 立若干主要层次的枝干模型。而这个主干模型已经具有了整个树木的主要形态特征及结 构特点。 正是从这点出发，本文只考虑树木主干三维模型的获取，提出并实现了个从双视 点图象进行树木三维重建的方案。( 1 ) 提出了一个自动获取树木二维主干骨架数据的方 案；( 2 ) 求解了二维骨架点的对应关系；( 3 ) 实现了三维骨架点的重建、简化及枝干表 面网格的生成。 3 1 分割与骨架提取 图3 - 1 原始数据图象( 8 0 0 6 0 0 象素) 【址附录 树木三维重建的第步是从维图象中分割并识别 要枝干骨架的拓扑结构。我们 的实验对象是个瓶装的人体于i 臂咖管铸型。i 亥模，1 1 第0 i 【页入学提供。它使人们扶 基于图象的树类物体的三维重建 得了血管的体外实体模型，为血管模型的研究带来了便利。本文以该血管铸型的双视点 图象( 如图31 ) 为研究对象，提出了一个自动获取树木二维主干骨架数据的方案。所 用的方法可以运用到其他树类物体。 31 1 枝干分割 对于自然界中树类物体的数码相机照片图象，我们试图避免运用复杂的分割算法。 复杂分割算法不但计算量大，耗时多，而且交互量也比较大。血管铸型技术使我们可以 通过数码相机获得血管实体的二维图象，由于数码相机图象较x 光照片清晰得多，为血 管建模研究提供了许多方便。 由于一棵树木的枝干具有相似的颜色或纹理统计特性，只要树木的背景不具有类似 的统计特征，就可利用枝干区域的图象统计信息将一棵树木从复杂的背景条件下分割出 来。本方案通过统计枝干颜色特性，将r g b 各颜色分量的差值信息与绝对值信息相结 合，利用阈值法实现分割。该方法在“足球视频序列中球员的分割与跟踪算法”中作了 详细的介绍。 图3 - 2 图3 - l ( b ) 的分割结果 树木枝干的分割要保证分割出来的枝干区域内无空洞，即枝干上所有的象素点都业 须被选上。由f 繁密的枝干之问空隙并不大，这罩不能采用膨胀腐蚀算法来填补空洞。 然而，只要枝干图象的统计特征选择恰当，漏选区域不会太多，只要通过很少的交hl 作就可填补空洞。图3 一l ( b ) 的分割结果如图3 2 。 1 6 第二争皋十图象的树类物体三维晕建的实现 3 1 2 主干骨架图象 31 2 1 细化算法的实现 骨架是条反映物体大致形状的单象素宽的曲线，它逼近物体的中心线，保持了物 体的拓扑结构。以二值图象为处理对象，基于数学形态学的形态细化算法【盛业华2 0 0 0 】 通过定义目标区域可删除边界元素的一组形状模板，连续删除满足该定义的图象象素， 最终获得单象素宽的保持原来拓扑的图象骨架。 可删除边界元素的形状模扳定义的一个例子为 l11 0 1 o0o ”表示形状模板的中心象素，即为可删除边界元素的位置；象素值为”l ”表示目标区域 象素；象素值为0 表示背景区域象素。当待测象素与其相邻象素构成的区域和其中一 个形状模板的对应象素值均相同时，则待测象素为一个可删除的边界元素。 这里采用的是 的每个位置编号， 个四方向的逐层剥蚀的细化算法。同 严涛1 9 9 8 ，对形状模板矩阵 如 567 4 ol2 然后为待测象素与其相邻象素构成的区域编码，编码方法为 区域中j 位置的象素值( v l = 0 ，1 ) ，则该区域的编码为： i n d e x = y2 “v 智 j 表示位营编号，v ，表小 编伊5 结果共有2 5 6 种怕况，符个区域的编码勺某个形状模板的编码一致，则待洲象索 为呵删除的边界冗素。我f fj l , g i 戈域编码的2 5 6 种情况设计为个2 5 6 元素的一值数升l ， 特i 为个形状模板的编码结果， l ! | j 该数组第i 几索置1 ，卉则为0 。这样，对个m 域 1 7 基于图象的树类物体的二维重建 的编码i 通过访问数组的第i 个元素就可判断待测象素足钉为n ，删除的边界元素。我们 使用的编码数组如f ， 1 8 s t a t i ci n te r a s e t a b l e 2 5 6 】= 0 ，0 ，0 ，1 ，0 , 0 ，1 ，1 0 ，1 ，1 ，1 ，0 ，0 ，1 ，1 0 , 0 ，1 ，1 ，1 ，0 ，1 ，1 ，0 , 0 ，l ，1 ，0 ，0 ，1 ，1 0 ，0 ，0 ，0 ，0 0 ，0 ，0 ，1 ，1 ，1 ，1 ，0 , 0 ，1 ，1 o ，o ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，1 ，1 ，0 ，0 ，1 ，1 0 , 0 ，0 ，0 ，0 ，0 ，0 ，0 ，1 ，1 ，1 ，1 ，0 ，0 ，1 ，1 1 ，0 1 1 ，1 ，0 ，1 ，1 1 ，1 ，0 ，0 ，1 ，1 ，0 ，0 1 ，0 ，0 ，0 ，0 0 ，0 ，0 l ，0 1 ，1 ，1 ，0 ，1 ，1 ，1 ，1 ，0 , 0 ，1 ，1 ，0 , 0 0 , 0 ，0 ，0 ，0 ，0 ，0 ，0 0 , 0 ，0 ，0 ，0 ，0 ，0 ，0 1 ，0 ，1 ，1 ，1 ，o ，1 ，1 ，0 ，0 ，1 ，1 ，0 , 0 ，1 ，1 0 , 0 ，0 0 0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 0 0 、0 0 0 0 0 ，0 ，0 ，0 ，1 ，1 ，0 ，0 ，1 1 1 ，0 0 ，0 ，0 0 ，0 ，0 1 ，0 1 1 ，1 0 ，l ，1 ，1 ，1 ，0 ，0 ，l ，1 ，o ，o 1 ，o o 0 ，0 0 ，0 ，0 1 ，l ，1 ，1 ，0 0 1 ，1 1 0 ，1 1 ，1 0 1 ，1 ， 1 ，1 ，0 ，0 ，1 1 ，0 , 0 第= 苛基十图象的树类物体二维重谴的实埘 31 2 2 象素距离过滤方案 图3 - 3 枝干的象素距离图 我们所用的细化算法采用逐层剥蚀的策略，让每次迭代只剥去图象枝干区域的层 边缘象素，同时保持剩余枝干象素点的连通性，最后得到一个树木枝干的骨架图象。这 样，对于骨架上每一点，可以记录达到该点所用的最小迭代次数，作为该点处枝干的二 维半径信息( 象素表示) 。同时，枝干上每一象素点都具有了一个相对于枝干边缘的象 素距离。 将图3 2 中树木每个象素点的象素距离显示出来，如图3 3 。从图中可以看出，u 十 高层枝干的宽度比低层枝干的大，高层枝干骨架上的点具有较大的象素距离。因此可以 在骨架图象上通过调节一个象素距离的闽值滤除低层枝干骨架的大部，得到一个初步的 e 于骨架图象。图3 - 4 为细化后的枝干骨架图，经象素距离过滤后的主干骨架图象如h 3 5 。再通过后续拓扑数据的处理得到主要层次的枝于骨架拓扑结构。 1 9 基于瞬象的树类物体的三维重建 图3 - 4 过滤前的骨架图图3 - 5 过滤后的骨架图 31 3 二维骨架拓扑数据的获取与修整 3 1 3 1 骨架拓扑数据的表示 根据树类物体的结构特点，我们选用树的链式存储结构来表示骨架拓扑信息。分两 类存储结点：分叉( h if u r c a t i o n ) 结点和分枝( b r a n c h ) 结点。分叉结点包括了相邻象素 数犬于2 的象索点( 分叉点) ，分枝结点包括了相邻象素数小于等于2 的象素点( 分技 点) 。一个分又结点连接它的第一分枝结点及导入分枝结点，一个分枝结点具有起始和 末端分叉结点，并连接对应于同一起始分叉结点的相邻分枝结点。骨架树拓扑数据的表 示如图3 - 6 ， 第二翥基于图象的树类物体二维重建的实现 屯鎏 i 分技结点卜刊分枝结点- _ 、+ 分枝结点 ， 空分叉结点 图3 - 6 骨架树拓扑数据的表示 31 3 2 骨架拓t l 、数据的获取 埘f 一个给定的主干骨架图象，我们首先在图象上树根的邻域内手工选取一个矩形 区域，然后自动搜索具有最大象素距离值的枝干末梢端点，作为树根象素点