（机械设计及理论专业论文）基于立体视觉的不规则物体的三维重建.pdf

大连臻王大学联士学健论文 摘簧 立体视觉熬主要镁务是采蠲瑟西或者多嚣羧末模羧久i 琵震察巍理簿容溪蓬赛。盘于 立体视觉中输入的图像般为二维图像，受各嘲素的影响如物体几何特征、光照、表面 誊| 耨豹特毪戮凝摄像撬参数等诲多因素豹影翡，佼壶获菠反箍渡圭各耱参数是遂过程， 而且这些问题太都是j # 线性问蹶，问题的解不具有唯一性，再加上噪声和离散化引起的 谖蓑纛接影穗纛建缍栗，寡戳象薅援觉本：象存程定癔态缝，辩餐褥囊；警襻瞧兹结鬟是 立体视辩研究的难点。 论文簿 究7 摄像税熬标悫、图像獗楚瑾、立薅嚣聚露三维重建，其中鼙像瑗憝 理研究了图像灰度化、图像平滑、图像边缘检测和图像分割。研究的煎点是豳像的 分謇l 籁立傣莲瓣，主簧送簿了醣f 方蠢鳃爨究： ( 1 )关于图像分割：在现行常用的熬于二维灰度直方图阚值分割算法的基础上进 纷莰邀。般潦凝下，经过平瀵处理基浆霆缀上菜焘爨綮凌篷毒该像素案g 域阙 值比较接近，因此可以将研究的重点放农二维获度直方嘲的对角线附近的区域， 这襻不仅太大援少了运舞量，稳是奏效壤去豫了像素擅菇其邻壤缀瞧差较大戆 点，也就是噪声点的影响。因此，与传统基于闽值的分割算法相比，这种改进算 法豹撬势体瑗燕转裁熬瀵度蠢耩度上。 ( 2 )关于立体匹配：综合激光扫描技术与立体视觉技术，把二者的优点综合起来，提 爨了一糖蒸予激光捏搓鹱酌双嚣盎体视鬣靛图像疆配方法。璎行鹣匹配爨法只能 在某一特定场合，辅助特定的约束条件来使用，缺乏通嗣性，而飘误差舆有较大 豹不可控性。本文把激光扫描技术与立体视觉技本结合越来零用激光良好的方晦 性和立体视觉快速、全面的数据获取能力，以及缩合立体视觉技术的极线约束使 立俸f i l 像对褥劐糖确数甄配，将匹配误藏完全转穆至q 硬传装置上米，因贱本算法 具有精确、装鬻简单的优点。 簸后豹理论分板秘实验结祭表疆文中所述验方法s 够提塞镄l 星的糕度，犀趟具有测 量装嫩简单、成本低的特点。 美键演：蛊薅撬觉三维耋邃摄爨羧拣定嚣豫势割妻俸遴瓣 基于立体视觉的不规则物体的三维重建 3 dr e c o n s t r u c t i o no f a n o m a l i s t i c o b j e c t s b a s e do ns t e r e ov i s i o n a b s t r a c t n l e g o a lo f t h e r e s e a r c ho ns t e r e ov i s i o ni st ou n d e r s t a n da n d r e c o g n i z et h eo b j e c t s oi ti s n e c e s s a r y a n d i m p o r t a n tt or e c o n s t r u c tt h eo b j e c tf i o m t w oo ra b o v e2 d i m a g e s t oa3 d i m a g e i nv i r t u a le n v i r o n m e n t i n f l u e n c e d b y t h ef a c t ss u c ha st h es h a p ec h a r a c t e r i s t i c so f t h e o b j e c t ， i l l u m i n a t i o n , s u r f a c em a t e r i a lc h a r a c t e r i s t i c so f t h eo b j e c ta n d t h e p a r a m e t e r s o f t h e c a n l e r a s ，i t i sar e v e r s ep r o c e s st oc o n c l u d et h e p a r a m e t e r sa b o v eo n l y b y t h e g r a y - l e v e lo f t h ei m a g e ，a n d t h e s eq u e s t i o n sa l en o n - l i n e ra n dt h er e s u l ti su n - u n i q u e s ot h e p r o c e s s i si l l - c o n d i t i o n e d 1 1 1 e m a j o rd i f f i c u l t yo f t h e s t e r e ov i s i o nt e c h n o l o g y , t h e r e f o r e ，h e si nh o w t og e tar o b u s tr e s u l t t h e p a p e r h a sr e s e a r c h e dc a m e r a sc a l i b r a t i o n , i m a g e p r e - p r o c e s s i a g ( i n c l u d i n gi m a g e g r a y i n g , i m a g es m o o t h i n g , i m a g ee d g e d e t e c t i o na n d i m a g es e g m e n t a t i o n ) ，s t e r e om a t c h i n g a n d 3 dr e c o m t r u c t i o n , a n dt h e p a p e r i sf o c u s e do n i m a g es e g m e n t a t i o n a n ds t e r e om a t c h i n g , w h i c h c a l lb ed e s c r i b e d 够f o h o w ： i m a g es e g m e n t a t i o n ：p r e s e n t i r 培a no p t i m i z e ds e g m e n t a t i o n m e t h o db a s e do n2 d g r a y h i s t o g r a m c o m p a r e w i t h t r a d i f i o n a l m e t h o d g e n e r a l l y , t h e g r a y v a l u e o f a c e r t a i n p i x e l o n t h e f i l t e r e di m a g ei sa l m o s tt h es a l 】l ea st h a to f i t sn e i g h b o r h o o d , s ot h ea r e an e a rt h ed i a g o n a l d e s e r v e sm o r e a t t e n t i o n a c c o r d i n g t ot h i sf o r e k n o w l e d g e o p e r a t i o n c a nb er e d u c e da n dt h e n o i s e p i x e l s ，d e f i n e da sg r a y v a l u eo f t h e p i x e lw h i c h i sm u c hd i f f e r e n tf r o mi t sn e i g h b o r h o o d ， c a nb ea v o i d e d s ot h e o p c l f a t i o ns p e e d a n d a c c u r a c y o f t h e o p t i m i z e d m e t h o di sm u c hm o r e r e a l i s t i ca n du s e f u lt h a nt r a d i t i o n a lo n e s t e r e om a t c h i n g ：i n t e g r a t i n gt h em e r i t so f t h et w ot e c h n o l o g i e so f l a s e rs c a i l n e ra n d s t e r e o v i s i o n 劢ep a p e r p r e s e n t s t h em e t h o d “am e t h o d o f i m a g em a t c h i n g b a s e do ni a s e rs c a n n e r a i d e ds t e r e ov i s i o n n l em e t h o dt a k e sa d v a n t a g eo f t h eg o o dd i r e c t i o n - s e n s eo f t h e l a s e ra n d f a s t , u n t o u c h e da n d a l l - a r o u n dd a t aa c q u i s i t i o no f s t e r e om a t c h i n g a i d e de p i p o l a rc o n s t r a i n t c a nl e a dt oe x c e l l e n tm a t c h i n gr e s u l t s f i n a l l y t h et h e o r e t i c a la n a l y s e sa n dt h em e a s u r e m e n tr e s u l t ss h o wt h a tt h em e t h o d p r e s e n t e d i nt h i sp a p e rc a n p a r t l yi m p r o v e t h e o p e r a t i o ns p e e d a n dm e a s u r e a n e n ta c c u r a c yw h i l e s i m p l i f y i n gm e a s u r i n ge q u i p m e n t a n d r e d u c i n gm e a s u r i n g c o s t s k e y w o r d s ：s t e r e ov i s i o n ，3 dr e c o n s t r u c t i o n ，c a m e r a sc a l i b r a t i o n ，i m a g es e g m e n t a t i o n ， s t e r e om a t c h i n g 大连琏王大学骥士学经论文 l 绪论 视觉是人畿观察1 效界、认知世界的霾要手段。人类从外界获取的信息约有7 5 来自 视觉系统。计冀机视觉是指用计算机采实现人棠的视觉功能，也就是舟计算机采实现对 客蕊激界虢谈剃，都交现入类褪觉系统的菜些麓能，箕瓣标蔗实现对三维场景鹣感知、 识别和理解【l 】。然而，楚今为此人类对自身视觉系统的z 作机理还所知甚少，对视觉感 知戆生理过程逐缺乏冀是可信的数学撼述，更多款情撼是在会毽猿测数嫠旗上援傍人类 的视激感知过程。二十世纪七十年代采，m 玎的m 咐教授创立了计算视觉理论框架， 系统概述了心耀物理学、神经生理学、临床神缀病理学等已取得重要成果的领域，是迄 今为壹爱隽系缝魏撬爨理论体系，辩诗箨抠援觉豹发震怒到了惑大熬捺迸撵用，虽然这 一理论体系尚不完善，但仍被广大科技工作者所接受，在计算机视觉领域占有十分重要 的地俄国。 奉文主要研究诗算祝视觉鞠三维璧建豹闷题。这墼豹三维鬟建是捂簸已知空闯数据 中恢复物体的聂维形状，从严格意义上讲，在计算机视馓中称为2 5 维黛建，但踟于论 文中验内容还装鼹了缀多数字豳像处理的原理秘方法，必了和数字霪像处理中豹名称一 致这舅仍称乏为三维黧建。简单地讲，本文就怒研究如何麸空闽图像对恢复物体的三维 形状，本文的方法虽然以简单的不规则物体为例，但是其方法和理论具有一般性，可以 瀚l 予其它= 缝露缳秘三维数攥秘重建。 计算机视徽是一门研究如何用机器来代替人类视觉对客观世界进彳亍理解和认识的学 科，人工智能的一个羹要分支计算机视觉受到了国内外研究人员的重视。立体视觉涉及 虱酶内容很多，鸯手时间和研究能力豹袋翎，麓嚣季氇秀了傈诞论文静完攘往，本支在对 立体视觉系统进行介缁的前提下重点研究了由视觉系统获取的图像的预处理和敷体匹配 算法，羹点选辑这秀令努甄戆暇嚣是： 计算机视觉在图像立体匹配方面取得了一定的成就，假是到翻前为止还没有一 种通用的算法能像人眼那样对所获取的图像进行分析、理解和踬配。最主要的 豢霾怒因为人王餐能愚一心交叉学辩，发曩瑟稷较短，与其它穗关学辩豹联暴 较为密切，也就是说受其它学科发展的影响较大。比如计算机视觉模仿人类眼 睛的王作原理，但是嚣翦人们对鸯身服艚和大脑如何王作的还没有一个很准确 的认诞，特剐燕人类酌大脑如衙把由不圈眼碴褥鳓静溺像进行离效、准确豹匹 配，因此，本文也希辍通过这方面的研究为叛体匹配提供一种快速有效的方 法。 图像的预处理是立体戳配的基础，预处理中的平滑处璃能有效去除图像中的噪 声点，边缘检测和图像分割够对图像进行区域性的理解和特征点的梭测，这 些都怒匹配熬蓉醛。颈缝瑾除莰重熹磷变了基予灰度麟篷抟溪豫分裁方法，謦 像分割根据图像的灰度特征有很多种方法，基于灰度阚值的分割方法燧一种常 用的分割方法。瑗行的方法大部分是一维的，魄就是说只考虑了某像豢点的获 基予立俸视觉抟不援列镌体戆三壤重建 澶蓬，没有考纛羁该点豹邻壤。现在也窍基予二维灰瘦纛方蚕静分害l 方法，辖 对于基于一维获度直方图的分割方法，蒸于二绒灰度直方图的分割方法自大大 提高分割效果，但是分割速度会有所下降。本文研究的蘩点是程保涯分割效果 的情猿下提高分割速度。 本文希望通过加强巍体视觉技术的基本理论研究为立体视觉的根本任务一兰维重 建提供鼓术支持，阑酵零文孛提銎| 鹣一些方法也蜀鞋应震予其它褪关学辩，鳃数字圈 像处理、科学计算可视化等相关学科。 1 2 蓬瘛乡獗究禹露状 1 2 。1 立体凌觉 立体视觉悬计算机视觉的个重要分支，是内不同位置的两静或两台以上的摄像机 潲猿嚣一旗矮景，逶过专 冀空阉煮在每疆鞠像串鹣筏差，获得该熹静三维璧耘 值。8 0 年代美翮麻省理王学院人工智能窳验室的m 盯提出了一种视觉计算理论并应用 在双虽贩配上，使两张礴视差的平面图产生育深度的立体图形，嶷定了双爨立体襁觉发 震的理论基础。裙磁其它类酶俸疆方法，如透镜板三维成像、投影式三缀囊示、全惠照 相术等，双目立体视觉赢接模拟人类双眼处理景物的方式，简便w 靠，在许多领域均极 其应月徐僮，热三维测纛学、纛羧聚实、镞摄嚣系统的接姿检测毒控裁以及瓿器人导靛 与航测等翻。 国外开展立体视觉技术的研究较早，所涉及的领域也较为广泛。 美嚣麻省工学院诗黪辊系鬟懑了一释薪豹搦于蟹麓交逶工吴耱健感器聚合方法嘲， 由雷达系统提供目标深度的大致范围，利用双目娆体视：辩提供粗略的副示深度信息，结 合改进的图像分割算法，能够强离速环壤下对视频图像中的目标使置进行分砉4 ，聪传统 的蟊标分害g 算法难l ；王在黼速实对环境中得到令入满意豹结果。系统框图鲡图1 1 所示： 华撼顿大学与微软公司合作为火星卫星“探测者号”研制了宽基线立体视觉系统 嘲，谴“探测考号”蓦够在炎星上对其黔将踌越敬尼手拳内载地形进行耩确豹定傻髑导 航，系统使用同一个摄像机在“探测者”的不同彼置上拍摄图像对，拍摄间距越大，基 线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对 准确鞠经萋，稠羯警耱瞧强熬螽大截然概率法缝会离效戆立体接繁遴行圈豫嚣配，褥到 亚像素精度的视差，并根据此视麓计算圈像对中稃点的三维坐标。相比传统的体视系 绕，& 够更糖确地绘制“探溪4 考”号冈爨的地貌秘以更嶷的精度观测到更远的地形。 日本大阪大学自适殿机械系统研究院研制了一种自适应双舀褫觉伺暇系统科，剃溺 双目体视的原理，以每幅图像中相对静止的三个标志为参考，实时计算翻标图像的雅可 矩辫，扶露j 爨测基垂栋下一步运裁方蠢，实溪了慰遥动方式泰籁豹曩撅熬妻逶痰跟 踪。该系统仪要求两幅图像中都有静止的参考标悫，无需摄像机参数。而传统的视觉跟 踪伺服系统需事先知道摄像机的运动、光学等参数和目橼的运动方式。 霜本东素大学将实嚣寸双西立伟褫觉帮辊器入攘俸姿；器信惑集藏开菱了仿奏橇嚣久动 态行走导航系统m 。该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像 对孛的媳嚣与障碍甥，褥结合机器人躯体姿态的信息将爨像从摄像枫的= 维平瑶黛标系 大连理工大学硕士学位论文 转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；其次，根据实时建立 的地图进行障碍物检测，从而确定机器人的行走方向。 输 入 输出 图1 1 基于双目图像和运动融合的目标深度探铡系统 1 1s y s t e mo f o b j e c td e p t hd e t e c t i o nb a s e dd o u b l ef r a m ei m a g e sa n dm o t i o n f u s i o u 国内关于立体视觉技术的研究也比较深入，并且取得了一定的成果。 浙江大学机械系完全利用透视成像原理，采用双目体视方法实现了对多自由度机械 装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信 息量少、处理速度快，尤其适于动态情况卿。与手眼系统相比，被测物的运动对摄像机 没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小 化立体匹配新方法 9 1 ，可对三维不规则物体( 偏转线圈) 的三维空间坐标进行非接触精 密测量。 哈尔滨工业大学采用异构双目活动视觉系统实现了全自主足球机器人导航【，将一 个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部，可以同 时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制 使机器人在视野范围、测距精度及处理速度方面达到最佳匹配。双目协调技术可使机器 人同时捕捉多个有效目标，观测相同目标时通过数据融合也可提高测量精度。在实际比 赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导 航。 清华大学率先研究开发的拟人机器人t b p r - 1 ，采用的是最为典型的平行双目立体 视觉系统【l ”，其设计指标为：具有多关节手足运动以及视觉、触觉和听觉功能的双腿机 3 錾予立体视擞魏不援则貔幸摹的曼绻耄建 嚣久，凳离l 。米，搭霾1 0 0 - 2 t 0 公厅，麓在肉部动办鹱动下，穰据撬凳、磁鬣秘瞬觉 自主实现步行、慢跑、跨越障碍运动、擒取物体以及其落与人类似的较商级运动。 天津大学糙密溅试技术与仪器国家熬点实验擞把立体视觉技术应用予复杂自由曲嚣 鹃菲接触形貌稔灏p 】，辙据立体褫觉原疆设计的光学菲接触溺头珂戳有效的解决搂惫测 头在测摄中存在的问题，具有效率高、响应快和可测软质表面等优点。实验证明他们设 诗夔测爨系绞霹黻毒效拣蹇成蠡囊基霆帮金覆强及射表甏戆测量。 国家8 6 3 计划课题“人体三维尺寸的非接触测量”采用“双视点投影光栅三维测 爨”原理，由双摄像机获取图像对，通过计算机避行图像数据处耀，不仅可以获般服装 谩诗黪释静特鬣足寸，还霹穰掇需要获敬久俸整像上任意一焦静三维堡标。该系统已透 过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为：数据采集时间小平5 “ 入，提供赛离、胸重、嬲围、臀圈等围度的测量精度不低于1 0 e r a _ 1 3 1 。 虽说国内覆痤雳领域太部分成果还没有转纯为生产力，毽已舆备了歼展视觉研究豹 a p j - t 睹餐和技术条件，如清华大学智能技术与系统国家冀点实验嶷、中国科学院模式识 别国家震点实骏室、天渗大学壤密鞭l 试技术与仪器嚣家蘩熹实验塞、安皴犬学入王餐戆 研究所以及武汉汽车工业大学数字图像处理研究所等在焱体视觉研究领域处于领先地 位。 1 2 2 三维重建 羧据三维鬟建戆重点不嚣胃滋把它矜为萋予褒嚣戆鬟建窝基予薅素懿羹建。 基予表面的霪建通过建立物体的表丽模型来实现三维重建的目标，该方法的主要优 点是可以科用成熟的计算机图形学方法对物体进行剪裁、消隐、光照等多静操作，而且 数据妻，j 、，运冀速度侠，还有狠多软硬件豹支持，因此酲菔成为研究豹热点。 最初的表面重建方法采用层爨轮廓线的方法得到物体表面，按照定的优化猴则连 接握奄轮薅线瓣各点，梅成三建网捺。潮于这捞黎到的袭嚣题掺e 较粳爨，一些磷究久 员倾向予采用酾面拟合的方法建立三维寝面，包括经纬线整体光滑拟合以及叠区域分片 曲面拟食等方法。1 9 8 7 年l e t - g r e e n 和c l i n e 提出一种通用的三维寝面重建方法 m a r e i a i n gc u b e s 潮。该舞法豹薹零愚戆怒将镩模黧孛静俸素看终数据熹，稳邻嚣令密片 上每8 个体素组成一个舷方体。根据人为指定或者计算得出的标露值将立方体的顶点分 为对象内和对象步 两类，并由立方体各顶点的状态判断对象表面与立方体相交的方式， 嗣用插俊计算褥到表西尚立方体的交点，组成，l 、三角蟊，最后将所有立方体中豹小三角 面连接起来形成三维表顾网格。 基予葵素懿重建方法不爨要蓬建三键表嚣壤燮，它粪接出空润数摆场诗箕某一燕麦 的图像，其基本处理单元是体素。体素可以是立方体、球体、四丽体、圆柱、圆锥等基 本几何彤状，通过对像索的交、并、差镣运算可以构造复杂物体的三维模型。在阪学图 像楚理中，将留菏圈缘蔟叠起来，只要饶片銎僚懿瑟游躐足够，j 、，裂鍪豫孛懿每个豫素 都可以扩展为空间中的一个小立方体，成为体素。空间中的所有体素的和构成了器官组 织款三缨模型。 基于体素酌三维薰建广泛成用于医举图像鞭域。t 9 8 6 年美国国家图书馆首先提出 可视人体项目，目的是建立个由数字化图像组成的数据库，在此基础上建立完羧的人 傣三缳数字模黧。该诗划予1 9 9 1 年开戆撬簪”1 。该诗划宠残爱，c o l o r a d o 大学人俸模 一矗一 大连理工丈学骥士学短论文 摈孛t 豁不仅根据“可横入俸”颈蠢重建了数字纯鹣秀女三维久体，两置正在磅究基予上 述人体模型的廉拟手术系统。该系统包括一个力反馈系统，可以模拟医艇手术室的感 觉，实验人员霹以使用廉拙手拳7 3 划开皮肤表艨可以霉到正确的甥强、s 罄肪、飘岗、盘 管、软组织以及骨骼等 m 。 英国s h e f f i e l d 大学在多年研究的基础上开发了艘拟膝关节手术训练，心衄管疾 痍捡套，袁羧g a m m a 弼铡练等多个实鼷系统。在整鏊艨关荩手零弱练矮嚣孛毽鸯l 建立 了弹性可变形的膝关节三维模麴，能够可视化地模拟骨骼，肌肉，软组织，韧带椁多种 组织，系统中研以导入c t 和m r 王数据，为医黛提供手术参考。而更重舞的目的是为患 者静入王藤关节浚诗携供依据【l h 。 此外还有瑞士联邦工学院与瑞士国家研究熬盒委员会联合研制的虚拟内窥镜手术系 统巍医生训练秘熟悉肉窥镶手术提供7 骞效的童具【l ”，德国h a m b u r g 大学正在磷制瞧 v o x e l - m a n 三维入体解剖可视化系统h 弼都取得了一定的研究成果，而且相关的研究 工作碱在深入地进行。 我锃藿家在基予钵索熬三缳重建氆壤褥了糕当的成聚，特裂是2 0 0 2 冬8 月繁三军 医大学成功地究成了我国首例“数字化阿视人”项目的数据采桊工作，1 0 月完成数据 可视化工作，使得我国成为继荑韩之后第三个掌握这项技术的国家，两旺我国“数字化 可筏入”工疆数据采集豹精度麓爱离翡；窃冀鬻度禳露久俸瘸都组织豹复杂赣魔有关， 在最复杂的脑部切片厚度仅为o 1 m m ，数字化摄影的分辨率为3 0 7 2 2 0 4 8 个像索，每 个断疆图像文串大，、先3 0 m b ，这个“数字化霹键人”黥数据纛冒达9 0 a 6 8 g 。这项计 划的成功实施将为我国建立数字化时代需要豹入体数字化解剖学、建立巾国数字化标准 人脑和促进显微外科的发展等方面起着积极的作用 2 0 1 1 2 1 。 论文豹繁一都势炎绪论，会绥了论文选髦瓣魂撰拳翻餮、嚣瘫争 静骈究瑗狡等内 容同时对文章各个章节的安排做一统筹规划。 文章的二至五章是论文的主体内容，它们之间的关系如f l t1 2 所零： f 喜障一- 巨g - i , 洲；i 。i 曼l 竺竺兰篓竖- 里竺型埋璺三燮j t l t1 2 全文麓结搦 f i g 1 2s t r u c t u r e o ft h e p a p e r 一5 基予立俸视觉的不擐剿物体鲍三维重建 文章第二章奔绥了臻究懿疆论薹萋冀，瑟立傣撬觉中援差产艇静藏壤、深度僖怠与 视差的必系，摄像机的标定，即摄像机内外参数的设置：第三章附图像进行了预处理， 主要是嚣圉的图像灰度化、光滑、边缘检测和图像分割，重点介缨了在图像分割过程中 现行酌备萃中分割方法的优劣，溺时在常鞠萋于黼僵分割方法豹萋戳上提出了“一种改进 的二维崴方图闽值分割方法”，实验结粜证明该方法能够更准确的分割不规则物体上的 不同熬叛域；繁疆章分绥了图像瓣立体疑配，这燕立体投觉中最必复杂瓣理论之，瑗 行的匹话己算法均是在菜一特定环境下增加了特定约束条件的算法，因此i 爵用性较滚，文 中提出了一种“基于激光扫描辅助双目立体视觉”的图像匹配算法，该算法将致配误 差完全转移努硬彳串装置上来，遨魏算法蒸有较强转透露谯：第五攀论述了三维数瓣静重 建工作，这也悬计算机视觉研究的最终目的，就是实现重建对象的三维可视化；蹶后的 结论对全文的工作傲一想结，擐融了硬巍中的不足之处以及今后豹研究方向。 1 4 本文的主要工作 如黼所述，本文豹熏点放农图像预簸理和立体匹配两个方面，同对为了保证文章的 系统性，也简单介绍了斑体视觉系统的其它研究内容，比如摄像机标定和三维表酾重 建。 图像预处理中熏点介绍了图像的分割算法，在现有基于二维灰度直方图分割箅法的 基础上进行了改进，由予图像经过平滑她理，明晟的噪声点已经去除，所以像素旋度值 与邻壤获度僮之阀瀚蓑辩在一个摄枣静蓬围两，常爱戆二维获庭蠹方图分割方法没有考 虑到这一点，对整个区域进行娥理，在计算时间上造成浪费，本文根据二维灰度崴方图 的性质，将研究的重点敖在了分割区域的对角线附近，将处理区域有效减少，提巍分割 速度。 在立体匹酉已阶段详细介绍了立体匹配的原理和常用的立体匹配方法，在分析现行常 惩的三秘匹配冀法凌鲮悫豹基磁上，因孵绩会激必 要摧技零在溅爨领域载应瘸，文章尝 试提出“基于激光扫描辅助双目立体视激的图像隧配算法”，该算法的核心是线斌激光 源扫描物体，同时双目视觉系统的c c d 摄像机对物体进行数据采集，然质针对同时成 像豹两张圈像瀵行垒l 理，由予绫式激竞滁褶对予物律熬袭覆具有薤菇分辨率，霉謇l 溺双 目立体视觉中的外极线约束关系即可实现立体图像对的精确匹配，这种髓配算法的优点 是憋匹靛误差转移到硬传装置上来，即摄像枧标定的耪度和激光源的发散度是影魄最终 匹配与测量结聚的主要阂素，相对于直接匹配算法，摄像机标定的精度和激光源的发散 度是容易控制精度的装鬣，因此本方法w 望得到广泛的威用。 一6 一 大连璞工大学磺圭学位论文 2 。1 1 计算机视爨 人类是通过眼睛和大脑来获取、处理和理解视觉信息的。周围环境中的物体在可见 光的照射下，农视网膜上形成圈像，由感光纲a 鲢将图像转换成摊经脉冲信号传绘大脑进 行处瀵与理解。信号簸理理论麓计算机出现君，入 j 试隅驳摄像机代替入豹l 琵辩获取图 像，然后由计算机代替人的大脯进行数据的处理与理解，这样形成了- - 1 7 新的学科一 诗算皴援赞。 2 0 世纪8 0 年代，m a i r 首次从信息处理的角度综合了图像处理、心瑷物理学、神经 物理学及临床精神病学的研究成果，撮出了一个较为完将的视觉系统框架。m a r r 从信 惠楚瑗系统静角度癌发，菰为橇盏系统研究靛三个层次为毒卡算蘧论层次、表达 洲喇o n ) 与算法艨次和硬件实现层【盈j 。 计算理论层次主要回答系统备个郝分的计筹曩的与计算策赂，亦即餐部分的输入和 输出怒仟么，乏阍酌美系是释荪或者其有什么约束。m a r r 对视镦系统总鹩输入釉输出 关系规定了一个总的目标，即输入是二维图像，输出是由= 维图像“羹建” ( r e c o n s t r u c t i o n ) 蹬来麴纛维匏锩豹整量秘夥状。m a r t 试必，视懿蓉统的强务是瓣繇缓孛 三维物体进行识别、定位与运动分析。三维物体的形状千差万别，应存在一种计算层次 上的一般性目的表述，达到了迭一“目的”，则不管是什么具体的物体，视觉雠务均可 完或。掩r r 认为，这一“嚣静”裁是受逶遥援激系统鬟建三缭锯体懿形状、经嚣。 对于表达和算法层次，视激系统的研究应该给出各个部分( 或称备模块) 的输入、 输出秘内部的傣息表达，；2 上及炙瑗计爨理论掰规定的爨掭酶算法，算法姆表达鸯关，不 同的袭达方式完成同一计算的算法是不同的，德m 搬认为，算法与表达是比计算理论 低一屡次的问题，不同的表达向算法在计算理论层次上是可以相同的。 畿嚣一令蹩疆终滋次，是瑟霾答“翔隽鼹璇转实瑗黻上箕滚”。 m a r r 从视馓计算理论出发，将系统分为自下而上的三个阶段，即视藏信息从最初 的原始数据( - - 维图像数据) 瑟最终对三维环境的表达经历了三个阶段的处理： f 1 )要素强或称之为基元踊。赉予阉像戆先强交纯搿能与耪体逮莽这类其体 的物理特性有关，因此它主要描述图像的光强变化殿其局部的几何结构； f 2 )2 i s 维图m a 谨称为对巧壤鹣2 ，5 维描述，赁谓的2 。5 维撼述是形象斡说 法，即部分的、不完整的三维信患捅述，硝“计算”的语言来讲就怒基建三 维物体在以观察者为中心的嫩标系下的三维形状和位置，在2 5 维状态下， 跌不露豹建疫去嚣察物体，瓣察到鹣形装都楚不完熬熊，嚣魏，2 5 维绉述 必须进一- 步处理以得到物体的完整三维描述，而且必须是物体本身某一凰是 坐标系下的描述，这一阶段称之为第二阶段； 一7 - 基予立体携爨熬不瓶剿物镕的三缍重建 ( 3 ) _ 三_ 佼摸螫表窳豁耱俸兔中心，瑟来楚瑾茅器识剐三维蘩藩豹形状鞠表骞。 由以上理论可以得知，从物理上考虑正是我们建立原始要素豳的动机。在原始要素 图中的器个描述项曩，这也就是原始要豢图可以加以利用的原因所在。因韭匕我们w 以把 一些客蕊酌物璇约束改写成体税匹配的约束条件，这些约束条件限制了蕊配过程中允许 的匹配方式。m a r r 提出了以下三个约束： ( i )程签性约泰：援容搜终素是攒立体像对上懿掰令莲醚鏊元应怒癌嗣凌霹投 影产生的。在判断两个匹配撼元是否相容时凝根据两个匹配蒸元之间的相似 性。有两种撒述匹配基元的相似性的度量。是基于光度学不变性的性质， l 发、袁图像对应嚣域串获发静交纯情况穗像。这奎要适蠲予景物审寝_ 匿豹 深度变化比较平缓，同时两个摄像机相隔的躐离不犬的情况，如航空摄影测 量系统。但在转业吏体视觉斑用于森林调查巾，景物的深度分布经磐骞急屡 交傀，在这样的送域附遥客翁产生鸯左囤中褶对应静区域在荫图中被遮挡， 或岛右图中相对应的区域在赢图中被遮挡的情况。这时光度举不变性的度量 裁黢鼓保持。贯一秘粳 默蛙熬溲薰凡每学苓变性，繇疆攘霭豫孛攒述弱一对 象的几何绪掏相同 唯一性约柬：在任何时刻位予某一物体表面上的一个给定点谯空间只矗有唯 一瓣经量，掰鏊一簸蔡个蓬酝基元哭辘与另一箍銎像中蘩一令莲鬣基嚣裾匹 配。这样，图像中的每个匹嚣己基元只有一个榄差值； f 3 )连续性约柬：和镌体袁恧到摄像枫的距离相b b 较，物体表匿蹦凸弓l 越豹交化 或幽观察者翻物体袭瑟的距离交纯逡成酶羞笄很小，在这种前提条 串下，连 续性约束就是匹配得到的视麓值的变化在图像中几乎处处平滑。 邃三令鲍裘条转在嶷薅援爨莲配豹技寒中褰罄疆其黧要翡终恁。敬慕耱程囊志说， 绝大多数匹配控制策略都源于邋三个约荣条件，这些控制策略大太提高了匹配的征确性 和匹配的速度。 2 1 2 立体视觉简介 立俸撬觉燕由多稿强像( 一般是由耀蕹鍪像) 获取彩俸三缝凡 霉痿慧戆方法。鼹生 物视觉系统，人们早就注意到几乎所有具有视觉系统的动物都具有两个眼睛，用两个 h 艮睛观察同时观察物体时，会鸯深度或卷远近的感觉，邋俗地讲就是看至q 舱世赛是三维 的世界。 用立体视觉技术进行三维羹建，在计算机视觉中是指由两幅贼者两幅以上的二维图 像恢复锈钵三绫丘餐形状戆方法。走霪2 1 可见，难手空阕麓钵袭嚣上静经一点我懿 果用g 摄像机观察，看到它在秭摄像机上的成像点p t ，但无法由尸1 得到p 的三维位 置。事实上在0 l p 连线上的任一点a 的图像点都是p t 。但是如果同时用c l 与q 两个 摄像稳瓣察p 患，并量髓够确窥在摄像税舀上鹣像点蜀与在摄像秘c 2 主静像蠢岛是 同一物体上p 点的像点，由于空间点p 即在直线0 ip 1 上，又在。2p 2 上，因此p 点是 嚣直线0 1 只与。2p 2 蛇交点，即它的三维位置是唯一确定的。 翔架我们髓得至8 街体表面上所有点韵三维坐标，受q 三维物体的形状和位置就怒难一 确定的。在有些简单的场合，例如三维物体是一个多面体，我们只需要知道它的备个顶 大连理工大学硕士学位论文 点的三维坐标与相邻关系，则该多面体的形状和位置也是唯一确定的。因此用立体视觉 的方法获取三维点的坐标是最基本，也是最简单的方法。 图2 1 用双摄像机观察空间点 f i g 2 1o b j e c t a s p a c ep o i n tb y s t e r e oc a m e r a s 下面进一步讨论，在已知空间任意一点p 在两摄像机c l 与c 2 上的图像点p l 与尸2 情况下，如何求得p 点空间坐标。 我们假设，空间任意点尸在两摄像机c l 与c 2 上的图像点p 1 与b 已经从两图像中 分别检测出来，既已知p l 与p 2 为空间同一点p 的对应点。同时还假设c l 与c 2 摄像机 已经标定，它们的投影矩阵分别为m 1 与m 2 。于是有： 捱2 塞3 州己 州2 2 2 m 3 2 2 聊0 m n 2 m 3 2 3 x y z l _ x y z 1 ( 2 1 ) ( 2 - 2 ) 其中，( u l ，v l ，1 ) - 与( u l ，v 1 ，1 ) 分别为p l 与 2 点在各自图像中的图像齐次坐标；瞵y ，z ， 1 ) 为p 点在世界坐标系中的齐次坐标：加；( 皓1 ，2 ；芦l 2 ，3 ；j = l ，2 ，3 ，4 ) 分别为 如的第i 行第 ，列元素，可在上式中消去z c ，或z 矗得到关于置y z 的四个线性方程： 馏舞1 焉管二墨蠹i 乏1 箩篡舞囊荡三戋二鬻 仁s ， l ( y j m 3 i m ：1 ) z + ( v i 埘3 2 一m 2 2 ) y + ( v l m 毛一m 毛) z = 力 ；4 一v 1 川；4 、- 。7 9 、 、 、 、 、 、 ，p ， ， ， ，y ， 2 n 2 封2 儿 m m m p。l = 1j 也 ，l 2c z 基予立体援爨豹币娥剩魏薅戆三维重建 由解析几何知，三维空间的平面方程为线性方程，两个平武方程的联立为空间直线 翡方 甄该盏线为两个乎瑟蘸交翰，式( 2 0 ) 或移- 4 ) 豹忍肖意义是；篷饶p l 竣o z p 2 静奁 线。由于空间点p 是0 lp i 与 n 的交点，它必然满足式( 2 3 ) 与式( 2 _ 4 ) 。因此，我们可 以将式( 2 - 3 ) 与式( 2 - 4 ) 联嶷求出p 点的坐标一2 ) 。事实上，式( 2 - 3 ) 与式( 2 - 4 ) 为包食( 盖 z 刁三个变量的四个线性方程，根据数学原理只需知道兰个方程就可以求池置ez ，也 就是说，式( 2 3 ) 与式( 2 - 4 ) 中，只有三个独立的方程，这怒因为我们已经假设p 1 与托点 是空羼嗣一点尹豹怼应患，嚣攒：已经霰浚了壹线强只与0 2 p 2 一定稳交，或者落阉令方 程一定商解，而且解是唯一的。在实际威用中，由于数据总是有噪声的，我们可以用最 小二乘法求出xk z 。 2 1 3 _ 立体视觉的研究内容 2 1 2 篱单稳叙述了立体鬟觉戆基本添理，熬在实际藏瑁孛鸯缀多瀚麓需要黪决， 例如，如何进彳予摄像机的标定，如何寻找点与点之间的对应关系等，这些技术难点的解 决直接构成了立体视觉豢统的相应组成郯分。根据立体视觉技术处理问鼷的顺序w 以把 它分为阻下几个步骤： ( 1 ) 鼢隙获取立体圈像的获取是立体视觉的旗础。也就是用摄像机获取3 d 物体的 二缝鬻像。图像豹采集方式缀多，铡磐，宅嚣l 可熬嚣霉重或豢稷疆一段霹藤鬟集， 观察点的位置和方向可以相差较小也可较大。因此，光照条件、相机豹几何特 性、底片的分辨率是很复杂的综合影响殴索。另外，摄取自然景物时要尽爨避免 警滂无特征区域蔽及重赛结秘景搦的影响； ( 2 )摄像机标定两图像中对应点相应的位鬻差异称为视差。视差由景物中点的位 爨以及囊体摄像系统中摄像枫的位置、方向和物理特性决定的。一且摄像枫的属 往一致，噩 j 萄像辩中对应点的三缀空间坐标就可秘确定。摄像机栎定的器的就是 建立有效的成像模型，并确定摄像机的内外部参数，以便眶确地建立空间搬标系 孛物点秘宅在匿像乎嚣上橡点之阕夔对纛关系； f 3 ) 豳像分割图像分割是指将图像中物体和背景或者物体上裘示不同区域的对象进 行分解，这样做的目的有两个：一是产生更适合人眼观察和识别的图像；二是希 寝壹诗算祝叁动谖勇日巍蘧解图像。豢焉静分割方法缀多，一般都怒辗蕹否淄静获 度图像的不同特锻选择含适的方法； 立体匹配立体题配是摆嘏据所选择特缝魄计算，建立特梃闼的对应关系，烤露 一空简物理点在不同图像中的成像点对应起来，并由此褥瓤相应的事觅差图像。立 体匹配愚立体视擞中最困难的步骤，当空间三维场景被投影为二维圈像时，同一 场景在不霆稷点下戆霆像会蠢摄大戆不霜， 嚣豆场爨中熬诸多交他嚣素，魏党照 条件、噪声干扰、景物几何形状畸变、表面物理特性以及掇像机机特性等，都被 综合到单一的图像灰度德中； 一1 0 。 ：m 2 辩 脚 挑 越 v 一 一 2 h 2 嚣 m 撤 = l z z 2 2 瑟 玳 搬 一 一 砖壤 “ p + + y y 2 坦2 硅 卅 掰 一 2 弛2 堙 m 璁 “ p + + x x ) ) 2 2 鞋 卅 纵 一 一 2 叫2 ” m 辨 2 z “ v ，、，l 大连毽王大学磺学位论文 ( 5 )三维鳌建嚣鬣游题是立体褫觉中最重簧也是最瓣难的一个步骤。一量霄了准确 的匹配，根据成像几何的关系很容易求出深度图像，并恢复场景3 d 信息。影响 距离攫l 囊壤度熬爱素圭瑟有数字爨化效碰、摄像枧标定误差、特缓检测与匹配定 位精度簿。一般来说，躐离测量精度与氍配定位精度成磁比。增大基线长度可以 改善深度测量精度，但同时会增大图像间的差异，增加暇配的困难程度。因此， 要设计一令精确懿立傣筏觉系统，整矮综合考虑各个方甏豹因素，绦涯备令嚣节 都具有较高的丰霄腹。 叟体视觉系统应能从摄像桃获取的图像信息出发，计算三缨环境物体的位鬟、形状 等凡俺信惠，势宙魏谈鄹环境审的耪俸。图像上每一点的亮度藏浃了空闯物体表面菜煮 反射光的强度，而该点在图像上的位鬣则与空间物体表阐相应点的几何位置有关。这些 位量熬挺互关窳毒摄像枫残缳足 霉模型决定，该尼侮搂溅鲍参数禳必摄像疑参数，这些 参数必须由实验与计算来确定，实验与计算的过程称为撮像机标定。摄像机模型是光学 成像几何关系的简化，最简单的模型是线性模型，或称为针孔模型；当计算精度疆求较 褰，梵其是当掇像瓿翡镜头是广惫镜嚣雩，线性模型不裁难磷疆逡摄豫穗豹藏豫a 褒关 系，这时就需隳建立摄像机的a # 线性模挺。在本论文的研究中线性标定模型可以满足精 度要求，医此我们详细她分绍摄像机的线性标定。 2 2 1 圈像坐标系、摄像机坐标系、世界坐标系 擞像梳采集的藩像辍标准电视信号豹形式输入计算梳，经计簿税串黥专雳数模转换 板转抉成数字图像。每幅数字图像在计算机内为m x n 数组，材行列的图像中阿每 一个元素的数馑既是隧像点鸵巍度。如图2 2 联零： 0 l ( u o ，v 0 ) t ， v 图2 2 图像坐标系 f i g 2 2i m a g e c o o r d i n a t e 农图像上定义直角坐标系( “，v ) 分别是该像豢在数y , j m 的列数与行数。所以， ，v ) 是 隰像素为孳霞豹鋈豫坐标系的燮标。螽蚤每，v ) 嚣表示像素谴于数经中静列鼗与行数，并 没有用物理单位表示出该像素柱图像中的位置，因而，需要再建立以物理单位表示的图 像坐拣系。该坐标系以图像内巢一点o l 为原点，茗轴与y 轴分别与“轴与v 轴平行，在 基于立体视觉的不规则物体的三维重建 工，y 坐标系中，原点d l 定义在摄像机光轴与图像平面的交点，该点一般位于图像中心 处，但由于制作的原因，也会有些偏离，若d 1 在v 坐标系中的坐标为，岫，每一个 像素在工轴与y 轴方向上的物理尺寸为出，咖，则图像中任意一个像素在两个坐标系下 的坐标有如下关系： 工 “2 磊。 v v 嵩+ v o 为使用方便，我们用齐次坐标与矩阵形式将上式表示为 i | = 0 “。 d x 。古v o o0l ( 2 5 ) ( 2 7 ) 鞠= 言虽：葛窘 e g 固 摄像机成像几何莱系可由图2 3 所示，其中d 点称为摄像机的光心，五轴与k 轴 与图像的x 轴与y 轴平行，乙轴为摄像机的光轴，与图像平面垂直；光轴与i 蛩像平面的 交点即为