（机械设计及理论专业论文）基于双目体视成像的影像匹配方法及其系统实现.pdf

华中科技大学硕士学位论文 摘要 体文根据由物体的二维图片恢复其三维立体影像这一工程实际需求，以计算 机视觉原理及数字摄影测量学理论为基础，对影像匹配方法及其系统实现进行了 研究。 首先，本文引入了双目体视成像原理，讨论了此成像过程中两个摄像机之间 的相对定向关系，对从其拍摄的两张像片中提取残留的物体外形信息从而实现物 体表面三维坐标恢复的问题进行了说明，为后续工作提供了理论依据。 其次，为了提高原始像片的质量，排除噪声污染对后续处理的影响，本文利 用数字图像处理技术对物体图片进行了若干预处理，实现了从中提取像的边缘特 征信息的目的。 然后，本文讨论了影像匹配的实现过程。为了兼顾处理速度和匹配精度，匹 配过程被分成粗、精两步。粗匹配利用霍夫变换提取影像的边缘特征信息，并通 过特征匹配法找出各对同名点的大致对应关系；精匹配则采用最大相关系数法以 保证达到精度要求。经过匹配，找出各相关同名点，便可以确定左、右影像之间 的相关性，从而为下一步的三维坐标恢复提供初始计算数据。 最后以上述工作为基础，实现了一个影像匹配处理的软件原型系统，该系统 的开发平台采用了v i s u a lc + + 50 ，适用于w i n d o w s 操作系统，软件功能包括 灰度化处理、压缩处理、平滑处理、边缘检测处理、特征提取以及影像的粗、精 匹配运算。 论文给出的影像匹配处理的若干结果表明本系统能对影像进行有效的匹配处 理，提高了影像识别的效率，从而为其进一步工程实用化奠定了基础。、； 关键词：计算机视觉，双目体视，核线约束，影像匹配，相对定向直接解法 华中科技大学硕士学位论文 a b s t r a c t a c c o r d i n gt ot h ep r a c t i c a le n g i n e e r i n gr e q u i r e m e n t e l lr e s t o r a t i o no f3 - d i m e n s i o n a li m a g ef r o m 2 - d i m e n s i o n a l p i c t u r e s ，t h ei m a g em a t c h i n ga p p r o a c h a n di t sc o r r e s p o n d i n g s y s t e mi m p l e m e n t a t i o n i s s t u d i e di nt h i sp a p e rb a s e do nt h e o r i e so f c o m p u t e rv i s i o na n dd i g i t a lp h o t o g r a m m e t r y f i r s t l y , t h et h e o r y o fb i n o c u l a rs t e r e oi m a g i n gi si n t r o d u c e da n dt h er e l a t i o n so fr e l a t i v e o r i e n t a t i o nb e t w e e nt w oc a n l e r a s ，d u r i n gt h ep r o c e s so fi m a g i n g ，i sd i s c u s s e d t h ep r o b l e mt h a t e x t r a c t i n gf i g u r ei n f o r m a t i o no f r e m a i n i n go b j e c t sf r o m t w os c r e e n e dp i c t u r e sa n dt h u si m p l e m e n t i n g t h er e s t o r a t i o no f3 - d i m e n s i o n a lc o o r d i n a t e so nt h es u r f a c eo fo b j e c t s ，i se x p a t i a t e d ，h e n c eo f f e r i n g t h e o r e t i c a lf o u n d a t i o nf o rs u c c e s s i v er e s e a t c hw o r k s e c o n d l y , i no r d e rt oi m p r o v et h eq u a l i t yo fo r i g i n a lp i c t u r ea n dr e m o v et h ei n f l u e n c eo f n o i s e p o l l u t i o no ns u c c e s s i v ed i s p o s a l ，s o m ep r e d i s p o s a lm e a s u r e so fd i g i t a li m a g ep r o c e s s i n gt e c h n i q u e a r ea d o p t e dt 0d i s p o s eo fo b j e c tp i c t u r e si nt h i sp a p e r , t h e r e b yt h eg o a lo fe x t r a c t i n ge d g ec h a r a c t e r i n f o r m a t i o ni sa c h i e v e d t h e nt h ei m p l e m e n t a t i o np r o c e s so fi m a g em a t c h i n gi sd i s c u s s e d f o rt h es a k eo f 仃a d e o f f b e t w e e np r o c e s s i n gs p e e da n dm a t c h i n ga c c u r a c y , t h em a t c h i n gp r o c e d u r ei sd i v i d e di n t ot w os t e p s o fr o u g h n e s sa n dp r e c i s i o n f o rr o u g hm a t c h i n g ，t h eh o u g ht r a n s f o r m a t i o ni su t i l i z e dt oe x t r a c tt h e i n f o r m a t i o no fe d g ec h a r a c t e r , t h e nb ya d o p t i n gt h em e t h o do fc h a r a c t e rm a t c h i n g ，t h ea p p r o x i m a t e l y c o r r e s p o n d i n gr e l a t i o n s o fe a c hh o m o n y m yp o i n t sc a nb ed i s c o v e r e d f o rp r e c i s em a t c h i n g ，t h e m e t h o do f m a x i m a lc o r r e l a t i o nc o e f f i c i e n ti su t i l i z e dt og u a r a n t e et h ep r e c i s i o nr e q u i r e m e n t a f t e rt h e m a t c h i n gp r o c e s sa n dw h e n e a c hh o m o n y m y p o i n t sa r ef o u n do u t , t h ec o r r e l a t i o nb e t w e e n l e r i m a g e a n dr i g h to n ec a nb ed e t e r m i n e d , a c c o r d i n g l yo f f e r i n gi n i t i a lc o m p u t a t i o nd a t af o rt h er e s t o r a t i o no f 3 - d i m e n s i o n a lc o o r d i n a t e so f n e x t s t e p f i n a l l y , as o f t w a r ep r o t o t y p es y s t e mf o rt h ed i s p o s a lo f i m a g em a t c h i n gi si m p l e m e n t e db a s e do n a b o v ew o r k t h ed e v e l o p i n gp l a t f o r mo fw h i c hi sv i s u a lc + + 50a n dw h i c ha p p l i e st ow m d o w s o p e r a t i n gs y s t e m t h e f u n c t i o no fs o , w a r ei n c l u d e s g r a y i n gp r o c e s s ，c o m p r e s s i o np r o c e s s ， s m o o t h i n gp r o c e s s ，e d g e t e s tp r o c e s s ，c h a r a c t e re x 扛a c t i o n ，c o m p u t a t i o no fc o a r s ea n dp r e c i s e m a t c h i n g o fac o u p l eo f i m a g e s t h er e s u l to fi m a g em a t c h i n gd i s p o s a lg i v e ni nt h i sp a p e rs h o w st h a tt h es o f t w a r es y s t e mi s 一 毒 华中科技大学硕士学位论文 e f f e c t i v ei nt h em a t c h i n gd i s p o s a lo fi m a g e sa n dt h ee f f i c i e n c yf o ri m a g ed i s p o s a li se n h a n c e d ，t h u s p r o v i d i n gf o u n d a t i o n f o rf u r t h e re n g i n e e r i n ga p p l i c a t i o n s k e y w o r d s ：c o m p u t e r v i s i o n ，b i n o c u l a rs t e r e oi m a g i n g ，e p i p o l a rl i n ec o n s t r a i n t ，i m a g e m a t c h i n g ，d i r e c ts o l u t i o no f r e l a t i v e o r i e n t a t i o n m 华中科技大学硕士学位论文 1 1 课题研究目的 第一章绪论 当今社会，人们对信息的需求量日益提高，除了传统的文字信息、声音信息 外，更多的是图形、图像信息，尤其是三维图形、图像信息。因此，如何提高计 算机对三维影像的恢复、处理能力已经越来越受到工业、科研、教育等领域的关 注。 正如我们所知道的，图形和图像之间有一定的区别：前者多源于主观世界， 是人们人为地经由计算机进行设计并通过数据描述而产生出来的；后者则来自客 观世界，它是通过对客观环境或实物进行拍摄、检取，然后再由摄像机或扫描仪 等输入计算机的。因此，长久以来图形和图像的处理技术一直被割裂成两个独立 的学科分支：一个是计算机图形学技术，它主要研究如何从计算机模型出发，利 用电脑把真实的或想象的物体画面描绘成相应的图形；另一个是模式识别及图像 处理技术，其研究重点在于将摄像机或扫描仪等设备输入的图象信息数字化，从 中提取二维或三维物体的空间模型，继而再现该图像。此后，以模式识别及图像 处理技术为基础，结合透视成像原理、摄影测量原理，人们更迸一步提出了计算 机视觉理论。 如今，计算机视觉技术已经成为计算机科学和人工智能研究领域的一个重要 分技，其研究目的主要有以下两个：一是提供人类视觉的计算机拟合模型；二是 利用计算机来设计与发展某种真实的、适度的视觉系统，以产生一种逼真的三维 立体感觉。 虽然就最终产生的结果而言，计算机视觉技术与传统的计算机图形学一样， 都是要得到一个三维的几何实体，但计算机视觉技术是要对源自客观真实场景的 一系列二维像片进行处理，并借助摄影测量及数字图像处理技术从该场景的这一 系列二维像片中提取其所隐含的立体信息，通过数学工具定量地恢复其形状和位 置坐标，进行三维重构。而计算机图形学则是一门研究怎样用计算机生成、显示 及处理图形的学科，它具有非常强大的图形操作能力，能够建立空间场景的三维 几何模型，描述场景物体表面的材料、光照及纹理等特征，并最终绘制出所需要 华中科技大学硕士学位论文 的三维几何实体，但却缺少对图像的处理功能，这使得它无法充分利用客观环境 的信息资源。 一般来说，在使用计算机图形学技术绘制图形时，往往要先定义出一个数学 模型，即图形上各个点、线、面的尺寸大小、相对位置关系等，然后再对这个模 型进行修改、完善以及其它相关操作，最终生成一个二维或三维实体。该过程可 以概括为：借助模型生成图形。显然，这是一个数学模拟的过程，设计者可以自 由地构造出各种形状的物体，尤其是可以设计出以往并不存在的新零件、新机器。 可是，在某些情况下，往往需要得到一个已知物体的立体图。此时，物体的像片 就成了一个非常重要的信息资源，有时甚至是唯一的已知条件或者是唯一的适合 使用的条件，而物体的数学尺寸则往往缺乏规律性，很难直接测量，或者即使测 量出来了也不适宜用来建立数学模型。在这种情况下，无法充分利用物体像片信 息的计算机图形学三维重构方法就显示出了它的局限性，这主要表现为： ( 1 ) 构造过程复杂，既费时又易错，效率很低。在建模过程中，我们必须给 计算机以一定的初始条件，然后才能勾画出实体的轮廓。若是这个实体是确实存 在的，那就需要我们自己去找出它的轮廓的特征，再告诉计算机怎么做，这将浪 费大量的时间。若是这个实体的形状很复杂，那要想找出它的每个细节的特征尺 寸更是一件非常麻烦而且极易出错的事情。相比之下，若是通过摄像机把该实体 拍摄成像片，然后在电脑里把它恢复成原先的形状，就可以比较容易地求出它的 各尺寸的精确值。当然，对于过于复杂的细节以及实体的内部形状，像片也难以 很好的描述清楚，但我们可以通过特殊的摄影方法加以解决，比如：放大摄影、c t 扫描等。 ( 2 ) 现有信息资源没有被充分利用。对于一个确实存在的物体，它的外形特 征亦是一种信息资源，这种资源可以为我们提供一系列图像二维坐标，并且在其 中隐藏有物体及其周围场景的三维空间关系，而事实上我们往往需要参考这些几 何尺寸以进行创新设计。显然，仅仅用计算机图形学的方法不能很好地使用这一 资源。 ( 3 ) 所得图形精度不高。我们都知道，构造过程越复杂，构造时间就越冗长， 构造结果也就越不理想。要想在计算机上完全恢复出一个实体的轮廓，就必须找 出它的所有细节的特征，并建立一个适当的数学模型与之相配。对于复杂形体来 华中科技大学硕士学位论文 说，我们很难保证能找出它的所有细节尺寸，就算找出来了也往往找不到一个可 靠的数学模型来描述它，因而我们最终恢复出来的图形很可能会出现局部的失真、 变形等现象，无法达到要求的精度。 考虑到上述问题，我们认为计算机图形学的三维重构方法并不适用于显示 个已知物体的立体图，相比之下采用计算机视觉技术来处理则显得更加可行。事 实上，计算机视觉可以认为就是计算机图形学的逆过程，它的处理过程一般分为 两步，首先是对所输入的图像进行一系列加工处理，如模式识别、特征分析、图 像增强、图像恢复等，然后再从中提取三维信息并将其转化为数学模型。该过程 可概括为：借助图像生成模型。毫无疑义，此技术更适于用来处理图像信息资源。 计算机图形学和计算机视觉的相互关系如图ll 所示【2 】。 交换 图l1计算机图形学和计算机视觉的对应关系 本文以一个三维实体的两张像片为初始输入条件，采用了大量的数字图像处 理手段，从中提取三维信息以便建立该实体的几何模型，旨在探索基于双目体视 的计算机视觉技术的特性。 华中科技大学硕士学位论文 1 2 计算机视觉技术综述 ( i ) 自然界中的一切生命形式都表现出一种与其环境相互作用，并以一种协 调、稳定的行为方式适应其环境的能力。在感知和行为控制( 即动作) 之间所产 生的交互影响促进了这种相互作用。对于绝大多数具有智能的动物来说，视觉感 知是最基本也是最重要的f 3 j 。 ( 2 ) 在现代制造业中，制造商非常关心其产品的外观设计，而消费者在选择 商品时，也常常把外观质量与商品的性能同等看待。因此，为了保证商品在市场 上的竞争地位，厂家要在产品包装之前进行视觉检验，而这个检验过程需要在没 有人介入的情况下自动完成。 以上两个事实从自然界智能生物的视觉感知和直接的实际应用这两个不同的 角度说明了对视觉图像处理、分析和理解的必要性。 众所周知，计算机视觉是通过对三维世界所感知的二维图像来研究和提取出 三维景物世界的物理结构。在此有必要对“图像”这个词给予确切的定义。图像 是通过观察( 更准确地说是感知) 一个景物所产生的一个二维函数，这个二维函 数取决于观察的几何学( 即景物与传感器之间的投影几何关系) 、景物的照明光源 及其性质、传感器的特征( 如焦距、频响和几何性质等) 。景物是一组具有某种几 何排列并受到自然界物理定律所支配的若干三维物体，同时还包括了辐射能量， 它是景物图像最基本的信息。在投影过程中，传感器将三维景物空间关系、物理 性质及表面反射特征综合成二维图像的色度值，而这种变化是不可逆的也是不唯 一的。视觉过程作为成像过程的逆过程，其目的是要从带噪声、畸变的二维图像 中恢复三维场景的有关信息( 如形状、位置、运动等物理特征) 。但在图像的投影 过程中，不可避免地要丢失一部分重要信息，正是对这些丢失信息的恢复形成了 计算机视觉研究的核心问题：从景物图像或序列图像中求出景物的精确的三维几 何描述，并定量的确定景物中物体的空间性质【4 i 。计算机视觉研究的内容主要包括 以下几个方面： 1 2 1 成像几何模型 图像是视觉信息表示的一种物理形式，要认识图像产生及其所携带信息的内 在性质，必须用适当的数学模型去表征图像。这种数学模型的基本形式就是描述 4 华中科技大学硕士学位论文 三维景物如何形成二维图像的成像几何模型。成像几何模型只与三维物体点的空 间位置、摄像机的焦距以及物体或摄像机相对运动参数有关，而与二维图像的强 度信息无关。研究成像几何模型的目的是理解图像形成的物理过程，即三维物体 点是如何变换n - 维图像平面上的。尽管我们不可能利用成像几何模型由二维图 像直接恢复三维景物结构，但是成像几何模型对如何提取蕴含在二维图像中的三 维信息、图像几何畸变校正、摄像机运动控制信号的产生和三维运动的理解与估 计等研究是十分重要的。 透视投影( p p ) 变换模型是我们最常用的从三维物体点n - - 维图像平面点的 成像几何模型，其坐标变换公式可以由小孔摄像机模型来推导，而且在推导过程 中我们一般不考虑透镜的畸变。在大多数应用场合中，这种模型可以满足所要求 精度。 1 2 2 双目体视技术 人的视觉功能之一就是通过双目体视来重构世界的三维表示，也即是通过把 在左、右两个不同视点所得到的一对二维图像进行组合，建立其周围表面的深度 信息。换句话说，只要能找出在左、右视图的图像中相应于同一物体点的两个图 像点，就可以根据给定的投影中心、有效焦距、光轴方向和摄像机位置，由三角 几何原理恢复物体的三维结构。一般来说，这种立体成像系统有两种形式：要么 只有一个可以移动的摄像机，并且它在不同位置时的相互关系是已知的；要么同 时使用两个或更多的摄像机，并且已知各摄像机之间的相对关系。通常我们可以 假定多个摄像机的参数一致，并且每个摄像机都被假设为一个理想的小孔摄像机， 也就是采用透视投影成像模型。 虽然这种双目成像模型的几何关系非常明确，但在实际应用中还应考虑到左、 右两张像片上相关同名点的匹配问题，而这就需要用到影像边缘特征提取技术以 及影像匹配技术。 1 2 3 影像边缘特征提取技术和影像匹配技术 最初的影像匹配主要是采用了相关技术，利用两个信号的相关系数，评价它 们的相似性以确定同名点。即首先取出以待定点为中心的小区域中的影像信号， 5 华中科技大学硕士学位论文 然后取出其在另一影像中相应区域的影像信号，计算两者的相关系数，以相关系 数最大值对应的相应区域中心点为同名点，也就是说把影像信号分布最相似的区 域作为同名区域，而同名区域的中心点即为同名点。 不过，在很多场合下，影像匹配主要是用于配准那些特征点、线、面，此时 可以采用基于特征的匹配。般来说，特征匹配可以分为以下三步： ( 1 ) 特征提取。 ( 2 ) 利用一组参数对特征进行描述。 ( 3 ) 利用参数进行特征匹配。 这里所说的特征可以是高层次的( 如特定的形状) ，这在二维图像中识别比较 困难，但一旦识别出来，进行匹配就容易多了；也可以选择低层次的( 如点、边 或某些局部特征) 检测这些特征点要相对容易些，但在最后的匹配运算中往往会 产生多义性。 综合考虑了相关系数匹配法和特征匹配法各自的优、缺点，现在的影像匹配 处理一般会被分成粗、精匹配两步，粗匹配为我们找到左、右像片对上各个相关 点之间的大致对应关系，通过牺牲匹配精度来提高匹配速度；而精匹配则在粗匹 配的基础上最终把所有相关点一一找出来。显然，由于相关系数匹配的计算量非 常大，而且在计算相关系数时，容易受到噪声的干扰，尤其是当待匹配的点位于 低反差区( 即在该窗口内信息贫乏，信噪比很小) 时，其匹配成功率不高，再加 上我们进行粗匹配的目的并不是要精确的找到各对同名点的位置，而只是配准某 些“感兴趣”的点、线或面，而这恰好是特征匹配所擅长的方面，因此粗匹配往 往采用特征匹配的方式来实现。至于精匹配，其输出结果即为最终找到的同名点， 它必须达到所要求匹配精度，对此我们只有采用最大相关系数匹配法，以保证输 出结果的正确性口i 。 1 3 数字图像处理技术综述 所谓数字图像处理，指的就是用数字计算机进行图像处理，当然，其处理的 对象也必须是可以进行计算机操作的数字图像。自从1 9 6 4 年美国喷气推进实验室 ( j p l ) 正式使用数字计算机对“徘徊者7 号”太空船送回的四千多张月球照片进 行了处理，并得到了前所未有的清晰图片以来，人们对这一技术便开始越来越关 华中科技大学硕士学位论文 心了。随着计算机硬件( 以固体集成电路技术为代表) 与软件( 以快速傅立叶变 换为代表) 的持续发展，数字图像处理技术日益表现出它的精确性、灵活性及通 用性等特征，从而构成了一门独立的新兴学科。到目前为止，数字图像处理技术 已被广泛地应用到了太空探索计划、生物医学工程、遥感技术、军事工业等多个 领域之中，其处理手段也变得越来越灵活，越来越复杂。下面介绍e l - ”7 其中一些 主要的数字图像处理技术。 1 3 1 图像增强 图像增强是数字图像处理的一类方法，这些方法都是力求改善图像的外观， 或把图像转换成另一种形式，使之更适合于人眼的观察判断或机器的分析处理。 图像增强不是以图像保真原则为其基点来处理图像的，所以它不涉及图像质量变 坏的物理过程，只是根据图像质量变坏的一般性质提出一些改善的方法。譬如图 像信号很弱，可以采用增加对比度的方法或直方图均衡法来增强其中的有用部分； 图像上噪声很大，则采用平滑处理法或用空间低通滤波法去除噪声；图像轮廓不 明显或需要提取轮廓以供机器分析，则采用图像锐化方法处理。显然，图像增强 实质上是有选择的加强图像中某些信息而抑制掉另些信息，目的是增加图像的 有用性。 图像增强技术大致可以分为以下四类： ( 1 ) 对比度增强法。这种处理方法只是逐点修改输入图像中每个象素的灰度， 而象素的位置并不改变，是一种输入、输出象素间一一对应的运算。设输入图像 的灰度记为f ( x ，y ) ，输出图像的灰度记为g ( x ，y ) ，那么对比度增强数学上可 以表达成： g ( x ，y ) = ti f ( x , y ) 】- - - ( 1 1 ) ( 2 ) 图像平滑处理技术。图像在传输过程中，由于传输信道取样系统质量较 差或是受到某种干扰的影响而造成图像毛糙时，往往会用到平滑处理技术。平滑 技术可以分为频域法和空域法两种：频域法又称为低通滤波法，即考虑到图像上 的噪声信号一般都被包含在高频分量中，因此我们可以对图像进行傅立叶变换， 然后将其高频成分衰减、滤除掉，而只保留其低频分量，从而实现去除毛糙的目 的；空域法以局部平均法、加权平均法为主要代表，其处理过程主要是用某象素 7 华中科技大学硕士学位论文 邻域内的各点灰度级平均值或是加权平均值来代替该象素原来的灰度级以达到消 除噪声的目的，通常邻域都取成n n 的方形窗口。 ( 3 ) 图像锐化技术。图像经转换或传输后，质量可能下降，难免有些模糊。 图像锐化技术是一种补偿图像轮廓的处理方法，它可以加强图像轮廓，使图像看 起来清晰一些。与图像平滑技术相类似，锐化处理同样可以分为频域法和空域法 两种：频域法又称为高频加强滤波法，这一方法主要是考虑到图像的轮廓即是那 些灰度陡然变化的部分，其中包含着丰富的空间高频分量，对图像进行傅立叶变 换后再加强其空间高频分量，使之相对突出，便可以使图像轮廓变得更加清晰； 空域法以微分法为主要代表，这一方法通过计算图像上各点的梯度值以加强其高 频成分，从而提高图像轮廓的清晰程度。 ( 4 ) 几何校正技术。许多成像系统因光学装置或电子扫描电路的限制而存在 非线性几何失真，为了获取准确的图像，必须进行几何校正以消除各种失真。计 算机进行图像的几何校正一般分两步进行：首先是对图像象素坐标位置进行校正， 这就需要进行坐标变换；其次是对象素灰度级进行估算，通常采用内插法来实现。 1 3 2 图像恢复 图像恢复与图像增强的目的类似，也是旨在改善图像的质量。不过图像恢复 以保真为前提，因而要涉及图像质量降低的物理过程，这使得它的处理方法要更 加复杂些【“i 。 图像的模糊可以笼统地归纳为成像系统没有理想的冲激响应或是受到噪声的 污染。我们定义h ( x ，y ) 为成像系统的冲激响应( 在光学系统中称为点扩展函 数) ，f ( x ，y ) 为反映物体面貌的清晰图像( 原始图像) ，g ( x ，y ) 为所得到的 模糊图像，n ( x ，v ) 为噪声，则它们之间存在这样的关系： g ( x ，y ) = l i f ( a ，b ) h ( x 一口，y b ) d a d b + n ( x ，y ) = f ( x ，y ) + 矗( x ，y ) + n ( x ，y ) ( 12 ) 现设h ( x ，y ) 、f ( x ，y ) 、g ( x ，y ) 、n ( x ，y ) 的傅立叶变换分别为h ( u ，v ) 、 f ( u ，v ) 、g ( u ，v ) 和n ( u ，v ) ，则上式可以变换为： g ( u ，v ) = 日( “，v ) f ( u ，v ) + n ( u ，v ) ( 13 ) 显然，图像恢复的关键就是要找出h ( x ，y ) 或h ( u ，v ) 并设法滤掉n ( x ，y ) 。 华中科技大学硕士学位论文 确定点扩展函数h ( x ，y ) 的方法很多，大致来说可分为两种： ( i ) 运用先验知识来确定。一般来说，大气湍流、光学系统散焦以及照相机 与景物之间的相对运动造成的模糊是图像处理中经常遇到情况，这类图像退化 的点扩展函数可以根据导致模糊的物理过程( 先验知识) 来确定。 ( 2 ) 运用后验判断的方法。这一类方法是用来处理那些事先并不知道退化的 物理过程，或者这种物理过程过于复杂而难以用来确定点扩展函数h ( x ，y ) 的 情况。其大致思想是：先在原始图像上确定一个明显的、清晰的点或是直线，然 后找到退化图像上与之相对应的退化影像，利用它们之间的对应关系计算造成这 种退化的点扩展函数。 确定点扩展函数h ( x ，y ) 并消除噪声n ( x ，y ) 之后，我们便可以对所求出 的h ( x ，v ) 进行傅立叶变换以得到h ( u ，v ) ，然后对退化图像进行逆滤波求出 原始图像的傅立叶变换f ( u ，v ) ，其中f ( u ，v ) 的计算公式为： f ( u ，v ) = g ( ，v ) 一n ( u ，v ) i h ( u ，v ) ( 14 ) 至此，只需对函数f ( u ，v ) 取傅立叶反变换。便可以求出原始图像f ( x ，y ) 。 1 3 3 图像分割与描述 图像分割是指按照某些特征( 如灰度级、频谱、纹理等) 将图像空间划分成 一些区域，在这些区域内部，其特征是相同的或者说是均匀的，两个相邻区域彼 此特征则是不同的，其间存在着边缘或边界【1 2 】。而在图像经过分割之后，下一步 的任务就是要用一系列的数字或语句对已分割的图像进行描述，以便使用计算机 进行自动处理，这即是图像描述。 图像分割从本质上来说就是将图像中的象素按照特性的不同进行分类的过 程。它大致可以分为两大类处理手段：一个方法是按照各个象素点灰度级上的差 别来分类，这又被称为象素分类；另一个方法是将图像中各个不同区域的边缘检 测出来，以达到图像分割的目的，这即为边缘检测【1 ”。 ( 1 ) 象素分类。进行象素分类时，最常用的方法即为灰度级门限化法。邱： 通过计算，定义一系列灰度门限值，将灰度处于某两个门限范围之间的所有象素 点统统转化成同一灰度，从而将图像分割成具有不同灰度值的几大块。在这种处 理方法中，灰度门限的选择非常重要，我们必须依据灰度级直方图或者是图像上 9 华中科技大学硕士学位论文 各点的梯度值来进行计算，以寻找其临界点。 ( 2 ) 边缘检测。图像的边缘具有能勾画出区域的形状、能被局部定义以及能 传递大部分图像信息等很多优点，这使得边缘检测成了许多复杂问题的解决关键。 事实上，边缘可以被定义为在局部区域内图像特性的差别，它表现为图像上的不 连续性( 如图像上灰度级的突变，纹理结构的突变以及彩色的变化等) 。显然，梯 度算子、拉普拉斯算子等计算图像突变程度的工具在边缘检测技术中是非常重要 的。当然，在进行边缘检测时同样也要选择一个准确、合理的门限值以决定怎样 的突变程度才可以视之为边缘。 在对图像进行了分割之后，紧接着要做的就是对所分割的各个区域进行描述， 这包括对它的几何性质的描述和简化，如各个物体点的邻接性和连通性、距离、 扩大、收缩和细化等，以及对图像的区域描述、关系描述和相似性描述。其中， 区域描述是用来描述各个区域的特性，关系描述是研究区域之间的相互关系，以 便把这些区域组织成一个有意义的结构，相似性描述则是研究各区域之间或在不 同图像集合之间建立相似性测度的问题。 1 4 本文的主要工作及意义 本文借助计算机视觉技术以及摄影测量技术中关于双目体视立体成像系统的 原理，以一个三维实体的左、右两张像片为初始输入条件，采用了数字图像处理 手段对其进行匹配，并从中提取三维信息以便建立该实体的几何模型，旨在探索 基于双目体视的计算机视觉技术的特性。论文综合运用数字摄影测量原理、双目 体视技术、计算机视觉技术、图像匹配技术、数字图像处理技术等多方面的知识， 实现了对普通数字像片的匹配处理，并给出了求解物体点三维空间坐标的公式推 导以及对物体三维形体进行网格化处理的计算方法。本文研究工作包含如下三个 方面： 公式推导部分：利用数字摄影测量原理以及计算机视觉技术，推导出在双目 体视系统中，左、右像片之间的相对坐标关系，然后通过空间后方交会计算公式 解出物体点的三维空间坐标。此外，还利用左、右像片对的核线相关特性推导出 了网格化处理的具体公式。 数字图像处理部分：利用数字图像处理技术对所拍摄的物体像片进行各种预 1 0 华中科技大学硕士学位论文 处理工作，其中包括了位图平滑处理、彩色位图灰度化处理、位图压缩处理、图 像边缘检测处理等多个步骤，为下一步的边缘特征提取以及最终的匹配处理作准 各。 图像匹配部分：利用霍夫变换提取经过预处理之后的物体像片的边缘特征信 息，并利用所提取的这些信息对左、右像片对进行粗匹配。在确定了左、右像片 对上各点的大致对应区域之后，再利用最大相关系数法进行精匹配，最终找到精 确的同名点。 本文讨论了通过双目体视法来实现计算机视觉的整个过程，并给出了从二维 影像中恢复物体空间几何数据的计算方法。该方法具有鲁棒性及可精确计算深度 信息等优点，而且对摄像机没有专门的要求，因而在近景观测、实时显示等方面 表现出巨大的应用价值。 全文的组织结构如下： 第一章亦即本章为全文的绪论部分，对计算机视觉原理和数字图像处理技术 进行了一系列简单的讲解，并大致介绍了本课题的主要工作、研究意义以及今后 的发展方向。 第二、三、四、五章构成了本文的主要内容。 第二章详细介绍了计算机视觉双目体视成像系统的成像特征，左、右像片相 对定向的公式推导以及利用左、右像片核线对应关系而进行网格化处理的整个过 程，在介绍过程中大量使用到了计算机视觉原理和数字摄影测量学理论方面的知 识。 第三章着重探讨了利用数字图像处理技术对拍摄到的物体像片所进行的处 理，其中包括了位图平滑处理、彩色位图灰度化处理、位图压缩处理、图像边缘 检测处理等多个步骤。 第四章详细讲解了如何利用霍夫变换提取物体像片的边缘特征，以及怎样利 用特征匹配法和最大相关系数匹配法实现影像匹配的处理方法。 第五章是影像匹配处理的软件实现部分，文中对这一整套软件系统的结构以 及主要功能模块进行了比较详细的介绍，并附有运行实例。在实例之后，则进一 步讲解。 第六章为全文总结及展望。 各章内容之间的逻辑关系如图12 所示。 华中科技大学硕士学位论文 图12 本文各章内容之间的逻辑关系 华中科技大学硕士学位论文 第二章双目体视成像系统原理 一般来说，照相机的摄影过程符合透视变化模型，它所拍摄到的二维影像可 以认为是将一个三维物体向像片平面按比例缩小的投影。而计算机视觉技术则是 要反求这一过程，将拍摄过程中所失去的物体深度信息恢复出来。显然，在一张 像片上是不可能完全反映出该物体的全部深度信息的，这促使我们模拟人的双眼， 设置两个照相机，通过把在左、右两个不同视点所得到的一对二维图像进行组合， 提取它们各自所隐含的深度信息，唯一地确定物体的空间坐标。这即是我们所说 的双目体视成像。 本章综合运用计算机视觉和数字摄影测量学两方面的知识，推导出左、右两 幅图像像对之间的相对位置坐标关系。并以此为基础，通过像片对上各对相关同 名点在各自像片上的坐标，计算出与之相应的物体点在立体空间中的三维坐标值。 此外，本章还利用左、右像片对之间的核线约束关系，推导出了物体网格化处理 时进行影像匹配的简便计算公式。 2 1 透视投影变换 绪论中已经提到，摄像机的摄影过程符合透视投影( p p ) 变化模型，而透 视投影变换可以由+ - t l 摄像机模型( 又叫针孔模型) 推导出来。一般来说，小孔 摄像机模型可以分为后投影模型和前投影模型两种，图2l 所表示的就是小孔摄 像机的这两种典型模型。 髹 盖 小孔摄像机模型( 后投影模型)小孔摄像机模型( 前投影模型) 图2 1 小孔摄像机模型 华中科技大学硕士学位论文 在小孔摄像机后投影模型中，位于图像平面前距离等于焦距f 的点被称为投 影中心，z 轴被称为投影轴或光轴，它是传感器的观察方向，而由投影的几何关 系所确定的有限大小的图像平面就是摄像机的视场。如果将图像平面沿着投影轴 推至投影中心的前面距离为f 处，同时保持图像平面中心的坐标系，就可以得到 与后投影模型等价的反演模型前投影模型，在计算过程中这两者是没有区别 的，无论选择哪一种模型计算的最终结果都是一样的。因此本课题的所有公式推 导都只是取其中某一种投影模型的进行推理计算。 为了从数字影像中提取几何信息，必须建立数字影像中的像元素与所拍摄物 体表面相应的点之间的数学关系。现在我们以前投影模型为例，其坐标系设定以 及成像几何关系如图22 所示【”h “】。 图22 坐标系及成像几何关系 在图2 2 中，o 点为相机的光心，z c 轴为相机的光轴，0 0 ，为相机的焦距， 用f 来表示，由点0 与) ( c 、y 。、z 。轴组成的坐标系即为相机坐标系。除相机坐标 系之外还有两个坐标系，它们分别是图像坐标系( 由点0 ，与x 、y 轴组成) 和世 界坐标系( 由x 。、y 。z 。轴组成) 。 考虑到齐次坐标是计算机视觉和计算机图形学中的一个十分有用的工具，利 用它可以统一完美地表达许多重要的几何变换，本文决定在此处采用齐次坐标系 计算。故空间任一点p 与其投影点p 的投影比例关系可以表示为： 华中科技大学硕士学位论文 h 卜。 乙： “0 v 0 l x w l z 旷 1 = m 1 m 2 x 。= m x 。( 21 ) 式中，m 为3 4 矩阵，称为投影矩阵；m ，矩阵完全由a ，a ，u 。，v 。决定，并 且n ：，a ，u 。，v 0 只与相机内部结构有关，称为相机内部参数；m 。矩阵由相机 相对于世界坐标系的方位决定，其元素称为相机外部参数。在图像平面中，( u ，v ) 表示以象素为单位的坐标。 数字影像是以“扫描坐标系”为准，即像元素的位置是由它所在的列号u 与 行号v 来确定的，它与像片本身的坐标系0 ，一x y 是不一致的，因此，在计算机视 觉中，往往需要涉及到一个基本问题，即景物是如何形成到图像的象素点的。经 过研究我们发现像元素的位置行、列号与像片本身的坐标系0 。- - x y 之间的不一致 性可以包含在矩阵m ，及m 。中，也就是说可以由相机的内外参数来确定矩阵m 。 及m ，的值，从而获得空间物体点p 与其投影点p 的坐标映射关系，这即称为相 机定标( c a m e r ac a l i b r a t i o n ) 。一般来说，相机定标时需要一个特制的标定参照物 ( r e f e r e a c eo b j e c t ) ，并且必须精确测定标定参照物上特征点在世界坐标系和图像 中的坐标位置。当特征点的点数超过六个时，就可以利用最小二乘法求出m 矩阵， 进而求出m ，和m 。矩阵，从而实现相机定标。在相机定标完成之后，我们可以 认为以后整个拍摄过程中这个相机的内部参数保持不变，即矩阵m ，是不随外部 条件变化而变化的【1 ”。 目前常用的摄像机标定算法并不需要特别的实验装置，也不必对实验条件提 出过于苛刻的假定，其中大部分的方法都是利用成像几何性质将需要标定的各个 参数分解开，然后再分别计算。其最大的两个共同特点如下f 1 8 j ： ( 1 ) 不使用优化技术，也不引入非线性规划，只利用线性方程或方程组和矩 阵计算方法。这样可以使算法更加快速，并且使算法的性能分析更加容易进行。 ( 2 ) 分解各个参数，一次不求解较多的未知参数，从而使算法更加具有实用 性。 经过对相机的定标之后，就可以开始推导小孔摄像机模型的透视投影变换公 式了。设其投影变换关系如图23 所示，其中c 为投影中心，p 为物点，p 为像点。 并且各坐标系定义如下：c x y z 为像空间坐标系，c 一) “z 为像空间辅助坐标系， o x y z 为世界坐标系，其中c - - x y z 和c x y z 随相机位置和方向而动，并且 c x y z 和o - - x y z 的坐标轴平行，保持方向不变。假设投影中心c 和物点p 在 o x y z 中的坐标为k ，y c ，z 。和x p ，y p ，z p 。像点p 在c - x y z 和c - x y z 中 的坐标为x ，y ，z 和x ，y ，f ( f 为相机焦距) 。 0 2 、 z夕y 彤x 一。 1 z 淤一。 z p - z c 物点p 沙7 lx p k 叠p _ y c 图2 3 像点投影关系 x 由于点c ，p ，p 三点位于一条直线上，根据相似三角形关系可得： 豳= 橱- z 力 像点的像空间坐标( x ，y ，f ) 与像空间辅助坐标( x ，y ，z ) 的关系为： 睁刚至捌爿 由式( 22 ) 和式( 23 ) 消去比例因子 ，得： x p - k 肾酗测 y p 母( z ，, - z c ) 搿 ( 2 3 ) ( 2 4 ) 考虑拍摄时相机和场景的距离与场景中物体凸表面几何尺寸常相差较大，且 相机与场景的距离初始确定为一固定值，则上式z p z 。近似看成常数，c 3 f 也为常 一 1 6 华中科技大学硕士学位论文 数，可得到透视变换公式 ：鱼! 兰：鱼2 兰：竺! i 口3 1 芏+ 码2 y + 1 y = a 2 1 x + a 2 2 y + a 2 3 a 孔z + 鸭2 y + 1 式中x ，y 为物点p 在像空间辅助坐标系中的坐