（计算机应用技术专业论文）基于lcd的相机标定与三维重建问题研究.pdf

a b s t r a c t 3 dr e c o n s t r u c t i o no fo b j e c t sb a s e do n2 di m a g e si sa ni m p o r t a n tt o p i c i nt h ef i e l do f c o m p u t e rv i s i o n i th a s ab r o a da p p l i c a t i o np r o s p e c t si nm a n y f i e l d ss u c ha sv i r t u a lr e a l i t y , 3 dm e a s u r e r n e n t ，r o b o ts e l f - n a v i g a t i o n ，i n d u s t r i a li n s p e c t i o ne t c t h ep r o c e s s o f3 d r e c o n s t r u c t i o nm a i n l yi n v o l v e si m a g ep r e - p r o c e s s m g c a m e r ac a l i b r a t i o n ，f e a t u r e e x t r a c t i o na n dm a t c h i n ga n d3 d r e c o n s t r u c t i o na l g o r i t h m a ni m p r o v e ds u b p i x e le d g ec o n t o u rd e t e c t i o na l g o r i t h m b a s e do no r t h o g o n a l f o u r i e r - m e l l i nm o m e n t si sp r o p o s e d c a n n yo p e r a t o ri sf i r s t l yu s e dt oe x t r a c tp i x e ll e v e l i m a g ee d g e s ，t h e no r t h o g o n a l f o u r i e r - m e u i nm o m e n t so p e r a t o ri su s e dt od e t e r m i n e s u b - p i x e li m a g ee d g e sa tt h ep o s i t i o no ft h ep i x e ll e v e li m a g ee d g e s t h el e a s t + s q u a r e s e l l i p s ef i r i n gm e t h o di su s e dt ot h es l l b p i x e li m a g ee d g e s t og e tm o r ea c c u r a t es u b p i x e l e l l i p s ec e n t e rc o o r d i n a t e s ，a n d f u r t h e ri m p r o v et h ep r e c i s i o no fc a m e r ac a l i b r a t i o n e x p e r i m e n t sp r o v e dt h a tt h es u b p i x e ld e t e c t i o na l g o r i t h mh a ss h o r tc o m p u t i n g t i m ea n d 1 1 i 曲d e t e c t i o na c c u r a c y i ti sd i f f i c u l ta n dc o s t l yt oe n s u r et h es t r i c tf l a t n e s so ft h ec a l i b r a t i o np a n e l i n r e s p o n s et o t h i si s s u e ，an o n l i n e a rc a m e r ac a l i b r a t i o nm e t h o db a s e do nl i q u i dc r y s t a l d i s p l a y i sp r o p o s e d f i r s t l y , ac a l i b r a t i o nt a b l e ，w h i c hh a ss o m ec i r c u l a rf e a t u r ep o i n t so f d i f f e r e n ts i z e s ，i sd e s i g n e da n dd i s p l a y e do nt h el c ds c r e e n t h e ns e v e r a li m a g e so f t h e c a l i b r a t i o nt a b l ea r es h o tb yr o t a t i n gt h ec a m e r aa r o u n dt h eo p t i c a la x i s f i n a l l yc a m e r a p a r a m e t e r sa r ec a l c u l a t e db a s e do nz h e n g y o uz h a n g s c a l i b r a t i o na l g o r i t h ma n dt h e t a n g e n t i a ld i s t o r t i o na r ec o n s i d e r e d e x p e r i m e n t sp r o v e d t h a tt h ec a l i b r a t i o nm e t h o di s s i m p l ea n dc o n v e n i e n ta n di th a sh i l 曲c a l i b r a t i o na c c u r a c y a3 dr e c o n s t r u c t i o na l g o r i t h mb a s e do nm a r k e rp o i n t su s i n gm u l n p l et m a g e si s s t u d i e da f t e rt h ec a n l e r ap a r a m e t e r sa r eo b t a i n e d t h ec o d e dt a r g e t sa n du n c o d e dt a r g e t s a r em em a r k e rp o i n t s 锄da r ed i s t r i b u t e do nt h es u r f a c eo ft h et a r g e to b j e c t a se a c hc o d e d t a r g e th a sau n i q u ei d e n t i t y , t h e yc a l lb eu s e d t oc o m p u t ep o s e so ft h ec a m e r a sa n d “x d n s 缸u c tt l l e 咖t e r so ft h ec o d e dt a r g e t s ；t h e nt h ec o r r e s p o n d e n c eo fu n c o d e dt a r g e t s c 肌b ee s t i m a t c db a s c do nt h et h e o r yo fe p i p o l a rg e o m e t r y , f i n a l l yt h ec e n t e r so ft h e u n c o d e dt a r g e t sc a nb ec o n s t r u c t e du s i n gt h et r i a n g l e r e c o n s t r u c t i o na l g o r i t h m e x p e r i m e n t sh a v ep r o v e dt h ef e a s i b i l i t yo f t h er e c o n s t r u c t i o nm e t h o d k e yw o r d s ：c a m e r ac a l i b r a t i o n ；l i q u i dc r y s t a ld i s p l a y ；s u b - p i x e le d g ed e t e c t i o n ； r o t a t i n gs h o o tm e t h o d ；3 dr e c o n s t r u c t i o n 目录 第一章绪论1 1 1 课题背景及其意义1 1 2 国内外研究现状1 1 2 1 计算机视觉研究现状1 1 2 2 相机标定研究现状2 1 2 3 基于数字图像的三维重建研究现状4 1 3 论文的主要工作与章节安排5 第二章图像预处理6 2 1 彩色图像灰化6 2 2 图像平滑处理6 2 3 边缘检测7 2 3 1 传统边缘检测算法7 2 3 2 亚像素边缘检测算法8 2 4 最小二乘椭圆拟合1 2 2 5 o p c n c v 函数库1 3 2 6 实例分析1 4 2 7 本章小结1 5 第三章基于l c d 的相机标定方法1 6 3 1 引言1 6 3 2 纯平液晶显示器( l c d ) 1 6 3 2 1l c d 概述1 6 3 2 2l c d 用于标定的优缺点1 7 3 3 相机模型1 7 3 3 1 图像坐标系、相机坐标系、世界坐标系1 7 3 3 2 线性相机模型1 9 3 3 3 非线性模型2 1 3 4 标定表设计2 2 3 5 图像拍摄方法2 3 3 6 图像点与空间点的对应2 3 3 7 相机参数获取及优化2 4 3 8 实验结果与分析2 6 3 9 本章小结3 1 第四章三维重建基础理论3 3 4 1 两视图几何3 3 4 1 1 极线几何关系3 3 4 1 2 基本矩阵3 4 4 1 3 本质矩阵3 5 4 2 三角形法重建3 6 4 3 本章小结3 7 第五章基于标记点的三维重建3 8 5 1 标记点的检测3 8 5 1 1 标记点设计3 8 5 1 2 标记点自动检测算法3 9 5 2 相机姿态及编码元中心空间坐标求解3 9 5 2 1 根据同名点对求解基本矩阵和本质矩阵3 9 5 2 2 根据本质矩阵求解相机姿态和编码元空间坐标4 0 5 2 3 多相机姿态求解4 2 5 3 非编码元空间坐标求解4 4 5 4 实例分析4 4 5 5 本章小结4 8 第六章总结与展望4 9 6 1 全文工作总结4 9 6 2 今后工作展望4 9 参考文献 5 l 攻读学位期间的研究成果5 5 致谢5 6 学位论文独创性声明5 7 学位论文知识产权权属声明5 7 第一章绪论 1 1 课题背景及其意义 第一章绪论 据统计，人类从外部世界获取的信息约有8 0 9 6 是通过视觉获取的。可见视觉在 人类观察世界和认识世界的过程中起着非常重要的作用。人们生活在三维立体空间 中，对外部世界的感知首先是各种三维物体的形体，而图像采集系统获取的却是物 体的二维图像，在成像时会丢失很多信息，因而需要进行三维信息提取。计算机视 觉是指用计算机模拟人眼并实现人的视觉功能对客观世界三维场景的感知、识 别和理解，使得计算机具有通过一幅或多幅图像感知和恢复三维环境中物体的几何 性质、姿态结构、运动、位置等信息的功能。 其中，三维重建是计算机视觉领域中的一个关键技术，三维重建指的是从相机 获取的二维图像信息出发，计算物体的三维位置、形状等几何信息，并由此重建和 识别场景中的物体。三维场景的重建涉及到计算机图形学、图像处理、虚拟现实等 研究领域，是近年来的研究热点之一。 如何确定二维图像上的点与空间物体表面某点三维几何位置的对应是三维重建 的关键。相机成像的几何模型确定了这种对应关系，计算模型参数即相机参数的过 程称为相机标定。简单的说，相机标定就是确定从三维空间点到成像平面上的二维 图像点之间映射关系的参数。它是三维重建的重要步骤，相机标定结果的好坏直接 决定着三维重建结果和其它计算机视觉应用效果的好坏。研究相机标定方法，进一 步提高相机标定精度，具有重要的理论研究意义和实际应用价值。 随着计算机技术、图像处理技术和计算机视觉理论的发展，人们越来越希望能 够快速简便地获取物体的三维信息，并且将物体在计算机上重建显示出来。基于数 码相机图像的三维重建被广泛应用在医学、虚拟现实、摄影测量、工业检测、有限 元分析等方面。因此对这方面的研究具有重大的理论和实际应用价值。 本文在山东省教育厅科技计划项目“基于数码相机的脚型三维测量系统 ( 编号： j 0 7 y j l 9 2 ) 支持下研究基于液晶显示器l c d 的相机标定方法，并以得到的相机参数 为初值，研究采用多幅数字图像基于标记点的三维重建算法，通过对实际场景的实 验验证了本文方法的可行性。 1 2 国内外研究现状 1 2 1 计算机视觉研究现状 计算机视觉的研究始于2 0 世纪5 0 年代中期，当时的研究主要集中在二维景物 青岛人学硕十学位论文 图像的分析。r o b e r t s 在2 0 世纪6 0 年代中期利用计算机程序从数字图像中提取出 了多面体的三维结构，并且描述了物体形状和物体的空问关系，开创了以理解三维 场景为目的的计算机视觉研究。2 0 世纪7 0 年代中期，m a r r ，b a r r o w 和t e n e n b a u m 等乜1 提出了一整套视觉计算的理论来描述视觉过程，该理论的核心是从图像重建物 体的三维形状。m a r t 理论。卜钔在视觉理论的研究上影响最为深远，是视觉理论研究领 域的主导思想。 从2 0 世纪8 0 年代初到8 0 年代中期，计算机视觉开始了全球性的研究热潮，得 到了蓬勃的发展，取得了一大批成果。但随着研究的不断深入，人们逐渐发现了m a n 视觉理论存在局限性，即由图像序列求取景物精确的三维几何描述并定量地确定物 体的性质存在着困难。1 9 7 9 年，g i b s o n 瞄1 指出计算机视觉应该朝着主动视觉方向发 展。2 0 世纪8 0 年代中后期，随着移动式机器人等相关应用研究的不断深入，视觉 研究与其密切结合，人们开始用空间几何的方法以及物理知识来研究立体视觉，出 现了主动视觉的研究方法。该方法可以直接获得深度图或通过移动获得深度图，使 很多病态问题变成了良态的。到了2 0 世纪9 0 年代初，对于立体视觉的研究开始趋 于成熟。最近十多年来，计算机立体视觉在特征匹配和区域匹配新技术、多摄像机 立体视觉、立体视觉实时实现方法等很多领域取得了重要进展。目前，计算机视觉 仍然是一个非常活跃的研究领域。 1 2 2 相机标定研究现状 相机标定是三维重建的关键步骤。关于相机标定的研究最早始于摄影测量界， 并且已经持续了1 0 0 多年。在计算机和数码相机出现之后，计算机视觉界才开始了 相机标定的研究，并且在最近二十多年来发展更快。 目前，在计算机视觉领域已经提出了多种相机标定方法，并得到了广泛应用。 大体上可将它们分为基于标定物的相机标定方法和自标定方法啪1 。 基于标定物的相机标定方法是在一定的相机模型下，基于特定的标定参照物如 平面格网模板，三维刚体等经过图像处理的手段，利用一系列数学变换的计算方法； 求取相机的内外参数。该类标定方法适用于任意的相机模型，标定精度高，缺点是 需要高精度的已知结构信息，标定过程复杂。基于标定物的相机标定方法主要包括 以下几种： 1 利用最优化算法的标定方法 该种标定方法包括摄影测量学中的方法和直接线性变换( d l t ) 等。f a i g 乜妇考虑摄 像机成像过程中的各种因素精心设计了摄像机成像模型，在标定和三维重建时采用 特殊的专业量测相机取得了很高的精度，但是计算量很大。a b d e l a z i z 嘧1 等于1 9 7 1 年提出了摄影测量学中传统方法的一种简化即直接线性变换方法，通过解线性方程 2 第一章绪论 求得相机模型的参数，它没有考虑非线性畸变问题，要想进一步提高标定的精度， 必须进行非线性优化。 2 利用透视变换矩阵的相机标定方法 该标定方法把透视变换矩阵中的元素作为未知数，通过对应的三维控制点和图 像点，利用线性方法求解。这种标定方法与直接线性变换方法只相差一个比例因子， 它们之间没有本质的区别。它不需要利用最优化方法求解相机参数，运算速度快， 能够实现相机参数的实时计算，但没有考虑镜头的非线性畸变，标定精度不高。 3 t s a i 两步法 t s a i 心3 1 于1 9 8 6 年提出的基于径向排列约束( r a d i a la l i g n m e n tc o n s t r a i n t ，r a c ) 的 “两步法 是应用较多，精度较高的标定方法。该方法简便、快捷，但是仅仅考虑 了径向畸变，不适用于切向畸变较大的场合( 如鱼眼镜头) 。 4 平面标定法 张j 下友啪1 提出的基于平面格网的相机标定方法只需要利用对平面棋盘格模板 从不同角度拍摄的3 幅( 或3 幅以上) 的图像即可进行相机参数的计算，相比传统标 定方法设备要求低、操作简单，并且标定精度较高。但要保证模板的高平面度要求 给模板制作带了了困难，成本较高。 5 基于平面圆标定方法 基于平面圆的标定方法心7 1 采用一个圆和通过圆心的若干直线进行标定。它与张 的方法过程相似，只是所用的模板不同。 自标定方法由f a u g e r a s 等啪1 在1 9 9 2 年提出，它仅仅依靠多视图对应同名点线关 系直接进行标定，克服了传统方法需要结构信息精确已知的标定物的缺点。该方法 非常灵活方便，适用于很多无法提供标定参考物的情况。目前已有的自标定方法可 以分为以下几种： 1 基于k r u p p a 方程的自标定方法 f a u g e r a s 等提出的自标定方法是直接基于求解k r u p p a 方程的方法，该方法是在 两图像之间建立方程，不用对图像序列做射影重建，与分层逐步标定法相比，在很 难将所有图像统一到一致的射影框架的场合，该方法更具优势，但由于该方法的所 有图像对确定的射影空间里的无穷远平面的一致性很难得到保证，当图像序列较长 时，该标定方法会不稳定。 2 基于二次曲面的自标定方法 t r i g g s 啪1 最早将绝对二次曲面用于自标定方法，基于二次曲面的标定方法与基于 k r u p p a 方程的标定方法都利用了绝对二次曲线在欧式变换下的不变性，但是在输入 多幅图像并能得到一致射影重建的情形下，该标定方法更具优势，因为二次曲面包 含了无穷远平面和绝对二次曲线的所有信息，且该方法是在对全部图像做射影重建 3 青岛人学硕十学位论文 的基础上计算二次曲面的，能够保证无穷远平面对全部图像的一致性。 3 基于主动视觉的自标定方法 该方法通过将相机精确的安装在可以控制的平台上，控制相机作特殊的运动获 取多幅图像，利用可控制的相机运动参数和图像来求解相机的内外参数。该方法如 马松德啪1 提出的基于两组三正交运动的线性方法。该标定方法由于在标定过程中已 知了相机的运动信息，相机的模型参数可以线性求解，且计算简单、鲁棒性较高， 但必要有可以精确控制相机运动的平台，系统成本高，且不便于移动。 4 基于空间几何关系的自标定方法 空间几何特征可以是灭点、空间平行四边形等。c a p r i l eb 口门等于1 9 9 0 年提出了 利用三灭点进行相机标定的思想。g u i l l o ue 。堙1 从单幅图像中利用两个灭点对相机进 行标定，并得到旋转矩阵和平移向量。 目前，相机标定的理论已经非常成熟，但就实用性和精度来讲，仍需进一步深 入研究，可以从以下几个方面考虑：从参考对象和方便性上考虑，研究实用的标定 系统；从相机模型和图像处理两方面入手，研究适用于较高精度测量的标定算法； 从精度和可靠性上考虑，研究灵活稳健的自标定算法。基于以上考虑，本文将研究 基于纯平液晶显示器的标定方法，本标定方法简单快捷，精度高。 1 2 3 基于数字图像的三维重建研究现状 由二维图像信息恢复物体的三维信息的三维重建是近年来计算机视觉中的一个 热点问题。它根据透视成像原理，对图像信息进行解析处理，得到所需的相机参数， 从而重建出物体的三维空间信息。 主要的三维重建方法有以下几种1 ：( 1 ) 基于明暗的三维重建口儿引，该方法根据一 幅图像恢复物体的三维信息，精度低、应用范围有限。( 2 ) 双目立体视觉重建方法睁1 ， 这种方法通过模拟人眼的立体成像过程，用两个数码相机同时拍摄场景中的物体， 根据光学三角形法重建场景中物体表面空间点的三维坐标。这种方法包括结构光法 n 州1 等。( 3 ) 多目立体视觉重建方法n 2 h 1 引，它利用光学三角形法，对多度重叠点进行 “多方向的前方交会 ，由于能够利用较多的冗余数据解决随机的误匹配问题，因而 可以提高匹配的精度，从而提高重建的精度，但此种方法设备配置复杂，标定过程 复杂。( 4 ) 基于运动的三维重建n 卜1 7 1 。该方法利用相对运动的相机对三维场景进行拍 摄，利用拍摄得到的图像重建三维场景，主要用于动态场景跟踪。u l l m a n n 钉和r o a c h n 习 等对这方面的重建方法进行了研究。 目前，在以点、直线和平面为几何基元重建的基础上，一些学者提出了基于曲 线的重建算法，如代数曲线重建算法n 引，基于二次曲线的重建方法n 钔，基于参数模型 的b 样条曲线重建方法等。 4 第一章绪论 1 3 论文的主要工作与章节安排 针对在相机标定时保证平面标定模板的严格平面度要求，会带来标定模板制作 困难和成本高的问题，提出了一种基于纯平液晶显示器( l c d ) 的非线性相机标定方 法。然后在得到相机内参数的情况下，在场景中设置编码元和非编码元，进行标记 点自动检测，标记点识别和中心定位，在对极几何关系的基础上进行基于多幅图像 的三维空间点的重建。 本文主要研究内容如下：编程绘制一张具有不同大小圆形特征点的标定表，并将 其显示在l c d 屏幕上；用数码相机以绕光轴旋转的方式对其拍摄几幅图像；对拍摄 得到的图像进行预处理，同时应用改进的基于f o u r i e r - m e l l i n 矩的亚像素边缘轮廓检 测算法检测图像中的轮廓，采用最小二乘椭圆拟合方法得到亚像素椭圆中心坐标； 在z h a n g 的算法的基础上考虑切向畸变系数进行相机参数的计算，计算过程中对所 求参数进行非线性优化。设计编码元和非编码元，粘贴在物体的表面，进行标记点 的目标提取及分类和编码元身份识别，在两视图几何的基础上，计算相机姿态和三 维点的空间坐标。 本文的章节安排如下： 第一章绪论，概述了本课题的研究背景及其意义，介绍了计算机视觉、相机标 定以及三维重建的国内外研究现状，在此基础上提出了本文要研究的主要内容。 第二章介绍了图像预处理的基本理论和边缘检测算法，主要介绍了亚像素边缘 轮廓检测算法。采用亚像素边缘检测算法可以提高椭圆中心定位精度，从而进一步 提高相机标定精度。 第三章是相机标定，对纯平液晶显示器( l c d ) 进行了综述，介绍了l c d 用于标 定的优缺点；然后介绍了线性和非线性相机模型，在此基础上研究了基于纯平液晶 显示器( l c d ) 的标定系统。并通过实验验证了该标定系统是可行的，并且标定精度 高。 第四章介绍了极线几何关系、基本矩阵和本质矩阵的概念和性质以及三角形法 重建等三维重建的基础理论知识，为第五章标记点的重建提供了理论基础。 第五章在相机内参数已经求得的情况下，研究了采用多幅图像基于标记点的三 维重建。首先设计了编码元和非编码元，然后进行标记点自动检测，对标记点提取 分类，确定标记点中心坐标；以极线几何理论为基础，计算基本矩阵和本质矩阵， 进一步进行相机姿态参数求解和三维空间点的重建。 第六章总结了本文的主要工作，并展望了下一步的研究重点。 5 青岛大学硕七学位论文 第二章图像预处理 图像预处理的目的是改善图像质量，抑制不需要的变形或者增强某些对于后续 处理起重要作用的图像特征。进行相机标定和三维空问点的重建，图像上特征元素 的提取和识别是首要步骤。本章将研究图像的预处理算法，以获得图像的边缘特征。 由于本文用于标定的特征点和用于重建的标记点的目标点均为圆形，成像后为椭圆， 介绍了椭圆拟合的方法，同时为了提高椭圆拟合精度，研究了基于亚像素的边缘轮 廓检测算法。本章算法为后续研究做好准备。 2 1 彩色图像灰化 要进行图像处理如平滑处理、锐化处理、边缘检测等首先要将拍摄得到的彩色 图像转化为灰度图像。 彩色图像的亮度、色度和饱和度混合在r 、g 、b 三原色中，根据p a l 电视制 式，当用y 表示白光的亮度时，它与r 、g 、b 的关系为1 ： y = 0 2 2 2 r + 0 7 0 7 g + 0 0 7 1 b 2 - 0 ) 按照上式计算出彩色图像中每个像素点的r 、g 、b 值对应的亮度值，将该亮度 值作为灰度图像中对应位置像素点的亮度值，这样就可以得到与原彩色图像对应的 灰度图像。 2 2 图像平滑处理 精确提取图像的边缘特征是图像处理的目的，而边缘检测过程中一个主要的问 题是噪声影响。噪声是在图像获取和传输的过程中引起的，每个像素点上的噪声值 往往是无关联的或者可能相差很大，因而会产生图像亮度的急剧变化，往往会将噪 声误认为图像边缘。进行图像平滑处理可以抑制噪声、改善图像质量，提高边缘检 测的有效性。 图像的噪声可以分为加性噪声、乘性噪声和量化噪声等m 1 。由于图像的能量主 要集中在低频部分，而噪声主要在高频段，因而通常都是采用低通滤波的方法消除 噪声。 图像平滑包括空域法和频域法两大类。空域法采用均值滤波或中值滤波。均值 滤波是用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应图像像素点的 灰度值用窗口内各个点灰度值的平均数代替，如果滑动窗口规定了在取均值过程中 窗口各个像素点所占的权重，即各个像素点的系数，则此时就称为加权均值滤波。 中值滤波是将对应像素点的灰度值用窗口的中间值代替。 6 第二章图像预处理 2 3 边缘检测 2 3 1 传统边缘检测算法 边缘检测是图像分析的重要基础，是图像识别中提取图像特征的个重要方法。 物体的边缘以图像局部特征不连续的形式出现，即图像局部变化最显著的部分，如 灰度值的突变、颜色的突变和纹理结构的突变等。边缘主要存在于目标与目标、目 标与背景、区域与区域之阳j 。图像边缘有方向和幅度两个特性，通常沿边缘走向的 像素灰度变化平稳，垂直于边缘走向的像素灰度变化剧烈。根据灰度变化的特点， 可以将边缘分为阶跃型、房顶型和凸缘型。 传统的边缘检测利用边缘是图像上灰度变化最剧烈的地方这个特点，利用微分 和二阶微分对图像上各个像素点进行处理来确定边缘像素点。一阶微分图像的峰值 处和二阶微分图像的过零点处分别对应着图像的边缘点。传统边缘检测方法主要有t 差分边缘检测、梯度边缘检测、r o b e r t s 边缘检测算子、s o b e l 边缘检测算子、p r e w i t t 边缘检测算子、l a p l a c e 边缘检测算子等n 引。 c a n n y 于1 9 8 6 年提出了三个指标评价边缘检测性能的优劣汹1 ：( 1 ) 信噪比高， 即对真实边缘不漏检，非边缘点不错检。( 2 ) 定位性能好，也就是标记出的边缘位置 要充分接近图像上真实边缘的中心位置，使得边缘定位精度高。( 3 ) 唯一响应单一边 缘，对同一边缘响应次数要少，最好只标识一次，并且可能存在的图像噪声部分不 应标识为边缘。c a n n y 首次将上述判据用数学的形式表示出来，用最优化数值方法得 到了对应给定边缘类型的最佳边缘检测模板。对于阶跃的边缘，c a n n y 推出的最优 边缘检测器的形状与高斯函数的一阶导数类似。对于二维图像，利用二维高斯函数 的圆对称性和可分解性，可以很容易计算高斯函数在任一方向上的方向导数与图像 的卷积，再取得最可能的边缘方向。 c a n n y 算法的过程为首先用高斯滤波器对图像进行平滑处理，然后采用一阶偏 导的有限差分计算梯度的幅值和方向，再对梯度幅值进行非极大值抑制，最后用双 阈值算法检测和连接边缘。 二维次最优阶跃边缘检测算子的数学表达式推导如下： 设二维高斯函数为 1t 2 1 ，2 c ( x ，y ) = _ 二je x p ( 一圭 ) 2 ( 2 ) 在某方向刀上v ( x ，y ) 的一阶方向导数为 q ：_ o g = n v g 仂z 7 2 - ( 3 ) 青岛人学硕十学位论文 式c o s 0 v g = o g c 3 x 一是方向矢量，v g 是梯度矢量。将图像( 毛y ) 与q 进行卷积，并改变以的方 向，q 宰f ( x , y ) 取得最大值时的刀( 亟垒掣：o 对应的方向) 即为正交于检测边 a 髓 缘的方向。由 得 a ( q 幸f ( x ，y ) ) - - - - ；- - - - 一= o n t g o = _ o g 木厂( x ，y ) d v _ o g 宰厂( 五y ) o a p = 0 2 - ( 4 ) e o s o ：勰s i n 0 ：勰2 书，= 望l 一= 兰l _ ( 5 ) i v g 幸厂( x ，y ) ll v g 幸厂( x ，y ) l 、7 因此，对应于a ( q 幸厂( x ，y ) ) a n = 0 的方向刀 露：_ v g * f ( x , 一y ) i v g 木f ( x ，j ，) 在该方向上v g 木厂( x ，y ) 有最大输出响应，此时 2 - ( 6 ) i q 宰l l = l c o s o ( o o a x ) 宰f ( x ，y ) + s i n o ( o g o y ) 幸f ( x ，y ) i = i v g 奉厂“y ) l 2 一( 7 ) 二维次最优阶跃边缘算子是以卷积v g * f ( x ，y ) 为基础的，边缘强度由 i q 幸f ( x ，少) i = i v g f ( x ，y ) i 决定，而边缘方向为以= v g 幸f ( x ，y ) v g 宰厂( 五y ) i 。 c a n n y 边缘算子性能优越，提取的图像边缘比较完整，位置比较准确，并且能 够检测出图像较细的边缘。但是由于c a n n y 算子及其它经典的边缘提取算法得到的 都只是像素级的边缘轮廓，用于本文的椭圆中心定位精度不高，因此将进一步研究 基于亚像素的边缘轮廓检测算法。 2 3 2 亚像素边缘检测算法 1 亚像素边缘检测算法概述 图像采集设备的像元具有一定的尺寸，在成像时物体的边缘有时不能正好和像 元的边缘完全一致。像素级边缘检测时，认为物体的边缘点在靠近真实边界的像元 点处，导致物体真实边缘信息在成像过程中存在丢失。进行亚像素边缘定位就是通 8 第二章图像预处理 过一定的算法找出或近似找出物体真实的边缘，也就是把物体的边缘定位到一个像 素的内部，使边缘的定位精度得到提高。 亚像素边缘检测算法是在经典的像素边缘检测算法的基础上发展起来的，这些 算法一般需要先用经典算法找出边缘像素的位置，然后使用周围像素的灰度值作为 判断的补充信息，利用插值、拟合等方法，使边缘定位于更精确的位置。亚像素边 缘检测算法主要分为三类口7 l ：基于插值的亚像素边缘检测算法、基于拟合的亚像素 边缘检测算法和基于矩的亚像素边缘检测算法。 插值法的主要思想是在边缘的附近，根据一个最佳匹配函数，通过插值使得低 分辨率的离散数据对连续域数据逼近，获得更为准确的位置。基本的插值法有一次 插值、二次插值、样条插值啪1 、多项式插值1 和高斯函数插值等。插值法计算时间 短，但是抗噪能力差，边缘定位精度低。 基于拟合的亚像素边缘检测方法以最小均方误差为准则，对离散图像中目标的 灰度或坐标进行拟合，得到目标的连续函数形式，确定描述物体的各个参数，实现 对图像的亚像素边缘检测。使用该方法的前提是目标的特性满足己知或假定的函数 形式。文献 4 0 采用对边缘附近的灰度分布用二次曲线逼近高斯分布的方法来拟合， 确定边缘的参数。采用拟合的方法抗噪能力强并且稳健，在处理噪声图像时比较有 效，但是它的计算量很大，且需要具有一定的先验知识。 基于矩的亚像素边缘检测算法的基本原理是假设实际图像中的边缘分布与理想 阶跃边缘模型的矩保持一致，即矩不变原理。t a b a t a b a i 等h 妇首先采用灰度矩的方法 进行图像的亚像素边缘检测，该方法基于图像数据的前三阶灰度矩和直线边缘模型 灰度矩的一致性，对未知的边缘模型参数进行求解，从而实现亚像素边缘定位。 l y v c r s n 2 1 于1 9 8 9 提出了基于空间矩的亚像素边缘检测算法，它采用了灰度空间矩， 基本原理与灰度矩算法相同。g h o s a l h 3 1 利用正交的z e m i k e 矩进行亚像素定位，该方 法只需要三个模板就可以估计直线边缘模型的参数。a ol e i 3 等提出的基于正交 f o u r i e r - m e l l i n 矩( o f m m ) 的亚像素定位算子，在一定程度上改善了z e m i k e 正交矩对 小尺寸物体描述特性差的缺点。基于矩的亚像素边缘检测算法抗噪能力强。但因为 涉及模板运算，算法定位时运算时间相对较长。 2 基于正交f o u r i e r - m e l l i n 矩改进的亚像素边缘检测算法 本文采用一种基于正交傅里叶一梅林矩的改进的亚像素边缘检测算法检测图像 中的边缘轮廓，先用c a n n y 边缘检测算子检测图像中像素级的边缘轮廓，再用正交 f o u r i e r - m e l l i n 矩算子的低径向阶与旋转不变性在已有像素级边缘位置上进一步定位 亚像素级边缘位置。该算法检测精度高，且算法耗时短。 给定图像函数f ( x ，y ) ，则阶为p 循环次数为g 的正交f o u r i e r - m e u i n 矩定义档1 9 青岛人学硕十学位论文 为 = 击r 2 f m 川啪矿舢删秒 2 ( 8 ) 其中，= i 未面为归一化系数，g ( ，) = 三。( 一矿h 石瑞】为积分核， 它是多项式( ，印= 鳞( ，) p 枷的核函数，其中p 为正整数。 正交f o u r i e r - m e l l i n 矩( o f m m ) 算子的旋转不变性可以表示为： 0 。朋= e x p ( 一肜) 2 - ( 9 ) 式中，是初始位置o f m m ， f ，为旋转角度，o m 是图像旋转后的o f m m 。 求图像的o f m m 就是用核函数对图像加权后在单位圆上积分。假设单位圆的圆 心在某一个像素点上，并且单位圆正好压在某个边缘上，建立边缘的理想阶跃灰度 模型如图2 1 所示，其中k 是灰度阶跃高度，h 是背景灰度，是圆心到边缘的距离， 是边缘与x 轴之间的夹角。 第二章图像预处理 可以计算旋转后不同阶次的o f m m 矩如下 0 ：a h + k a r c s i n 肝一，打7 】 拈七厨捌n ( 牢 拈肼肝一( 牢 2 m 2 ， 0 1 , = 2 m 2 i n 牢卜瓜 0 2 0 = 4 m 3 i n ( 牢卜3 瓜( 1 0 “2 ) 根掘以上公式可以进一步得到矗，k ，的值如下： 矗= 当 一吐刹n 瓜一，厨 j j ：2 0 1 0 , + 0 1 , 2 ( 1 一，2 ) 2 扛( 4 0 , o + 0 2 0 0 j j 2 - ( 1 3 ) 本文使用7 7 矩模板来计算矩参数，如图2 2 是用于计算矩模板的7 7 区域， 亚像素边缘位置可以表示为： 艄 涮 图2 27 7 像素区域内单位圆模板 1 1 2 - ( 1 4 ) 青岛人学硕十学位论文 式中，( x ，) ，) 表示图像2 1 的圆心坐标，( t ，y 。) 为图像的亚像素坐标，为矩计算过 程中的模板大小。在使用模板与图像进行卷积时，得到的矩参数是图像n x n 个像 素区域内的矩参数，因此在计算精确位置时，还应该在，的基础上减小n 2 。 由于矩方法要对图像上的每个点都要在模板范围内进行卷积，所以运算量较大， 为此在用o f m m 方法进行边缘检测时，首先使用c a n n y 边缘检测算子进行边缘的初 始定位，然后采用计算出的o f m m 各阶次的7 7 模板对图像进行卷积运算。这样不 仅能提高运算效率还可以达到精确定位的目的。 2 4 最, j 、- - 乘椭圆拟合 本文所用的特征点均为圆形目标，经相机成像后，在数字图像上呈椭圆状。进 行椭圆提取的算法很多，如遗传算法、次度中心法、h o u g h 变换以及最小二乘方法 在占 守。 经过上述方法进行图像边缘的亚像素定位之后，本文采用最小二乘椭圆拟合方 法计算椭圆参数。设以个待进行椭圆拟合的像素坐标点集届见各点的图像坐标为： 辟= hk 卜设，= “2 删伊甜v1 r ，且 f ( p ，a ) = f r a = a u 2 + 6 w + 删2 + 幽+ 纠+ 厂= 02 - ( 1 5 ) 式中，a = 【口，b ，c ，d ，p 】7 ，式2 一( 1 5 ) 为椭圆的隐式方程。求解最合适的参数向量a ，使其 满足式2 - ( 1 6 ) 的过程称为最小二乘椭圆拟合。 h 2 m i l l 【d ( b ，a ) 】 2 - ( 1 6 ) i = l 式中，d ( 易，a ) 是可以以不同形式表示的距离，根据表示形式的不同，分为不同的椭 圆拟合方法，如基于欧式距离的椭圆拟合方法、基于代数距离的椭圆拟合方法等。 基于欧式距离的椭圆拟合方法以最小化式2 - ( 1 7 ) 为目的： i v - p , i l 2 - ( 1 7 ) i = l 从几何意义上看，它能够最佳地拟合椭圆，但实际上，与每个只对应的点p 无法直 接得到，通常需要引入拉格朗日因子，采用一个近似距离替代上式，拟合得到的结 果不能最近逼近实际椭圆。 基于代数距离的椭圆拟合方法以最小化代数距离 1 2 第二章图像预处理 阿a 1 2 2 一( 18 ) 为目标，可以将最小二乘椭圆拟合问题转换为一个线性问题柬求解。本文就是采用 的基于代数距离的椭圆拟合方法，最终得到亚像素边缘的椭圆参数，从而获得各特 征圆点圆心的亚像素坐标。 2 5 o p e n c v 函数库 o p e n c v 。刈口5 3 的全称是o p e ns o u r c ec o m p u t e rv i s i o nl i b r a r y ，由i n t e l 微处理器 研究实验室( i n t e l sm i c r o p r o c e s s o rr e s e a r c hl a b ) 的视觉交互组( t h ev i s u a l i n t e r a c t i v i t yg r o u p ) 开发，是个很优秀的开源图像处理算法库，它包含了一系列c 语言函数和少量c + + 的类，图像处理和计算机视觉方面的许多通用算法在该函数库 中得到了实现。它本身拥有包括3 0 0 多个c c + + 函数的跨平台的中、高层a p i ，不 依赖于其他的外部库，但可以使用某些外部库。通过调用o p e n c v 算法库，可以在 前人已完成的成熟算法的基础上迅速地开展自己的工作。作