（检测技术与自动化装置专业论文）相机标定技术及在植物叶片病斑视觉检测中的应用.pdf

相机标定技术及在植物叶片病斑视觉检测中的应用 摘要 植物叶片的病斑特征是判断植物病害程度的重要依据，例如叶片病 斑部分的形状、周长和面积等特征都是对植物病害进行研究时所需的重 要数据。在利用计算机视觉和数字图像处理等技术对上述特征数据进行 求取时，首先要做的关键一步就是对测量时使用的相机进行标定。 本文中利用一部佳能i x u s9 5 0i s 数码相机获取标定模板的图像， 在使用经典的h a r r i s 角点检测方法提取出标定模板图像中角点的像素级坐 标的基础上，用二次曲面逼近角点响应函数进行插值的方法提取出角点的 亚像素级坐标，然后通过基于共面标定控制点的t s a i 两步法求解出了相机 的内部参数和外部参数，并将已标定过的相机用于平面图形尺寸测量和植 物叶片病斑面积测量。实验表明用上述方法对相机标定具有较高精度，已 标定相机对平面图形尺寸和植物叶片病斑面积的测量精度基本可以满足一 般的应用。整个角点检测和相机标定的程序都在d s p ( d i g i t a ls i g n a l p r o c e s s o r ) 处理器上运行，并进行了必要的代码优化。 关键词：叶片病斑相机标定角点检测计算机视觉d s p c a m e r ac a l i b r a t i o nt e c h n i q u ea n da p p l i c a t i o ni n v i s i o nd e t e c t i o no fl e a fs p o t s v i s l o ne t e c t i o no ll e a a b s t r a c t t h ec h a r a c t e r i s t i c so fl e a fs p o t sa r ei m p o r t a n te v i d e n c e st oe s t i m a t et h e l e s i o nl e v e lo fap l a n t f o re x a m p l e ，t h es h a p e ，p e r i m e t e ra n da r e ao fl e a fs p o t s a r ee s s e n t i a ld a t aw h i c ha r ei m p o r t a n tf o rt h er e s e a r c ho fp l a n tl e s i o n 珊l e nt h e t e c h n i q u e so fc o m p u t e rv i s i o na n dd i g i t a li m a g ep r o c e s s i n ga r eu s e dt om e a s u r e t h e s ec h a r a c t e r i s t i c s ，c a m e r ac a l i b r a t i o ni st h ep r i m a r yp r o c e s s i nt h i sp a p e r , a n u s9 5 0i sd i g i t a lc a m e r ai su s e dt oo b t a i na ni m a g eo fa c a l i b r a t i o nt e m p l a t e ，t h ep i x e lc o o r d i n a t e so ft h ec o m e r si nt h ei m a g ea r e d e t e c t e dw i t ht h ec l a s s i ch a r r i sc o m e rd e t e c t o r o nt h eb a s i so ft h ep i x e l c o o r d i n a t e s ，c o n i c o i di su s e dt oa p p r o a c ht h ec o m e rr e s p o n s ef u n c t i o nt od e t e c t t h es u b p i x e lc o o r d i n a t e so ft h ec o m e r s a n dt h e nt s a it w o s t a g et e c h n i q u ei s u s e dt oc a l c u l a t e t h ei n t e r i o ra n de x t e r i o rp a r a m e t e r so ft h ec a m e r aw i t ha m o n o v i e wc o p l a n a rs e to fp o i n t s ，a n dt h ec a m e r ai su s e dt om e a s u r et h e d i m e n s i o no fap l a n ef i g u r ea n dt h ea r e ao fal e a fs p o t e x p e r i m e n t ss h o wt h a t t h ea b o v e m e n t i o n e dm e t h o dh a sh i g hp r e c i s i o ni nc a m e r ac a l i b r a t i o n ，a n dt h e p r e c i s i o no fd i m e n s i o nm e a s u r e m e n ta n da r e am e a s u r e m e n tc a ns a t i s f yp r a c t i c a l a p p l i c a t i o n s t h ep r o g r a mo fc o m e r d e t e c t i o na n dc a m e r ac a l i b r a t i o ni s o p t i m i z e da n dr u n so nd i g i t a ls i g n a lp r o c e s s o r k e y w o r d s ：l e a fs p o t s ；c a m e r ac a l i b r a t i o n ；c o m e rd e t e c t i o n ；c o m p u t e rv i s i o n ； d s p i i 广西大学学位论文原创性声明和学位论文使用授权说明 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有。除已注明部分外，论文中不包含其他人已经发表过的研究 成果，也不包含本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮 助的个人和集体，均已在论文中明确说明并致谢。 论文作者签名：p 球，硒 洳( | 舶眦日 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 本人保证不以其它单位为第一署名单位发表或使用本论文的研究内容； 按照学校要求提交学位论文的印刷本和电子版本； 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 嘶p 时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 论文作者签名：p 、春渤导师签名：姆社啼6 月才日 i i l 广西大掌硕士掌位论文 相机标定技术及在植物叶片病斑视觉检测中的应用 声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取 得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任 何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均 己在文中以明确方式标明。 5 9 学 广西大掌硕士掌位论文相机标定技术及在植物叶片病斑视攒明奄测中的应用 第1 章绪论 1 1 课题的研究背景 本课题基于微生物及植物遗传工程教育部重点实验室开放课题( j 0 5 0 3 ) 进行研究。 粮食是人们生活和生产的基础，农作物的产量和质量对国民经济的发展和人民生活 水平的提高有着直接影响，因此对农作物病害进行合理的管理与诊治便显得极为重要。 就目前看来，我国在对植物病害进行防治管理时主要有几个问题【1j ： ( 1 ) 在植物患病的初期，其症状一般不太明显，而农民也难以全面掌握诊治植物病害 的知识和方法，因此常常是在植物的患病程度已经很严重的时候才对其喷洒农药；而另 一方面，有些农民为了确保植物不受病害的影响，不对植物的生长状况和患病与否作出 认真的分析和判断就直接大量地使用化肥和农药，这种做法会使生产成本提高，更严重 的是植物中会残留大量的农药，这对人们的健康是一种巨大的威胁。 ( 2 ) 广大农民在对植物病害进行防治时，常常希望一些具有高级知识的农业专家和植 物保护人员能够为其提供技术上的支持，但农业专家往往难以做到经常性地下乡为农民 提供服务，而我国目前从事植保的专业人员数量又不足，这使得农民的需求难以满足。 ( 3 ) 为了解决上面的问题，人们开发出了一些专家系统，例如施肥专家系统、农作物 病害诊治专家系统等等。广大农民在使用这些专家系统时，一般需要自己估计植物患病 的严重程度和植物致病的可能原因，并将其输入专家系统进行诊断。由于农民对农业知 识的掌握程度不同，对植物病害的主观判断也存在差异，因此难以对植物的患病原因和 患病程度作出正确的判断和分析，这就使得专家系统难以得到客观正确的输入。另一方 面，农业专家对植物患病症状的语言描述往往比较含糊，不够精确，使得用于诊断植物 病害的标准也比较模糊，这也在很大程度上导致了广大农民难以对作物病虫害作出正确 判断和采取正确措施的局面。 解决以上问题的关键就是要准确地对作物的病害进行识别。虽然不同植物病害的症 状是各不相同的，但是绝大部分的植物病害症状都会或多或少地在叶片上表现出来，使 得其叶片的形状、颜色等特征发生变化，并呈现出病斑分布。因此要对作物的病害进行 识别就可以从作物染病叶片的分析着手。 目前，主要是依靠人工测量的方法来完成对植物患病过程和严重程度进行分析和测 定的研究工作。人工测量无法保证测量精度，效率很低，而且不便于对数据进行准确快 速的统计和分析，导致研究人员难以掌握植物病害分布情况。 图像处理与分析技术、计算机视觉技术是当前人工智能领域中的研究热点之一，也 是处于高速发展阶段的新兴学科。它以图像采集设备和计算机为主要工具，利用图像处 理、图像分析、模式识别、计算机视觉和人工智能等先进技术对获取的数字图像信号进 相机标定技j ：a 在檀物叶片病斑桠港测中的应用 行各种处理以便从图像中获取需要的信息。利用计算机视觉技术可以在小接触研究对象 的情况f 从其图像中得到许多有用的信息，与人工测量的方法相比，它的识别效果更好， 效率更高，标准也更加统。通过对图像信息的分析可以得到物体颜色、形状、尺寸、 纹理等特征信息，并进一步得到智能化的自动识别和评价结果，这些都是传统检测分析 方法难以实现的，在很大程度上改进了传统的检测分析方法。 综上可知，利用计算机视觉和图像处理、图像分析技术对植物叶片病斑进行智能检 测并分析得到其形状、面积等重要特征信息，有利于准确客观地评价植物的染病程度， 为农民提供植物病害谚断防治的依据，有利于缓解农药喷洒过度引发的环境问题，对提 高农作物的科学管理水平具有重要的意义。 要利用计算机视觉技术对植物叶片病斑进行检测，首先要做的重要一步就是对获取 叶片图像的相机或摄像机进行标定。相机标定就是建立起图像像素位置和场景点位置z 川的关系，建立起这个关系之后就可以从相机获取的图像信息出发计算出三维空间中 物体的儿何信息，并由此重建和识别物体。 12 将相机标定技术应用于植物叶片病斑视觉检测中的意义 图11 所示为一片患有黑腐病的植物叶片，用向线描出的区域为其上的病斑。在利 用计算机视觉技术对植物叶片病斑进行检测时，往往需要求得叶片病斑部分的形状、周 长和面积等信息，以便为下一步的研究提供原始数据，但由于在相机拍摄时的视角倾斜、 成像畸变等原因，要想直接从获取的植物叶片图像上得到这些信息是比较困难的。而对 相机进行了标定之后，就町以根据相机的成像模型由植物叶片的图像信息求取其空间几 何信息，进而求取出植物叶片病斑的形状、周长和面积等数据，还可以对拍摄得到的植 物叶片图像进行畸变校正，为后续的数字图像处理和模式识别过程提供较高质量的输 入。 图1i 惠有黑腐病的植物叶片及其病斑 f i g l 1t h e l e a f a n ds p o to f ab l a c kr o l p l a n t 广西大学硕士掌位论文相机标定技术及在植物叶片病斑视绩艟测中的应用 1 3 相机标定技术研究发展历史及现状 相机标定技术是由摄影测量学发展而来的【2 圳。在摄影测量学中是使用数学解析分 析的方法来对数字图像中的数据进行处理以完成标定的过程。相机模型和相机标定方法 是密切联系在一起的，它们是相机标定技术研究的两大方面，标定时使用的相机模型类 型决定了需要使用的标定方法。人们对相机标定的具体要求也因应用的不同而不同，当 标定应用于度量时，需要较高的精度；而当其应用于导航等领域时，对标定速度的要求 就比较高。 目前内参数固定的相机模型的研究已经取得了很大的成果，技术也已经比较成熟。 这类模型分为线性模型和非线性模型这两种类型，一般而言由线性模型可以得到解析 解，且运算速度快，计算方便，不足之处是不能完整表达相机镜头像差和复杂的成像过 程；而非线性模型则可以大大提高模型的精度并能很好地模拟和补偿各种像差，但其缺 点也是明显的：常常需要采用非线性优化方法，计算量大，鲁棒性低。在实际应用中可 以根据需要选择不同精度、不同计算量的模型。 一般说来，传统的相机标定方法主要是通过标准的标定参照物与其相应的图像( 一 幅或多幅) 之间的约束关系来求解出相机的内外参数以完成标定。在不考虑成像畸变的 情况下可以利用直接线性变换法之类的方法来进行标定【4 j ，不过在镜头畸变较大的时候 这种方法标定精度比较低，不宜采用。 若在应用中需要提高标定的精度，则必须考虑成像过程中的非线性畸变。b h a l l e r t 为非线性优化在相机标定中的应用揭开了序幕：1 9 6 6 年，他第一次在处理镜头标定观 察数据时使用了最小二乘法【5 】，在野外立体坐标测量仪上得到了高精度的测量结果。在 这之后的1 9 7 5 年，w f i g 在考虑相机成像过程中各种影响因素的基础上建立起了一个 比较复杂的相机成像模型并使用非线性优化方法对其进行了求解【6 】。现在大多数的标定 方法都用到了非线性优化，这种方法非常适合于多参数的非线性畸变模型的标定，可以 大大提高相机标定的精度，不过这种方法的标定结果非常依赖给定的相机模型参数的初 值，若给定的初值不好，则收敛速度较慢，甚至无法得到最优解，而且这种方法的计算 量较大，在需要实时标定时不太适合。 在1 9 8 6 年，r yt s a i 在总结前人经验的基础上，建立了t s a i 相机模型，并提出了 经典的基于径向约束的两步标定法【_ 7 8 】。在这种方法中，只有少量的参数需要利用迭代 方法来求解，其余的大部分参数都可以采用线性方法直接求解得到，这种方法的计算速 度较快，精度也较高，在相机标定中得到了非常广泛的应用。随后，为了使t s a i 的模 型能够适合于视场较大和畸变较严重的场合，j w e n g 对其进行了改进一，l 叭。 计算机视觉在上世纪8 0 年代的高速发展也极大地推动了相机标定技术的研究，现 场标定和自标定的技术也是在这个阶段被提出来的。当相机的参数在工作过程中发生变 化时往往需要快速作出调整，现场标定就是通过在工作区域及其周围混合布置标定控制 相机标定技术及在植物叶片病斑视奠囊套澳9 中的应用 点以实现在现场作出标定调整；而自标定是指当相机的参数在工作过程中发生变化且现 场又没有标定物时，相机可以直接利用环境景物进行标定。b o r w n 详细讨论了这两种标 定方法的区别【1 1 】。 上世纪9 0 年代末期，张正友提出了基于移动平面模板的相机标定方法【1 2 , 1 3 ，满足 了人们对桌面视觉系统( d v s ，d e s k t o pv i s i o ns y s t e m ) 相机标定的需求，该方法方便、灵 活、精度较好，也得到了广泛应用。 从以上可以看出，新的相机标定方法总是层出不穷的，这是因为人们总是追求精 度更高速度更快且使用更方便的标定方法，这就需要人们更好地解决模型表示、方程病 态、冗余参数、运算瓶颈等各个方面的问题，而这些问题也正是相机标定技术研究的重 要内容和有待提高的地方。 1 - 4 相机标定的内容 建立相机的成像模型和求解模型的参数是相机标定的主要内容。在对相机标定时， 应根据应用的具体要求选择合适的相机成像模型，并由此利用合适的参数求解方法来求 解相机模型的参数。如前所述，相机成像模型可以划分为线性模型和非线性模型：线性 模型是在理想的小孔成像的基础上建立物体空间点和对应的图像像点的几何位置关系； 而非线性模型则考虑了相机成像畸变的因素。在相机的成像过程中或多或少都会产生一 定的畸变，因此为了更加完整和准确地描述相机的成像，相机模型常常包含非线性部分。 1 5 相机标定的方法 一般说来，相机标定的方法可以分为三类：传统标定方法【4 , 7 , 8 , 1 2 , 1 3 、基于主动视觉 的标定方法【1 4 19 1 、自标定方法【2 0 2 9 1 。 传统标定方法在进行相机标定时需要用到一个精度较高且结构已知的标准模板作 为空间参照物，并根据这个标准模板上的标定控制点的空间坐标和这些控制点的图像坐 标的对应关系来建立相机成像模型，并通过相应算法来求解模型参数。 基于主动视觉的标定方法则需要在相机标定时自主地控制相机的运动以获取需要 的图像数据，由于相机的运动参数是已知的，所以相机模型的参数可以通过线性求解得 到，这是一种计算简单、鲁棒性较高的标定方法，不过这种标定方法在标定时需要一个 能够精确控制相机运动的系统平台，实现成本较高。马颂德在基于主动视觉的标定方法 上做了比较深入的研究【3 0 】。 在实际应用中，人们常常需要在使用过程中改变相机的参数，这时就需要对相机 进行实时在线标定，而自标定方法就可以满足人们在这方面的要求。自标定方法与传统 标定方法最大的不同就是在标定时不需要空间坐标已知的标定控制点或结构特殊的标 定模板，自标定方法只需要利用图像中一些对应点的信息就可以直接通过图像来完成标 4 广西大学硕士掌位论文相机标定技术及在植物叶片病斑视觉检测中的应用 定，因此这种标定方法具有很大的灵活性，也有广泛的应用前景。 1 6 本文的主要内容 本文的主要研究内容有相机成像模型的建立、图像中角点的检测方法、基于平面 标定模板的相机标定方法、标定程序的实现及其在d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 处理器 上的移植等。之所以要将最终实现的程序移植到d s p 处理器上运行，是因为本课题的 最终目的是开发出一个专用于植物叶片病斑检测和识别的便携式系统，将程序移植到 d s p 上正是为了满足今后的嵌入式应用的需要。本文的具体内容安排如下： 第l 章绪论，介绍了本课题的背景以及相机标定技术发展的历史与现状，并分析了 将相机标定技术应用于植物叶片病斑视觉检测中的意义。 第2 章介绍了相机标定领域中的一些基本理论知识，并对相机成像模型和相机的内 部外部参数进行了较详细的描述。 第3 章重点研究了h a r r i s 角点检测算法的原理及其实现方法，并利用二次曲面拟合 角点响应函数进行插值的方法对基本的h a r r i s 角点检测方法进行了改进以便提取出亚 像素级的角点坐标，最后通过实验结果比较了改进前后的h a r r i s 算法的角点检测效果。 第4 章简单介绍了传统的相机标定方法，然后深入研究了t s a i 的两步标定法的相 关理论及分析了该方法的主要特点，并给出了利用共面标定控制点对相机进行t s a i 两 步法标定的详细过程。 第5 章给出了相机标定软件系统的总体工作流程，并介绍了将c 语言代码移植到 d s p 上时需要重点注意的一些关键问题和一些代码优化技巧，最后还介绍了用于控制标 定过程的人机交互界面的设计思路。 第6 章利用前几章介绍的方法进行了实际的相机标定实验，并利用已标定过的相机 进行了平面图形的尺寸测量实验和植物叶片病斑面积测量实验，并对实验结果进行了分 析和讨论，得到了一些有益的结论。 第7 章对本文的工作进行了总结并对后续的研究给出了一些建议。 广西大掌硕士掌位论文相机标定技术及在植物叶片病斑视货治测中的应用 第2 章相机透视投影模型 2 1 图像坐标系、相机坐标系与世界坐标系 2 1 1 图像像素坐标系 由数码相机采集的每幅数字图像都可以以m x n 数组的形式存储在计算机内，这个 数组中每一个数组元素的值就是相应的图像点的灰度( 对于灰度图像而言) 。以图像平 面的左上角顶点为坐标原点建立坐标系d 0 圳，如图2 1 所示，即为图像像素坐标系，每 一像素点的坐标( 甜，1 ，) 是以像素为单位的，甜和v 分别是像素点在数组中的列数和行数。 2 1 2 图像物理坐标系 图像像素坐标系中的坐标( 甜，1 ，) 只表示像素点在数组中的列数和行数，为了用物理 单位表示图像点在图像中的位置，还需要定义一个图像物理坐标系d 1 砂，如图2 1 所示， 这个坐标系是以物理单位( 如m m ) 来表示图像坐标的。在o , x y 坐标系中，原点d l 定 义在相机光轴与图像平面的交点，该点也称为图像主点，一般位于图像的中心处，五y 轴分别与z f ，v 轴平行。设出，方分别为x ，y 方向上单位像素间的距离， 。，v o ) 为d 1 在图 像像素坐标系中的像素坐标，则某个像点的图像像素坐标和图像物理坐标间的关系可以 表示为： 材= + ( 2 1 ) a x v=+vo(2-2) 若用齐次坐标和矩阵形式表示，则上式可改写为： ；： l _yz ，o 傲 i o 万v 0 o01 ( 2 - 3 ) 其中y 为由于x 轴与y 轴不垂直而引入的倾斜因子，通常为o 。在本文中，若无特 别说明，统一以( 吖，v ) 表示某像点以像素为单位的图像像素坐标，以( x ，y ) 表示其以毫米 为单位的图像物理坐标。 6 相机标定技术及在植物叶片病斑视j 麓浦套测中的应用 r 0 1 ( u 凸谢 工 r1r v 图2 1 图像像素坐标系及图像物理坐标系 f i g 2 1i m a g ep i x e lc o o r d i n a t e sa n di m a g ep h y s i c a lc o o r d i n a t e s 2 1 3 相机坐标系 如图2 2 所示定义一个固定在相机上的直角坐标系吼儿乞，这个坐标系就是相机坐 标系，其原点位于相机的光心，t 和儿轴分别平行于图像物理坐标系的x 轴和y 轴，乙 轴垂直于相机成像平面，与光轴重合，图像平面和光心之间的距离就是焦距厂。 除了以上三种坐标系，还需要定义一个世界坐标系瓯k 几乙来描述相机和其它任 中某一点p 在世界坐标系中的坐标为( k ，y 。，z 。) ，在相机坐标系中的坐标为( t ，咒，乙) ， 小阱 陆4 ， 其中，r 是3 3 正交旋转矩阵，：- 三r 吩2 r芝 ；r 为三维平移向量，t ：乏 。 其中，r 是3 3 正交旋转矩阵， = i 吩l ；r 为三维平移向量，= 0i 。 l 巧r s , 9 1l 乞j 用旋转矩阵表示刚体的旋转变换简化了许多运算，但它需要9 个元素来完全描述这种旋 转变换。被称为欧拉角的三个角度l f ，0 和妒能很好地描述刚体的旋转变换【3 1 1 ：绕工轴 旋转i f ，角( 偏航) ；绕y 轴旋转0 角( 俯仰) ；绕z 轴旋转妒角( 侧倾) ，各角度旋转的正 方向定义为从坐标系原点沿各轴正方向观察时逆时针旋转方向。r 和r 被称为相机成像 模型的外部参数。 7 相机标定技术及在植物叶片病斑视觉检测中的应用 图2 2 相机坐标系与世界坐标系 f i g 2 2c a m e r ac o o r d i n a t e sa n dw o r l dc o o r d i n a t e s 2 2 相机线性成像模型 相机线性成像模型，也被称为针孔成像模型。用针孔成像模型可以近似表示空间中 任意一点p 在图像中的成像位置，即某点p 在图像中的投影位置p ，为光心0 与p 点的 连线d p 与图像平面的交点，如图2 2 所示。若p 点的图像坐标为( x ，y ) ，空间点p 在相 机坐标系下的坐标为( t ，咒，乙) ，由图2 2 中的比例关系可以得到以下关系式： lx ：盈 y ：盖 陪5 ， l 乙 其中f 为相机的焦距，也即是光心与成像平面的距离。上述透视投影关系用矩阵和齐次 坐标可以表示为： 料| ； 00 0 1 厂 o o 010 j 咒 z c 1 ：p l 羔 l 乙 1 ( 2 6 ) 其中s 为一个比例因子，p 即为透视投影矩阵。把式( 2 3 ) 和式( 2 4 ) 代入式( 2 6 ) ， 即可得到空间点p 的世界坐标( ，儿，z 。) 与其对应的投影点p 的图像像素坐标( z ，v ) 的 8 广西大掌硕士学位论文相机标定技术及在植物叶片病斑视觉检测中的应用 关系： f u 1 竹 1 夏o 1 0 a y 0ol a ，0 = i o 口y l0 0 雕 y w z w 1 凡 乙 l = m 1 m 2 x w = 凇。 ( 2 7 ) 其中a ，为甜轴上的尺度因子( 或“轴上的归一化焦距) ，a ，= f d x ；a ，为v 轴上的 尺度因子( 或v 轴上的归一化焦距) ，a ，= 厂方；m 是一个3 x 4 的投影矩阵；m 是由 口。、a 一和v n 决定的，而这几个量只与相机的内部参数有关，因此将其称为相机内 部参数；m 是由相机相对于世界坐标系的位置来决定的，因此将其称为相机外部参数。 所谓的相机标定，就是求解出这个相机的内部参数和外部参数。 由式( 2 7 ) 可得知：若已知相机的内部参数和外部参数，即己知投影矩阵m ，则 可由空间中任意一点p 的世界坐标瓦= ( k ，y 。，7 w ，1 ) r 求得其对应像点p ( u ，v ) ；反之，若 已知空间中某点p 所对应的图像点p ( u ，v ) 和投影矩阵m ，则可求得投影点为p 的所有 点组成的一条射线，即图2 2 中的射线o p 。 2 3 相机非线性成像模型 由式( 2 7 ) 可知，在线性相机模型中若已知一组足够数量的空间点的世界坐标和 其对应的像点图像坐标，即可求得该模型的内部参数和外部参数。然而在实际的相机成 像过程中总是会产生一定的畸变，这种畸变会破坏光心、像点和空间点的共直线关系， 因此必须引入非线性畸变模型来描述实际的成像过程。非线性畸变可由以下式子来描述 3 2 1 ： 篙y ：黝 仁8 ， 咒2+ d ，( 工，y ) 其中( 吒，咒) 为由线性成像模型得到的理想的像点坐标值，o ，y ) 为实际像点的坐标值， 6 。和6 ，是非线性畸变值，与像点在图像中的位置有关。严格来说相机镜头同时存在着 径向畸变和切向畸变，如图2 3 所示，但一般说来切向畸变都非常小，在工业视觉中一 般都只对径向畸变进行校正，径向畸变的示意图如图2 4 所示。 9 r l足旷 l 1，j o o o 0 o l r 1r 矿 广l 1j 0 0 o， 广西大学硕士学位论文相机标定技术及在植物* - i - 片病斑视觉检测中的应用 ( a ) 非畸变图像 厂x 薹 釜赤 y 图2 3 径向畸变与切向畸变 f i g 2 3r a d i a ld i s t o r t i o na n dt a n g e n t i a ld i s t o r t i o n ( b ) 枕形畸变( c ) 桶形畸变 图2 4 径向畸变示意图 f i g 2 4s k e t c hm a p o fr a d i a ld i s t o r t i o n 径向畸变的修正量可由距图像中心的径向距离的偶次幂多项式表示： 麦三y x ( 岛k 厂i + 也厂：c 2 9 ，l r + k 2 r i6 ，= 2 4 + ) r 其中尸2 = x 2 + j ，2 。式( 2 9 ) 表明x 方向和少方向的畸变相对值( 6 工x ，8 y y ) 与径向半径 的平方成正比，也就是说离图像中心越远畸变越大。对于一般的机器视觉应用，一阶径 向畸变已经足以描述非线性畸变，在对相机进行标定时若考虑太多的非线性畸变会引入 过多的非线性参数，有可能会引起解的不稳定，而且不见得能够提高标定精度【8 1 。若只 考虑一阶径向畸变，则式( 2 8 ) 可表示为： 屯5 x ( 1 + 白，2 ) ( 2 - 1 0 ) 咒= y ( 1 + q r 2 ) a ，、a 广u o 、v o 这些线性相机模型的参数与非线性畸变系数毛一起组成了相机非线性 成像模型的内部参数。 1 0 广西大掌硕士掌位论文 相机标定技术及在植物叶片病斑视觉检测中的应用 2 4 本章小结 本章介绍了相机标定领域的些基本理论知识，主要的内容是视觉测量中常用的几 个坐标系以及相机成像模型中的线性模型与非线性模型的一些基本概念，并给出了相机 镜头存在径向畸变时的像差模型。本章还给出了相机成像模型内部参数和外部参数的定 义以及线性模型与非线性模型中需要求解的参数，所谓的相机标定，即是对这些内部参 数和外部参数进行求解的过程。 相机标定技术及在植物叶片病斑视舅塘套测中的应用 第3 章视觉图像特征信息提取 眼睛是人类大脑的直接信息来源，而对于机器视觉系统，摄像机( 或相机) 为其提 供了原始的和直接的视觉信息，一般称为视觉图像。在一幅视觉图像中，把其中具有鲜 明特征的信息，诸如边缘、角点、圆或椭圆中心，以及图像的形状特征等称为视觉图像 特征信息。视觉图像特征信息的提取是标定机器视觉系统模型参数和进行机器视觉实际 应用的前提和基础【3 。图像特征检测在许多图像处理的专著和文献中都有详细的介绍 3 3 3 6 】。一幅视觉图像中包含的信息量是非常大的，但是对图像的处理常常可以简化为对 图像中某些特征信息的处理。本章将介绍相机标定过程中起到关键作用的角点检测技 术，并随之给出本课题研究中使用的角点提取方法：基于h a r r i s 角点检测原理的亚像素 角点检测方法。 3 1 角点检测方法概述 角点是图像中的一种重要特征点，但是目前在机器视觉领域中对角点尚未有一个统 一标准的定义。常用的一些定义主要有：图像中物体边缘的变化不连续的方向；两条及 以上边缘的交叉点；图像一阶导数的局部最大值点；一阶导数最大，二阶导数为零的像 素点；图像中梯度方向和梯度值的变化率都很高的像素点等等【”】。总之可以说：角点就 是与周围邻点有显著差异的点，角点就是在图像平面内灰度变化剧烈的位置点。图像中 角点的类型也各不相同，常见的角点类型有“l 型、“x ”型、“t ”型、“y 型等， 如图3 1 所示，图中圆点为角点的位置。 图3 1 常见的角点类型 f i g 3 1c o m m o nk i n d so fc o m e r 角点检测的方法目前已经提出很多，大体可以归为两类：一类是基于边缘的角点检 测，一类是基于灰度的角点检测。 3 1 1 基于边缘提取的角点检测 基于边缘提取的角点检测方法首先要提取出图像的边缘特征，再对得到的边缘进行 分析以获取角点。此类方法中包括几种不同的算法，例如可以用多边形来近似边界，再 搜索出两条边的交点，即对应着图像的角点3 8 】；可以用链码来表示提取出来的图像边界， 1 2 广西大学硕士学位论文相机标定技术及在植物 t - 片病斑视j 麓给测中t e 9 , 立用 然后计算出每个边界点的曲率，则曲率取得局部极大值的点就是图像的角点【3 9 】；此外， 可以利用亚像素边界检测算子检测出边界，再用聚类法来拟合边界直线，那么要检测的 角点就是任意两条直线的交点；除了以上方法外，还可以使用形态学中的方法：用腐蚀 与膨胀算子搜索图像边界点中的凹点和凸点，就可以得到图像的角点【加4 1 1 。 在应用这类方法检测角点时，若边缘线发生断裂，对角点的提取将会产生很大的影 响，因此这类方法对边缘提取算法有很大的依赖性，这也是其主要的缺点。 3 1 2 基于图像灰度的角点检测 第二类检测角点的方法即是直接对图像灰度或灰度梯度进行处理，这类方法得到了 广泛的实际应用【4 2 埘】。这类方法并不需要先提取出图像的边缘，但在应用时通常需要定 义一些角点响应函数或算子。比较著名的基于图像灰度的角点检测算子有：m o r a v e c 角 点检测算子【4 5 】、m i c ( m i n i m u mi n t e n s i t yc h a n g e ) 角点检测算子【4 6 1 、s u s a n 角点检测算 子【4 7 4 8 1 和h a r r i s 角点检测算子【4 9 】。 著名的h a r r i s 角点检测算子具有非常好的定位性能和鲁棒性【5 0 1 ，基于h a r r i s 算子的 特征检测方法在基于特征的立体匹配和基础矩阵计算中得到了非常广泛的应用。h a r r i s 算子是基于图像灰度梯度进行处理的一种方法，因为包含了微分运算，所以这种方法的 抗噪声能力较弱，在处理前一般都需要对图像进行高斯平滑处理f 5 l 】。 本文使用h a r r i s 角点检测算子对标准标定模板的角点进行检测，并使用改进算法得 到了亚像素级的角点坐标。 3 2 基于h a r r i s 角点检测原理的亚像素角点检测方法 3 2 1 基本的h a r r i s 角点检测原理 在一张图像中，特征角点与自相关函数的曲率特性紧密相连，自相关函数可以用来 表征局部图像灰度的变化程度，可由下式来表剥5 2 】： g ( x ，y ) = k ，k 埘+ ，一乞，f 2 ( 3 - 1 ) “v 其中，e ( x ，y ) 用来表示两个图像窗口偏移( 工，y ) 时引起的图像灰度的平均变化，w 则是 表示图像窗口，而，表示的是图像中的灰度。在角点位置，图像窗口的偏移会使得自相 关函数e ( x ，y ) ( 图像灰度的平均变化) 发生明显变化。 若将式( 3 1 ) 在( ”，v ) 像素点展开，则可用一次泰勒多项式形式来近似表示局部图 像灰度的自相关函数e ( x ，y ) ： e ( z ，j ，) = a x 2 + 最y 2 + 2 c x y( 3 - 2 ) 其中a 、b 、c 是二阶方向微分的近似，可表示如下： 厂西大掌硕士掌位论文 相机标定技术及名：植物叶片病斑视冀浦蕾谀g 中的应用 其中 a = x 2o 厅“少) b = y 20 乃( x ，y ) c = x y 0 办( x ，y ) x = i 园1 l 】，= ， f 1 l ( 3 3 ) h ( x , y ) 是一个高斯平滑滤波函数，石和】，是一阶方向微分，可以分别用图像灰度与x 向 差分算子 10 1 年f l y 向差分算子 10 - 1 7 表示。 这样，式( 3 2 ) 便可以写成如下形式： e ( x ，y ) = 工y m a t , ( 3 5 ) 其中，m 表示自相关函数e ( x ，y ) 的近似h e s s i a n 矩阵： m c x ，y ，= i 詈 三：；三 二：；i c 3 6 ， 矩阵m 的特征值可以近似表示某一点的图像灰度自相关函数的极值曲率。若矩阵 m 的两个特征值均比较大，则表示在该点的图像灰度自相关函数的两个正交方向上的 极值曲率均较大，那么就可以认为该点是图像中的一个角点。 d e t m 】( 矩阵m 行列式的值) 与两个正交方向上的极值曲率的乘积成正比。所以， h a r r i s 角点检测器可以表示为： r ( x ，少) = d e t m ( x ，y ) 】一k t r a c e 2 m ( x ，y ) 】 ( 3 - 7 ) 其中矩阵m 的行列式d e t m 】= a b - c 2 ，矩阵m迹t r a c e m 】- 4 + b 。若在某一点处 的r ( x ，少) 超过某一阈值，那么即可认为该点为角点。根据h a r r i s 的建议，当k 取0 0 4 的时候能够获得较好的检测结果。 n o b e l 认为h a r r i s 角点检测器中的k 取值较为任意且不能让人满意，并对此进行了 改进从而在r ( x ，y ) 去掉了k ，n o b e l 将r ( x ，y ) 定义为【5 3 】： 啪) = 丽d e t m = 等a ( 3 - 8 ) t r a c e l 朋i + 6 不过n o b e l 的改进仅仅是去掉了k ，并没有解决阈值难以确定的问题，阈值的选取 取决于图像的属性，在实际使用中一般需要根据以下原则来选择阈值【5 4 】： 假若可以事先确定一幅图像中的总的角点数目，则使得提取到的角点数等于事先确 定的角点数的阈值就是适合的阈值；在有的情况下，8 ( x ，y ) 值较大的点都处于某个区 1 4 甜一缸甜一砂 黔 n = 1 r o 0 0 广西大掌硕士掌位论文相机标定技术及在植物叶片病斑视奠爿盘测中的应用 域中，这有可能会导致其它区域中的角点被忽略，这时就需要再定义一个区域中的最大 角点数目，以去除r ( x ，y ) 值较大的非角点。 从h a m s 角点检测原理中，可以看出该方法有许多优点： ( 1 ) 计算比较简单。h a m s 算子中只需要计算图像灰度的一阶差分，计算比较简单； ( 2 ) h a m s 角点检测算子可以定量地提取图像中的角点； ( 3 ) h a m s 算子提取的点特征均匀合理，该算子对图像中的每个像素点都计算其兴趣 值，并在其邻域中选择最优点； ( 4 ) e p 便是存在灰度变化、噪声影响、视点变换和图像旋转等的情况下，h a m s 算子 也依然是最稳定的一种点特征提取算法【5 5 1 。 3 2 2 改进的h a r r i s 角点检测算法 从上一节的分析中可以得知，尽管h a m s 角点检测算子是一种既简单又有效的角点 提取方法，但是其只能检测到像素级的角点，这也是该方法最大的不足之处。若需在提 取角点时达到亚像素级的精度，就必须对基本的h a m s 角点检测方法进行改进。 本文中使用的角点检测方法是：先使用传统的h a m s 角点检测算子提取出图像中的 像素级角点坐标，在此基础上再使用插值的方法来确定角点的亚像素级的精确位置。 所谓插值的方法，就是使用二次曲面来逼近角点响应函数r ( x ，y ) ，以求取角点的 亚像素级坐标【5 6 】。设待求的二次曲面为： r ( x ，y ) = 甜2 + 姆+ 钞2 + 出+ 秒+ 厂( 3 - 9 ) 其中口，b ，c ，d ，e ，f 为待定系数。设像素点( ，) 为传统的h a m s 算子检测到的一个像素 级角点，那么以( j c 0 ，) 为原点建立一个坐标系，并以该点为中心取一个3 x 3 的邻域， 如图3 2 所示： 101 一一- - -一 一- - - 一一一 一t - - 砌 图3 2 二次曲面拟合区域 f i g 3 2q u a k ef i t t i n ga r e a 相机标定技术及在植物- p 片病斑视觉检测中的应用 由( x o ，) 像素点及其周围的8 个像素点可组成一个9 个方程式、6 个未知数的超定 方程组： a x = b ( 3 1 0 ) 其中 a = l0 10 l1 1o ll l1 11o1 1oo o l00 o 110l l00 0 lll1 1o l0 11 一lo l1 1l x = 口6 cd g 】7 b = 【r ( 一1 ，- 1 ) r ( o ，一1 ) 尺( 1 ，- 1 ) r ( - i ，o ) r ( o ，o ) r ( 1 ，o ) r ( 一1 ，1 ) r ( o ，1 ) r o ，1 ) 7 系数c l ，b ，c ，d ，e ，f 的值可以通过求解上述超定方程组来确定。 在逼近区域中的r ( x ，y ) 的极值点满足以下方程组： i 塑! 兰：塑：2 a x + b y d：01-i- l 一= = t 孛一2 ( 3 - 1 1 ) 求解上述方程组，即可求得亚像素级角点相对于整像素级角点( ，) 的偏移值： 易知进行二次曲面拟合之后得到的亚像素角点坐标即为像素级角点坐标加上偏移量： y x ：= x o + + z 蚬b c o 仔 3 3 实验结果 3 3 1 标定模板的选择 在使用传统方法标定相机时，往往需要提供三维场景和图像平面中的多个坐标点 对。在标定时可以选择一些具有特殊结构和较高精度的标准模板，这样三维场景中的标 定控制点的坐标就可以直接从标准模板上测得，而图像平面中的控制点坐标则需要使用 1 6 丝丝 二4 一一4 一咖一 丝铲塾铲 撕 蛳 相机标定技术a 在植物叶片扁斑机觉楂删十的应用 h a r r i s 角点检测算法之娄的方法提取。为了得到以上所述的标准模板可以在个标定 靶上粘贴张特征点明恩的图片，并把图片中的特征点作为标定控制点。 经常使用的标定模板主要有三维标定靶、虚拟三维标定靶和二维标定靶等几种。三 维标定靶的制作与测量较为复杂，成本也较高，土要用于高精度的标定场合；虚拟三维 标定靶其实是控制二维标定靶进行一定的运动来模拟二三维场景，而运动参数是己知的， 这种标定装置的实现成本也较高，因为这