（机械设计及理论专业论文）基于改进esga的摄像机标定方法与实验研究.pdf

论文题目：基于改进e s g a 的摄像机标定方法与实验研究 学科专业：机械设计及理论 jj k 申请人：刘岚 签字：壑! l 盈 指导教师：李鹏飞 签字：垄毗刍色 摘要 随着图像处理技术和视觉理论的发展，机器视觉在生物医学工程、导航、工业检测、 军事等领域得到了日益广泛的运用。摄像机标定是机器视觉研究的重要内容之一，对整个 系统的性能起着十分关键的作用。论文研究了机器视觉技术中的摄像机标定方法，并进行 了实验验证。主要工作如下： 对现有的摄像机标定模型( 线性模型、非线性模型、两步法) 进行了对比，分析讨论 了以提高标定精确为目的的角点提取方法( 如：h 枷s 角点提取、s u s a n 角点提取、s i f t 角点提取) 的特点。 对几种摄像机标定方法进行了研究，通过对两步法的重点探索，采用最小二乘法求解 摄像机内外参数的初始值。 对遗传算法的初始种群选择策略进行了改进，提出了一种基于改进的e s g a 的摄像机 标定方法，对摄像机的内外参数进行优化。通过实验，验证了所提方法较传统的基于遗传 算法的标定方法具有更高的精度。 研究基于p m a c 的运动控制技术，完成了对运动控制实验系统的硬件设计、机械结构 件的连接；利用v c + + 的m f c 框架，结合多线程开发、多进程开发相关技术，编制了系统 控制软件；实验验证了摄像机标定技术在运动控制实验系统中的应用。 关键词：机器视觉；摄像机标定；最小二乘法；遗传算法；两步法 论文类型：应用研究 西安理工大学硕士学位论文 t i t i e ：r e s e a r c ho nc a m e r ac a b r a t i o nm e t h o da n de x p e r i m e n tb a s e d o nm o d i f i e de l i t i s ts e l e c t i o ng e n e t i ca i g o r t h m m a j o r ：m e c h a n i c a id e s i g na n dt h e o 吖 n a m e ：l a nl i u s up e r v i s o r ：p e n g f b il js ud e r v i s o r ：p e n g t e ll i a b s t r 。a c t s i g n a t u 怕： s i g n a t u 陀： fa 川ff 以 a sd e v e l o p m e n to fi m a g ep r o c e s s i n gt e c l l i l o l o g ) ra i l dv i s i o nt l l e o m a c h i n e 啊s i o n t e c h n o l o g yh a sb e e na p p l i e dw i d e l y i nb i o m e d i c a l e n g i n e e r i n g ， i n d u s t r i m i n s l ) e c t i o i l ， m e c h a i l i c a ln a v i g a t i o 玑m i l i t a r ya i l do t l l e rf i e l d s c 锄e mc a l i b r a t i o ni s 锄i m p o n a n tp a r to f m a c h i r l ev i s i o nr e s e a r c h np l a y s 锄i m p o r t a n tr o l ei nt h ep e r f o n n 锄c eo ft h ew h o l es y s t 锄 c 锄e r ac a l i b r a t i o nm e t h o d sb a s e do nt h ei r l o b i l er o b o tv i s i o nt e c h n 0 1 0 霉踟- er e s e a r c h e d ，a n d t h ec o r r e s p o n d i n ge x p e r i m e n t sa r ec a r r i e do u tt ov a j i d a t ef e a t u r e so fm e s em e t 】d s m o d e l s s u c ha sl i i l e a rm o d e l ，n o n l i n e a rm e t h o d 锄dt 、v o s t e pm e m o di sa 1 1 a l y z e d ，a l l dc o m e rd e t e c t i o n m e t h o d si n c l u d i n gh a r r i sc o m e rd e t e c t i o n ，s u s 气nc o m e rd e t e c t i o na n d s i f tc o m e rd e t e c t i o n 、h i c hi st h ep r e r e q u i s i t ef o ra c c u r a t ec a l i b r a 【t i o na 1 ed i s c u s s e d m a i nw o r k so ft h ep r e s e mt l l e s i s a r ea sf i o l l o 、v s t h ee x i s t i n 2c 锄e r ac a l i b r a t i o nm o d e l ss u c h 邪l i n e a rm o d e l ，n o l l l i n e a rm o d e la n d t w o - s t e pm o d e la r ec o m p a r e d a n dc o m e rd e t e c t i n gm e t h o d ss u c ha sh a r r i sc o m e rd e t e c t i n g m e t h o d ，s u s a nc o m e rd e t e c t i n gm e t l l o da n ds i f tc o m e rd e t e c t i n gm e t h o dw h i c hc 觚 i m p r o v ea c c u l a c yo fc a l i b r a t i o na r ea l s oa n a l y z e d t h el e a u s ts q u a r e sm e t h o di sa d o p t e dt 0c a l c u l a t et h ei 1 1 i t i a lv a l u e so fp a r a m e t e r so ft l l e c a m e r aa 俞e re x p l o i 。a t i o no ft i l et 、o s t e pm e t h o d e l i t i s ts e l e c t i o ng e n e t i ca l g o r i t h m ( e s g a ) i s 印p l i e di nc 锄e r ac 甜i b r a t i o n t h ei 堇l i t i a i p o p u l a t i o ns e l e c t i o ns t r l l t e g yi sd e v e l o p e d 锄dac 锄e i ac a l i b r a t i o nn l e t h o di sp r o p o s e db a s e d o nm o d i f i e de s g a e x p e r i m e n tr e s u i t sp r o v et l l a tm ep r e s e n tm e t h o dh a sb e t t e ra c c u r a c yt l l a nt h e 仃a d i t i o 砌 c a l i b r a t i o nm e t h o db a s e do nm eg e n e t i ca l g o r i t b m t h ee n t i r ce x p e r i e m n ts y s t e mi sd e s i g n e d 时k rr e s e a r c ho np m a c m e c h 枷c a ls t n l c t u r e 觚ds o n w a r ea r eb u i l t f i n a l l y ，t h es y s t e mh a sb e e ni m p l e m e n t e db a s e do nt h em f cv c + + f h 【1 1 e w o r ka i l dr e l a t e dt e c l l i l o l o 西e ss u c ha sm l l l t i - t b r e a d e d ，m u l t i p r o c e s s ，e t c k e yw o r d s ：m e c h a m c a jv i e w ；c a m e r ac a l i b r a t i o n ；l e 嬲ts q u a r e sa l g o r i t h m ；g e n e r i ca j 9 0 r i n 吼； t 、v 0 一s t 印m e t h o d i i 1 绪论 1 绪论 1 1 研究背景及意义 2 0 世纪5 0 年代末人类研制出第一台工业机器人，半个多世纪以来，机器人的应用越 来越广泛，渗透到各个领域。机器人的出现使人类从机械性的工作中解放出来，集中精力 完成更多具有挑战性的工作。机器人科学是一门综合学科，是机械、计算机、自动化等的 交叉学科，是科技发展的前沿。 视觉是人类感知世界的最重要手段，人类获取的信息7 0 以上都是通过视觉完成的。 正因为如此，如何让机器人也能够像人类一样通过视觉获取信息，成为当前机器人领域的 研究热点。尽管目前机器人还无法像人类那样对信息进行深加工，但能够实现简单的视觉 信息获取也是具有重要意义的。 利用视觉传感器获取环境信息对于移动机器人来说有多方面优势： ( 1 ) 图像具有丰富的信息含义。如果图像识别算法能够在准确率上大幅提高，并具备 较好的效率，整个系统的正确率和效率也会大大提高，因此在图像算法上需要做大量工作。 ( 2 ) 视觉是被动测量，不会产生其他利用脉冲测距时多个信号源互相影响的问题。 ( 3 ) 视觉传感器采样速率较雷达、超声波等都要快，因此可以为高速机器人提供信息。 近年来，由于计算机软硬件的发展，大数据量图像处理已经不存在问题，数字图像处 理设备价格也越来越低，这极大的降低了机器视觉的研究门槛，很多学者都投入到机器视 觉的研究中。 从视觉传感器上划分，机器人视觉可分为单目视觉及多目视觉。顾名思义，单目视觉 只有一个摄像机，多目视觉具有多个摄像机，因此又称为立体视觉。采用多个摄像机能够 获取场景深度信息，但图像处理成本较高时间较长，系统的硬件成本以及安装调试都较复 杂，同时准确率不足。而只使用一个摄像机的视觉单目视觉设备低廉，调试方便，图 像处理效率高。因此，与立体视觉相比，这种视觉方式具有广泛的研究和应用前景。 机器视觉主要有2 大关键技术：摄像机标定技术和机械控制技术。摄像机标定的精度 直接关系到机器人运动结果的好坏，而机械控制则是机器人运动起来的基础。因此这两大 关键技术直接决定着机器人视觉的成败，对基于摄像机标定的运动控制系统的深入研究就 显得格外重要。 1 2 国内外研究现状 机器人科学的发展过程中，让机器人具备视觉能力对该科学的发展具有重要意义，由 此诞生了一门新的学科机器视觉。将机器视觉技术应用到机器人系统，机器人视觉系 统大体流程分为一下步骤：首先通过摄像装置拍摄到图像，然后由处理单元对该图像处理， 进行颜色、亮度等图像特征的分析，最后将分析结果发送到控制装置，由控制装置操纵机 器人的运动。图1 1 是机器人视觉系统的总体结构。 西安理工大学硕士学位论文 图1 1 机器人视觉系统组成 f i g u 鹏1 1i b b o t v i s i o ns y s t 锄c o m p o n e n t s 由图1 1 ，机器人视觉系统硬件由以下几个部分组成： ( 1 ) 视觉传感器：也称为光学传感设备，常见的包括c c d 和c m o s 摄像机； ( 2 ) 图像采集卡：主要完成对图像信息的采集，输出计算机可识别的数字信号； ( 3 ) 计算机及外设：由计算机来完成对图像的处理，包括对图像输入输出设备的控制， 以及对图像进行处理和变换； ( 4 ) 移动机器人。 软件系统主要包括： ( 1 ) 计算机系统软件。不同用途的机器人就有不同用途的软件支持。例如在基于p m a c 的移动机器人中，需要有p m a c 相关软件支持；在基于网络协议的移动机器人中，需要有网 络协议软件的支持，如t c p i p 协议族。 ( 2 ) 视觉处理算法。该算法主要用于对采集到得图形进行处理，该算法能够保证机器 人正确识别它所处的环境。 ( 3 ) 机器人控制软件。该软件用于操纵、控制机器人行为。 1 2 1 摄像机标定技术 利用摄像机获取的图像信息来计算三维物体的物理位置是机器视觉研究的主要技术 之一。其中必须解决的问题是摄像机标定，即物体的图像坐标和世界坐标的对应关系问题。 机器视觉的基本理论诞生于八十年代初，由美国麻省理工学院d a v i dm a r r 教授提出。 该理论是迄今为止最为完善的视觉系统的框架【l 】。这一框架是视觉领域的主流理论，尽管 后来曾被许多学者质疑和批评，但到目前为止，m a r r 理论在机器视觉领域所占据的统治地 2 l 绪论 位依然无法动摇。 如何从二维图像重建三维物体表面是机器视觉领域一个重要的研究课题，三维重建过 程主要包括以下步骤： 1 、图像对应点的匹配：同一空间点在不同图像上有不同的投影表现，需要找出这一 点在不同图像上的投影； 2 、求解摄像机的内参数； 3 、求解摄像机的外参数。 由此可见，摄像机标定是三维重建中重要的一步，标定结果也直接决定三维重建的结 果，因此研究摄像机标定方法在三维重建乃至机器视觉领域具有重要价值。 摄像机标定起源予摄影测量学，在十九世纪就出现了对摄像机镜头的研究，在上世纪 五六十年代，出现了一些镜头像差的表达式，这些表达式在当时被普遍认同并采用，其中 包括径向与切向畸变的表达式，为后来的摄像机标定非线性模型打下基础。 目前，在不考虑变焦等情况下，已经有比较成熟的内参数固定的摄像机模型，一种被 普遍采用的模型是线形模型，它能够得到解析解，并且计算起来更方便，运算速度也很快， 但忽略了镜头韵像差；另一种普遍应用的方法是非线性模型，该模型能很好的补偿像差， 误差控制的也很好，精度不错，但计算量很大，鲁棒性有待提高。 在像差被提出来以后，如何获得高精度的标定结果成为该领域学者追求的目标。非线 性畸变被考虑到了摄像机标定中，自此，很多学者投入到高精度标定方法的探索中。1 9 6 6 年，b h a l l e r t 【2 j 的研究成果具有较高的精度；1 9 7 5 年，w f a i g 建立了较为复杂的摄像机 成像模型，该模型考虑了摄像机成像过程中的各种因素，用非线性优化方法进行求解，但 非线性方法运算速度较慢，并且需要线性方法提供解析解：r yt s a i 于1 9 8 6 年建立了经典 的t s a i 摄像机模型，该模型可以看做前人研究成果的综合，并综合了线性方法和非线性方 法，其思想是大部分参数采用线性直接求解，少数参数采用迭代方法求解，这样就减少了 迭代次数，相比线性方法提高了精度，相比非线性方法则加快了计算速度，这就是著名的 两步标定法【3 j 【4 】，即便如此，该模型仍然不能很好的解决畸变问题，而且对硬件要求较高， 很难大规模应用；此后j w e n g 对t s a i 模型的畸变模型进行了改进，将它应用在畸变较严重 的场合【5 】【6 1 。 在八十年代，在工作区域或其周围布置控制点进行标定的需求越来越强烈，于是诞生 了现场标定( o n t h e j o bc a l i b r a t i o n ) 。在某些场合没有标定物，需要面对场景直接标定， 于是在2 0 世纪9 0 年代初诞生了摄像机自标定( s e l fc a l i b r a t i o n ) 的概念，它是由 f a u g e r a s 【7 。、h a r t l e y 【8 j 等人提出来的。随着人们对移动摄像机标定需求的增加，微软研 究院的张正友【9 】【l o 】【l l 】提出了基于移动平面模板的方便灵活的摄像机标定方法，直到今天该 方法仍被大量应用着。 九十年代，消失点的3 个特性被b c a ”i l e 和v t o r r e 【1 2 】提出来，后来该特性被应用到 摄像机标定领域，即3 参数模型的摄像机只需要一副图像就可以完成标定；接着r c i p o l l a 3 西安理工大学硕士学位论文 和t d r u m m o n d 【1 3 】等人推导出以3 个正交方向消失点为角点的三角形的垂心恰好为图像主 点，自此，基于消失点的方法得到广泛应用。但由于该方法标定精度不高，并且受噪声影 响大，难以应用在高精度测量中。 1 2 2 运动控制系统 机电一体化( m e c h a h o n i c s ) 打破了传统的学科划分界限，将信息科学、电子科学、计 算机科学、机械工程等学科很好的融合在一起。在二十世纪九十年代后期，控制技术、人 工智能、网络技术也融入到了机电一体化技术中，使机电一体化技术进入了蓬勃发展时期。 机电一体化技术主要包括如下内容： 1 ) 机械技术，即机电一体化的“机 ，主要包括机械部件的设计、加工、制造以及机 械部分的运动。 2 ) 控制技术，这是机电一体化的最关键部分。电力电子技术的进步，计算机技术的发 展，使得控制的自动化程度更高，而控制技术和控制策略的发展使得对机械的控制越来越 精细，不仅能够控制机械达到目标位置，而且在速度、加速度、力量方面都能做到精准控 制。 3 ) 检测技术，对部件进行信息采集。机械部件在运动过程中速度、位置等的反馈信息 都靠传感器检测技术完成，传感器的品种、性能直接关系到机电一体化系统或产品的智能 化程度。 4 ) 信息处理技术，这是计算机控制的关键技术。在机电一体化系统中，信息的输入、 计算、存储及输出也是重要的一环，信息的输入是系统数据的来源，信息处理的准确性则 直接影响着控制结果，信息的输入是机械运动的先决条件，它们都直接影响机电一体化系 统或产品的质量和效率。 5 ) 系统技术，主要是系统的集成技术。在对整个系统进行设计的过程中，需要用跨学 科的思维来进行综合集成，将各个学科的知识进行一体化。 如前文所述，运动控制技术是多种技术的综合，而交流伺服驱动技术、电机驱动技术、 可编程序控制器和运动控制卡是其中最为核心的技术。交流伺服系统具有很高的精度和极 快的响应速度，这样在现实的应用当中能够适应一些对精度和速度要求很高的场景，随着 科技的发展，交流伺服系统也进入了数字化时代，数字式交流伺服系统使用门槛更低，操 作简便，维护起来更方便，因而深受用户青睐。 随着科技的迅猛发展，尤其是信息技术、电力电子技术的发展，运动控制己从简单的 电力对机械的拖动发展成为个多学科交叉的技术领域，这得益于自动控制理论和现代控 制理论的成熟，多种技术的成熟使得在复杂条件下将预定的控制方案、规划指令转变成期 望的机械运动成为可能，不但如此，现在对机械运动进行精确的位置控制、速度控制、转 矩控制等也已经实现。计算机、传感技术、电力电子、机械工程、自动控制等技术及其相 关软硬件系统是运动控制系统的基础，图卜2 描述了运动控制与它们之间的关系。 4 1 绪论 图卜2 运动控制系统与相关学科关系图 f l g u r e1 2m o 廿o nc o n t r o is y s t e m sa n d 怆i a t e ds u b j e c t sd i a g 阳m 运动控制系统尽管形式多样，但一个典型系统的基本结构主要包括上位机、运动控制 装置、驱动装置、电动机、执行机构和反馈装置，卜3 表明了它们之间的关系。 图卜3 典型运动控制系统的构成 f i g u 陀1 - 3t h es t r u c t u 啥o ft y p j c a im o t i o nc o n t r o is y s t e m 、1 作为运动控制系统的核心，运动控制器一方面接受来自上位机的指令，另一方面对电 动机进行控制，执行机构通常为电力电子功率变换装置，自动控制理论将这些装置结合在 一起，组成了自动控制系统。这些装置互相协作的大体过程为：运动控制器接收来自上位 机的信号，对信号进行分析和计算，然后将运动命令发送到电机驱动器中，信号的形式是 数字脉冲信号或模拟信号；驱动器对信号进行功率变换，驱动电机按照指令转动；执行 机构完成运动或者操作的执行，执行机构的形式可以是步进电机或伺服电机；反馈装置通 常进行速度和位置的检测，将检测到的信息反馈到上位机，形成了半闭环或全闭环控制。 运动控制系统有以下分类标准。 1 、按有无反馈器分类 根据有无检测反馈传感器，运动控制系统可分为开环、半闭环和全闭环三种： 开环控制系统没有检测反馈传感器，一般采用步进电机作为执行电动机，其优点是成 本低、操作方便，而且单向指令也较简单，稳定性好，但正是由于缺少反馈装置，误差不 能得到矫正，因此精度不高。 全闭环控制系统采用光栅等进行元件的检测，能够消除整个机械传动链中的传动误 5 西安理工大学硕士学位论文 差，定位精度很高，但由于系统设计复杂，因此稳定性不高。 半闭环控制系统可以看做开环控制系统和全闭环控制系统的一种中和，采用转角检测 元件，具有一定的定位精度和稳定性。 2 、按控制方式分类 运动控制按控制对象可分为位置控制、速度控制和力矩控制三种类型。 位置控制：即移动位置的控制，又可分为点位控制、连续轨迹控制以及同步运动控制。 点位控制即只控制运动中点到点的定位，不控制运动过程中的轨迹，也不在运动中进行加 工或测量；连续轨迹控制又包括直线控制和轮廓控制，直线控制是指控制对象沿直线进行 运动，轮廓控制是控制运动过程中的位置与速度，从而形成轮廓曲线或曲面；同步控制是 对两轴或两轴以上的速度或位置进行同步控制。 速度控制：对机械的速度进行控制，常见的例如传输机、工作台等机械装置。 力矩控制：常见的包括布匹、塑料的卷取机以及自动组装机等。 1 3 本文主要研究内容 基于机器视觉的运动控制系统包括两方面的核心技术，一方面是机器视觉技术，即摄 像机能够正确识别出目标所在的位置；另一方面是运动控制技术，即能够控制硬件按要求 达到指定目标位置。本论文对涉及这两项技术的部分内容进行了研究。内容结构如下： 第一章综述了机器视觉系统中摄像机标定技术的研究现状以及运动控制系统研究现 状和分类；介绍了本文的研究内容和组织结构。 第二章对比分析了摄像机标定常见的三种模型，即线性模型、非线性模型和两步法模 型的特点；介绍了作为摄像机标定基础的角点提取方法和亚像素提取方法。 第三章研究了基于改进e s g a 的摄像机标定方法；描述了采用最小二乘估计计算摄像机 参数的过程；采用改进的e s g a 优化摄像机的内外参数，并进行实验。 第四章对运动控制实验系统的硬件进行了设计。 第五章对运动控制实验系统的软件进行了设计；基于该实验平台，实验验证了机器视 觉技术在运动控制系统中的应用。 第六章对本文工作进行总结。 6 2 摄像机标定方法之比较 2 摄像机标定方法之比较 摄像机标定是指在建立的摄像机成像模型基础上，确定空间坐标系中物点同它在图像 平面坐标系中的像点之间的对应关系。摄像机模型在数学上表示为摄影变换，通过该模型 可以了解摄像机成像过程以及摄像机的几何抽象，具体的摄影变换方式是由摄像机参数决 定的，这些参数的值即为标定结果。因此，确定了这些参数的值和像点坐标就能够计算出 空间点的实际坐标位置。 成像模型的建立是摄像机标定的关键步骤，它关系到摄像机参数的确定，不同的模型 对应不同的参数集合，不同的参数集合其求解方法也可能不同，因此在实际应用过程中要 选择合适的成像模型。 摄像机标定方法主要有传统标定方法和自标定方法两种方法。传统标定方法虽然标定 精度高，但不适用于商业、民用的室内视频监控系统。摄像机自标定方法则摆脱了标定参 照物，只依靠实物与图像中的点之间对应关系来建立参数方程，但标定精度低，可靠性差， 不能求出摄像机的外部参数，同样不适合于求实际物点的物理三维坐标为目的的室内监控 立体视觉系统。平面模板作为一种常见的标定参照物，既能满足商用系统对标定物便携性 的要求，又能保证空间中物理信息的输入，本章将对基于平面模板的几种标定模型以及角 点提取方法进行比较，为后文研究基于平面模板的摄像机自标定方法打下基础。： 2 1 标定模型， 传统的摄像机成像模型包括线性模型和非线性模型。基于小孔成像原理，线性模型建 立了物体在空间中的点和像点之间的几何位置对应关系。但是由于小孔成像原理过于理想 化，在实际应用中，由于镜头存在畸变，且越远离小孔中心的位置畸变越大，实际像点位 置与依据小孔成像原理计算的像点位置不重合，造成物体的空间点、投影中心和像点不共 线，而非线性模型则考虑了成像的畸变现象。 2 1 1 线性标定模型 若不考虑成像畸变现象，为了求解线性成像模型，透视变换法和直接线性变换法是常 用的两种线性求解方法。透视变换方法基本原理如下： 册睢圣 x 。 匕 乙 1 ( 2 1 ) 其中，世界坐标( 瓦，匕，乙) 为空间实物点的绝对坐标，( ”，v ) 为该物点对应于绝对坐标 的图像坐标系下的坐标，m ，( f = 1 ，2 ，3 ；产1 ，2 ，3 ，4 ) 表示物点与像点间的透视变换关系。由 式( 2 一1 ) ，描述世界坐标系下物点坐标与相应的图像点坐标之间的变换关系，可表示为如 下线性方程： 7 西安理工大学硕士学位论文 篡：箍：篡：嚣。袈二麓三翟 2 ， 聊2 l 瓦+ 鸭2 匕+ 朋2 3 乙+ 一峨鸭1 1 ，匕鸭2 一吸3 = 哟4j 。 通过测量，可以获得空间物体点的坐标和相应的图像坐标，若将变换矩阵中的各元素看作 未知数，则式( 2 2 ) 中共有1 2 个未知数，设= 1 ，则该式有1 1 个未知数，利用最小二乘 法可求出上述线性方程组的解。 直接线性变换方法同样不考虑摄像机的非线性畸变，以小孔成像原理为基础，空间物 点与二维像点的转换对应关系采用一个3 4 阶的矩阵表示，求解如式( 2 3 ) 所示线性方 程，可得到摄像机的参数： f 掰：益盆圣刍! 互盘生 l k + 匕乞+ z w 乞+ 乞 ( 2 3 ) lv ：益鱼型! 型2 墨 【叉0 厶o + 匕如l + 乙如2 + 厶3 其中，毛( 间，l ，2 ；产o ，1 ，2 ，3 ) 是待定参数，乞= 1 。 2 1 2 非线性标定模型 针对线性标定模型存在的精度不足问题，采用考虑畸变的非线性标定模型对摄像机进 行标定的研究引起了众多学者的兴趣n 纠6 1 。这种方法考虑了摄像过程中的各种畸变，通过 非线性优化的方法求解摄像机参数，因此标定精度较高。 将摄像机的非线性畸变现象引入到如式( 2 3 ) 表示的直接线性变换方法中，物体的 世界坐标和图像坐标关系可以写为： “+ 6 “= “ ，+ 6 1 ，= 1 ， 二：墨盆弛j 圣也5 q 以乞o + 匕乞。+ 乙如+ 如3 ；：益q 型! 型2 生 k + 匕乞l + 乙乞+ 乞 ( 2 4 ) 其中，( 厅，移) 是考虑畸变后的校正图像坐标，( 6 “，6 v ) 是图像点( 甜，1 ，) 处由于畸变引 起的误差。 求解如式( 2 - 4 ) 所示的非线性方程常见方法主要有两种：拟线性化方法和完全非线 性法。拟线性化方法包括最速下降法、高斯牛顿法等，这类方法利用逐次逼近原理求解 方程，求解结果往往不稳定，且对噪声敏感，全局收敛性较差；完全非线性法有遗传算法、 蚁群算法等，这类算法能够不断修正优化结果，可得到全局最优解。 2 1 3 两步法模型 目前普遍采用的两步法是利用成像几何中的某些内在性质和关系先求一部分参数，然 后利用这些已求出的参数来求解其它参数。t s a i 提出的两步法是基于径向校正约束( r a c 8 2 摄像机标定方法之比较 r a d i a la l i g n l l l e n tc o n s t r a i n t ) 的标定法。基于径向校正约束的两步标定法首先利用最小 二乘法解线性方程组，求解出摄像机的外部参数，然后求解摄像机内部参数，如果摄像机 透镜没有畸变，可以通过求解一个线性方程直接求出内部参数，如果镜头存在径向畸变， 可以通过优化搜索的方法求解。在两步法模型中需要求解的摄像机参数包括焦距f 、径向 畸变系数k 、旋转矩阵r 以及平移向量t 。t s a i 的方法考虑了径向畸变，文献 1 6 对t s a i 方 法进行了进一步的扩展，除了考虑径向畸变还考虑了切向畸变，在介绍算法之余还对标定 精度的分析方法进行了介绍。 利用多个平面模板的方法也属于两步法，该方法由张正友提出，主要利用了摄像机和 模板可以自由移动的特点，第一步先用线性方法内外参数，此时参数的精度并不高，然后 将这些内外参数作为初始值，求解非线性解。 在基于小孔摄像机模型中，除了上述介绍的传统标定方法外，还有基于消隐点的标定 方法【1 7 之o 】、基于弱透视投影的标定方法和基于平行透视投影的标定方法1 2 1 1 。 除了小孔摄像机模型外，还有其他模型，双平面标定法【捌就是其中的一种，它由 m a r t i n s 等首先提出，其优点是不需要利用非线性优化方法，只用线性方法就可求解，但 未知数个数比较多，至少需要2 4 个参数。 与线性法和非线性法相比，两步法在第一步求解结束后就有较为理想的初始值，而且 在第二步迭代过程中参数较少，求解速度更快，精度也更高。由于两步法比线性法计算更 准确，比非线性法求解速度更快，故本文采用两步法对摄相机进行标定，其中第一步利用 最小二乘法计算摄像机参数的初始值，第二步利用改进的遗传算法优化结果。? 2 2 角点提取方法 在实际的机器视觉应用中，图像所包含的信息量较大，要对整幅图进行信息解析和数 据处理需要花费大量的时间和空间，占用大量系统资源，而实际上只需要对图像一些关键 点进行信息的提取和处理就能得到所需要的信息，这些关键点也就是图像中形如“t 和 矿l 等形状的节点，即角点。 2 2 1h a r r i s 角点提取 h a r r is 角点提取法f 2 3 之5 】由h a r r is 和s t e p h e n s 于1 9 8 8 年提出，该方法在实验和工业 检测中应用较多。h a r r i s 角点提取法主要基于图像的局部自相关函数性质，在图像变化 不大的情况下，提取出的角点具有一定程度的不变性，也就是说一幅图在经过旋转、尺度、 亮度、仿射等变化之后，提取出的特征点在数量和位置上都和变化之前的基本相同。实际 应用中影响提取结果精度的因素有：角点阂值、高斯窗口大小、高斯函数方差、非极大值 抑制半径等。 h a r r i s 角点提取方法的主要步骤如下： 1 、计算图像中每个像素的自相关矩阵m 9 西安理工大学硕士学位论文 m - 卟 磊讣吣圆瞄 ( 2 5 ) 2 、求解月；钟括角点探测器的值足 r = d e t ( m ) 一七( 打馏c p ( m ) r ( 2 6 ) 式中，表达式比，( m ) 表示矩阵m 的行列式，。加c p ( m ) 表示矩阵m 的迹，系数尼的经验值 取为0 0 “o 0 6 。 3 、设置阈值，选取r 值较大的点作为角点 对获取的图像进行处理，由式( 2 5 ) 和式( 2 6 ) 计算图像中随机点的探测器值，选 取其中探测器最大值作为r 值，以尺值的十分之一为阈值，大于该阈值的点选为角点。 4 、选取局部最大的角点 经过第3 步得到的角点大部分距离很近，故选定一个区域，再选择该区域r 值最大的角 点作为这个区域唯一的角点。 2 2 2s u s a n 角点提取 s u s a n ( s m a l l e s tu n i v a l u es eg i i l e n ta s s i m i l a t i n gn u c l e u s ) 角点提取法【2 6 1 与h a r r i s 角点提取法相比，应用场景更为广泛，它除了能够提取角点之外，还能够检测边缘，理解 起来也更加容易。s u s a n 提取法的原理如下图所示： 背景隧 图2 1s u s a n 准则原理 f i g u r e2 1 s u s a np r i n c i p l eg u i d e i i n e s 用圆形模板遍历图像，在图像中某位置的像素的灰度值如果与模板中心像素的灰度值 之差小于设定的阈值，就认为该点与核具有灰度相同( 相似) 性，核值相似区( u n i v a l u e s e g m e n ta s s i m i l a t i n gn u c l e u s ，u s a n ) 就是由这样的和核具有相同灰度的点构成的区域。 在图2 1 中，当模板完全落在背景或目标中时，u s a n 区域处于最大的状态( 如2 1 图中的 区域a ) ；当模板移向目标边缘时，u s a n 区域变得越来越小( 如2 1 图中的区域d ) ，当模 1 0 2 摄像机标定方法之比较 板中心处于角点上时，u s a n 区域变得很小。 根据u s a n 准则，需要把图像中某点周围与其具有相同灰度的点连起来，构成一个区 域，这就需要首先对u s a n 区域的点建立判别函数c ( ，) ，并依此确定某一点的u s a n 区域 大小舸( ) ： c c ，= 嚣訇二 ：二二 乏要三： 。2 7 ， l力( ) = k c ( ) 其中，( ) 是模板中心像素的灰度值，( ，) 为其它任意像素的灰度值，t 是设定的两 得到每个像素对应的u s a n 区域大小后，计算该点的初始角点响应，如式( 2 8 ) 所示： m ) ： 以曲然， ( 2 - 8 ) 在上式中，g 为门限，直接影响到角点形状，g 越大，检测到的角点就越平缓，相反，g 越小，检测到的角点也就越尖锐【2 6 1 。 最后，s u s a n 二维特征检测还要经过寻找初始角点响应的局部极大值，即非极大值抑 中心像素灰度相似的模板内像素点累积而成，能够起到抑制高斯噪声的作用，因此，s u s a n 提取法能够表现出抗噪能力强，对局部噪声不敏感的优点。与h a r r i s 方法相比，在特征 比较鲜明，噪声小的场景中，s u s a n 方法并没有优势，但在一些对比度较低或者噪声较大 的情况下，s u s a n 方法则准确性更高。与此同时，由于s u s a n 方法要用模板来检测角点， 这很容易出现漏检和错检的情况，并且检测的角点形式也不够灵活，对于一些特殊形式的 2 2 3s i f t 特征点提取 s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 方法是由d a v i dl o w e 提出【2 7 】1 2 8 j ，在图 像发生尺度变化、旋转变换，以及增加噪声、变化光强的情况下都能取得较好的检测结果。 s i f t 算法分为2 个阶段：点的提取和点的描述，其中点的提取过程又包括尺度空间极 值检测和特征点定位，而点的描述又包括特征点方向标记和特征点描述符，在检测过程中 关键点的特征方向选择该点邻域梯度主方向。 由于s i f t 方法具有不变性特性，因此即使对图像进行变换，用它提取的点仍然是比较 稳定的，这对于在相似图像中寻找相同的特征点是非常重要的。s i f t 方法还能够很好的应 用在图像匹配上，它用1 2 8 维的向量来描述特征点，这样每个特征点都有了一个特征标志， 匹配起来也更加容易。s i f t 特征点提取方法在准确性和可靠性方面都有不错的表现，尤其 西安理工大学硕士学位论文 在不同场景中提取特征点时尤其如此。由于考虑的方面较多，融合了多种思想，s i f t 特征 点提取方法在效率上不高，运行速度较慢，空间浪费严重，对其进行优化也是目前一个研 究方向。如何优化描述、提高效率成为s i f t 方法研究的一个热点问题。 从上述研究不难发现，s u s a n 方法在特征点不是很明显时有较好的效果，s i f t 则对局 部噪声更加不敏感，h a r r i s 方法虽然相对而言对对比度较为敏感，但速度最快，效率最高， 因此应用也最普遍。 2 3 亚像素提取 基于h a r r i s 的角点检测在稳定性和健壮性方面都表现的不错，即时图像发生了旋转变 化、灰度变化或者具有一定的噪声，角点都能够被准确的提取，但是h a r r i s 算子的精度在 像素级。还有一些角点检测算法能够取得亚像素级的精度，灰度差法、模板相关法与圆边 缘提取法在精度方面都表现不错。文献 2 9 采用这几种方法，精度可以达到0 2 像素级。 但这些方法由于需要采用圆形标志，并不适合一般的投影变换。文献 3 0 在此基础上做了 进一步处理，在两步法的基础上增加了一步来补偿该圆形标志所引起的失真；而文献【3 1 】 则达到了亚像素级的精度，他采用边缘提取的方法，并进行了h o u g h 变换，运用了直线拟 合。总体而言，这两种方法在摄像机标定领域较少采用。第一种方法由于应用面较窄，只 有圆特征点才适合，且编程工作量较大，而第二种方法自身的精度不够高，编程实现也较 复杂。 总体而言，在亚像素提取方法中，二次多项式逼近法和插值法的应用较为广泛。 2 3 1 二次多项式逼近法 缃点警警角点铭蠓 1 2 a ) p 不缝j ：边黔 图2 2 二次多项式逼近法亚像素角点检测原理示意图 f i g u r e2 2q u a d r a t - cp o i y n o m i a ia p p r o x i m a t i o ns u b p i x e lc o r n e rd e 协e 廿o n pr n c i p l ed i a g r a m 图2 2 中，在角点q 邻域中的任一点p ，w ( p ) 表示p 点处的图像梯度矢量，( a ) 图中p 2 摄像机标定方法之比较 点不处于边沿上，有w ( p ) ：0 ，因此w ( p ) 垂直q 与p 相连的矢量q p ； 而在( b ) 图中，p 点 处于边沿上，则w ( p ) 也垂直矢量q p 。因此在这两种情况下都有 v j ( p ) ( g p ) = o ( 2 1 1 ) 对于q 点的两个未知坐标x 和y ，上式无定解。然而可用最小平方准则来解决这个问题， 其方法是将q 点邻域里的所有p 点关于q 点的方程堆积起来，构成一个超定方程组。 上述表述可用数学语言表达为，设角点q 的一个初始猜想点q = 【k ，儿r ，要计算得到 g “1 ，g “1 是一个位置更加精确点，只( f = 1 ，) 是g 的一个邻域和+ 。中的一组点， 在每一个点尼，考虑如下的剩余点积函数： s ，( g “1 ) = s ( g h l ，只) = v ，( p ；) ( g “1 一只) ( 2 1 2 ) 则g “1 满足如下条件的解即是所求解： 朋加i 2 ( g “1 ) i ( 2 - 1 3 ) 下面利用h a r r i s 算子朋和迭代法来求解该问题。由( 2 1 2 ) 式有 q = w ( 易) ( 9 “1 一a ) ( 2 1 4 ) 因为采用迭代法，为计算方便，将( 2 1 4 ) 式中的欧氏范数改为1 范数，并令岛= o ，两： 边同乘以w ( b ) 后将各点方程堆积，得到如下方程组： ii i v ，( 只) w ( b ) ri g “1 一w ( b ) w ( b ) r 易= o ( 2 一1 5 ) l 扭lj f - l 也即 ( 丝) g “1 = ( m 只) ( 2 一l6 ) 令 鸠= g ，( m 只) = d ( 2 一1 7 ) 则可得新的角点： g “1 = g - 1 d ( 2 1 8 ) 为了求新邻域中的最佳估计角点，取以g “1 为中心的邻域心+ 。，将上述过程不断循环 进行，经过3 5 次的迭代，即可得到0 0 5 分量级的亚像素角点位置，之所以能达到这样的 精度和速度，主要是采用了预赋相邻两次角点偏移量( g “1 一g 七) 最小值和迭代次数相结合 的控制方法。和其他方法有所不同的是，在循环迭代过程中，若初始值g 或中间值g “1 不 为整数，则其邻域w 要通过插值法来计算，不能从原始图像上直接截取。 2 3 2 插值法 所谓插值法是用二次多项式( 如式( 2 1 9 ) ) 来逼近角点反应函数r ( x ，y ) ，找到r 的亚 像素级精确位置。 缎2 + 砂2 十c 砂+ 出+ 秒+ 厂= r ( x ，y ) ( 2 1 9 ) 1 3 西安理工大学硕士学位论文 用已经检测出来的角点( x ，y ) 周围的9 个像素点可以建立含有口、6 、c 、么p 、厂6 个未 知量的超定方程组，运用最小二乘法可以求解这个超定方程。亚像素级角点的( x ，y ) 对应 的是二次多项式的极大值点。为了求出这个坐标点，对二次多项式进行求导 可以直接得到( x ，y ) 的亚像素级的坐标( h a r r i s 角点周围的点的r 值都小于角点，不存 在极小值的问题) 。这个方法简单而且直接( 见图2 3 ) 。 b ) 图2 3 插值法亚像素精度提取原理