（计算机软件与理论专业论文）摄像机标定的前处理研究.pdf

摘要 摘要 摄像机标定是一个理论意义与实用价值兼备的课题，可以广泛应用于国民经济、科 学研究及国防建设等诸多领域，是当今计算机视觉研究的一个热点。本文对摄像机标定 的前处理进行了系统的研究，主要针对图像角点检测和图像畸变校正两方面算法进行研 究，随后为了今后的工作需要，用o p e n c v 实现摄像机标定程序。 本论文主要进行了以下两方面的研究： ( 1 ) 在传统h a r r i s 算法的基础上，通过大量实验，对其中的数据进行分析，发现对 实验结果影响较大的多个参数因子可以进行不同策略的先整体后局部的调整，提出了 h a r r i s 算子与数据分析相结合的自适应角点检测算法。该算法采用三角棋盘格作为目标 图像，针对三角棋盘格的畸变图像进行角点检验。实验结果证明，该算法有效避免了三 角形角点聚簇和角点缺失现象，角点提取效果良好。与传统的角点检测相比，本文的方 法可以获取更准确完整的角点数目，对曲率在一定范围内的光滑曲线的角点检测效果尤 为显著。后面的应用可以看出，此自适应算法还对边缘角点检测有很好的效果。 ( 2 ) 基于h a r r i s 的自适应角点检测算法可应用到图像畸变校正、摄像机标定以及旋 转曲面三维重建三个方面。在校正畸变图像方面，对几种不同的摄像机畸变类型进行探 讨，在三角形重心公式的基础上，提出了一组基于三角形重心坐标的畸变校正公式模型； 在摄像机标定应用方面，本文利用v i s u a lc + + 6 0 为平台，结合目前国内外最大的计算 机视觉库o p e n c v 来实现标定程序，包括图像角点提取、图像畸变校正以及摄像机内外 参数求解输出三个部分，为后续基于上述方法的摄像机标定研究做准备；同时，旋转曲 面三维重建算法也已经在实验中得到应用。 关键词：自适应角点检测、h a r r i s 、图像畸变校正、摄像机标定、三角棋盘格、 重心坐标 a b s t r a c t a b s t r a c t c a m e r ac a l i b r a t i o ni sas u b j e c tw i t hb o t ht h e o r e t i c s i g n i f i c a t i o n s a n dp r a c t i c a l i m p o r t a n c ew h i c hc a nb ew i d e l ya p p l i e dt oc o u n t r ye c o n o m y , s c i e n c er e s e a r c ha n dn a t i o n a l d e f e n c ec o n s t r u c t i o n i t saf o c u si nc o m p u t e rv e r s i o nf i e l d t h ep r e t r e a t m e n tr e s e a r c ho f c a m e r ac a l i b r a t i o ni sd i s c u s s e di nt h ep a p e rw h i c hm a i n l yc o n t a i n st w op a r t s ：r e s e a r c ho f c o m e rd e t e c t i o na l g o r i t h m sa n dr e g u l a t i o nt h e o r yf o rd i s t o r t e di m a g e ，a n dt h e nd e s i g na c a m e r ac a l i b r a t i o ne x p e r i m e n tw i t ho p e n c v t w o p a r t sa r em a i n l yd e v e l o p e di nt h i sp a p e r ： ( 1 ) b a s e do nm a n ye x p e r i m e n t sa n dd a t aa n a l y s i so ft r a d i t i o n a lh a r r i sa l g o r i t h m ，w e f i n dam e t h o dt oa d j u s tt h ef a c t o r sa f f e c t i n gg r e a t l y ，a n dt h e np u tf o r w a r daa d a p t i v eh a r r i s c o m e rd e t e c f i o na l g o r i t h m t r e a tt h ed i s t o r t e dt r i a n g l ec h e s s b o a r da st a r g e ti m a g et om a r kt h e c o m e r s r e s u l t ss a y st h a tt h ea d v a n c e dh a r r i sa l g o r i t h ma v o i d st h ec o m e rg a t h e r i n ga n d c o m e rl o s i n ge f f e c t i v e l y ，d e t e c tt h ef i g h tc o m e r sc o r r e c t l ya n dr a p i d l y , e s p e c i a l l yf o rt h e s m o o t hc u r v el i n e sw h o s ec u r v a t u r ea r ew i t h i nc e r t a i nr a n g e s t h eg r e a tr e s u l t so fa d a p t i v e h a r r i sa l g o r i t h ma l s oc a nb es h o w no nt h ee d g ed e t e c t i o nl a t e r ( 2 ) t h ea d a p t i v eh a r r i sa l g o r i t h mc a nb ea p p l i e dt or e g u l a t i o nf o ri m a g ed i s t o r t i o n ， c a m e r ac a l i b r a t i o na n dr o t a r y3 一dr e c o n s t r u c t i o n f o rt h ef i r s to n e ，a ne x p r e s s i o nm o d e lo f i m a g ed i s t o r t i o ni sc r e a t e db a s e do nt h ec o o r d i n a t eo ft r i a n g l eb a r y c e n t e r ；f o rt h es e c o n d a p p l i c a t i o n ，ac a m e r ac a l i b r a t i o np r o g r a m m i n ge x p e r i m e n ti se x e c u t e dc o m b i n e dv i s u a l c + + 6 0 谢t l lo p e n c vw h i c hi n c l u d e sc o m e rd e t e c t i o n ，i m a g er e g u l a t i o na n di n t e r i o ra n d e x t e r n a lf a c t o r s ，t op r e p a r ef o rm o r ee x p e r i m e n t ；f o rt h el a s t ，t h ea d a p t i v ec o m e rd e t e c t i o nh a s a p p l i e dt ot h e3 一dr e c o n s t r u c t i o n k e y w o r d s ：a d a p t i v ec o m e rd e t e c t i o n ，h a r r i s ，d i s t o r t e di m a g er e g u l a t i o n , c a m e r ac a l i b r a t i o n ， t r i a n g l ec h e s s b o a r d ，b a r y c e n t e rc o o r d i n a t e i i 独创性声明 本人声明所呈交的学位论文是苓人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含- j t - , 他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签 名：匡建垫 日 期：盘翻! 壁! ! 生 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并耳耘人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 签 名：! 塞垒堑 导师签名： 第一章绪论 第一章绪论 1 1 课题研究背景和意义 摄像机标定是一个理论意义与实用价值兼备的课题，可以广泛应用于国民经济、科 学研究及国防建设等诸多领域，是当今计算机视觉领域的一个热点。随着其应用领域的 不断扩大，越来越得到重视。因此如何改善摄像机标定自适应性，提高标定精度就成为 一个重要的研究课题。 摄像机标定的前处理研究就是对摄像机标定中影响标定性能的两个方面进行深入 探讨，即：图像的角点检测和图像的畸变校正。 图像的角点检测是摄像机标定的首要前提。在m a t t 的的计算机视觉f 4 2 】理论中，提取 二维图像上的边缘、角点等基本特征是整个系统框架中的第一步【l 】，因此图像的角点检 测对摄像机标定具有相当重要意义。同时，应用角点进行标定可以有效减少参与数据的 计算量，又不损失重要灰度信息【2 】，故在摄像机标定系统中使用角点特征可以大大提高 其精度和速率。可见，角点检测算法的好坏直接影响标定结果的准确性。 图像的畸变校也是摄像机标定的重要内容。摄像机标定是通过拍摄一个事先已经确 定了三维几何形状的物体来进行的。即在一定的摄像机模型下【3 9 1 ，利用一个形状、尺寸 已知的标定模板，经过一系列数学变换和计算方法，得到摄像机模型的内部参数和外部 参数的过程。但在实际拍摄时，由于光照、镜头畸变【3 9 柏4 1 】等不可控因素的影响，常 常使得拍摄的景物与真实景物之间存在偏差，即像平面上的实际成像点与理想成像点之 间存在畸变误差，使得拍摄后的图像会发生变形，这给图像的角点检测带来了一定的困 难。此外，镜头畸变等因素对拍摄景物造成的部分失真也是我们所不愿看到的，故我们 有必要对畸变图像进行校正。 摄像机标定的前处理研究主要针对影响摄像机标定精度和速度的因素进行论述。论 文研究的目的是设计一种简单易行、便于编程实现的自适应角点检测算法，以满足摄像 机标定的需要；并寻找一种更加简便实用的图像校正思想和算法，为后续摄像机标定以 及三维重建打下坚实的基础。 1 2 国内外研究现状 1 2 1 国内外角点检测研究 由于角点特征常常包含重要的图像信息，所以角点检测一直以来都是图像处理工作 者研究的热点问题。众多学者多年来对该算法进行了深入广泛的研究，现已取得了一系 列成果。 目前，关于角点的具体定义和描述主要有如下几种【3 】： 1 角点被认为是两条及两条以上直线或曲线的交点； 2 角点是一定邻域内灰度梯度最大值所对应的像素点； 3 角点指示了物体边缘变化断点方向； 望塑奎兰婴主兰堡堡苎 4 位于角点处的一阶导数最大，二阶导数为零； 5 角点是指图像中梯度值和梯度方向的变化率都最高的点； 总之，角点是和周围的相邻点有着明显差异的点，它指示了图像在二维空间内灰 度变化剧烈的位置1 4 】。 国外的角点检测算法源于二十世纪七十年代中期。 1 9 7 5 年，在关于图像边缘信息角点检测方面，a r o s e n f e l d 等人1 5 j 和h f r e e m a n 等人【6 】都提出用角点强度k 来计算角点。这类算法的优点是方法简单，但是由于该算法 容易受噪声的干扰，所以效果并不是很理想。 1 9 8 3 年，j p o n c e 和m b r a d y ( 7j 首次将数学中的偏导数引入到图像角点检测中来， 分别对x 、y 求其偏导数，以此确定角点量。 1 9 8 6 年，a s a d a p s i l 8 1 等人于对a r o s e n f e l d 等人的算法做出改进，首先对图像的边 缘进行平滑处理，以降低错误角点检测概率。这是因为局部弯曲度的突然增大会导致错 误角点的产生。但其中角点强度k 值的选取仍是影响角点检测结果重要因素。 九十年代中期，国外一些学者提出了基于链码的角点检测算法，较早提出的是利用 链码处像素坐标估计最大曲率值来寻找角点的算法。19 9 6 年，由h s i n t e n g 和w - u c h i n h u t 9 】提出的角点检测算法由于过多依赖图像分割和边缘检测的效果，容易出现分割算法 复杂，边缘检测不易的问题。 m o k h t a r i a n 和s u o m e l a t 1 0 】在1 9 9 8 年，基于尺度空间提出一种新的角点检测算法。 角点定义为具有最大绝对曲率的边缘点。原有的算法在非常小的尺度下，由于存在 许多噪声，具有最大绝对曲率的边缘点很多，而当尺度增加时，噪声被平滑，只有 对应真实角点的最大值保留下来。但是角点的位置也在变化，这时角点的定位很差。 基于这个原因m o k h t a r i a n 算法首先使用c a n n y 边缘检测算法从原始图像中提取图像 的边缘，并在图像中用高尺度检测角点，然后逐步减小尺度，在多个低尺度处跟踪 改善角点定位。该类方法计算量大大降低，原因是在降低尺度的过程中只需要计算 候选角点。 随着国内图像处理技术的迅速发展，近些年来，众多学者潜心研究角点检测算法， 也取得了较大的成果。 钟宝江和廖文和【1 l 】认为数字化曲线是离散的，是基于像素基础的，在这里面隐含的 一个假设就是数字化曲线上相邻两个像素之间的距离是一个常数，但在实际中，该假设 并不成立，故对早先角点的估计方法是否可拟合稳定提出质疑。在这个发现的基础上， 文章提出了基于曲线加弦长的角点检测方法，主要是在确定支持域时充分考虑相邻像素 点之间的实际距离，并由此出发提出隐式精化数字化曲线的策略，推导出了一种新的角 点强度计算公式。利用该公式可以对如尖角和圆角进行区别，检测结果具有旋转不变性。 随着神经网络、小波技术以及红外线遥感技术的发展，基于小波变换的角点检测也 有了很大发展，同时也为已有的技术开辟了更加广阔的空间。 小波变换【2 3 】是分析信号和图像的数学工具，它对图像局部特征分析十分有效，被称 为“数学显微镜”。在过去的十年中，基于小波变换的角点检测十分流行。利用多尺度下 2 第一苹绪论 的低通和高通滤波，小波变换可以把一个输入信号分解为平滑的和详细的两个部分，这 样局部的偏差很容易在详细的分解区域中获得。基于小波多尺度分析的角点检测【1 2 1 ，通 过提出不同尺度上角点的对应关系准则由大尺度跟踪，尺度上精确的角点位置。 目前，角点检测算法主要可以分为以下三类【3 6 j ： 1 基于图像边缘信息的角点检测算法 该算法首先进行边缘检测，接下来沿着所得到的边缘寻找曲率最大点或拐点作为角 点【1 3 1 。其基本思想是：角点是两条或多条边界的交点，即角点是一种特殊的边界点。这 类方法存在的主要问题是角点对边缘提取算法的依赖性较大，如果边缘线发生中断，将 会对角点检测的结果造成很大的影响。 2 基于图像灰度信息的角点检测算法 该方法主要是通过计算曲率及梯度来达到检测角点的目的，该方法避免了对边缘的 依赖，但这类方法存在的主要问题是定位精度较低，原因是有时梯度与曲率的乘积的局 部极大值点与角点的真实位置间存在很大的偏移。此类算法可分为两类：一类是基于方 向导数的方法，如文献【1 4 】，另一类方法是直接基于图像亮度对比关系的方法，如文献 【2 0 】的s u s a n 算法，以及文献 1 5 】的基于数学形态学的方法。其中，基于灰度自相关函 数的h a r r i s 角点检测是目前应用比较广泛的检测算法。 3 基于小波变化的角点检测算法 基于小波变换的角点检测【1 8 】的算法过程为：首先用边缘检测提取目标边缘，计算目 标轮廓线平滑后的方向角函数，然后在不同尺度下对它们进行小波变换，当某一位置在 多尺度下都出现模极大值时，把这一点检测为候选角点，最后根据阈值技术除去伪角点， 提取真正的角点。 基于图像边缘信息的角点检测算法的基本思想是：将角点看成一种特殊的边界点， 它是由两条或多条边界线相交而成的点，基于这个理论，可通过下列几种方法来检测角 点【3 6 】： ( 1 ) 抽取出边界并用链码表示，计算每个边界点的曲率，则曲率的局部极大点就对应 于图像的角点； ( 2 ) 用多边形来近以边界，搜索线与线的交点，即为所要检测的角点； ( 3 ) 对边界点利用形态学的腐蚀与膨胀算子搜索凸点和凹点，从而确定出所需要的角 点； ( 4 ) 利用亚像素边界检测算子检测出边界：然后用聚类法拟合直线，任两条直线的交 点即为要检测的角点。 以上三种算法是基于图像边缘信息角点检测方法中的常用方法。 1 2 2 国内外图像畸变校正研究 在图像采集中，需要将三维场景投影到摄像机的二维像平面上，这种变换可以用线 性摄像机模型1 4 5 】描述，该模型简单易行，便于实现。但这个模型用于检测室不精确的， 原因是摄像机存在径向畸变口4 、2 6 1 、偏心畸变1 2 6 2 7 1 、薄棱镜畸变【1 6 2 引。这些畸变的存在 3 江南大学硕士学位论文 使得用像平面上的坐标点去还原该点的世界坐标系的坐标产生很大误差。为了减少误 差，更精确的进行摄像机标定，必须对反应像平面上点的坐标的像素坐标进行校正。 图像畸变校正算法【4 8 3 7 1 始于2 0 世纪7 0 年代中期，当时，一些学者提出了采用非 线性优化技术对图像校正展开研究，主要是应用于遥感等摄影测量领域。2 0 世纪8 0 年 代图像非线性校正方法逐步成为国外学术界研究的热点，我国在这方面的研究基本上是 从2 0 世纪9 0 年代开始的。 现在，国内外学者已经在摄像机非线性校正方面提出了数十种方法，从原理上可分 为控制目标法和模式方法两类。下面对几类非线性校正算法进行介绍【3 6 】。 基于控制对象的摄像机非线性畸变校正方法主要有： 1 偏差目标函数的最小优化法【4 6 、4 9 】 2 独立性参数的图像校正 3 空间坐标的多项式变换方法 基于模式的摄像机非线性畸变校法有【3 6 】： 1 r a c 两步法 2 摄像机模型的校正方法 3 光学成像理论工程校正方法 4 斜率特征摄像机镜头畸变校正方法 文献 1 6 】根据摄像头的畸变模型提出了校正模型。该模型采用迭代法可以确定摄像 机的校正参数以校正计算机，提高测量精度，并且实验证明越长的镜头焦距越需要校正。 本方法可用于提高三维重建领域的精度测量和光谱测量。 该论文指出，工程应用中，摄像机的畸变成因主要是三种，因此在该摄像机畸变校 正公式中只包含了3 种畸变的校正因子【l6 1 。而其他畸变成因所起到的作用因为不明显， 考虑过多的镜头畸变因子不仅不会提高效率，反而会增加模型参数和算法的不收敛性和 复杂性，故普遍考虑3 中畸变因子即可达到实验目的。 同时，摄像机非线性校正算法的发展促进了它广泛的应用，目前，基于非线性畸变 模型的摄像机标定技术也有了长足的发展。 文献 1 7 】研究了基于图像信息渲染的摄像机标定技术，论文采用针孑l 摄像机模型， 并且综合考虑了摄像机透镜的径向畸变和切向畸变，将摄像机的内部参数、外部参数、 有效焦距、畸变系数、不确定因子统一于参数求解的线性方程组中，并借助于开放计算 机视觉函数库o p e n c v t l 7 】，实现了一种基于“两步法”摄像机标定的改进算法。论文通过 实验分析论证并比较了利用h a r r i s 角点检测算法获得的图像坐标和利用本文中的摄像机 标定算法得到的图像坐标，结果证明本文中的标定算法实现简单，精度高，稳定性好。 考虑到摄像机镜头的径向畸变和和切向畸变的因素，文献 1 7 1 算法实现步骤：首先 是采集信息图像：选择黑白棋盘格作为平面模板；其次采用h a r r i s 角点检测算法提取图 像中的角点；角点提取失败时，系统会自动舍弃该图片；然后经过亚像素级坐标提取并 进行计算，得到更精确的角点坐标；最后对所选图像进行摄像机标定，计算后得到该摄 像机的内外参数以及径向畸变参数和切向畸变参数。 4 第一章绪论 1 3 研究内容和章节安排 本论文针对现阶段图像角点检测和图像畸变校正的局限性和不足，主要进行以下三 方面的研究： 1 在对图像角点检测算法研究的基础上，根据传统h a r r i s 算法的不足，重点介绍 了一种基于h a r r i s 的自适应棋盘格角点检测算法； 2 在自适应角点检测算法基础上，首先进行图像匹配，进而提出了一种用三角形 重心坐标实现图像畸变校正的方法，提出了一个基于三角形棋盘格的图像畸变 校正思想； 3 利用o p e n c v 结合v c + + 实现一套完整的摄像机标定实验系统，包括图像角点 提取、图像畸变校正以及摄像机内外参数求解输出三个部分，为后续基于l 、2 的摄像机标定研究做了准备。 本论文根据主要研究的内容共分五个章节，具体安排如下： 第一章综述了摄像机标定前处理研究所要研究的主要内容：图像的角点检测和图像 的畸变校正，介绍了本论文的课题背景及研究意义；然后，较为详细地论述国内外学者 在角点检测和畸变校正方面取得的成就，为后文详细展开本论文打下良好基础。 第二章分别介绍摄像机标定前处理研究的这两个主要内容：图像角点检测和图像畸 变校正。在图像角点检测方面，首先系统回顾了近年来较为流行的角点检测算法，并详 细介绍了传统h a r r i s 角点检测算法、s v 算法、s u s a n 算法等，通过分析各检测算法的 优缺点，引出论文自适应角点改进算法。在图像畸变校正方面，介绍了不同类型、不同 领域的图像畸变校正思想和方法，为后续章节的详细讨论打下基础。 第三章详细论述了一种自适应的h a r r i s 棋盘格角点检测算法。首先分析了传统 h a r r i s 算法中存在的问题；接着，针对缺点设计实验；然后采集多幅图像进行实验，搜 集大量实验数据，并结合数值分析方法对传统h a r r i s 算法循序渐进的不断改进，最终实 现了自适应h a r r i s 算法过程。 第四章主要讲述了自适应h a r r i s 算法在三个不同领域的应用，分别是曲面三维重建、 畸变图像校正以及摄像机标定，本章分三个部分分别对其进行详细论述。 第五章是对本文工作的总结与展望，同时介绍了今后需要进一步完善的工作。 5 江南大学硕士学位论文 第二章角点检测与图像校正综述 2 1 图像角点检测 在一幅图像中，角点检测是标定摄像机系统模型参数和进行摄像机标定实际应用的 前提和基础。这是因为图像角点包含图像的重要信息，是图像的主要特征之一。同时， 角点的有效提取也是进行图像畸变校正的前提，角点提取的准确性直接影响后续畸变图 像校正效果和标定结果的精确度，因此有必要对图像的角点检测算法进行研究。下面我 们介绍几种常用的角点检测算法，并分析各算法的优缺点。 2 1 1 传统h a r r i s 角点检测算法 h a r r i s 算子算法稳定、计算简单方便，是目前使用较为广泛的角点检测算法之一。 基于h a r r i s 算子现已提出了的较多的改进算法，有亚像素级范围内的角点提取算法 【3 0 】【3 1 1 ，基于小波变换的h a r r i s 多尺度角点检测算法【3 2 1 ，还有不同策略的自适应角点提 取的算法：文献 3 3 1 中采用阈值迭代策略，文献 3 4 】中采用固定块数分块法和邻近点剔 除策略。此外，还有基于b 样条角点检测算法【3 5 】。 ( a ) 平坦区域c b ) 边界点 图2 - 1h a r r i s 角点检测原理 f i g 2 - 1h a r r i sc o r n e rd e t e c t i o nt h e o r y h a r r i s 角点检测算法的基本原理【1 8 】是通过移动一个小窗口观察窗口内像素灰度变化 的范围来识别角点，这种窗口对于平坦区域，在任意方向都没有灰度变化( 图2 1 ( a ) ) ； 对于边界点，沿边界方向也没有灰度改变( 图2 1 ( b ) ) ；而对于角点，在任意方向上的 窗口移动均会导致较大的灰度变换( 图2 1 ( c ) ) 。 这里用一个非负二维函数f = 厂( ，) ，i ( x ，y ) r 2 来描述一幅灰度图像，并用梯度和梯 度模来表示角点提取过程。梯度表示为：可= ( x ，z y ) r ，梯度模表示为： i v f l = 4 i x 2 + x y 2 ，x ，1 2 为图像沿x 和y 方向的灰度梯度。据此，有如下结论： 角点一般都是l 耵i 大的点，但是i 耵i 大的点未必都是局部角点，因为还存在边缘特 征的情况。也就是说，如果图像上某点邻域内的所有点的梯度基本属于同一方向，表明 该点是一条线段边缘上的点。 因此，只有同时满足i 耵i 是局部最大点且该点附近范围点的梯度i 耵i 明显不同这两 个条件时，才可以断定是特征点。 在h m o r a v e a 工作基础上，h a r r is 和s t e p h e n s 把v 厂( ，) 转化为矩阵形式表示的 6 兰三兰垄皇箜型兰望堡垫垩签垄 m ( ，) 。其中m = m ( n i r 2 ： 州v f ) c v f ) r = 阱皓 磊i 旷x l y 亿， 矩阵m 可以解析的表达边缘特征和点特征的性质，在理想的边缘，所有点的梯度在 同一个方向上。如果l 夥i 0 ，那么m 有特征值 = o 和特征值五= i 夥卜并且，相应的 特征向量是非零的。 h a r r i s 构造了如下表达式： 毛砒= d e tm k ( t r a c e m ) 2 ( 2 2 ) 矩阵m 的行列式记为：d e t m ： d e t m = a 五( 2 3 ) 矩阵m 的迹记为：t r a c e m ： t r a c e m = 五+ 五 ( 2 4 ) k 取一个大于零的参数，一般取0 0 4 。同时，为了消除噪声的影响，h a r r i s 要求预 先对厶，矽进行高斯滤波处理，h a r r i s 算子的窗口一般取高斯窗口。计算当某个像素的r 值大于预先设定的阈值时，认为图像点为所求角点。 由以上公式可知，窗口内灰度变化只和由窗口内各点处的梯度值所组成的二阶矩阵 有关，通过该二阶矩阵的特征值和迹即可识别出角点。h a r r i s 算法由于要涉及到高斯滤 波、计算梯度、以及计算行列式和迹，因此计算量较大。图2 2 表示了h a r r i s 角点提取 算法的基本流程。 输入图像 角点响应函数 局部阈值设置 非极大值抑制 输出角点 图2 - 2h a r r i s 角点检测算法步骤 f i g 2 - 2t h es t e p so f t h eh a r r i sa l g o r i t h m 文献 31 】针对h a r r i s 定位精度只能达到一个像素的缺点，参考f o r s t n e r 算子精确定位 的思想，通过改进h a r r i s 算子，将角点检测定位到亚像素级的范围。 文献 3 8 贝j j 提出了一种自动获取棋盘角点的改进算法。该方法采用由粗到精的多层 次检测策略，并且综合运用r a d o n 变换、h a r r i s 算子和f o r s t n e r 算子，可以快速准确地提 7 江南大学帧士学位论文 取出图像棋盘格的角点。该算法无须人工干预，可以自动确定角点的位置，实现了一定 的自适应性能。 综上所述，h a r r i s 算法具有以下特点： 1 h a r r i s 由于采用差分算子求导的方法，简单易行； 2 传统h a r r i s 算法具有较高的稳定性和鲁棒性，且效率较高，对旋转图像、以及灰度 变化较大的情况仍然适用； 3 h a r r i s 算法由于采用局部邻域的概念，因此提取的角点均匀合理； 4 h a r r i s 算法可靠性高，但是精度有限，定位精度只能达到一个像素，在精确定位要 求较高的应用中不能满足要求； 5 h a r r i s 算法自适应性差，因为常常需要确定阈值、变常量k 和高斯函数的方差等多 个参数因子。 2 1 2s u s a n 角点检测算法 s u s a n 算法运用了吸收核同值区( u s a n ) 的概念。具体为：在目标图像上移动圆形 模板，如果模板内的像素灰度值与模板中心的像素灰度值的差小于一定值，则将该点灰 度值赋值为中心点灰度值。我们把满足该条件的像素所组成的区域叫做吸收核同值区 u s a n ( u n v a l u e ds e g m e n ta s s i m i l a t i n gn u c l e u s ) 。 s u s a n 角点检测算法的核心思想是【3 6 】：平坦区域像素点的u s a n 值最大，其次是 边界点，角点最小。同时角点越尖锐，吸收核同值区( u s a n ) 越小。在正方形棋盘格 中，棋盘格角点与边缘点的u s a n 都约为模板圆面积的一半( 如图2 3 ) ，不利于棋盘 格角点的检测。 图2 - 3s u s a n 角点检测原理 f i g 2 3t h es u s a na l g o r i t h m s u s a n 角点检测算法主要步骤如下【3 6 】： ( 1 ) 对图像中每个像素点进行圆模板运算； ( 2 ) 通过函数涉及进行模板内吸收核同值区计算； ( 3 ) 用给定值实现像素点初始响应计算； ( 4 ) 根据核同值区重心与核中心的距离法则保证角点准确性； ( 5 ) 使用一定大小的窗口进行邻域内非极大值抑制。 有学者提出了基于s u s a n 角点检测的改进方法【3 引。我们知道，在角点的某个邻域 内，图像的灰度变化在任意一条通过该点的直线上都很大。据此对直线方向上灰度变化 值计算极值，组成候选角点集【36 。最后通过s u s a n 角点检测原理进一步剔除各类伪角 点，从而实现角点的准确提取。 8 第二章角点检测与图像校正综述 综上所述，一般认为，s u s a n 角点检测算法具有下列特点：s u s a n 角点检测算法 因为直接依赖灰度检测，避免了求导和梯度运算，因此具有运行速度快的特点，此外， 由于它抗噪性能强、定位准确的优点，因此广泛应用于各种不同的角点类型的检测。 我们实验室马鑫宇同学在其本科毕业设计的实验过程中表明s u s a n 角点检测算法 的稳定性差，主要是该算法对阈值的依赖性很大，选择过大或过小都将造成角点检测的 错误。此结论与文献d l l q j 结论一致。 2 1 3 亚像素级角点检测算法 亚像素级角点检测算法是在像素级的前提下对角点检测精度的进一步提高。以论文 为例介绍亚像素级角点检测算法的一般过程。 文献 3 0 】先使用h a r r i s 算子得到像素级的角点，然后采用由粗到细，逐步求精的多层 策略，针对图像特征性质，自动去除重合角点，最后使用迭代插值法得到满足精度要求 的亚像素级角点位置。 该算法具有两个明显优点【3 0 】：棋盘格角点检测算法较少考虑到角点误检现象，本算 法针对这个问题，提出的改进算法可以自动去除重合角点。目前摄像机标定中棋盘角点 的定位精度不够高，一般只能达到像素，而亚像素级角点提取算法角点的定位精度高， 其平均位置偏差可规范到0 1 个像素左右。 文献 2 2 1 1 2 1 2 3 ：运_ 用亚像素级角点检测算法分别用不同的策略进行了摄像机标定 实验。 因此，h a r r i s 角点检测后可再进行亚像素级角点检测，因此提高h a r r i s 角点检测精 度可以更加有效地提高标定效率。 2 1 4s v 角点检测算法 文献 4 4 】中提出了一种基于图像几何特征的s v 算法。该算法利用正方形图案对称性 质和灰度变化规律，设计了基于对称和方差特点的角点检测算子- - s y m m e t r ya n d v a r i a n c e 算子，简称s v 算子。该算子构思新颖，设计巧妙且计算量小，容易实现，对正 方形棋盘格图像的亮度变换和旋转变换具有鲁棒性好，抗噪能力强等特点。实验表明， s v 算子对边缘模糊的图像具有良好的适应性，虽然存在一定的误角点检测现象，仍可应 用于实践。s v 算法设计思想如下： 图2 4 棋盘格角点对称示意图 f i g 2 - 4t h ep a t t e r ni ss y m m e t r i c a la r o u n dx c o m e r s 如图2 4 所示，图中空白点a 与彳关于角点b 对称。由此可引出用于棋盘格角点 9 坚塑奎兰堡圭兰堡堡奎 检测的第1 个算子，称之为对称算子( s y m m e t r yo p e r a t o r ) 。对于每个像素i ( i j ) ，将以 该像素为中心的窗口记为w ，该窗口可以是圆形或正多边形，定义对称算子的响应值 为窗口w 中关于( i 。j ) 对称的每一对像素的灰度差绝对值的均值，记为c s l 4 4 1 。对于棋盘 格角点，对称算子响应值较小；而对于边界点，由于边界一边像素灰度值大，另一边像 素灰度值小，故在边界点的对称算子响应值比较大。对称算子响应值体现了以该图像点 为中心的邻域范围内灰度分布的空间对称性。 但是，仅仅依靠c s 还不能识别出棋盘格角点 4 4 。8 】，因为平坦区域像素的对称算子 响应值也比较小，故采用第二个算子方差算子( v a r i a n c eo p e r a t o r ) 。方差算子用来剔 除乎坦区域的像素点。文中设计方差算子的响应值来表示邻域范围内像素灰度值变化的 剧烈程度，最后根据这两个响应值自动识别出棋盘格角点，棋盘格角点【4 4 、5 8 】被认为是对 称算子响应值较小而方差算子响应值较大的点。 2 1 5 角点检测算法比较 表2 - 1 角点检测算法比较 t a b 2 - 1t h ec o m p a r a s o no f c o m e rd e t e c t i o na l g o r i t h m 本章主要研究传统的角点检测算法，主要有传统h a r r i s 角点检测算法、s u s a n 角点 检测算法、亚像素级角点检测算法以及s v 棋盘格角点检测算法，具体性能比较见表2 - 1 。 从中我们可以看到，h a r r i s 角点检测算法虽然对角点定位精度不高，但是可再进行亚像 素级角点检测，提高定位精度。又由于它是目前公认的稳定性最强的角点检测算法之一。 鉴于h a r r i s 算法优越的性能，在下一章中，我们将对传统的h a r r i s 算法进行改进，从 而提出一种h a r r i s 自适应三角棋盘格角点检测算法。 2 2 图像畸变校正 2 2 1 图像畸变原因 在镜头成像过程中，摄像机的非线性畸变来源主要有如下三方面【4 6 】： ( 1 ) 摄像机镜头的镜片曲面误差； l o 第二章角点检测与图像校正综述 ( 2 ) 摄像机镜头的各镜片间轴向间距产生的误差： ( 3 ) c c d 制造工艺产生误差，使得像素点的间距d x 、d y 不完全相同。 以上三个因素是产生摄像机非线性变形的主要原因，但各自的影响效果不同，影响 程度也不同。实验表明，摄像机镜头的镜片组合间距( d x 、d y ) 的误差产生的变形最为严 重；其次是摄像机各镜片本身的曲面误差不同导致的变形。 在考虑图像的非线性畸变时【4 6 】，首先对像素点间间距的大小进行考虑。只有当图像 的非线性畸变量超过d ) 【、d y 时才具有研究的意义。当然，随着镜头制造条件、制造工 艺的不断改良，摄像机镜头质量不断提高，镜头的非线性畸变量也在随之减小。 这里我们对以上因素产生的非线性综合效果变形给出如下数学模型： 疋= l q x ( x 2 + y 2 ) + ( a ( 3 x 2 + y 2 ) + 2 p 2 x y ) + & 2 + y z ) 瓯= k 2 y ( x 2 + y 2 ) + ( 仍( 3 x 2 + y 2 ) + 2 p i x y ) + s 2 ( x 2 + j ，2 ) 、。， 其中，x ，y 表示图像坐标系中的像素点坐标，瓯，点，分别表示图像像素点在图像坐 标系中x ，y 方向上的形变量，而a 、见、气、如、岛、是则表示形变因子。上式中的 变形量由三部分组成，即径向畸变、离心畸变、薄棱镜畸变。在应用中一般取第一部分 畸变即可，即径向畸变，这部分的畸变因子已足够描述非线性变形模型。 由实验证明，当形变因子过多时，不仅不会提高标定精度，还会造成不必要的速度、 资源等的浪费，增加运行成本，这是不必要的，因此得到下列简化模型： x = x ( 1 + k l r 2 ) y = y ( 1 + k 2 r 2 ) ( 2 6 ) 式中r = x + y ，x 和y 分别是实际图像坐标为x 和y 的变形校正后的坐标。由 公式( 2 6 ) 可知，通过光心与像平面的交点射出的直线，在图像发生非线性畸变前后仍 保持其直线的性质不变 4 6 1 ，这极大方便了摄像机畸变参数的求解以及畸变图像的校正 过程。 非线性畸变求解方法主要有四种：r a c 的两步法、非线性最小优化法、混合法以及 基于直线的求解方法。目前最常用的是r a c 法求解非线性畸变参数的方法。 其中，基于r a c 的两步法f 4 7 1 是指仅考虑有径向畸变而无切向畸变的情形。通过已 知点的空间坐标和其对应的像素坐标，建立一组方程组。它的求解过程分两步完成：第 一步首先获得外部参数。即先不考虑非线性畸变，将摄像机模型作为一个线性模型建立 方程组，通过求解取得主要外部参数；第二步将第一步的结果作为初始值，在不考虑图 像畸变的情况下，求出镜头有效焦距，最好再将图像形变因子引入方程组中，将上述结 果作为初值精确求出镜头焦距以及形变因子的值。实验表l a f l j 4 1 1 ，该算法运算速度快，缺 点是只能求径向变形参数，当像素分辨率较高时，运算精度就显得有些不足了。 基于r a c 两步法，目前已经有些学者以如何简化参数初始值为出发点进行研究， 也取得一定成果。 江南大学硕士学位论文 2 2 2 图像畸变分类 在摄像机标定过程中，物体上某一点实际成像与理想成像之间存在畸变误差。这是 因为摄像机的光学系统( 镜头) 并非准确地按理想的小孔成像原理工作，存在有透镜畸 变2 4 5 7 1 ，主要的畸变类型分为径向畸变、偏心畸变和薄棱镜畸变三类。径向畸变只产生 径向位置的偏差，偏心畸变和薄棱镜畸变产生径向偏差和切向偏差，图2 5 ( a ) 为无畸变 理想图像点位置与有畸变实际图像点位置之间的偏差图。图2 5 ( b ) 为不同程度的切向畸 变类型。 7 雄篡 螂撇7 ( a ) 惩历 钇义二 图2 5 畸变图像 f i g 2 - 5d i s t o r t i n gi m a g e s ( b ) 下面对三种摄像头畸变类型分别加以描述： ( 1 ) 径向畸变：由于制造工艺的影响，光学镜头的径向变形主要是由径向曲率变化引 起的。径向畸变【5 7 j 会引起图像点沿径向移动，与中心点的距离有关。离中心点越远，径 向变形量越大。正的径向变形量会引起点向远离图像中心的方向移动【5 7 】，其比例系数增 大；负的径向变形量与之相反。 ( 2 ) 偏心畸变：由于组成光学系统的多个光学镜头的光轴不可能完全共线，故引起偏 心变形【2 引。偏心变形是由径向变形分量和切向变形分量共同作用的结果。 ( 3 ) 薄棱镜畸变：是指由于光学镜头制造误差和成像敏感阵列制造误差引起的图像变 形【了7 1 ，由径向畸变和切向畸变共同组成。 因为摄像机镜头存在这三种类型镜头畸变，使得计算机图像的变形存在非线性对应 关系。考虑到摄像机镜头的变形，在摄像机标定算法精度要求比较高的情况下，建议采 用摄像机的非线性标定算法以减少标定误差，这是因为线性标定【4 3 】方法会出现镜头畸变 导致的误差。 1 2 第三章自适应的h a r r i s 角点检测算法 第三章自适应的h a r r is 角点检测算法 3 1 算法改进策略 由传统h a r r i s 算法原理、算法步骤以及相应实验结果，我们不难得出看到，虽然传 统的h a r r i s 角点检测算法是目前公认的稳定性能最佳的角点检测算法，但在自适应方面 仍具有下列局限性： 首先，在用高斯函数对图像进行平滑处理的时候，需要设定高斯方差和高斯模板大 小。但是，高斯方差和高斯模板大小不易确定。窗口太小，在真实角点的邻域范围内易 出现较多伪角点；窗口太大，又会使真实角点的位置发生较大幅度偏移。因此如何适当 调整高斯参数的值是本文解决的首要问题。 ( a ) 角点聚簇( b ) 角点丢失 图3 - 1 错误角点数目 f i g 3 - 1f a l s ec o r n e rn u m b e r s 其次，在对角点进行非极大值抑制时，角点提取效果依赖于阈值的设定。阈值过 小会导致角点聚簇现象的发生( 图3