（光学工程专业论文）机车车顶异物识别与瓷瓶定位检测.pdf

西南交通大学硕士研究生学位论文第l 页 摘要 随着铁路系统大提速，机车运行的安全程度受到越来越多的关注。在通过 式机车检测中，车顶异物与磁瓶损坏作为机车检测的重要一个环节，已经受到 了很大的重视。本系统的设计即是针对车项异物检测和磁瓶损坏而提出的，目 前国内外仍没有一套这样完整的设备可以完成这种检测，所以这个系统的研究 对于以后的现场应用能够起到很大的作用。 本论文是在与实际需要相结合的情况下，论述了车顶异物检测与磁瓶损坏 识别的原理，方法和过程。并在此基础上形成了基于图象处理和模式识别技术， 自动对机车车顶异物，车顶磁瓶损坏进行检测的系统。本论文重点对整个系统 的分块搭建和算法设计进行了全面的论述。在每个系统模块中都提出了新的算 法或改进算法。主要算法如下： 1 在整个系统的前期处理中的第一步，为了恢复畸变图像，采用了张政友 图像标定技术。其中提出了基于棋盘格的新的角点提取算法，速度和稳定性均 有了一定程度的提高。 2 在整个系统的前期处理中的第二步，为了后期的异物全图匹配，本系统 将视频提取出的图像进行拼接，其中调研了大量的拼接算法，并按现场要求对 其中的快速拼接算法做了改进，使前期处理时间大为缩短，提高了时时性。 3 在最终的异物检测方面，提出了全新的基于圆形填充率的算法，并通过 实验，得以验证，在理想情况下，具有很好的效果。 4 在磁瓶定位识别方面，为了得到所有磁瓶的位置，也提出了全新的基于 矩形似然曲线匹配算法，并得以验证，具有高速的特点。 本论文也做出了v c 的图像测试模版，并已经添加了一些基础的图象处理功 能方便调用。最后还指出了系统中存在的一些不足以及能够改进的地方，并对 一些因为时间关系而没有完成的后续任务提出了研究展望。 关键词：图象拼接；角点提取；图像标定；v c 西南交通大学硕士研究生学位论文第i i 页 a b s t r a c t b a s e do nt h ea c c e l e r a t i o ni nt h er a i l w a ys y s t o mn o w , p e o p l ep a ya t t e n t i o nt o t h es a f e t yo ft h er u n n i n ge n g i n em o r ea n dm o r e 1 1 kr o o fe y e w i n k e r - i m a g eo f l o c o m o t i v ea n dt h ep o s i t i o no fp o r c e l a i ni n s u l a t o r sa r ev e r yi m p o r t a n ta sap a r to f e l e c t r i cl o c o m o t i v e sd e t e c t i o n t h i ss y s t e mi sd e s i g n e di na l l u s i o nt ot h er o o f e y e w i n k e r - i m a g eo fl o c o m o t i v ea n dt h ep o s i t i o no fp o r c e l a i ni n s u l a t o r s n o wt h e r e h a sn o tb e e ne q u i p m e n tw h i c hc a nf i n i s ht h i sw o r ka th o m ea n da b r o a d t h e r e f o r e t h es t n d yo ft h i ss y s t e mw i l lh e l pl o c a la p p l i c a t i o n t l l i sa r t i c l e c o m b i n e dw i t ht h e p r a c t i c a ln e e d ，d i s s e r t st h ep r i n c i p l e ，m e t h o da n dp r o c e s so ft h er o o fe y e w i n k e r - i m a g e o fl o c o m o t i v ea n dt h ep o s i t i o no fp o r c e l a i ni n s u l a t o r s b a s e do nt h i s as y s t e m i sd e s i g n e dt oa u t od e t e c tr o o fe y e w i n k e r - i m a g eo fl o c o m o t i v ea n dt h es p o i l a g eo f p o r c e l a i ni n s u l a t o r s w h i c hu s et h ew a y so fd i g i t a li m a g ep r o c e s s i n ga n dp a t t e r n r e c o g n i z e t h ea r t i c l ef o c b s c so nd e s c r i b i n gt h ed e s i g n so ft h ec o m p o s i t i o no ft h e s y s t e m a n da r i t h m e t i cd e s i g ni nd e t a i l t l l i s p a p e rb r i n g s f o r w a r ds o m en e a v a r i t h m e t i c so rs o m ei m p r o v e da r i t h m e t i c si ne v e r ym o d u l eo ft h es y s t e m 1 1 l em a i n a r i t h m e t i ci n c l u d e s ： 1 i nt h ef i r s ts t e po ft h ep r o p h a s ep r o c e s s i n gi nt h ew h o l es y s t e m ，f o r p r o o f r e a dd i s t o r t e di m a g e s t h i sp a p e ru s e sz h a n gz h e n gy o ui m a g e c a l i b r a t i o n t h i s p a p e rb r i n g sf o r w a r dh e wt e s s e l l a t e dc o n c e r td e t e c t i o ni nt h i sp a r t ，w h e s es p e e da n d p r e c i s i o ni si m p r o v e d 2 i nt h es e c o n ds t e po ft h ep r o p h a s ep r o c e s s i n gi nt h ew h o l es y s t e m f o r e y e w i n k e r - i m a g em a t c h i n gi na n a p h a s e ，t h i ss y s t e md o e si m a g em o s a i cu s i n gt h e p i c t u r e sw h i c hi sp i c k e du pf r o mt h ev i d e o t b i sa r t i c l ei n v e s t i g a t e sag r e a td e a lo f a r i t h m e t i t so fi m a g em o s a i ca n di m p r o v e ss p e e d i n e s si m a g em o s a i ca r i t h m e t i c s a c c o r d i n gt ot h en e e do fs c e n e ，w h i c hd e c r e a s ep r o p h a s et i m e 3 mt h er o o fe y e w i n k e r - i m a g eo fl o c o m o t i v et h i sp a p e rp u tf o r w a r dan e w a r i t h m e t i cb a s eo nc i r c n l a rf i l l i n gr a t e w h i c hi sv a l i d a t eb yt h ew a yo fe x p e r i m e n t i n t h ei d e a lc o n d i t i o nt h i sa r i t h m e t i cj se f f e c t i v e 4 i nt h ed e t e c t i o no ft h ep o s i t i o no fp o r c e l a i ni n s u l a t o r s 。t h i ss y s t e mp u tan e w i m a g em o s a i ca r i t h m e t i c sb a s e do nr e c t a n g l ea n a l o g yc a i i n ef o ra l lt h ep o s i t i o n so f p o r c e l a i ni n s u l a t o r s t h ea r i t h m e t i c sa r ep r o v e de f f e c t i v ew i t hh i 【g hs p e e d n e p a p e rr e a l i z ev cp i c t u r et e s t i n gs o f t w a r ea n da d ds o m eb a s a ld i g i t a li m a g e p r o c e s s i n gf u n c t i o n s i nt h ee n dt h i sp a p e rs h o ws o m e t h i n gw h a tc a nb ei m p r o v e l a t e ri nt h es y s t e m ，m o r e o v e r , i tp r o s p e c t st h ef u r t h e rr e s e a r c ho ft h en e x tm i s s i o n w h i c hc a n tb ef i n i s h e db e c a u s eo ft i m e o ft h et a s k k e y w o r d s ：i m a g e d i s t o r t e dp r o o f r e a d ；i m a g em o s a i c ；v c ；c o n c e rd e t e c t 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将 本论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密囱，使用本授权书。 ( 请在以上方框内打“”) 学位论文作者签名：j 受 日期：互卯zf 工5 指导老师签名： 之黍 日期。纠，组，弓 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进 行研究工作所得的成果。除文中已经注明引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写过的研究成果。对本 文的研究做出贡献的个人和集体，均已在文中作了明确的说明。 本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 1 提出了改进的棋盘格角点提取方法，较基本算法提高了速 度与准确性。 2 提出了矩形似然曲线抗遮挡的磁瓶定位检测的新方法，并 通过验证有良好的效果。 3 基于现场情况，提出了基于圆形的异物检测的新方法； 西南交通大学硕士研究生学位论文第1 页 第一章绪论 1 1 背景理论与主要研究内容 随着铁路系统大提速，机车运行的安全程度越来越受到关注。在通过式机 车检测中，车顶异物与磁瓶定位作为机车检测的重要一个环节，已经受到了很 大的重视。因为机车车顶有很多不安全因素，有时会由于工作人员的失误将工 具遗落于其上，有时会因为其他原因造成车顶存在异物。这些异物有些会在列 车的开始运行时或运行中由于惯性撞击受电弓或磁瓶等车顶设备，造成设备的 损毁；有些会产绕到电缆或传动线等设备，造成设备无法正常运行。总之，异 物的存在或多或少会对运行中的机车造成危险，而且机车车顶随运行时间增 长，一些器件会产生老化和松动。以往的检测方式是工作人员登上车顶以肉眼 进行人工检测，这样的方式不但费时，而且浪费了人力，最重要的是可能由于 工作人员的疏漏造成机车安全隐患。 但是机车通过式检测这种方法，现场要求摄像机不能从车顶向下正对进行 拍摄，而必须斜拍。这就造成了机车车顶图象的梯形畸变，这样拍摄情况并不 适合直接的后期处理。所以首先要通过图象标定进行图象的几何畸变的校正， 然后在进行实际的拼接处理。拼接处理后的图通过异物的近似形状匹配来确 定，并且找到其位置。 其次磁瓶的损坏主要包括：磁瓶污染，磁瓶因碰撞缺损，磁瓶掉落等等。 而且随着电力机车型号的不同磁瓶分布也不一样，并且各种磁瓶的外形与结构 尺寸也不一样。若是根据每种车型进行全景图拼接匹配检测，前期处理的准确 性要求很高，否则后期定位系统会很不稳定。按照这种情况，本文采用磁瓶快 速定位方法，这种方法不需要前期的畸变恢复，对于拼接和匹配的精度要求也 西南交通大学硕士研究生学位论文第2 页 不是很高。当磁瓶定位后，确定了磁瓶大小，之后从磁瓶图象库中选取同样大 小的磁瓶进行3 d 检测。所以对于瓷瓶检测。而在这里我们的检测只是针对磁 瓶因碰撞而造成的较小部分地的缺损。 针对以上综述，本系统主要通过图象处理和模式识别【1 4 1 的方法，自动对机 车动车组车顶杂物，车顶重要器件松动进行检测目前国内外仍没有一套这样 完整的设备可以完成这种检测，所以这个系统的研究对于以后真正的现场应用 会起到很大的主导作用。 1 2 系统功能与外围器件选择 本系统主要通过图象处理和模式识别的方法，自动对机车动车组车顶杂 物，车顶磁瓶损坏进行检测，将检测得到的结果传递给控制中心，以方便工作 人员的及时处理，并且防治事故的发生。最后通过软件得以现场实现。本系统 要求在机车低俗通过中完成检测。对实时性和准确性要求很高。下面介绍外围 器件和环境的要求和选择。 工作温度范围：一4 0 + 7 5 相对湿度：小于9 0 检测时车速范围： 6 k w 工业摄像机：分辨率1 2 8 0 1 0 2 4 ，桢率1 5 ，8 位，黑白面阵c c i ) ，光谱相应范围 3 5 0 瑚r 一10 0 0 n m 1 3 系统工作流程 由于机车入库检测属于低速通过型检测。基于这种情况，本系统设计按如 下步骤进行： 西南交通大学硕士研究生学位论文第3 页 1 为了保证高分辨率要求和设备低成本要求，由1 台高分辨率摄像机悬垂 于车顶正上方，因为要满足现场要求，所以相机不能垂直拍摄，而是斜拍，但 这样拍出来的图象有梯形畸变，而且还有反光。如图1 - 1 ，图1 - 2 。 图卜1 年顶畸变幽图1 吨车顶反光部分 2 当一辆机车通过时，由摄像机进行拍摄，且将拍摄后的视频抽出前后 有极小重合的部分贞【1 1 ，因为一辆机车完全通过大约需要6 秒，所以每个摄像 机拍摄的视频中至少要抽取1 3 贞图片。 3 首先将从每个摄像机拍摄的视频中提取得有重合部分的1 3 张图片先进 行标定，然后把畸变图象恢复为矩形图象，最后再进行拼接。这样就行成了车 顶图象的全景图。( 如果不经过标定，而是简单的图象缩放后进行拼接，其效 果会使尾部越来越小。此种方法的缺点：因为一辆机车一般要1 0 _ 1 2 张图 片才可拼接完成，所以拼接到最后，到8 张以后，几乎看不清车项表面任何杂 物。如图卜3 所示。) 幽l 一3 直接拼接图 4 对全景图进行阈值分割，边缘提取，除去除车顶外其他部分。 5 对全景图中的所有种类的瓷瓶进行位置检测，对于检测到的磁瓶进行损 西南交通大学硕士研究生学位论文第4 页 坏识别。 6 因为入库检测的机车车型较多，所以我们按上述方法拍摄每种车型无杂 物，磁瓶无损坏的原始机车车顶全景图。将这些全景图建库。对于以后待检测 的车辆，我们采取将代测车辆全景图和库中对应车型全景图对比的方式进行检 测。 7 由于一辆机车完全通过需要6 秒，检测需要在下一辆机车通过前完成， 所以检测时间至少要小于6 秒。为了实现这一目标，将检测速度加快。我们采 取多模块并行处理，将原始无损全景图和代测全景图分别截为一定数量的对应 块。将两幅全景图的对应块进行对比。 8 考虑到检测时间是全天候2 4 小时，所以光照强度会不一样。这样，对 比的时候就不能简单的基于灰度值。在这里，我们采用的是改进后的象素值补 偿不变距的方法。对每块进行对比，这样就可以快速将不变矩不同的块检测出 来，为后期节省了大量的时间。 9 最后对每两个不变矩不同的块单独拿出来，按照当时的光照强度，对代 测块进行象素值补偿，然后将两块相减，阈值。将匹配后的图象按一定算法进 行的异物检测。找出杂物大小和位置。 1 0 工作人员在监控室通过本系统视频软件可以得到上述的信息，对车顶 有杂物和磁瓶有损坏的个别车辆，并通知现场工作人员对车顶指定位置进行维 护。这样大大减少了工作人员的工作量并且提高了效率与检测质量。最后给出 系统流程图图1 4 。 图l - 4 系统流程图 西南交通大学硕士研究生学位论文第5 页 1 4 论文的结构安排 本论文的第一章为绪论，讲述机车车顶异物检测和磁瓶损坏检测的背景和 意义，并介绍了设计思路，与系统工作流程与系统功能。然后按系统流程顺序 落列第二章，第三章，第四章，第五章。在第二章和第三章细讲述图象畸变恢 复和图象拼接原理，并做了实验验证。详第四章和第五章主要讲解磁瓶定位和 异物识别，分别从原理和实验结果来论证系统的可行性。第六章用v c 实现了 软件数字图象处理平台，并将上述的一些算法在其中得以实现。最后在第七章 对整个论文作出了总结和对未来的展望。 西南交通大学硕士研究生学位论文第6 页 第二章基于现场的车顶图象畸变恢复 由于摄像机系统和景物成斜视角，生成的透视图像会产生几何畸变，这就 是造成机车车顶图像发生几何畸变的主要原因。其他图像拍摄过程中可能出现 畸变、模糊、失真或混入噪声，使得所成图像降质，称之为图像“退化”。造 成图像退化的原因很多，典型原因表现为： 1 成象系统的象差、畸变、带宽有限等造成图像失真； 2 由于成象器件拍摄姿态和扫描非线性引起的图像几何失真； 3 运动模糊，成象传感器与被拍摄景物之间的相对运动，引起所成图象 的运动模糊； 4 灰度失真，光学系统或成象传感器本身特性不均匀，造成同样亮度景 物成像灰度不同； 5 辐射失真，由于场景能量传输通道中的介质特性如大气湍流效应、大 气成分变化引起图像失真； 6 图像在成像、数字化、采集和处理过程中引入的噪声等。 这些图像的失真给我们图像后期处理工作带来了很多不便，为了改善视觉 效果，我们要对图像进行复原的工作。我们要根据图像畸变或退化的原因，来 对图形进行模型化处理。除了在拍摄过程中会造成图片的失真外，由于光学成 像系统或电子扫描系统的限制会产生枕形失真和桶形失真。这些原因造成的图 像失真也需要我们对其进行复原和校正。 图像畸变的恢复由以下几个步骤确定 1 确定有畸变图和模版的角点 2 按照公式确定畸变恢复矩阵 3 将原始畸变图中所有点按得出的矩阵，通过插值，得到矩形图像。 西南交通大学硕士研究生学位论文第7 页 2 1 图像角点的提取 2 1 1 角点提取方法介绍 角点( c o r n e r ) 是一个比较原始的称呼，它是这个领域刚开始发展时给形如 “t ”和“u ，等形状的节点赋予的称谓。随着研究的深入和对“角点”定义的 扩充，现在，广义和更确切地说应该叫特征点，是指图像灰度变化剧烈的点， 如直线的交点，曲线上曲率变化最大的点或单调背景上的离散点等，但因为习 惯，文献中一般还是称为角点。角点检测是图像处理领域的一个重要内容，它 与边沿检测一起，是获取图像特征信息，从而简化和方便图像处理的重要手段。 角点定义为图像中周围亮度变化剧烈的点或者图像边界曲线上具有足够 大曲率的点。由于其信息含量高而且相对于图像像素总数的数量较少，角点提 取在许多计算机视觉问题中具有重要的应用，如目标识别、图像匹配、光流计 算、三维场景重建和运动估计等。角点特征是图像的重要特性，可以定义为： 2 条或多条边界的连接点。存各种图像特征点，角点具有旋转不变和不随光照 条件改变而变化的优点。在一些应用中使用角点特征进行处理，可以减少参与 计算的数据量，同时又不损失图像的重要灰度信息，而且角点在图像匹配中也 有很重要的意义，利用角点特征进行匹配可以大大提高匹配的速度。绪论中我 们大体了解了角点的一些基本的检测思路，下面我将使用几种不同的角点提取 方法针对本论文的畸变进行角点的提取，并得出一种更加简单的焦点检测方 法。 近年来已经提出了很多提取角点的算法，最早提出的基于几何形状的算法 可描述为：对于一幅数字图像，首先对其进行图像分割，提取边界构成链码， 然后找出边界上转折较大的点作为角点。这种方法在算法和处理步骤上过于复 杂，因此在分割时所产生的误差将导致提取的角点结果偏差很大，下面给出经 典角点提取方法。 西南交通大学硕士研究生学位论文第8 页 1 s u s a n 角点提取方法的改进方法 s u s a n 算子 2 11 3 】使用的是圆形模板( 又称为窗口或核) 来进行角点探测，圆 形模板有等方向性的特点，一般使用模板的半径为3 4 个像元，如图2 1 所 不。 图2 一ls u s a n 圆形模板 模板置于每一个像元，将模板的每一个像元与中心像元进行比较， c f ，i ) 一1 ，i ，f 一，磊小f ， 一0 ，其它。 ( 2 1 ) 在模板中，( ；) 为像元7 的灰度值，t 为灰度差别的阈值，c 叫做相似比较 函数，乏为模板中心的像素，7 为其他的像素模板中所有像元都进行这个比 较，然后计算c 的合计值n 。 栉五) 一c f ，i ) ( 2 2 ) 合计值n 就是u s a n 区域u s a n ( u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ) 的像元个数，即获得了u s a n 区域的面积下一步把它与几何阙值进行比较获得 最终的响应函数。 r ( r 0 ) 一g - n ( t o ) ，n ( r o ) g ； 一0 其它。 ( 2 3 ) 式中：r 为响应函数，g 为固定阈值，探测角点时g 选取1 2 模板像元个 西南交通大学硕士研究生学位论文第9 页 数，7 x 7 模板的g = 3 7 x1 2 。在实际应用中，往往采用下面更稳定和更有效 的相似比较函数： c(，-e(-(坐掣)s(2-4t)o) c ( r ， ) 6 ) 这个式子允许像素的亮度值轻微变化后不会对c 产生太大的影响。门限g 决定了输出角点的u s a n 区域的最大值。g 的大小不但决定了可从图像中提取 角点的多寡，它还决定了所检测到的角点的尖锐程度所以一旦确定了所需角 点的质量( 尖锐程度) ，g 就可以取一一个固定不变的值。门限t 表示所能检测 角点的最小对比度，也是能忽略的噪声的最大容限它主要决定了能够提取 的特征数量越小，可从对比度越低的图像中提取特征，而且提取的特征也越 多因此对于不同对比度和噪声情况的图像应取不同的t 值通过对图像灰度 值和对比度进行分析，提出不同图像对比度下，t 的自适应取值方法，即 f - 口7 峙萃一一言罩，i m ) ( 2 - 5 ) 2 h a r r i s 角点检测方法 h a r r i s 角点【4 】提取方法是目前效果最好的，它不受摄像机姿态及光照的影 响。然而，对于尺度变化较大的视觉系统，该方法却不能保持特征的不变性。 目前来看，平面模板多是黑白棋盘，或者离散的正方形。模板图像角点提取 算法大致有两类。一类方法先从模板图像提取直线，然后再求直线交点。这种 角点检测方法会引入误差，因为当摄像机镜头畸变系数较大时，直线将变弯曲。 另一类为基于图像灰度的角点检测方法，h a r r i s 角点检测就属于此类。对角点 检测算法进行了比较和评价，认为h a r r i s 具有很好的定位性能和鲁棒性。另外， 基于h a r r i s 算子的特征检测算法在基础矩阵的鲁棒计算和基于特征的立体匹 配中已经有广泛的应用，所以用h a r r i s 算法来检测角点坐标。 在角点处，图像的灰度梯度是不连续的，而且在角点临近的区域，梯度有两 个或者两个以上的不同值。 西南交通大学硕士研究生学位论文第1 0 页 h a r r i s 角点检测原理是，将所处理的图像窗口w 向任意方向移动微小位 移( x ，y ) 则其灰度改变量可定义为 e ，一m 。，i l 。，。一j 。，r 一，旧+ y y + o ( x z , y 2 ) 】2 - a x 2 + 2 c x y + b y 2 一o ，y ) m o ，y 厂 ( 2 6 ) 其中，为了提高抗噪能力，对图像窗口进行了高斯平滑，即 ，一e x p 一 2 + y 2 ) 盯2 l ( 2 7 ) x 和y 是一阶灰度梯度，可对图像求卷积得到： x _ a ，& c - i 圆( 一1 ，o ，1 ) ( 2 8 ) y 一0 砂一1 固( - l o ，1 ) 另外定义：a z 2 0 w ，b y 2 w ，c - ( 朋) w ( 2 9 ) 和臁m m f 绸 ( 2 _ 1 0 ) 则其角点边沿响应函数c r f 可定义为 r d e t ( m ) 一七z 2 ( i f ) - a b c 2 一七o + 曰) 2 ( 2 1 1 ) 其中k 值h a r r i s 推荐为0 0 4 。对r 取合理的阂值t 就可得到的所求的角点。 3 一种新的棋盘格图像角点检测算法 目前已有的大多数角点检测算法都是针对一般角点的通用算法。而棋盘格 角点作为一种特殊的角点，也已被广泛地应用于摄像机标定中。由于对棋盘格 角点的检测只是在通用角点检测算法的基础上，进行了一些改进，因此计算 量通常比较大。针对棋盘格角点提出了一种新的检测算法，即s v 算法。该算法 不仅原理简单、计算量小，无需人工参与检测，而且对旋转、尺度、灰度等变 化具有鲁棒性，同时能够抵抗噪声和边缘模糊现象。 由于棋盘格图像在摄像机标定中的重要作用，为此本文提出了一种针对棋 盘格角点的检测算法一s v 棋盘格角点检测算子1 5 i 。其设计思路如下：棋盘格 西南交通大学硕士研究生学位论文第1 1 页 角点周围，关于棋盘格角点中心对称的像素点灰度值都比较接近，而边界点和 非棋盘格角点，其关于中心点对称的像素点的灰度值则有较大差异。由此可引 出用于棋盘格角点检测的第1 个算子，本文称之为对称算子( s y m m e t r y o p e r a t o r ) 。对于每个像素，i ( i ，j ) ，将以该像素为中心的窗口记为w ，该窗 口可以是方形、圆形甚至是正多边形，定义对称算子的响应值为窗i ：1 w 中关于 ( i ，j ) 对称的每一对像素的灰度差绝对值的均值，其用公式表达如式( 1 ) 所示。 n 为窗d w 中像素的数目。实际计算时，式中的求和项只需计算一半即可 c 。a ，) 一( 罗i ，o + p ，j + p ) 一，o p ，一p ) j ) n ( 2 1 2 ) ( “，荔矿 对于棋盘格角点，对称算子响应值c 较小；而对于边界点，由于边界一边 像素灰度值大，另一边像素灰度值小，故在边界点的对称算子响应值c 比较大。 c 反映了以该像素为中心的小窗口像素灰度分布的空间对称性。但仅靠c 还不 能识别出棋盘格角点，因为在平坦区域像素的对称算子响应值也比较小，故又 引出用于棋盘格角点检测的第2 个算子，称为方差算子( v a r i a n c eo p e r a t o r ) 。 方差算子主要用于剔除平坦区域的像素点，由于这些像素点所在的窗口内像素 灰度的方差比较小，故可以设计方差算子的响应值为反映周围像素灰度值变化 剧烈程度的灰度方差，其用公式表达如式所示。 c ”一罗( ，o ，j ) 一7 ) 2 ( n 一1 ) ( 2 1 3 ) 2 1 2 新的角点提取方法设计 这里，我分别对于3 种比较普遍的角点提取方法做了比较，发现棋盘格的 角点提取方法在运算速度和提取质量上要优与前两种方法。s u s a n 算法对于棋 盘格角点的检测不是很准确，有大量的伪角点产生，h a r r i s 角点提取算法的运 算时间过长，对于上节所提到的棋盘格角点检测方法，我也对它做了一些改进， 因为机车车顶摄像机是能够采集到高清高精度图像的工业摄像机，所以采集到 西南交通大学硕士研究生学位论文第12 页 的图像不需要做很大的处理，因为检测的标定板棋盘格只有黑白两种颜色，背 景颜色不对角点的提取产生作用，所以我对图像直接进行了二值化处理，而没 有采用使用窗口再对比的方式，节约了角点提取的运算时间，通过直接逐行扫 描计算每个单位方格中中心点周围的像素值，当其像素平均值为灰度值得一半 时就满足条件，这种点即为角点。 对一幅图像进行的角点提取步骤如下：首先，我们读取一幅产生几何畸变 的图像如图2 - 2 ，对图2 - 2 象进行2 值化处理得到图2 3 ，最后提取出图像的 特殊点( 角点) 得到图2 4 。 图2 2 几何畸变图图2 3 二值化图图2 4 角点提取图 2 2 图像标定 2 2 1 摄像机标定的主要内容 三维计算机系统应能从摄像机获取的图像信息、出发，计算三维环境中物 体的位置，形状等几何信息，并由此重建三维物体。图像上每一点的亮度反映 了空间物体表面某点反射光的强度，而该点在图像上的位置与空间物体表面相 应点的几何位置有关。这些位置的相互关系，山摄像机成像几何模型所决定。 该几何模型的参数称为摄像机参数，这些参数必须由试验与计算来确定，试 验与计算的过程称为摄像机标定。由于在摄影测量学方而也存在着同样的问 题，早年在这个方向取得了很多研究成果。对于计算机视觉而一言，考虑到摄 像机标定在理论和实践中的重要价值，学术界在最近2 0 年以来进行了广泛的 西南交通大学硕士研究生学位论文第13 页 研究，基于不同的出发点和思路取得了一系列的成果，对于不同的问题背景它 们都有其各自的应用价值。 摄像机标定来源于摄影测量学。摄影测量学中所使用的方法是数学解析方 法，在标定过程中通常要利用数学方法对从图像中所得的数据进行处理。通过 数学处理手段，摄像机标定提供了非测量摄像机与专业摄像机之间的联系。而 所谓非测量摄像机是指这样一类摄像机，其内部参数完全未知，部分未知或者 原则上不确定。摄像机内部参数指的是摄像机成像基本参数，如主点( 图像中 心1 、焦距，镜头畸变等参数。 对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述，识 别和理解这一任务时，c c d 摄像机对物理世界进行三维重建是基本并且关键 的一步。总体来说，其计算方法与摄影测量学中所使用的基本相同。但这些问 题在计算机视觉中得到了进一步的研究，这是因为计算机视觉中的问题与摄影 测量学的问题相比，有着显著不同的特点： 1 计算机视觉系统中通常使用的是非测量用c c d 摄像机。摄像机参数未 知或者不稳定，并且c c d 摄像机数字化图像分辨率较低，存在量化误差和非 线性镜头畸变等。 2 计算机视觉中所测量的一般为近景，为了使系统小巧，两摄像机之间的 基线长度不可能很长，从而使得系统计算误差增大。 3 在计算机视觉中，进行三维重建需要大数量的图像点，有时要求实时处 理数据并给出结果。 c c d 摄像机的上述特点和应用问题的要求使得在标定技术中对精度和实 时性等问题的研究显得特别重要，同时也导致了研究成果的多样性。对于这些 问题，基本的解决方法有： 1 经典的标定方法在一定的摄像机模型下，基于特定的条件例如形状尺 寸己知的标定物，经过图像处理的手段，利用一系列数学变换和计算方法， 求取摄像机模型的内部参数和外部参数。 西南交通大学硕士研究生学位论文第14 页 2 自标定方法在一些摄像机参数经常变化或是标定物不方便设置的情况 下，就需要一种不依赖标定物的方法，这就是自标定。自标定目前已经成为摄 像机标定的研究重点。 根据是否需要标定参照物来看，可分为传统的摄像机标定方法和摄像机自 标定方法。传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条 件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变 换和计算方法，求取摄像机模型的内部参数和外部参数( 分为最优化算法的标 定方法、利用摄像机透视变换矩阵的标定方法、进一步考虑畸变补偿的两步法 和采用更为合理的摄像机模型的双平面标定法) ；不依赖于标定参照物的摄像 机标定方法，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关 系对摄像机进行的标定称为摄像机自标定方法，它又分为：基于自动视觉的摄 像机自标定技术( 基于平移运动的自标定技术和基于旋转运动的自标定技术) 、 利用本质矩阵和基本矩阵的自标定技术、利用多幅图像之间的直线对应关系的 摄像机自标定方以及利用灭点和通过弱透视投影或平行透视投影进行摄像机 标定等。自标定方法非常地灵活，但它并不是很成熟。因为未知参数太多，很难 得到稳定的结果。一般来说，当应用场合所要求的精度很高且摄像机的参数不 经常变化时，传统标定方法为首选。而自标定方法主要应用于精度要求不高的 场合，如通讯、虚拟现实等。 表2 - 1 标定方法对比 方法特点优点缺点 传统的摄像机 利用已知的景物 可以使用于任意的摄 标定过程复杂，需要 标定方法结构信息。常用到像机模型，标定精度高商精度的己知结构信 标定块息。 主动视觉摄像已知摄像机的某通常可以线性求解，鲁不能使用于摄像机运 机标定方法些运动信息棒性比较高动未知和无法控制的 场合 摄像机自标定仅依靠多幅图像仅需要建立图像之间非线性标定，鲁棒性 方法之间的对应关系的对戍，灵活性强，潜不高 进行标定 在应用范围广。 西南交通大学硕士研究生学位论文第15 页 2 2 2 摄像机成像模型 在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参 数。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上 的投影。图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强 度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位 置的相互关系，由摄像机成像系统的几何投影模型所决定。计算机视觉研究中， 三维空问中的物体到像的投影关系即为成像模型，理想的投影成像模型是光学 中的中心投影，也称为针孔模型。针孔模型假设物体表面的反射光都经过一个 针孔而投影到像平面上，即满足光的直线传播条件。针孔模型主要有光心( 投 影中心) 、成像面和光轴组成。小孔成像由于透光量太小，因此需要很长的曝 光时间，并且很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜组组 成。两种模型具有相同的成像关系，即像点是物点和光心的连线与图像平面的 交点。因此，可以用针孔模型作为摄像机成像模型。 当然，由于透镜设计的复杂性和工艺水平等因素的影响，实际透镜城乡系 统不可能严格满足针孔模型，产生所谓的镜头畸变，常见的如径向畸变、切向 畸变、薄棱镜畸变等，因而在远离图像中心处会有较大的畸变，在精密视觉测 量等应用方面，应该尽量采用非线性模型来描述成像关系。计算机视觉常用坐 标系采用右手准则来定义，图2 5 表示了三个不同层次的坐标系统：世界坐标 系、摄像机坐标系和图像坐标系( 图像像素坐标系和图像物理坐标系) 。 1 世界坐标系：也称真实或现实世界坐标系，它是客观世界的绝对坐标。一 般的3 d 场景都用这个坐标系来表示。 西南交通大学硕士研究生学位论文第16 页 l i 图2 5 标定系统的坐标系 2 三个层次的坐标系统【蚓 ( 1 ) 世界坐标系( k ，y 。，气) ：也称真实或现实世界坐标系，或全局坐标 系。它是客观世界的绝对坐标，由用户任意定义的三维空问坐标系。一般的3 d 场景都用这个坐标系来表示。 ( 2 ) 摄像机坐标系( x o y ) ：以小孔摄像机模型的聚焦中心为原点，以摄 像机光轴为z c 轴建立的三维直角坐标系。x ，y 一般与图像物理坐标系的 可，万平行，且采取前投影模型。 ( 3 ) 图像坐标系，分为图像像素坐标系和图像物理坐标系两种：图像物 理坐标系：其原点为透镜光轴与成像平面的交点，x 与y 轴分别平行于摄像机 坐标系的x 与y 轴，是平面直角坐标系，单位为毫米。图像像素坐标系 计算机 图像( 帧存) 坐标系 ：固定在图像上的以像素为单位的平面直角坐标系，其 原点位于图像左上角，可，万平行于图像物理坐标系的x 和y 轴。对于数字图像， 分别为行列方向。 3 坐标系变换关系定义了上述各种空间坐标系后，就可以建立两两不同 坐标变换之间的关系。 西南交通大学硕士研究生学位论文第”页 ( i ) 世界坐标系与摄像机坐标系变换关系。世界巫标泵币丽赢蚕i 摄像机巫 匡 。月 圣】+ 丁。【耋差兰】 耋 + r c z 一a ， ； ；】 l y 。 2 ” 1 ( 2 - 1 5 ) 其中，i r 。卜，乞】。是世界坐标系原点在摄像枫坐标系中的坐标，矩阵r 是正交旋转矩阵，其矩阵元素满足 1 2 + 2 2 + 亿2 1 吒1 2 + 勃2 + 屯2 一i ( 2 1 6 ) ，j 1 2 + k 2 + 2 1 正交旋转矩阵实际上只含有3 个独立变量，再加上t ，t yt z ，总工有6 个参数决定了摄像机光轴在世界坐标系中空间位置，因此这六个参数称为摄像 机外部参数。 ( 2 ) 图像坐标系与摄像机坐标系变换关系。如图2 5 所示，摄像机坐标系 中的物点在图像物理坐标系中像点只坐标为： 冈f ， 忖瞄 ( 2 - 1 7 ) ( 2 - 1 8 ) 西南交通大学硕士研究生学位论文第1 8 页 将上式的图像坐标系进一步转化为图像坐标系 p 一。石7 t 。工 ( 2 一1 9 ) 1 l ，一一y d ，一s t y “ 齐次坐标表示为： i 】。 耄丢；】 荤】 c z z 。， 其中，u 0 ，是图像中心( 光轴与图像平面的交点) 坐标，d x , d ，分别为一 个像素在x 与y 方向上的物理尺寸，s x = 1 d ，s y = l d 。别为x 与y 方向上的采样频 l u v 一- y o u o - f 7 3 s ，x z 。- l x zl y z z ( 2 2 1 ) l ”一y 0 一j - 其中，一旭，一f s ，分别定义为x 和y 方向的等效焦距。，等4 ( 3 ) 世界坐标系与图像坐标系变换关系( 共线方程) 1 3 7 1 兰。竺丑，量0 釜量2 1 z ! 量2 血! 垒 ll xr 3 1 x w r 3 2 y w k w tz f 一，、 y v v or 2 x x w + 屹y 。+ k z w + t y j | ，r 3 1 x w + r 3 2 y ”+ r 3 3 z w + t z 齐次坐标表示为： ：台 【1j 【0 昙u 沸。习 j y 。 z 1 一m 1 m 2 x m x ( 2 2 3 ) 上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点 西南交通大学硕士研究生学位论文第1 9 页 必须在同意条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方 程，在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐 标，就可以求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的 信息。 在这里我选择的是张正友的标定方法i 矧，张正友的平面标定方法是介于传 统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高， 操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系 统( d v s ) 的标定要求。摄像机标定技术就是基于以上考虑的。其技术仅要求摄 像机拍摄处于不同姿态的同一个平面模板。该模板可用激光打印机打印并贴 在平面表面上。摄像机和平面模板都可以移动。并且移动不需要知道。计算 机模拟和实际数据都表明该方法具有很好的结果。与的经典的方法相比，本 方法更为灵活。与自标定相比，它具有很好的稳定性。我们相信它使3 d 计算 机视觉从实验室到应用大大前进了一步。但是张的方法是需要确定模板上点 阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用 者带来了不便。 基本原理 图2 - 6 标定算法示意图 西南交通大学硕士研究生学位论文第2 0 页 h， 竹叫 ，2 x y 0 1叫川圈 z 。 在这里假定模板平面在世界坐标系z - - 0 的平面上。 其中，k 为摄像机的内参数矩阵， 衍- 【z】，1 7 为模板平面上点的齐次坐标， 而。l y 1 7 为模板平面上点投影到图像平面上对应点的齐次坐标， p 。，：r ，】和t 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移 向量 从而得出 h - 陬。h ：h ，卜a k r ，r 。t 】 2 2 5 ) 又推