（计算机软件与理论专业论文）轨道缺陷自动检测系统的研究与应用.pdf

摘要 铁路轨道在使用过程中，由于行车载荷以及自然因素的作用，会使轨道表面 产生各种缺陷，对列车运行的安全构成威胁。由于轨道路线长，地形复杂，人工 检查和测量比较危险和困难；要对数量如此庞大的轨道表面资源进行有效管理和 维护，必须迅速提高检测技术的整体水平。轨道表面检测技术要求由人工检测向 自动化检测技术发展，以使轨道表面质量的监测、评估和病害分析更加快捷，养 护更加合理和经济。 本论文在理解图像检测系统相关技术的基础上，提出了轨道表面缺陷自动检 测系统设计方案。该系统利用车载摄像机，在合适的光照条件下，自动采集轨道 表面图像，实时地传入计算机或存储系统中。论文参照项目提出的实际要求，通 过研究与比较，选择适合轨道缺陷检测的设备组成硬件系统。在图像的处理过程 中，系统通过软件设计与实现，自动将缺陷从图像中标注出来，并将检测结果储 存在文件当中。在图像处理算法上，本文提出三种不同的方案，分析了各自的优 缺点，并对它们的处理结果进行多方面比较，筛选出最优方法。 在对现场采集的轨道表面图像的实验研究中，该方法准确、快速地检测出轨 道表面的缺陷情况，满足项目对系统提出的准确性和实时性等技术要求，为检修 提供了数据依据，具有一定的参考价值。 关键词：铁轨表面缺陷工业图像检测机器视觉图像采集数字图像处理 分类号：t p 3 1 7 4 a bs t r a c t i nt h eu s eo f r a i l w a y , t h es u r f a c ec a l lb ed a m a g e db yt h et r a i no rt h ef a c t o ro fn a t u r e s u r f a c ed e f e c tt e s ti sd i f f i c u l ta n dd a n g e r o u s 鹤t h er a i l w a yi sv e r yl o n ga n dt h e e n v i r o n m e n ti sc o m p l e xf o rh u m a n t om a n a g ea n ds e r v i c et h ee n t i r er o a ds u r f a c e r e s o u r c ea n dd a t aa st h e ya l es ol a r g ei nq u a n t i t i e s ，w em u s ti m p r o v et h el e v e lo ft e s t 鹪 s w i r la si ti sp o s s i b l e s oi ti su s e f u lo fa u t o m a t i ct e s t i n gt ot h es u r f a c eo fr a i l w a y , n o tb y p e o p l e o n l yu s i n gt h i sm e t h o d ，t h e t e s to fr a i l w a ys u r f a c ec a l lb ee f f i c i e n t t h i sp a p e rs t u d i e st h ed e t e c tt e c h n o l o g yo ft h er a i l w a ys u r f a c eo nt h eb a s eo fi m a g e d e t e c t i o ns y s t e m w ep u tf o r w a r dt h et e s ts y s t e mo fr a i l w a ys u r f a c e sd a m a g e ，w h i c h c o l l e c t i n gt h er o a ds u r f a c e si m a g e ，u s i n gc a m e r ai nt h ec o n d i t i o no ff i ti l l u m i n a t i o n , a n ds a v et h ei m a g et ot h ed i s k ，t h e np r o c e s st h e mo n l i n e w i t hr e f e r e n c et ot h ep r o j e c t s r e q u i r e m e n t s ，t h i sp a p e rc h o o s e sd e v i c e sw h i c ha r es u i t a b l ef o rr a i l w a yt e s t i n gt o a s s e m b l et h eh a r d w a r es y s t e mb yc o m p a r i n gt h e i rf u n c t i o n s i nt h ep r o c e d u r eo fi m a g e p r o c e s s i n g , t h es o f t w a r ec a l c u l a t e st h ea r e ao f t h ed a m a g ea n dm a r k st h ed e f e c t so ft h e r a i l w a ys u r f a c e ，t h e np i c k su pt h ed a m a g er e g i o nf r o mt h ei m a g ea n ds t o r e st h er e s u l tt o t e x tf i l e s w ep u tf o r w a r dt h r e ed i f f e r e n ta l g o r i t h m s ，a n a l y z et h e i ra d v a n t a g e sa n d d i s a d v a n t a g e s ，c o m p a r et h e i rr e s u l t si ns e v e r a la s p e c t sa n dc h o o s et h eb e s to n e i nt h ea p p l i c a t i o no fp i c t u r e sc o l l e c t e di nw o r k s i t e ，t h i sc h o s e nm e t h o di sr a p i da n d a c c u r a t e i ts u c c e s s f u l l yg i v e st h ed a m a g ei n f o r m a t i o no fr o a ds u r f a c ew h i c hm e e t st h e r e q u i r e m e n to ft h i sp r o j e c t t h er e s u l ti sj u s tt h ee v i d e n c eb yw h i c hw er e p a i rt h er o a d s u r f a c e w ec a nt e s tt h ed a m a g eo fr o a ds u r f a c ei nt h i sw a yu s u a l l y , a n dt h e ns o l v et h e p r o b l e mi nt i m e k e y w o r d s r a i l w a ys u r f a c ed e f e c t s ，i n d u s t r i a li m a g ed e t e c t i n gs y s t e m ，m a c h i n e v i s i o n ，i m a g ec a p t u r e ，i m a g ep r o c e s s i n g c l a s s n o ：t p 3 1 7 4 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字日期：砂口g 年 李鸭妒 ， 6 月6 日 导师签名： 似一 签字日期：枷d 舅年月舌日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者虢翻之铲签字日期洳夕年 水平方向予窗口；( c ) “- t - 。交叉子窗口 ( d ) 。交叉子窗口：( e ) 方形予窗l = 】； ( f ) 鞠形予窗口 图2 5 子窗口或窗口形式 f i g2 5f o r m so fw i n d o w s0 1 s u b - w i n d o w s 中值滤波器在一定的条件下，可以克服线性滤波器如最小均方滤波、均值滤 波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。 在实际运算过程中不需要图像的统计特性，这也带来不少方便。但是因为排 序过程很可能破坏任意结构和空问的邻域信息，因此可以认为中值滤波破坏先端 或者锐角等信息是必然的。为克服中值滤波的不足，还提出了多种改进的中值滤 波器递归中值滤波器等，如极大中值滤波器、混合中值滤波器、加权中值滤波器、 递归中值滤波器等。 ( 2 ) 层叠滤波器 层叠滤波器是基于信号阈值分解而发展起来的一种非线性滤波技术，其概括 了排序统计滤波器和形态结构滤波器在内的所有非线性滤波器。层叠滤波器具有 层叠组合特性和阈值分解特性，采用m 值分解技术，使得对多值信号的滤波处理 简化为对二值层叠信号的处理，由此设计的滤波器具有并行处理结构，利于并行 处理和v i s i 实现。 实质上，层叠滤波器过程是一个对输入信号阈值分解、并行处理、相加合成 的过程。例如，一个大小为4 x 4 的4 级灰度图像阈值分解过程如图2 6 所示： ( 8 )c b )( c )( d ) 图2 6 图像信号阈值分解 f i g2 6t h r e s h o l dv a l u ed e c o m p o s i t i o no fi m a g es i g n a l s 3 同态滤波器 同态滤波器是最早出现的一类非线性滤波器，它是用来滤除与信号关联( 乘 性或卷积) 的非加性噪声。通过同态系统进行图像处理，可使乘性或卷积噪声转 换为加性噪声，在利用现有的各种去噪方法滤除噪声，最后通过逆变换达到去 噪的目的。同态滤波器的图像处理流程框图如图2 7 ： f ( x ，y )g ( x ，y ) 图2 7 同态滤波器图像处理流程框图 f i g2 7h o m o m o r p h i cf i l t e r 4 形态滤波器 形态滤波器是从数学形态学中发展出来的一种新型的非线性滤波技术，形态 滤波理论是由g m a t h e r o n 和j s e r r a 等人在2 0 世纪8 0 年代初创立的。 形态滤波器是基于信号( 图像) 的几何结构特性。利用预先定义的结构元素 ( 相当于滤波窗) 对信号进行匹配或局部修正，以达到提取信号，抑制噪声的目 的。它由最早的二值形态滤波器发展为后来的多值形态滤波器。多值形态滤波器 与排序滤波器有着密切的联系，它们本质上是层叠滤波器的特殊情况。 当采用平结构元素时，多值的膨胀和腐蚀变换就演变为极大和极小滤波。极 大滤波器通常能有效地滤除图像中的负脉冲噪声，而极小滤波器可以滤除f 脉冲 1 2 噪声，但两者均对混合脉冲噪声失效。如果采用两者的各种级联组合，则可达到 较全面的脉冲噪声抑制性能。 近年来，非线性滤波器理论在机器视觉、医学图像、语音处理等领域有了广 泛的应用，同时，也反过来促使该理论的研究向纵深方向发展。神经网络、形态 学理论、小波理论等在图像分割中的应用日渐广泛，遗传算法、尺度空间、多分 辨率方法、非线性扩散方程等近期涌现的新方法和新思想也在不断被用于解决滤 波问题，国内外学者提出了不少针对一些具体应用的好的滤波器方法。 另外，由于从不同角度将得到不同的分类结果，这里涉及的分类方法不是绝 对的，我们只是大致将他们分为属于最能反映其特点的某一类，其实许多滤波方 法还是这些简单方法的结合体。 图象分割主要有两大类。一类是边界方法，这种方法假设是图象分割结果的 某个子区域一定会有边缘存在；一类是区域方法，这种方法假设图象分割结果的 某个子区域一定会有相同的性质，而不同区域的相素则没有相同的性质。 2 3 3边缘检测 数字图像的边缘检测属于图象分割的一种边界方法，这种方法假设是图象分 割结果的某个子区域一定会有边缘存在。数字图像是图像分割、目标区域的识别、 区域形状提取等图像分析领域十分重要的基础，是图像识别中提取图像特征的一 个重要属性。图像理解和分析的第一步往往就是边缘检测，目前它己经成为机器 视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。 图像边缘有方向和幅度两个特性，通常沿边缘的走向灰度变化平缓，垂直于 边缘走向的像素灰度变换剧烈，根据灰度变化的特点，可分为阶跃型、房顶型和 凸缘型，这些变化对应图像中不同的景物。需要注意的是，实际分析中图像要复 杂的多，图像边缘的灰度变化情况并不仅限于上述标准情况。 物体的边缘是以图像的局部特征不连续的形式出现的，也就是指图像局部亮 度变化最显著的部分，例如灰度值的突变、颜色的突变、纹理结构的突变等，同 时物体的边缘也是不同区域的分界处。 目前在经典边缘算子基础上发展起来的边缘检测算子中，最成熟的为最优算 子。这类方法的目的是根据信噪比求得检测边缘的最优滤波器。马尔( m 和希尔 德雷思( h i l d r e t h ) 应用高斯( g a u s s i a n ) 函数先对图像进行平滑，然后采用拉普拉斯算 子根据二阶导数过零点来检测图像边缘，称之为l o g ( l a p l a c i a no fg a u s s i a n ) 算子。 l u n s c h e r 和b e d d o e s 就l o g 算子中的参数量化问题进行t 详细的分析。t o r r e 和p o g g i o 指出高斯函数是接近最优的平滑函数。 保留边缘细节又能抑制噪声的另一种方法是局部曲面最小二乘拟和法，其基 本思想是：根据最小二乘方法把图像的局部区域近似表示为一组基函数的线性组 合，从而达到消除噪声的效果。h a r a l i c k 对于局部曲面拟合方法用于边缘提取进行 了研究，他根据二阶方向导数来判断过零点，并用插值方法来计算导数。实验证 明，这种方法优于l o g 算子，且边缘定位比较准确。局部拟合曲面还是一个很好 的图像模型，适合于一般几何图像的描述和特定物体的检测识别，还可以用于区 域生长。曲面拟合的边缘检测方法依赖于基函数的选择，实际应用中往往采用低 阶多项式，因为高阶多项式可能产生震荡现象，并且拟合曲面不光滑。h a l w a 和 b i n f o r d 采用了双曲正切函数作为拟合基函数，只须计算少量参数。h a r a l i c k 是将 梯度方向上的二阶方向导数的零交叉位置作为边缘点，他采用插值方法来计算导 数。 c a n n y 应用变分原理推导出一种用高斯模板导数逼近的最优算子。h a l w a 和 b i n f o r d 所提出的最优算子是在一个窗口中的每一点上嵌入一组平面，然后在最小 平方的意义上，选择一个具有最少参数的平面。上述方法忽略了在实际图像中存 在着多种干扰边缘，它们往往影响边缘的正确检测和定位。 多尺度方法和自适应方法也是在经典边缘算子基础上发展起来的另两类边缘 检测算子。窗口大小( 或尺度) 参数的自动调整是困难的，应用多种尺度给出一 个满意的回答，这一思想建立在某些生理学实验基础之上。自适应方法的思想是 利用一个通用算子对信号进行平滑，该算子能使其本身与信号的局部结构相适应。 近年来，c a n n y 边缘检测算子在灰度图像处理中得到了广泛应用。根据边缘检 测的有效性和定位的可靠性，坎尼研究了最优边缘检测器所需的特性，推导出最 优边缘检测器的数学表达式。对于各种类型的边缘，坎尼边缘检测算子的最优形 式是不同的。坎尼推导的一维边缘检测器与一维m h ( m a r - h i l d r e t h ) 边缘检测器几 乎是一样的，因为一阶导数算子的最大值和m h 算子的零交点是一致的。然而， 在二维情况下，c a n n y 算子的方向性质使边缘检测和定位性能比m h 算子要好， 具有更好的边缘强度估计，而且能产生边缘梯度方向和强度两个信息，为后续处 理提供了方便。 1 c a n n y 算子的基本原理 c a n n y 推导了最优边缘检测算子，它考核边缘检测算子的指标是： ( 1 ) 低误判率，即尽可能少的边缘点误认为是非边缘点； ( 2 ) 高定位精度，即准确的把边缘定位在灰度变化最大的像素上： ( 3 ) 抑制虚假边缘。 在一维空间，c a n n y 算子具有较好的边缘强度估计，能产生梯度和强度两个信 息，方了后续处理。 1 4 2 c a n n y 推导出新的检测算子是基于如下的几个概念 ( 1 ) 检测算子是针对一位信号和前两个最优标准表达式，用微积分方法可以 得到完整解。 ( 2 ) 如果加上第三个标准，需要通过数值优化的办法得到最优解。该最优滤 波器可以有效地近似为标准差为口的高斯平滑滤波器的一阶微分，其误差小于 2 0 。 ( 3 ) 将边缘检测算子推广到两维情况：阶跃边缘由位置、方向和可能的幅度 ( 强度) 来确定。 假设g 是二维高斯函数，即 g y ) = 赤e x p ( 一等) ( 2 9 ) g n 是g 沿n 方向的一阶方向导数， e ：学术v g( 2 1 0 ) 方向n 应与边缘垂直。尽管该方向事先不知道，但是居于平滑梯度方向的一 个可靠的估计是可以得到的。如果f 是图像，边缘的法向n 可以按下式估计： 胪黼 x - - j 包 胪网 屹川 边缘位于g n 与图像f 卷积在n 方向上的局部最大值位置处： 亟g ! 盟：0 ( 2 1 2 ) 砌 将公式的g n 代入，可得： 塑骘丑：0 ( 2 1 3 ) 砌 上式表明如何在与边缘垂直的方向上寻找局部最大值，该算子常被称为非最 大抑常o ( n o nm a x i m u ms u p p r e s s i o n ) 。由于在上式中的卷积和微分是满足结合律的运 算，故可以首先将图像f 与一对称的高斯g 做卷积，再利用公式( 2 1 1 ) 计算出的方 向n 的估计值来获得二阶方向导数。边缘的强度( 图像亮度函数f 的梯度幅值) 按下 式计算： q 簟f = i v ( g 木厂) i ( 2 1 4 ) 由于噪声引起的对单个边缘的虚假响应通常造成所谓的“纹状( s t r e a k i n g ) i 口 题”。纹状是指边缘轮廓断开的情形，是由算子输出超出或低于阈值的波动引起的。 纹状现象可以通过滞后阈值化处理来消除。 算子的合适尺度取决于图像中所含的物体情况。不同尺度的c a n n y 检测算子 由高斯的不同的标准差口来表示。有可能存在几个尺度的算子对边缘都给出突出 的响应( 即信噪比超过阈值) ，在这种情况下，选择具有最小尺度的算子，因为它的 定位是最准确的。c a n n y 提出了特征综合方法。首先标记出所有由最小尺度算子得 到的突出边缘，假定有较大的尺度算子的边缘，根据它们合成得到( 即根据从较小 的尺度收集到的证据预测较大尺度仃应具有的作用效果) 。然后将合成得到的边缘 响应与较大尺度的实边缘响应作比较。仅当它们比通过合成预测的响应显著强时 才将其归为边缘。该过可以对一个尺度序列重复进行，通过不断加入较小尺度中 没有边缘点的方式累计起生成边缘图。 2 3 4区域生长 区域生长属于图像分割中的第二种方法：区域方法。这种方法假设图象分割 结果的某个子区域一定会有相同的性质，而不同区域的相素则没有相同的性质。 区域生长是指从某个像素出发，按照一定的规则，逐步加入邻近像素，当满足一 定条件时，区域生长终止。 下面我们来看一个区域生长的例子： 原图像( a ) 为一数字图像，我们以最大的灰度值9 为种子点开始区域生长。我 们的生长阈值取2 ，第一次区域生长得到三个灰度值为8 的邻点，灰度级差值1 ， 5 5 8 6 48 9 7 2 2 8 5 3 3 3 3 ( a ) 5 5 8 6 48 9 7 2 2 8 5 3 3 3 3 ( d ) 5 8 墨9 2 墨 33 ( b ) 58 89 2 8 33 ( e ) 5 5 8 48 9 228 3 3 3 ( c ) 图2 8 区域生长过程 f i g2 8r e g i o n a lg r o w t hp r o c e d u r e 如图( b ) 所示( 图中粗体表示区域生长后的范围) 。此时四个已经接受点的平均灰度 为( 8 + 8 + 8 + 9 ) 4 = 8 2 5 ，由于阈值取2 ，第二次区域生长灰度值为7 的邻点被 接受，如图( c ) 所示。此时这五个已经接受点的平均灰度值为( 8 + 8 + + 9 + 7 ) 5 = 8 ，在该区域周围已经没有灰度值大于6 的邻点，即均匀测度为假，则停止区域 生长。图( d ) 、( e ) 为以灰度值7 为起点的区域生长结果。 上例虽然简单，但是指出了区域生长时必须要考虑的重要问题。即如何正确 1 6 5 4 2 3 5 4 2 3 地选择适当代表区域的起始点或者点集，如何选择均匀测度的阈值k ，以便在区 域生长过程中将各点正确地并入不同的区域，如何确定生长的中止条件或者规则。 参照上述的理论，我们总结出图像区域生长的一般步骤为： ( 1 ) 种子点或种子区域的选取； ( 2 ) 以该象素点为中心，检查它的邻域象素，比较各个邻域象素与该象素的 灰度差值，如果小于规定的阈值，则可以将其合并； ( 3 ) 以新合并的区域为中心，检查它的领域象素，比较各个邻域象素与该区 域平均灰度的差值，如果小于规定的阈值，则可以将其合并； ( 4 ) 当没有可以接受的邻点时，停止区域生长。 在种子象素的选取问题上，可以根据图像本身的特性来选取。例如，在红外 图像检测技术中，通常目标的辐射都是比较大，所以可以选择图像中最亮的象素 作为种子象素。如果没有图像的先验知识，那么可以借助生长准则对象素进行相 应的计算。如果计算结果可以看出聚类的情况，那么可以选择聚类中心作为种子 象素。 一般生长过程在进行到没有满足生长准的象素时停止。但常用的基于灰度、 纹理、彩色的准则大都基于图像中的局部性质，并没有充分考虑生长的“历史”。为 增加区域生长的能力常需考虑一些于尺寸、形状等图像和目标的全局性质有关的 准则。在这种情况下常需对分割结果建立一定的模型或辅以一定的先验知识。 大部分区域生长准则使用图像的局部性质。生长准则可根据不同原则制定， 而使用不同的生长准则会影响区域生长的过程。下面介绍3 种基本的生长准则和 方法。 1 灰度分布统计准则 这里考虑以灰度分布相似性作为生长准则来决定区域的合并，具体步骤为： ( 1 ) 把图像分成互不重叠的小区域； ( 2 ) 比较邻接区域的累积灰度直方图根据灰度分布的相似性进行区域合并； ( 3 ) 设定终止准则，通过反复进行步骤( 2 ) 中的操作将各个区域依次合并 直到终止准则满足。 如果检测结果小于给定的阈值，即将两区域合并。 采用灰度分布相似合并法生成区域的效果与微区域的大小和阈值的选取关系 密切，一般说来微区域太大，会造成因过渡合并而漏分区域；反之，则因合并不 足而割断区域。而且，图像的复杂程度，原图像生成状况的不同，对上述参数的 选择有很大影响。通常，微区域大小和阈值由特定条件下的区域生成效果确定。 2 区域形状准则 在决定对区域的合并时也可以利用对目标形状的检测结果，常用的方法有两 1 7 种： ( 2 ) 把图像分割成灰度固定的区域，设两邻区域的周长分别为p 1 和p 2 ，把 两区域共同边界线两侧灰度差小于给定值的那部分长度设为l ，如果( t 为预定阈 值) ： l m i n ( p1 ，p 2 ) t 1( 2 15 ) 则合并两区域； ( 3 ) 把图像分割成灰度固定的区域，设两邻接区域的共同边界长度为b ，把 两区域共同边界线两侧灰度差小于给定值的那部分长度设为l ，如果( t 2 为预定阈 值) l b t 2 ( 2 1 6 ) 则合并两区域。 上述两种方法的区别是：第一种方法是合并两邻区域的共同边界中对比度较 低部分占整个区域边界份额较大的区域，而第二种方法则是合并两邻接区域的共 同边界中对比度较低部分比较多的区域。 3 灰度差准则 区域生长方法将图像的象素为基本单位来进行操作，基本的区域灰度差方法 主要有如下步骤： ( 1 ) 对图像进行逐步扫描，找出尚没有归属的象素； ( 2 ) 以该象素为中心检查它的邻域象素，将邻域中的象素逐个与它比较，如 果灰度差小于预先确定的值，将它们合并； ( 3 ) 以新合并的象素为中心，返回到步骤( 2 ) ，检查新象素的邻域，直到区 域不能进一步扩张； ( 4 ) 返回到步骤( 1 ) ，继续扫描直到不能发现没有归属的象素，则结束整个 生长过程。 采用上述方法得到的结果对区域生长起点的选择有较大依赖性。为克服这个 问题可采用下面的改进方法： ( 1 ) 设灰度差的阈值为零，用上述方法进行区域扩张，使灰度相同象素合并； ( 2 ) 求出所有邻接区域之间的平均灰度差，并合并具最小灰度差的邻接区域； ( 3 ) 设定终止准则，通过反复进行上述步骤( 2 ) 中的操作将区域依次合并 直到中止准则满足为止。 3 1项目背景 3 轨道缺陷自动检测系统设计 国家“中长期铁路网规划”提出，至1 j 2 0 2 0 年我国将建设客运专线和城际客运系统 1 2 0 0 0 k i n 以上，车辆最高运行速度将达至u 2 0 0 k m h 以上，速度的大幅提高对钢轨表 面提出了更高的要求，主要体现在高安全性、高平直度、高的几何尺寸精度等方 面。其中高安全性不仅反映在优良的韧塑性及焊接性能等方面，还反映在钢质洁 净，表面无缺陷等方面。钢轨表面无缺陷，有利于提高抗疲劳性能、安全性能， 延长钢轨的使用寿命，是客运专线铁路钢轨的基本要求，也符合客运专线铁路要 求。 在当前铁路客运专线建设的大背景下，研究轨道表面缺陷的自动检测技术更 加具有现实意义。我校与铁道部科学研究院基础设施检测中心展开了关于“轨道表 面缺陷的自动检测系统”的合作。我们参与了检测系统的图像获取系统设计，并负 责了检测软件设计，包括图像与处理系统设计和缺陷检测算法的研究等。本文的 主要工作，来自于该系统的实验样机的开发。 3 2系统的主要技术要求 现实中的轨道表面情况复杂，受自然环境( 降雨、光照、阴影) 和人为因素( 污 垢) 影响严重。现有算法大多采用传统的图像处理方法，停留在理论阶段，算法设 计脱离实际情况，并没有正对轨道表面病害的特征，性能极为有限。 根据课题的要求，本系统的主要技术指标如下： 测试精度：0 5 m m 检出率 9 0 误判率 4 5 d b 动态范围：6 0 d b 灵敏度：在5 5 0 n m 的光源下为1 8 v 1 u x s e c 工作湿度：2 0 8 0 2 4 功耗，额定功率：1 7 5 w 接c 制标准镜头 支持w i n d o w s 9 x 2 0 0 0 x p 操作系统 支持用户二次开发【1 8 】 3 5 2光源和照明系统设计 光源的选择对于轨道缺陷检测系统的最终的成像质量有着直接的关系。对于 同一场景，照明光源的波长、光线入射角度、光强的大小及照射方式，都会对采 集数据造成影响，最终决定到图像检测结果。图像采集时，好的光源与照明方案 是系统成败的关键，起着非常重要的作用，它并不是简单的照亮被测铁轨，光源 与照明方案的配合应尽可能地突出轨道上的缺陷，使缺陷与轨道表面其余部分之 间尽可能地产生明显的区别，增加对比度；同时还应保证足够的整体亮度，拍摄 位置的变化不应该影响成像的质量。 图像采集过程中的照明方式以及光源的选择，取决于轨道自身的材料和形状。 如果没有合适的照明，轨道表面的反射光线很难进入摄像机的电荷耦合器件，照 出的图像黯淡并且图像不完整，无法提供缺陷检测所需要的图像信息，对于后续 的图像处理、缺陷提取以及缺陷类型的判别造成很大困难，检测精度也无法保证。 所以针对每个特定的应用，要选择相应的照明装置，以达到最佳效果。 光源的选择必须符合所需的几何形状、照明亮度、均匀度、发光的光谱特性 等，同时还要考虑光源的发光效率和使用寿命。 1 光源照明的影响因素 检测系统对于反射光源的使用非常频繁。轨道表面的形状、光泽及颜色决定 了光如何反射。系统的光源控制的诀窍归结到一点就是如何控制光源反射。如果 能够控制好光源的反射，那么获得的图像效果就可以控制了。要获得效果最佳的 反射光，需要考虑以下因素： 光源可预测：当光源入射到轨道表面的时候，光源的反应是可以预测的。光 源可能被吸收或被反射。不被吸收的光就会被反射，入射光的角度等于反射光的 角度，因此理想的图像的效果可以通过控制光源而实现。 反射控制：在光源设计时，最重要的原则就是控制好光源反射到透镜及反射 的程度。镜面反射的图像与漫反射的图像在成像系统中有着不同的表现，在进行 反射控制的时候要根据实际需要，选择光源照明方式和反射方式。 同时为了达到最佳的照明效果，还需要考虑以下影响反射效果的因素：光源 的位置，物体表面的纹理及光源的均匀性。 光源位置：既然光源按照入射角反射，因此光源的位置对获取高对比度的图 像很重要。光源的目标是要达到使缺陷特征与其周围的背景对光源的反射不同。 预测光源如何在轨道表面反射就可以决定出光源的位置。 表面纹理：轨道表面可能高度反射( 镜面反射) 或者高度漫反射，这是由轨 道表面的光滑度决定的。光源照射到轨道的表面并按照入射角反射。 光源均匀性：不均匀的光会造成不均匀的反射。图像中暗的区域就是缺少反 射光，而亮点就是此处反射太强了。不均匀的光会使视野范围内部分区域的光比 其他区域多。从而造成轨道表面反射不均匀。均匀的光源会补偿轨道表面的角度 变化。 光学照明方式有多种，大致可以分为：前方照明、镜面照明( 暗视场亮视场) 、 斜射照明、背面照明( 亮视场) 、正面照明等【1 9 1 。本系统会在夜间工作，要检测轨 道表面上的缺陷，凹陷缺陷或者裂纹，如果光线从这些缺陷的侧面斜射过来，会 由于光线照射不到这些缺陷内的区域而显示黑色，在a d 转换为8 位2 5 6 级灰度 图像时，缺陷与正常轨道表面的灰度对比度非常分明。因此根据这个外形特征， 选取斜射照明方式【2 0 l 。斜射照明方式如下图所示。 图3 2 斜射照明方式示意图 f i g3 2o b l i q u ei l l u m i n a t i o n 一旦选择了照明技术，接下来就是选择何种光源的问题了。光源应该照明形 状的需要，需要有足够的均匀度，且稳定性能要好。选择光源要考虑有关光源的 光谱特征、效率、寿命特性、费用等【2 3 1 。 2 光源种类的选择 轨道缺陷检测对于照明的需要是：有足够的均匀度，稳定性能好。应该考虑 下面的有关光源的特性【2 6 】【2 7 】： 光谱特征：光源的颜色及轨道表面的颜色决定了反射到摄像头的光能的大小 及波长。白光或某种特殊的光谱在提取其他颜色的特征信息时可能是比较重要的 因素。当分析多颜色特征的时候，选择光源的色温也是一个比较重要的因素。例 如卤素灯更多表现为黄色，氙灯显现蓝色。光源一般有红、绿、蓝、白、红外线 和紫外线，其中红色用得最多；蓝色波长短，适合检测物体表面质量；紫外波长 更短，散射性更好；而白色是中性颜色，适合拍彩色图片或者被测物体的颜色在 变化的；绿色的亮度很高且波长和蓝色接近，所以有时可用绿色代替蓝色；红外 光源一般用于半透明等物体的检测。 效率：有些光源效率很高，相对于能量的消耗，其散发出更加多的光能，例 如荧光灯。而钨灯，产生相当多的热量，能量消耗也很大。效率不高的光源产生 局部过热，能量浪费很多。一般情况下，光源的温度越高，其寿命就会越短，其 消耗的能量就相对较高。 寿命：光源一般需要连续长时间的使用。一个寿命为1 0 0 0 小时的光源，在两 班运转的情况下，只能持续一个星期左右。l e d 光源可以连续工作大约1 0 0 0 0 0 小 时。对多数光源，随着光源的老化，光源释放的能量会减少，根据光源类型的不 同，光能减小可能速度比较慢，也可能很快很明显。光能输出的变化可能也影响 着光谱特性。当光源的老化速度影响到图像处理结果的时候就必须更换光源。 对比度：对比度对系统来说非常重要。轨道表面检测系统的照明最重要的任 务就是使缺陷的特征与轨道其余部分的图像特征之间产生最大的对比度，从而易 于特征的区分。对比度定义为在缺陷与其周围的区域之间有足够的灰度量区别。 好的照明应该能够保证需要检测的特征突出于其他背景。 亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够 亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮 度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次， 光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够 的时候，自然光等随机光对系统的影响会最大。 鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。 当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。 方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性。在很多情况下， 好的光源需要在实际工作中与其在实验室中的有相同的效果。 表3 1 列出了几种主要光源的相关特性【2 0 】。 表3 1 各种光源对比 t a b l e3 1t h ec o m p e t i t i o no fd i f f e r e n tl i g h t s 卤素灯l e d 光源荧光灯 颜色白色，偏黄 红，黄，绿，白，蓝 白色，偏绿 使用寿命1 0 0 0 小时 1 0 0 0 0 小时3 0 0 0 0 小时1 5 0 0 3 0 0 0 小时 亮度很亮较亮，使用多个l e d 达到高亮度暗 伺服速度慢快慢 形状自由度小臼由度大，容易配线自由度小 特性几乎没有光寿命长，波长可以根据用途选择，制作扩散性好，适合大面 亮度和色温方便，运行成本低，耗电小积均匀照射 的变化 通过以上照明方式以及光源选取的规贝i j 看来，我们选择蓝光发光二极管( l e d ) 组合模块。采用这种特殊光源比闪光灯光源或其它连续启亮的高功率灯泡有很多 优胜之处： ( 1 ) 设计形状的多样性 一个l e d 光源是由许多单个l e d 发光管组合而成的，因而比其他光源可以做 成更多的形状，更容易针对实际应用需要，设计光源的形状和尺寸。 ( 2 ) 寿命长，发热少，效率高 为了使图像处理单元得到精确的，重复性好的测量结果，照明系统必须保证 相当长的时间内能够提供稳定的图像输入，l e d 光源稳定工作寿命达到1 0 0 0 0 至 3 0 0 0 0 小时，其发热少，效率高，此外，如果用控制系统使其间断性工作，可以抑 制发光管发热，寿命延长一倍。 ( 3 ) 响应速度快 l e d 发光管动态响应时间很短，能保证多个光源之间或一个光源不同区域之 间的高速切换。 ( 4 ) 运行成本低 其他光源不仅耗电是l e d 光源的2 1 0 倍，而且经常需要更换，投入使用的 光源越多，在期间更换和人工方面的花费就越大，因此选用寿命长的l e d 光源从 长远来看是很经济的。 3 5 3图像采集卡的选择 图像采集卡是系统硬件的重要组成部分，其主要功能是对相机所输出的视频 数据进行实时地采集，并提供与p c 的高速接口。 目前，图像采集卡种类很多，按照不同的分类方法，有黑白图像和彩色图像 采集卡，有模拟信号和数字信号采集卡，有复合信号和r g b 分量信号输入采集卡。 图像采集卡一般具有以下功能模块： 图像信号的接收与a d 转换模块，负责图像信号的放大与数字化； 摄像机控制输入输出接口，主要负责协调摄像机进行同步或实现异步重置 拍照、定时拍照等； 总线接口，负责通过计算机内部总线高速输出数字数据，一般是p c i 接口， 传输速率可高达1 3 0 m b p s ，完全能胜任高精度图像的实时传输，且占用较少的c p u 时间； 显示模块，负责高质量的图像实时显示； 通讯接口，负责通讯。 在选择图像采集卡时，主要应考虑到系统的功能需求、图像的采集精度和与 摄像机输出信号的匹配等因素。 1 系统的图像采集卡的要求 使用于本系统的图像采集卡需要实时完成高速、大数据量的图像数据处理， 因而具有特殊的结构。系统中，图像采集卡必须与相机协调工作，才能完成特定 的图像采集任务。 理解轨道缺陷自动检测系统对于图像采集卡的实际需求十分重要，以下是选 择检测系统中的图像采集卡时需要考虑的几个问题： 采样频率或最高时钟、带宽； 可支持相机的类型、个数、及数据格式； 接收来自数字相机的高速数据流，并通过p c 总线高速传输至系统存储器； 串口及i o 点的个数； 相机控制信号及外触发信号； 对相机及系统中的其他模块( 如光源等) 进行功能控制： 驱动程序兼容性及支持软件的性能。 2 硬件功能的对比 图像采集卡选择应以满足功能为前提，而非功能多、价格高为最佳。我们在 选择时综合考虑以下因素： ( 1 ) 相机支持。选用的相机与采集卡匹配，通常考虑如下几个方面： 不同视频信号的匹配：不同相机其输出的视频信号都是固定制式，如c c i r ， r s l 7 0 等等。某些采集卡，只能支持一种或几种制式。目前基本上都可以支持所 有制式的视频信号。即全制式。 不同分辨率的匹配：普通标准相机，所采用的芯片是标准格式，即长宽比4 ： 3 ；分辨率如7 6 8 、5 7 6 ，6 4 0 x 4 8 0 。有些采集卡不能够支持非标准格式的高分辨率 相机，如1 0 0 0 x 1 0 0 0 ，1 3 0 0 x 1 3 0 0 等。 异步信号：异步信号可以节省拍照时间。不过在选用具有异步信号功能的相 机之前，首先要确采集卡也有一此功能。对于运行速度要求极高的系统来说，这 至关重要。以r s l 7 0 为例，如果没有这一功能，系统等待拍照的时间为o 4 0 毫 秒。 逐行扫描：越来越多的系统会使用到逐行扫描相机，因此要首先知道采集卡 是否支持这种相机。 多频道：多数采集卡都可以同时控制两个以上的相机。 ( 2 ) 激发灯源。相当多的采集卡带有灯源激发功能，这不仅缩短了系统总体 2 9 运行的时间，简化编程人员工作。更主要的是这一功能可以更加有效地使灯源与 相机同步工作。 ( 3 ) 图像存储。相机拍照的时间最多为4 0 毫秒，而系统对于图像进行分析、 测量的时间则要长得多。在实际操作中，经常会出现相机“等待”p c 的情况。因此， 一些板卡便另设有一些内存，作为图像的缓冲区。即在前一幅图像尚未分析完之 间，接着所采集的图像，暂存到缓冲区中后再以原来顺序，逐一送至p c 内存。 最后根据实际要求所购买的采集卡型号是：嘉恒o km 1 0 b 。满足相机最高采 集速度，支持相机分辨率。 3 6轨道缺陷自动检测系统软件设计 软件系统功能包括对硬件设备和图像采集的控制、算法的实现，以及为用户 的使用提供方便友好的人机交互界面，由于数据量大，计算量大，还必须对系统 结构进行合理的安排，对模块的功能进行合理的划分，细致考虑模块间的逻辑关 系和信息传递方式。本研究选用v i s u a lc + + 6 0 语言作为系统的开发软件。图3 3 为系统的软件流程图。具体分为图像的采集、图像的预处理、缺陷检测等几部分。 本文将在第4 、5 两章重点介绍图像预处理系统和缺陷检测部分的设计与实现。 y 戮豫聚集l l 淄像颟处理i l 鲮隔徐铡l l i 结东l 图3 3 系统软件流程图 f i g3 3s y s t e ms o f t w a r ed i a g r a m 4 图像预处理系统实现 图像预处理是图像分析的一个重要环节，对图像进行适当的预处理过程，可 以使得图像更加便于分割和识别。一般情况下，成像系统获取的图像( 即原始图像) 由于受到种种条件的限制和随机干扰，往往不能在系统中直接使用，必须在视觉 的早期阶段对原始图像进行灰度校f ，噪声过滤等图像预处理。 本系统采用前面所述的光学系统、摄像机及图像采集卡来获取图像。获取的 图像实例如图4 1 所示。 图4 1 获取的图像实例 f i 9 4 1t h ei m a g ef e t c h e db yt h es y s t e m 4 1图像预处理系统结构 参见3 3 2 节系统结构图所示，图像预处理系统包含在图像处理系统当中。 图像预处理系统部分的结构如图4 2 所示。 图4 2 图像预处理系统结卡勾图 f i 酣2s t r u c t u r eo ft h ep r e p r o c e s s i n gs y s t e m 4 2将原始图像转换成灰度图 灰度图指只含有亮度信息，不含彩色信息的图像。存储狄度图像只需要一个 数据矩阵，矩阵的每个元素表示对应位置的像素的狄度值。将真彩色图像转换为 灰度图可以大大减少存储空间，加快图像处理的速度。我们所进行的图像处理均 是针对灰度图而言的，因此，缺陷检测的图像获取系统在采用彩色相机时，需要 对图像进行灰度转换。 b m p 格式的文件中并没有灰度图这个概念，但我们可以利用另一种颜色表示 方法y u v 很容易的实现b m p 文件来表示灰度图。这种表示方法中，y 分量的含 义就是亮度，u 、v 分别表示色差信号。所以y 分量自身就可以完全表示出一副灰 度图。y u v 和r g b 之问有着如下的对应关系： y =