（计算机软件与理论专业论文）基于反透视变换的图像分割方法的研究与软件实现.pdf

华北电力大学硕士学位论文摘要 摘要 针对铁路安全监控系统中图像分割问题进行了研究及算法实现。算法主要功能是 实现对铁轨图像中阻碍列车通行一定大小障碍物的准确分割。 在分析铁轨图像的采集环境及图像特征的基础上，提出了基于反透视变换的图 像分割算法。算法首先运用边缘检测原理及建立铁轨模板这一先验条件找出障碍物 的位置信息；接着运用反透视变换的原理消除铁轨图像所呈现的透视效果，还原其 在世界坐标系中的真实性质，为图像分割提供先决判断条件；最后根据得出的位置 信息及先决条件对满足大小条件的障碍物进行区域生长的分割处理并最终得到分 割结果。 在算法实现的基础上，对图片样本库进行了相关测试，测试结果表明了本文工 作的有效性。 关键字：反透视变换，图像分割，边缘检测 a b s t r a c t t h i sd i s s e r r t a t i o nh a sr e s e a r c h e do ni m a g es e g m e n t a t i o nf o rm o n j t o rs y s t e mo f r a i l w a ys a f e t y t h ea r i t l u n e t i cm a i n l yh a sr e a l i z e dt os e g m e n t a l i z er o a d b l o c kt h a t 、o u l d b l o c ko f rt h em o v i n gt r a i n a na r i t e t i cf o ri m a g es e g m e n t a t i o nb a s e do ni n v e r s ep e r s p e c t i v em a p p i n gh 嬲 b e e np r o p o s e da r e ra n a l y s i n gi m a g ef e a t u r e sa i l de x p e r i m e n t a lc o n d i t i o n s f i r s t l yt h c a r i t 胁e t i ch a sa p p l i e de d g ed e t e c t i o na n dt e m p l a t ec r e a t i o nt of i n dt h ep o s i t i o no f r o a d b l o c k a n dt h e ni th a sr e m o v e dt h ep e r s p e c t i v ee f j 【e c tf r o mt h ea c q u i r e di m a g ew i t h i n v e r s e p e r s p e c t i v em a p p i n g ，a n dh a sp r o v i d e dp r e c o n d i t i o n s a tl a s t ，i th a s s e g m e n t a l i z e dt h er o a d b l o c kb l o c k i n go f ft h em o v i n gt r a i nw i t ht h ea r i t h m e t i co fr e 舀o n g r o 、v i n g ，a c c o r d i n gt ot h ep o s i t i o no fr o a d b l o c ka r mp r e c o n d i t i o n s t h i sd i s s e r t a t i o nh a st e s t e dt h ea r i t i 吼e t i cw i t hm a n yd i f f b r e n ts 锄p l e s e v e n t u a l l y t h et e s t i n gr e s u l th a sp r o v e dt h e f e a s i b i l i t yo f t h i sd i s s e r t a t i o n j i nm e i y u ( c o m p u t e rs o f t w a r ea n d t h e o r y ) d i r e c t e db yp r o f s o n gy u k e yw o r d s ：i n v e r s ep e r s p e c t i v e m a p p i n g ，i m a g es e g m e n t a t i o n ， e d g ed e t e c t i o n 华北电力大学硕士学位论文摘要 摘要 针对铁路安全监控系统中图像分割问题进行了研究及算法实现。算法主要功能是 实现对铁轨图像中阻碍列车通行一定大小障碍物的准确分割。 在分析铁轨图像的采集环境及图像特征的基础上，提出了基于反透视变换的图 像分割算法。算法首先运用边缘检测原理及建立铁轨模板这一先验条件找出障碍物 的位置信息；接着运用反透视变换的原理消除铁轨图像所呈现的透视效果，还原其 在世界坐标系中的真实性质，为图像分割提供先决判断条件；最后根据得出的位置 信息及先决条件对满足大小条件的障碍物进行区域生长的分割处理并最终得到分 割结果。 在算法实现的基础上，对图片样本库进行了相关测试，测试结果表明了本文工 作的有效性。 关键字：反透视变换，图像分割，边缘检测 a b s t r a c t t h i sd i s s e r r t a t i o nh a sr e s e a r c h e do ni m a g es e g m e n t a t i o nf o rm o n j t o rs y s t e mo f r a i l w a ys a f e t y t h ea r i t l u n e t i cm a i n l yh a sr e a l i z e dt os e g m e n t a l i z er o a d b l o c kt h a t 、o u l d b l o c ko f rt h em o v i n gt r a i n a na r i t e t i cf o ri m a g es e g m e n t a t i o nb a s e do ni n v e r s ep e r s p e c t i v em a p p i n gh 嬲 b e e np r o p o s e da r e ra n a l y s i n gi m a g ef e a t u r e sa i l de x p e r i m e n t a lc o n d i t i o n s f i r s t l yt h c a r i t 胁e t i ch a sa p p l i e de d g ed e t e c t i o na n dt e m p l a t ec r e a t i o nt of i n dt h ep o s i t i o no f r o a d b l o c k a n dt h e ni th a sr e m o v e dt h ep e r s p e c t i v ee f j 【e c tf r o mt h ea c q u i r e di m a g ew i t h i n v e r s e p e r s p e c t i v em a p p i n g ，a n dh a sp r o v i d e dp r e c o n d i t i o n s a tl a s t ，i th a s s e g m e n t a l i z e dt h er o a d b l o c kb l o c k i n go f ft h em o v i n gt r a i nw i t ht h ea r i t h m e t i co fr e 舀o n g r o 、v i n g ，a c c o r d i n gt ot h ep o s i t i o no fr o a d b l o c ka r mp r e c o n d i t i o n s t h i sd i s s e r t a t i o nh a st e s t e dt h ea r i t i 吼e t i cw i t hm a n yd i f f b r e n ts 锄p l e s e v e n t u a l l y t h et e s t i n gr e s u l th a sp r o v e dt h e f e a s i b i l i t yo f t h i sd i s s e r t a t i o n j i nm e i y u ( c o m p u t e rs o f t w a r ea n d t h e o r y ) d i r e c t e db yp r o f s o n gy u k e yw o r d s ：i n v e r s ep e r s p e c t i v e m a p p i n g ，i m a g es e g m e n t a t i o n ， e d g ed e t e c t i o n 声明尸明 本人郑重声明：此处所提交的硕士学位论文基于反透视变换的图像分割方法 的研究与软件实现，是本人在华北电力大学攻读硕士学位期间，在导师指导下进 行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力 大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：垒塞垂日期： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权 保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或 其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校 可以学术交流为目的，复制赠送和交换学位论文：同意学校可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日 期：塑丑! ! 三： 导 t ?幻d 、 基名： ， 一一y 日期： 华北电力大学硕士学位论文 1 1 课题研究的背景和意义 第一章绪论 本文是以保定市天河电子技术有限公司开发的“铁路高危路段监控系统项目” 为背景，以项目中数字图像处理部分的主要环节一铁轨图像的分割方法为主要研究 对象。 铁路是国家的重要交通系统，是国民经济生活的命脉。随着铁路交通事业的快 速发展及列车运行速度的提高，如何保证铁路沿线的路轨、路基安全也交得越来越 重要。但由于铁路横跨地域广泛，线路环境复杂，所以铁路在正常运行和维护方面 比其他交通系统具备更多的特殊性。铁路灾难时有发生，除了由于技术原因和社会 原因造成灾难以外，灾害性天气造成的灾难也不容忽视，山体滑坡、泥石流、雪崩、 洪水都可能造成线路不畅。一旦出现这些险情，如果过往列车没有得到事先预警， 则后果将不堪设想。通常发生这些灾难的地区分布在无人的旷野，这也给线路维护 带来极大麻烦。传统高危路段预警方式通常采用人工现场值班的方法，这种方法不 仅费时费力，而且也存在一定的安全隐患。 此外铁道部为加快铁路信息化发展，提高信息化水平，制订了铁路信息化“十 五”规划，确定了铁路信息化建设的目标及总体要求。运输组织、客运营销及经营 管理是铁路信息化的三大领域l l 】。在这三大领域中，运输组织的安全是整个信息化 的关键。并且当今在交通系统中对安全的重视也提高到了日益重要的程度，在新建 线路特别是客运专线已将防灾系统列入了设计规范，防灾系统将是客运专线的运营 支撑系统，而不再是辅助性设备。 综上所述，铁路系统由于种种原因迫切需要开发一套用于检测铁轨线路上的异 常情况的安全监控系统，使铁路安全检测人员能够通过该安全监控系统确保铁路上 列车安全通行。铁路高危路段监控系统项目的开发将为中国铁路运营的安全提供一 种急需的技术手段，而对铁轨图像分割问题是铁路高危路段监控系统项目首先必须 解决的问题，也是最基础的研究问题。图像的分割效果直接影响到后续监控报警的 准确率。因此图像分割方法的研究在此项目中具有了举足轻重的作用，这也为本论 文的研究提供了有力而可靠的实践基础及意义。 1 2 国内外研究现状 1 2 1 图像分割方法的研究现状 华北电力大学硕士学位论文 在对图像进行研究和应用的时候，人们往往仅对图像中的某些部分感兴趣。这 些部分常称为目标或前景( 其他部分称为背景) 。它们一般对应图像中特定的、具有 独特性质的区域。为了辨识和分析目标，需要将它们分离提取出来，在此基础上才 有可能对目标进一步利用。图象分割就是指把图像分成各具特性的区域并提取出感 兴趣目标的技术和过程。这里特性可以是象素的灰度、颜色、纹理等，预先定义的 目标，可以对应单个区域，也可以对应多个区域1 2 】。由分割产生的区域是图像内容 的一种表示，它是对图像进行视觉分析和模式识别的基本前提，分割结果的质量直 接影响到以后的图像分析、识别和解释的质量，因此具有重要的意义。 图像分割作为图像分析的第一步，是计算机视觉的基础，是图像理解的重要组 成部分，也是图像处理、模式识别和人工智能等多个领域中一个十分重要且又十分 困难的问题。图像分割的应用非常广泛，几乎出现在有关图像处理的所有领域，如： 工业自动化、在线产品检验、生产过程控制、文档图像处理、图像编码、遥感和生 物医学图像分析、保安监视，以及军事、体育、农业工程等方面【3 j 。在各种图像应 用中，对图像目标进行提取、测量等都离不开图像分割。尽管人们对图像分割已进 行了大量的研究，但还没有一种适合于所有图像的通用的分割算法。所以，图像分 割一直以来都是图像技术中的研究热点。因此，从原理、应用和应用效果等方面来 深入研究图像分割技术，对于提高图像分析和图像理解系统的性能以及提高图像处 理技术的应用水平都具有十分重要的意义。 图像分割的研究最早可以追溯到2 0 世纪6 0 年代，经过近四十年的研究，国内 外学者已经提出了上千种不同的算法，但目前还没有一种适合于所有图像的通用的 分割算法，绝大多数算法都是针对具体问题而提出的。另一方面，给定一个实际应 用要选择合适的分割算法仍是一个很麻烦的问题，由于缺少通用的理论指导，常常 需要反复的进行实验。在已提出的这些算法中，较为经典的算法有阈值分割法、区 域增长技术、基于边缘检测方法。另外2 0 世纪8 0 年代末期以来，在这些经典算法 的基础上提出了基于小波变换的分割算法、基于数学形态学的分割算法、基于模糊 数学的分割算法、基于遗传算法的分割方法、基于神经网络分割算法、基于分形的 图像分割技术、基于信息论的图像分割技术等等。 尽管国内外学者对图像分割技术有了广泛的研究，但仍很难得到可靠的图像分 割方法，其原因如下：l 、由于光照的变化，图像中像素的亮度可能不连续；图像中 物体和背景往往对比不够明显；2 、每一种分割算法都是利用图像的一些特定的性 质来进行分割的，适合于分割一类图像的算法不一定适合另一类图像；也可能对于 同一幅图像，对于不同的区域也要用到不同的分割方法：3 、现有的好多技术都不 适合于实时或接近实时的处理。h u n g 对不同的因素给了详细的描述，正是这些因素 导致了图像分割的困难。在图像分割的研究方面，虽然发表了大量的研究成果，但 2 华北电力火学硕士学位论文 目前仍旧缺乏可行的通用方法和策略。至今，已出版了大量有关图像工程( 包括图像 处理，图像分析，图像理解) 理论研究和技术应用的专门书籍，许多书均有专门的章 节论述图像分割技术。并且有关图像分割技术的综述文章也己发表了很多，它们所 引用的有关图像分割研究的参考文献数以千计。国际上每年都召开许多次有关图像 技术的学术会议，其中许多大会，如i c a s s p ，i c p ，i c p r ，s p i e ，都有图像分割主 题和分会。事实上图像分割多年来一直是图像技术中的研究热点，至今仅各种类型 的分割算法就己提出了上千种，而且近年来每年都有上百篇有关研究报道发表。但 据了解，至今罕有专门论述图像分割的书籍出版，目前国内有关图像分割的专著仅 有清华大学章毓晋编著的图象分割( 2 0 0 l ，科学出版社) 一本，即使国外有关图 像分割的专著也很少。其主要原因为：第一图像分割还没有建立起统一的理论，第 二已提出的技术和算法种类繁多且分属不同。 1 2 2 反透视变换的研究现状 在采集目标物体信息的时候，我们通常使用摄像机或照相机获取他它们的图像。 通常获取的图像是一种人类视觉系统比较习惯认知的透视图，由于透视效果的存 在，使得铁轨在图像的底部比较清晰、容易识别，但是在灭点附近的却难以识别， 因为此时原本平行的铁轨特征已不存在。此外图像中各点所代表的实际尺寸和信息 也不一致，使得远处和近处的铁轨相差很远。总的来说这对于分割及识别铁轨上一 定大小的障碍物是很不利的。 而实际中人们往往希望能得到消除透视变换影响的、反映其在自然界的真实映 像的判断结果。例如在本算法中需要分割出影响列车通行一定大小的障碍物，而经 过透视变换的图像已经完全不能显示出算法感兴趣的部分的真实大小，为了能弥补 这种不足。算法运用了反透视变换的概念，还原摄像机采集到的图像中认为可能存 在障碍物部分的原始大小。若其原始大小超过阈值，就将其分割出来，作为最终的 分割结果。否则认为此时的障碍物很小不会对列车通行没有影响，则不用进行图像 分割操作。 反透视变换的理论在数学及图形学领域是比较成熟的理论。在应用方面它也有 很广泛的领域。由美国卡内基梅隆大学机器人学院开发的r a l p h 系统首先对输入 图像运用反透视变换原理进行了图片处理，将前视图转换为准俯视图，再确定道路 的曲率，然后计算车辆偏离车道中心的距离。该系统在假设道路表面为平面的基础 上，利用反透视变换的理论及跟踪道路的平行线方法，提高了对道路标识不清晰的 道路识别算法的鲁棒性。随后由n a v l a b 实验室和v i s i o n & a u t o n o m o u ss v s t e m s c e n t e r ( v a s c ) 采用两个彩色摄像机联合开发的s c a r f 系统中也采用了反透视变换 的理论，并收到了良好的效果，在一定程度上提高了道路识别技术。在公安系统中， 华北电力大学硕士学位论文 办案人员经常从事故现场拍回一系列的图片，比如含有罪犯脚印或指纹的图片，通 过分析来判断罪犯的年龄、性别、身高等具体特征时，失真的图像是无法获得准确 信息的，所以必须使用反透视变化使图像恢复原状。在建筑学领域中，反透视变换 也可用于建筑物测量等方面。 1 3 论文要解决的问题和工作要点 本文以铁路高危路段监控系统项目为背景，对基于反透视变换的图像分割问题 进行了研究。算法的主要功能是完整、准确的分割出铁轨图像中位于铁轨之上对列 车通行造成障碍的物体，为铁路高危路段监控系统实时可靠的识别各种不同的障碍 物提供准确的分割结果。本算法在开发的时候为了达到理想的分割效果，综合利用 了多种图像处理方法：图像增强、图像边缘检测及图像分割等。 根据本算法的功能，其主要的工作是： l 、采用图像边缘检测的方法提取出铁轨的边缘。 2 、对铁轨边缘图采用曲线拟合的方法得出铁轨模板图作为图像分割的先验条件( 同 一环境只需拟合一次，以后的图片处理中将其作为已知条件使用) 。 3 、由铁轨边缘图与模板图对铁轨的完整性进行分析。 4 、对铁轨信息不完整处进行反透视变换分析。 5 、根据反透视变换的分析结果对感兴趣区域进行图像分割。 1 4 论文内容安排 本论文主要对基于反透视变换的图像分割的方法进行了研究。 全文共分为六 章，各章节安排如下： 第一章：绪论。首先介绍了本课题研究的背景及意义，然后分析了反透视变换 及图像分割技术的研究现状，最后提出了本论文要解决的问题及工作要点。 第二章：基于反透视变换图像分割算法的设计。简述了本算法的结构、设计思 路及每个模块的概要。 第三章：对图像进行边缘检测和模板生成。首先介绍了图像边缘检测的原理， 然后运用此原理对图像中的铁轨进行边缘检测。最后在提取的铁轨边缘的基础上由 曲线拟合生成模板，作为后续图像分割的先验条件。 4 华北电力大学硕士学位论文 第四章：铁轨信息不完整处的反透视变换。主要讲述了反透视变换的原理及如 何对铁轨图像进行反透视变换操作。 第五章：铁轨图像的分割。首先介绍了图像分割的基本概念及不同分割方法的 基本原理。利用第四章提供的信息对铁轨图像进行图像分割操作并得出分割结果。 第六章：结论与展望。总结了本论文所解决的问题及所做的基本工作，通过对 这些内容的总结提出了本文继续研究的方向。 华北电力大学硕士学位论文 第二章基于反透视变换图像分割算法的设计 2 1 基于反透视变换图像分割算法整体设计 基于反透视变换图像分割算法的主要功能是能准确完整的分割出在铁轨上对列 车通行造成影响的障碍物。此算法所处理的对象是由摄像机定点拍摄所采集的静态 图片。由于是定点拍摄，因此铁轨在图像中的位置是基本没有变化的，这为本算法 提供了一定的有利条件。摄像机在安装时为了能更大范围采集到图像必须具有一定 的高度及角度，此采集图片的过程经过了透视变换，即将三维世界中的物体转换到 二维图像中。透视变换的存在使得铁轨在图片中失去了原有的平行关系，并且在图 片中所表现出来的铁轨大小也与其距离摄像机的距离有着密切的关系。这给分割不 同位置一定大小的障碍物带来了困难。 为了利用上述有利条件并克服不利条件，本文设计了基于反透视变换的图像分 割的算法。算法首先充分利用铁轨在图像中的位置基本不变化的性质，通过人工标 定铁轨位置之后由曲线拟合生成铁轨模板( 即描述铁轨的位置信息) ，为后续的图 像分割提供先验条件。其次运用图像边缘检测的原理对铁轨图像进行铁轨边缘提 取，并运用铁轨边缘图与铁轨模板分析当前图片中铁轨的完整性。如果发现铁轨不 完整( 即存在缺口) ，则对缺口处进行反透视变换分析，还原了缺口在世界坐标系 中的真实性质( 即得出缺口在世界坐标系中的真实大小) 。当判断此缺口的真实大 小大于等于一定阈值时，算法就认为当前造成此缺口的物体很有可能就是障碍物， 则在此缺口处进行图像分割操作并得出分割结果。当判断此缺口的真实大小小于一 定阈值时则认为当前造成此缺口的物体不会影响到列车通行，因此不需要对其进行 图像分割操作。这样做的目的是提高算法的运算速度，满足其实时性的要求。本算 法在实现时需要首先生成铁轨模板图作为图像分割的先验条件，此步骤可以独立于 本算法之外，但是是个必要且重要的环节。图2 1 及图2 2 分别用结构示意图来 描述铁轨模板生成过程及基于反透视变换图像分割算法过程。 图2 1 铁轨模板生成结构示意图 6 华北电力大学硕士学位论文 图2 2 基于反透视变换图像分割算法结构示意图 2 2 图像边缘检测 图像边缘是图像的最基本的形状特征。形状特征提取通过边缘检测获取图像的 形状，边缘一般是指周围像素灰度强度有反差变化的那些像素的集合【5 j 。例如：灰 度级的突变，颜色的突变，纹理结构的突变等。边缘广泛的存在于目标与目标、物 体与背景、区域与区域( 含不同的颜色) 之间，它是图像识别的重要特征。一般来 说，图像的边缘检测需要如下几个步骤： 滤波：边缘检测算法主要是基于图像灰度的一阶和二阶微分，但是微分的计算 对噪声很敏感，因此必须使用滤波器来降低噪声，特别需要指出，大多数滤波器在 降低噪声的同时也导致了边缘强度的损失睁8 1 ，因此，在增强边缘和降低噪声之间 需要兼顾。 增强：增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将邻 域( 或者局部) 强度值有显著变化点突显出来，边缘增强一般是通过计算灰度的一 阶和二阶微分来完成的1 9 j 。 检测：在图像中有许多点的微分幅值比较大，而这些点在特定的应用领域中并 不是边缘，所以应该用某种方法来确定哪些点是边缘点，哪些点不是边缘点，最简 单的边缘检测方法是对微分幅值进行阈值判断【l 们。 定位：如果某一场合要求确定边缘位置，则边缘的位置可以在子像素分辨率上 来估计，边缘的方向也可以被估计出来。 在边缘检测算法中，前3 个步骤是用得十分普遍的。这是因为在大多数场合下， 仅仅靠边缘检测器指出边缘的位置出现在图像某一像素点的附近，而没有必要指出 边缘的精确位置或方向。边缘检测误差通常是指边缘误分类误差，即把非边缘判别 成边缘而保留，而把边缘判别成非边缘而去掉。 常见的一阶微分算子有r o b e n s 、s o b e l 、和p r e w i t t 算子等【1 1 1 ，其边缘检测的原 理是：由于微分算子具有突出灰度变化的作用，对图像进行微分运算，在图像边缘 处其灰度变化比较大，故该出微分计算值比较高，可将这些微分值作为相应点的边 7 缘强度，通过闽值判别束提取边缘点。在二维空问中，对应的二阶导数有2 种算f ： 拉普拉斯算子和二一阶方向导数，二阶导数算子在实际中搬少单独使垌，斟为任何包 含响二阶导数的算子比只包含有一阶导数的算子更容易受到噪声的影响，甚至阶 导数很小的局部峰值也可能导致二阶导数过零点，为了避免噪声的影响，在使用一 阶导数算子进行边缘榆测前，必须采用特别有效的滤波方法束进行去噪，般采用 高斯滤波1 12 1 的方法。 那么什么足既能滤去噪声又能保持边缘特性的边缘检测最优滤波器呢? 不少 研究者从一定的边缘模型及噪声模型出发，提出，边缘抽取的最优滤波器，这些研 究嚣都采用最简单的阶跃边缘与u j 加性的自噪声模型【l “。在这些模型假设下，c a n n y 首次提出了用于边缘检测的一阶微分滤波器的3 条昂优化准则即最大信号噪声比 准则、最优过零点定位准则与多峰值响应准则( 1 ，并用娈分原理推出最优化滤波器 函数形式应近似为高斯甬数的一阶微分，因此采用c a n n y 算子进行边缘检测有很大 的优势，其具体细节见后面章节。 23 模板生成与定位 亦算法主要足为了分割出在铁轨上对列车通行造成影响的障碍物，其研究的对 象很明确，即图像中铁轨位置处。铁轨是旦有很明显几何特征的物体( 两条铁轨始 终相互平行) ，且其位置是同定不变的，当摄像机及采集设备固定的情况下，铁轨 在图像叶1 的位置是几乎没有变化的。因此在算法中可以加以利用铁轨位置不变这个 先验条什。算法中仅需要在图像同定像素位置处( 即幽定铁轨处) 膏看是否有异常 信息出现，即可判断出是否存在拟障碍物。这里所说的模扳就是指铁轨的边缘信息， 如图23 所示。 a ) 铁轨棘引( b ) 铁轨的模板陶 图23 铁轨楼板示意图 华北电力大学硕士学位论文 铁轨模板图的生成采用了曲线拟合的方法。曲线拟合就是利用假想为曲线( 或 接近它们) 的一组离散的点集合，寻找形式比较简单、性能良好的曲线解析式。曲 线拟合有两种方式：插值方式与逼近方式。插值方式通过原先给定的离散点，而逼 近方式与所给的离散点相当“接近 。 曲线拟合的最终目的是使得这些离散点能够达到最佳拟合。所谓的最佳拟合现 在有很多不同的方法定义，并且存在无群数目的曲线。但证实是否是最佳拟合只有 一个原则，即所有离散点与拟合曲线相对应点之间的距离求平方和，称作为误差平 方和。当误差平方和最小的时候，即为最佳拟合曲线。 在实际的工作环境中，由于大风或者火车产生的振动会使镜头产生小范围的晃 动，其成像就会产生铁轨位置的偏移，但是其基本的几何信息还是不变的，产生变 化的只是这个几何信息在图像中的位置( 即偏移几个像素) ，因此，可以设计算法 对原模版进行定位，这样就可以利用先验知识更加准确和稳定地算出铁轨的位置， 为后面的图像特征分析提供更好的依据。 2 4 图像特征分析 图像特征分析的主要功能是根据铁轨的边缘图与重新定位的铁轨模板图，判断 出铁轨信息的完整性。如果铁轨边缘图中模板位置相对应的像素均存在边缘信息， 则认为铁轨信息是完整的，即此时不存在障碍物。否则认为铁轨信息不完整的地方 有可能存在障碍物。 在图像特征分析时，主要应用了铁轨的边缘图与重新定位的铁轨模板图的信 息。二者是上述边缘检测及模板建立的最终结果，其表现形式是与原图同样大小的 图片，图片中仅用黑色( 值为o ) 与白色( 值为2 5 5 ) 的像素表示( 黑色表示边缘 及模板信息，其余像素均用白色表示) 。图像特征分析就是将二者做相与操作，由 此查看铁轨边缘图中的铁轨信息是否完整，如完整则意味着当前铁轨上没有物体影 响列车通行，否则意味着可能存在影响列车通行的障碍物，并分析有几段不完整的 信息( 即可能存在几个障碍物) ，将其结果( 缺口信息) 以图像的形式表示出。 2 5 反透视变换 本算法中所需处理的图片是由摄像机采集到的，其表现形式是一种人类视觉系 统比较习惯于认知的透视图。由于透视效果的存在，使得图像中铁轨在近端表现的 比较清晰，分辨率相对比较高；而在远端则表现的比较模糊，分辨率相对比较低。 9 华北电力大学硕士学位论文 表现出来的效果是近端与远端铁轨的宽度等性质相差甚远。这对于计算机识别出一 定大小的障碍物是很不利的。 受到基于单目视觉的投影分析方法的启发，本文综合了反透视投影变换的方法 来研究铁轨图像的分割。该方法通过对铁轨信息不完整处进行反透视变换的分析， 重现铁轨缺口在世界坐标系中真实大小。并根据其大小确定后续的图像分割操作， 最终分割出在铁轨上影响列车通行的一定大小的障碍物。反透视变换一般需要考虑 以下几个方面； 摄像机的参数：摄像机的安装及摄像机焦距、分辨率、视角范围等参数都直接 影响到世界坐标系中的物体在图像中的位置。为了能使得图像中的物体消除透视变 换的影响，准确的反映相互之间的位置关系，必须要严格测量得知摄像机的参数。 坐标系之间的转换：反透视变换的作用是将二维的图片坐标系中的物体还原到 三维世界坐标系中。在此转换过程中，像素点的形成要经过四个坐标系之间的转换。 因此必须准确了解四个坐标系之间的转换，但首要的任务是正确的建立他们。 二维坐标系与三维坐标系之间的对应关系。通过对摄像机参数的获得及各个坐 标系之间的转换我们可以得到二维坐标系与三维坐标系之间的对应关系式，由这个 关系式可以很清楚的找到彼此的点，从而达到反透视变换的最终目的。 反透视变换的结果。经过反透视变化可以清楚的得知原图中每个象素在世界坐 标系中的具体位置，同理可以得出铁轨缺口在世界坐标系中的位置，继而能得知铁 轨缺口的真实大小。而本算法中运用反透视变换的作用就是需要知道铁轨缺口的真 实大小从而为后续图像分割提供可靠的判断条件，这样就避免了不必要的分割操 作，在很大程度上提高了算法的速度，满足其实时性的要求。 2 6 图像分割 图像分割是一种重要的图象分析技术。在对图像的研究和应用中，人们往往仅 对图像中的某些部分感兴趣。这些部分常称为目标或前景( 其他部分称为背景) ，它 们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析图像中的目标， 需要将它们从图像中分离提取出来，在此基础上才有可能进一步对目标进行测量和 对图像进行利用。图象分割就是指把图像分成各具特性的区域并提取出感兴趣目标 的技术和过程。 铁轨上存在障碍物类型有很多种，不同类型的障碍物会对铁轨造成不同的影 响，因此后续的识别算法需要将其准确识别进行分类处理。这就对前序图像分割操 作提出了要求，必须将可能有影响的障碍物完整准确的分割出来。前述边缘检测及 l n 华北电力大学硕士学位论文 反透视变换的操作为是否需要进行图像分割提供了一个可靠的条件。当前述判断当 前缺口信息超过一定大小时就在缺口处进行图像分割得出障碍物，否则认为不存在 障碍物即没有分割结果。 数字图像处理技术发展了几十年，技术相对来说比较成熟，图像分割是数字图 像处理中较为基础的处理方法之一。图像分割是由图像处理进到图像分析的关键步 骤，也是一种基本的计算机视觉技术。这是因为图像的分割、目标的分离、特征的 提取和参数的测量将原始图像转化为更抽象更紧凑的形式，使得更高层的分析和理 解成为可能。图像分割的分类方式有很多种，在本文中将图像分割方式从基于阈值 的图像分割、基于区域的图像分割及基于边缘检测的图像分割方法三种方式来介 绍。 本算法中采用了基于区域的图像分割方法中区域生长法来对图像进行分割。基 于区域的分割方法是依赖于图像的空间局部特征，如灰度、纹理以及其他像素统计 特性的均匀性等对图像进行分割的。典型的基于区域的分割方法有区域生长法、分 裂一合并法等。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。 具体实现是对每个分割的区域找个种子像素作为生长的起点，根据某种实现确定的 生长或相似准则，在种子像素周围领域中寻找与种子像素有相同或相似性质的像 素，并将这些像素合并到种子像素点所在的区域中。将这些新像素当作新的种子像 素进行上述的过程，知道再没有满足条件的像素可被包括进来，这样一个区域就长 成了。 在实际应用区域生长法时需要解决三个问题： 1 、选择或确定一组能正确代表所需区域的种子像素。种子像素的选取常可借助具 体问题的特点来选取。如果对具体问题没有先验知识，则可以借助生长准则对每个 像素进行相应计算。如果计算结果呈现聚类的情况则接近聚类重心的像素可选取为 种子点。 2 、确定在生长过程中能将相邻像素包括进来的准则。生长准则的选取不仅依赖于 具体问题本身，也和所用图像数据的种类有关。另外还需要考虑像素间的连通性和 邻近性，否则有时会出现无意义的分割结果。 3 、制定让生长停止的条件或准则。一般生长过程在进行到没有满足生长准则需要 的像素时停止。但常用的基于灰度、纹理、彩色的准则大都基于图像中的局部性质， 并没有充分考虑生长的“历史 。为增加区域生长的能力常需要考虑一些与尺寸、 形状等图像全局性质有关的准则。在这种情况下常需要对分割建立定的模型。 华北电力大学硕士学位论文 2 7 本章小结 本章主要是对基于反透视变换的图像分割整个算法的综述及各模块的介绍。首 先通过对铁轨图像特征的分析介绍了算法的整体设计及结构。其次对各个模块进行 了功能阐述，通过对各模块采用的图像处理技术的可行性分析，确定各个子模块所 采用的理论依据。 1 2 华北电力火学硕士学位论文 3 1 图像边缘检测 第三章图像边缘检测与模板生成 图像边缘是图像特征之一，它蕴含了图像丰富的内在信息( 如方向，阶越性质 与形状等) 。图像边缘往往是由图像中景物的物理特性发生变换而引起的，如物体 的成像亮度( 阴影等) 、几何特性( 方向和深度等) 以及反射系数，它广泛存在与 物体与背景之间、物体与物体之间和区域与区域之间。图像边缘和图像内容的物理 特性之间存在着直接的联系，因此图像的边缘包括了图像大部分的信息。 边缘是指图像灰度( 亮度) 发生空间突变或者在梯度方向上发生突变的像素集 合。常见的图像边缘大体可以划分为阶梯状边缘、脉冲状边缘及屋顶状边缘，其中， 阶梯状边缘两边的灰度值有明显的变化，处于图像中两个具有不同灰度值的相邻区 域之间：脉冲状主要对用细条状的灰度值突变区域；而屋顶状边缘在灰度增加和减 小的交界处，其边缘上升下降沿都比较缓慢。在数学上可以利用其灰度变化曲线的 一阶、二阶倒数来描述两种不同的边缘，同样也可以用这种性质来检测图像的边缘 信息。图3 1 中分别给出了上述三种边缘的示意图、剖面图、一阶导数及二阶导数 的变换规律。 图像 剖面 一阶导数 二阶导数 团回 圈衄 阶梯状边缘 阶梯状边缘脉冲状边缘 屋项状边缘 图3 1 边缘及导数示意图 3 1 1 一阶边缘检测算子 一幅数字图象的阶导数是基于各种二维梯度的近似值。图像f ( x ，y ) 在位 1 3 牛=十 tr + 华北电力大学硕士学位论文 置( x ，y ) 的梯度可定义为下列向量( 两个分量分别是沿x 和y 方向的一阶导数) ： 厂c x ，y ，= 盖 = 劭。 玉 可 砂 ( 3 - 1 ) 从向量分析中，梯度向量指向坐标( x ，y ) 的厂的最大变化方向。梯度有幅值及方 向两个属性，厂( 石，y ) 的幅值为 可爿厂( x ，y ) i - 【q + 嘭】；，或夥爿厂( x ，y ) h q l + i q i 梯度的方向是函数厂( x ，y ) 增加最快的方向，定义为 ( 3 2 ) 舡川= a r c 伽( ( 3 - 3 ) 在这里，角度是以x 轴为基准度量的。一般常用的一阶微分算子有如下几种： 3 1 1 1 差分边缘检测方法 差分边缘检测方法是最原始、经典的边缘检测方法，它根据图像像素灰度变化 的一阶导数是否处于极值( 阶梯状边缘) 的原理进行奇异点检测。差分边缘检测方 法可以通过对像素点边缘强度设定阈值进一步得到边缘图像，阈值的选取决定了边 缘检测的效果。差分边缘检测方法要求差分的方向要和边缘方向正交，如果要精确 检测边缘，需要对图像的不同方向都进行差分运算，显然这会带来繁琐的运算，因 此差分边缘检测方法已经很少被采用。常见的垂直边缘、水平边缘和对角边缘的方 向模板为图3 2 所示。 3 1 1 2r o b e n s 边缘检测算子 图3 2 方向模板示意图 r o o 1 睢三j 任意一对互相垂直方向上的差分可以堪称求梯度的近似方法，r o b e i r t s 边缘检测 1 4 - _ o o 0 缘边 0 1 o 线角 o o o 埘 o o o 缘 l l + 6 o 。o 泐水 o o o lliillllj o o o 缘 o 0 边直 o o o 垂 算子利用泼原理，采用对角线方向相邻两像素之差代替梯度，即 i 尼( f ，) = 工2 十2 或 月( 1 j ) 刊正| + l ( 3 5 ) ( 3 6 ) 通过差分可以求得r 。b e n s 算子在差分点( f + l 2 ，+ 1 ，2 ) 处连续梯度幅度的近似 值r ( 1 ，) 。适当选取闽值f ，如果r ( r ，1 r ，则认为点( i ，) 是边缘点 r o b e n s 边缘检测算子采用对角线方向相邻两像素之差进行梯度幅度检测，其 检测水平、垂直方向边缘的性能要好于斜线方向边缘，并且检测定位精度比较高， 但对噪声敏感。 阁：j ：j 待提取边缘的铁轨图像 为博 为 秽 以膦爿艇 o 幅和，i度 f f 浒 华北电力大学硕士学位论文 图3 4r o b e r t s 提取的边缘图像 3 1 1 3s o b e l 边缘检测算子 s ( f ，) = 正了了孑或s ( f ，) = m a ) ( i 五i ，i i ) ( 3 7 ) 眯| ：孵习 仔9 ， 和，接近模板中心的权值较大。适当选取阈值f ，如果s ( f ，歹) 彳，则认为点( i ，_ ) 是 1 6 、 t 毒 ；，r一：，移哆。 华北电力大学硕士学位论文 边缘点。 s o b e l 边缘检测算子不但可以产生较好的边缘效果，而且对噪声具有平滑作用， 减小了对噪声的敏感性。但是，s o b e l 边缘检测算子也检测出了一些伪边缘，使得 边缘比较粗，降低了定位精度。在检测定位精度要求不是很高的情况下，s o b e l 边 缘检测算子是比较常用的边缘检测算子。 图3 5s o b e l 提取的边缘图像 3 1 1 4 p r e w i t t 边缘检测算子 p r e w i t t 边缘检测算子是一种类似s o b e l 边缘检测算子的边缘模板算子，通过对 图像进行八个方向的边缘检测，将其中方向响应作为边缘幅度图像的边缘。p r e w i t t 边缘检测算子定义为： ll一1 1 21 1ll ( e ) 两南方向 匪 旧1 ll l i一2一l i一11 ( g ) 西北方向 图3 6p r e w i t t 边缘检测算子模板图 1 7 1i l 1 一 向方。乏。毗 l d l l 一 ( 向。之。舫 正 l，-工，l_ ) 一 一 一 j 一 一 一 句方。乏。硒 。乏。撇 1 l d o o m 华北电力大学硕士学位论文 p r e w i t t 边缘检测算子并不把重点放在相邻的像素上，它对噪声有平滑作用。但 是与s o b e l 边缘检测算子一样，它检测出的边缘比较粗，定位精度比较低，容易损 失如角点这样的边缘信息。由于p r e w i t t 边缘检测算子是通过八个方向模板对图像进 行卷积运算，显然其运算量是比较大的，假设幅的图像，用p r e w i t t 边缘检 测算子处理该图像需要5 6 2 次加法运算和1 6 2 次乘法运算，影响了边缘检测的速 度。通过将八个方向按顺时针排列( 不包括中间值) 成一个8 8 的循环矩阵，对该 循环矩阵进行变换可以达到减小运算速度的效果。 爿， c ， t 乡! ? 。：，。： ：三，0 ：尊。 。r ；町 一； l j 瓷。i ，： 图3 7p r e 晰t t 提取的边缘图像 3 1 2 二阶边缘检测算子 上述的算子均为一阶微分算子，如果所求的一阶导数高于某一阈值，则就会确 定该点为边缘点，这样做就会导致边缘点太多，一种解决的方法就是求梯度局部最 大值对应的点，并认定他们是边缘点。如图3 8 所示，若用阈值来进行边缘检测， 则在a 和b 之间的所有点都被标记为边缘点。但通过去除一阶导数的非局部最大值， 可以检测出更精确的边缘点。一阶导数的局部最大值对应着二阶导数的零交叉点， 这样，通过找图像强度的二阶导数的零交点就能找到精确的边缘点。 1 8 华北电力大学硕士学位论文 f ( x ，y ) ， 。 f ，( y ) 厂 阈值 b 一k i ，d 八 u 图3 8用阈值和二阶导数进行边线检测示意图 三 一，2 1 一12 一。 ( 3 一- t ， 拉普拉斯( l a p l a c i a n ) 算子定义为：v 2 厂= 等+ 軎。利用二阶差分代替二阶 对于阶梯状边缘，二阶导数在边缘点出现零交叉，边缘点两边二阶