（应用数学专业论文）道路裂缝识别算法研究.pdf

北京邮电大学硕士学位论文摘要 道路裂缝识别算法研究 摘要 道路裂缝检测在公路养护中占有十分重要的地位。传统基于人 工检测的方法已不能适应我国道路发展的要求。人工检测存在着开销 大、检测慢、危险、影响交通、不精确等缺点。因此，需要一种新方 法来提高检测效率。目前基于数字图像技术的道路裂缝检测方法己成 全球研究热点。该方法首先使用数字摄像机采集路面图像，再利用计 算机进行图像处理，最后得到裂缝信息。然而，由于受路面复杂性、 多样性的影响，一般的检测算法往往存在适用性不强，识别率低等缺 点。 为此，本文提出了一种新的检测算法以适应不同路面，不同光照 的情况。本算法首先对图像进行预处理操作，随后使用b p 神经网络 对预处理得到后的图像进行裂缝区域的识别，最终从识别结果图中提 取出裂缝信息。 在图像预处理操作中，首先通过中值滤波和傅里叶变换消除图像 中的噪声；再使用部分重叠的直方图均衡方法消除光照不均匀的影 响；最后利用高提升滤波模板锐化图像，突出裂缝的细节特征。 在预处理得到的图像的基础上，本文使用b p 神经网络进行裂缝 区域的识别。首先将原图像划分为面积较小的正方形子块，结合裂缝 特征提取每个子块的特征参数；然后根据这些特征参数，利用b p 神 经网络对在子块中是否存在裂缝进行判别；最后利用h o u g h 变换去 除水泥道路的接缝噪声。 最终，从识别结果图中提取裂缝信息。根据得到的识别结果图， 设定一系列判定条件，提取出裂缝的连通域；对这些连通域进行开闭 操作，达到去除毛刺、空洞、缺口的目的；最后使用骨架化算法得到 裂缝骨架，并计算出裂缝长宽信息。 关键字图像处理、道路裂缝识别、图像预处理、b p 神经网络、数 学形态学 北京邮电大学硕士学位论文 r e s e a r c ho nr e c o g n i t i o na l g o r i t h m o fr 岍旺n tc r a c k s a bs t r a c t d e t e c t i o no fp a v e m e n tc r a c k sh a sb e e np l a y i n gak e yr o l ei nt h e p a v e m e n tm a i n t e n a n c e t r a d i t i o n a ld e t e c t i o nm e t h o d sw h i c hb a s e do n h u m a nv i s i o nc a nn o tm e e tt h e r e q u i r e m e n t s o ft h e p a v e m e n t d e v e l o p m e n t t h et r a d i t i o n a l h u m a n v i s i o nd e t e c t i o nh a sal o to f d r a w b a c k s ，s u c h a s h i g h - c o s t ，l o w e f f i c i e n c y , h i g h - d a n g e r o u s n e s s ， a f f e c t i n gt r a n s p o r t a t i o na n di n a c c u r a c y t h e r e f o r e ，i ti sn e e d e dt of i n da n e wm e t h o dt o i m p r o v e d e t e c t i o n e f f i c i e n c y a tp r e s e n t ，t h en e w d e t e c t i o nm e t h o dw h i c hi sb a s e do nd i g i t a li m a g ep r o c e s s i n gt e c h n i q u e h a sb e c o m ea h o t s p o ti nt h er e c o g n i t i o no fp a v e m e n tc r a c k sa l lo v e rt h e w o r l d i nc o n t r a s tw i t ht h et r a d i t i o n a lm e t h o d ，i tu s e sc o m p u t e r st o p r o c e s st h ep a v e m e n ti m a g e sa n dc o l l e c tt h ei n f o r m a t i o no fp a v e m e n t c r a c k s h o w e v e r , d u et ot h ec o m p l e x i t ya n dd i v e r s i t yo fp a v e m e n t s ，m o s t o ft h ed e t e c t i o na l g o r i t h m sc a l l tf i ta l lo ft h ep a v e m e n t s i no r d e rt oa d d r e s st h ea b o v et a s k ，t h i sa r t i c l ep r o p o s e san o v e l a l g o r i t h mw h i c hc a na d a p tt od i f f e r e n tp a v e m e n ts u r f a c ea n dv a r i o u sl i g h t c o n d i t i o no fp a v e m e n t s f i r s t l y , w eu s ei m a g ep r e - p r o c e s s i n go p e r a t i o n s t oe n h a n c ei m a g e s t h ef o l l o w i n gb pn e u r a ln e t w o r ko p e r a t i o nc a l l i d e n t i f yt h er e g i o n sw h i c hc o n t a i nc r a c k s u l t i m a t e l yc r a c k si n f o r m a t i o n c a nb ee x t r a c t e df r o mt h ei m a g e s i nt h ei m a g ep r e - p r o c e s s i n go p e r a t i o n s ，t h em e d i a nf i l t e r i n ga n d f o u r i e rt r a n s f o r m sa r eu s e dt oe l i m i n a t et h e i m a g en o i s e t h e nt h e p a r t i a l l yo v e r l a p p i n g s u b b l o c kh i s t o g r a m e q u a l i z a t i o n m e t h o dc a n r e d u c et h ee f f e c t so fu n e v e ni l l u m i n a t i o n f i n a l l y t h e h i g h - f r e q u e n c y - e m p h a s i s f i l t e r e f f e c t i v e l y e n h a n c e s i m a g e s a n d h i g h l i g h t st h ed e t a i l so f t h ei m a g ec h a r a c t e r i s t i c s b a s e do nt h ea b o v ep r e - p r o c e s s i n go fi m a g e s ，b pn e u r a ln e t w o r ki s 北京邮电大学硕士学位论文 u s e dt or e c o g n i z et h ec r a c k si nt h e s ei m a g e s f i r s to fa l l ，t h eo r i g i n a l i m a g e sa r ed i v i d e di n t os o m es m a l l e rs q u a r es u b b l o c k s c o m b i n e dw i t h t h ef e a t u r eo fs u b b l o c kw h i c hc o n t a i n sc r a c k s ，c h a r a c t e r i s t i cp a r a m e t e r s a r ee x t r a c t e d t h e na c c o r d i n gt ot h e s ec h a r a c t e r i s t i cp a r a m e t e r s ，b p n e u r a ln e t w o r kd e t e r m i n e si ft h e s e sc r a c k se x i s t e di nas u b b l o c k a tl a s t h o u g ht r a n s f 0 1 t 1 1i su s e dt or e m o v et h ec e m e n ti o i n t sn o i s e u l t i m a t e l y , t a k i n g u s eo ft h er e s u l t so f p r e v i o u sp r o c e s s i n g ，w ec a n e x t r a c tt h eu s e f u li n f o r m a t i o no f p a v e m e n tc r a c k s b ys u p p o s i n gas e to f c o n d i t i o n s ，t h ec o n n e c t e dd o m a i n so fc r a c k sc a nb ee x t r a c t e d t h e f o l l o w i n go p e n c l o s eo p e r a t i o ni su s e dt or e m o v eb u r r s ，h o l l o w sa n dg a p s t h e ns k e l e t o na l g o r i t h mc a ng e tc r a c k ss k e l e t o ni n f o r m a t i o na n d c a l c u l a t et h ew i d t ha n dl e n g t ho ft h ec r a c k s k e yw o r d s ：i m a g ep r o c e s s i n g ，p a v e m e n tc r a c k sd e t e c t i o n ，i m a g e p r e p r o c e s s i n g ，b pn e u r a ln e t w o r k s ，m a t h e m a t i c a lm o r p h o l o g y i i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列 的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： l 刍豳日期：至翌z ：7 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权 书。非保密论文 本人签名： 导师签名： h 莎户1 欧抟j豫 i 、 日期妒1 2 ：三：2 e l 其, r j ：牛q l 北京邮电大学硕士学位论文 第一章绪论 1 1研究背景 第一章绪论 随着我国经济高速发展，国家各级政府部门越来越强调高速公路的建设。在 改革开放的几十年里，我国高速公路从无到有，建设迅速。1 9 8 8 年1 0 月上海沪 嘉高速公路的建成通车，拉开了中国高速公路建设的帷幕。进入9 0 年代后，高 速公路的发展更是突飞猛进。“十五 期间我国建成高速公路2 4 7 万公里。至 2 0 0 5 年底，我国高速公路总里程已经达到4 1 万公里，稳居世界第二。“十一五 期间，全国建成高速公路2 4 万公里，高速公路总里程将达到6 5 万公里，东部 地区基本形成高速公路网。长三角、珠江三角洲地区将形成比较完善的城际高速 公路网。这一批批高速公路的建成，给沿线地区的经济腾飞注入了强大的动力， 有效地促进了国民经济的发展。 道路交通在人民生活中占有重要地位，并有力地促进着经济的发展。然而随 着高速公路网的逐步形成，新建道路的建设减少，现有道路的养护问题也就日益 突出。需要定期对高速公路路面状况进行调查，以便制定出相应的维护策略，从 而保证交通安全。 由于高速公路暴露于大气中，长期地承受着自然灾害侵袭、车辆磨损、意外 事故损坏以及人为破坏等。养护工作就是要经常保持高速公路以及其设施的完好 状态，延长其处于良好服务性能下的使用年限，养护过程也就是保证高速公路使 用质量平稳缓慢下降的过程。目前一个不可否认的事实是，经历了大规模的高速 公路建设之后，我国即将面临随之而来的任务繁重的公路养护和管理工作。 发达国家高速公路早已经入养护管理为主的时代。在发达国家经过半个世纪 的高速公路建设，在我国仅仅z - - 十年就完成了。根据我国高速公路的发展水平， 我国高速公路必将从“以建为主 向“以养为主”逐步过渡。我国高速公路事业 的重点将逐步从建设期转向养护期，养护工作任重而道远。因此，我国养护工作 势必向着科技化、现代化的方向发展。 在道路养护中，道路质量中最重要的一个指标就是路面裂缝。由于车辆在高 等级公路上行驶时，对路面的平整度、路面完好率要求很高，当路面出现凸凹、 裂纹等病害时，需要及时进行维修。否则，交通安全将会受到重大影响。若能在 裂缝出现的初期就能够发现，并实时跟踪它的发展情况，那么其维护费将大大降 低，同时保证了高速公路的行车安全。但是，目前国内检测高速公路路况的手段 主要是依靠人工丈量的方法，已经不能满足高速公路的检测要求。其主要突出问 第一章绪论北京邮电大学硕士学位论文 题在于： 1 耗费人力。目前检测主要还是依靠养护工人在公路上行走，使用眼睛进行 观察，来完成高速公路的调查。而往往一条高速公路长达数十公路，甚至 上百公里，需要耗费相当数量的人力。而且该工作劳动强度很大。 2 耗费时间。由于使用人肉眼进行现场识别，虽然投入了巨大的人力，但是 速度仍然很慢。 3 精确度低。由于对路面的裂缝判断主要是依靠人的经验，因此人的主观因 素影响较大。不同的人，不同的经验会导致不同的判定结果。 4 封闭交通。在对路面进行检测时，需要进行交通封闭。影响了正常的交通 秩序。特别是对车流量很大的高速公路，带来相当的不便。 5 危险。即使是封闭了车道，但是在高速公路上行走、调查，仍然给养护人 员带来潜在的人身安全问题。 6 花费高。投入巨量的人力、时间，花费不可能不高。 数字图像处理，即用计算机对图像进行处理，其研究源于两个主要的应用领 域：一是为了便于人们分析而对图像信息进行改进；二是为使计算机自动理解而 对图像数据进行存储、传输及显示。其研究的内容主要包括以下几个方面：图像 变换、图像增强、图像复原与重建、模式识别( 包括图像分割、物体测量以及图 像的分类与估计) 、图像压缩和图像通信等。 随着计算机高性能处理器、大容量存储器以及图像处理技术的飞速发展，使 得基于图像处理技术的高速公路裂缝自动检测技术成为了可能。数字图像处理技 术在代替和超越人类的视觉功能方面取得了一系列惊人的成果，显示了强大的生 命力。新的方法，新的观点层出不穷，应用领域越来越大，并且在很多方面取得 了开拓性的进展与成果。近些年来，计算机硬件的飞速发展将这些高新技术的研 究与应用带入了一个崭新的阶段。使得在人们可接受的时间内，通过复杂的算法， 处理巨量的数据，将数字图像处理技术中的理论应用到现实中来。而大容量存储 器的出现使得巨量数据的存储成本大大降低，一般商用巨量数据存储成为可能。 而随着高速数字图像采集技术的发展，可以对道路图像进行采集，同时使用g p s 进行对应图像的定位，并将采集到的道路图像置于大容量存储设备中，最后通过 高性能计算机，使用数字图像处理技术进行处理，高效地得到检测结果。将这些 新的技术和方法应用于高速公路道路裂缝的检测，既可以解放劳动力，排除了人 的主观因素的干扰，又能快速而准确地进行公路路况的评价，是道路裂缝检测发 展的必然方向。由此可见，道路裂缝识别技术，是一门新兴的技术方向，很有发 展前途而值得深入研究，而同时极具实用价值。 2 北京邮电大学硕士学位论文 第一章绪论 1 2 道路裂缝识别系统介绍 目前国外投入实用化的高速公路路面裂缝自动检测系统主要有：日本的 k o m a t s u 系统、瑞典的p a v u e 系统、加拿大的w i s e c r a x 系统、澳大利亚的 r o a d c r a c k 系统、英国的h a r r i s 系统等。这些产品已经被广泛应用在高速公路 自动道路裂缝识别上。但从国外进口这些自动识别系统价格昂贵。更何况现在路 面情况也是在不断变化中，对应的软件需要不断升级，面对国外的技术壁垒，必 须走自主研发的道路。 一般说来，现在实用化的高速公路路面裂缝识别系统，主要分成几个步骤： 图像采集、图像预处理、图像分割目标提取、目标信息提取。 l 图像采集 土 图像预处理 上 图像分割，目标( 裂缝) 提取 土 目标( 裂缝) 信息提取 图1 - 1 裂缝识别流程图 国外的这些高速公路路面裂缝自动识别系统，一般采用车载式，总的分为实 时型和离线型。对于实时型，对算法时间复杂度要求较高，要求及时响应，能实 时地处理采集得到的道路图像，并提取出裂缝信息。而对于离线型，则是使用大 容量存储设备将道路图片采集存储下来。再离线处理，对算法时间复杂度要求不 是很高。但是同时对道路裂缝的识别精度要求较高，同时还要求得到裂缝的类型、 宽度、裂缝率等信息。 在图像采集时，主要使用车载高速摄像机进行图像的采集。采集车以不超过 一定时速进行行驶，使用一台或者多台摄像机进行路面图像的采集。并保证采集 到的图像能够完整地覆盖到整条车道。在图像处理过程中，对光照要求比较高。 光照不均匀时，采集到的图像质量不高，识别效果较差，因此一般车载设备都设 有自带光源，同时还可以消除阴影的影响。 不同的系统对摄像机以及其架设也有要求，摄像机采集速度越高就可以让采 3 第一章绪论 北京邮电大学硕士学位论文 集车以更高速度行驶，采集速度越快。摄像机分辨率越高则识别精度也越高，可 以精确地刻画裂缝的宽度，对裂缝进行更加精确的分类。摄像机架设正确，采集 到的图片质量就高，而如果架设不当，会使得采集到的路面图像发生形变、扭曲 的现象，对最终的识别效果产生负面影响。所以摄像机的架设，摄像机摄像的质 量，摄像时光照等，都会对原始图像造成较大的影响。从而影响到后面的处理。 在采集得到图像之后，就需要使用具体的算法对图像进行处理，提取裂缝。 这也是本论文的主要探讨的问题。一般算法首先对采集到的图像需要进一步进行 图像的增强操作，使得裂缝更加明显，更容易识别。在经过图像增强处理之后， 对图像进行分割处理，保证目标裂缝的提取。最后对裂缝信息进行提取。 由此可见，图像处理算法以及如何配合现有的图像采集软件设计算法的问 题，决定了整套高速公路自动识别系统的质量，是整个系统的核心部分。从商业 角度来看，对于整套系统而言，道路裂缝自动识别算法也就是其技术壁垒所在， 是我国自主研发的主要难点。 1 3国内外道路裂缝检测系统介绍 自上个世纪8 0 年代开始，国外就开始了对高速公路自动检测系统的开发。 主要有日本的k o m a t s u 系统，瑞典的p a v u e 系统，英国的h a r r i s 系统，澳大利 亚的r o a d c r a c k 系统，美国p c e s 系统以及加拿大的w i s e c r a x 系统等。国内主要 有部分高校和研究所在进行研究，其中南京理工大学已经开发出了自己的检测系 统。 1 3 1 日本k o m a t s u 系统 该系统包括一辆数据采集车和一套数据处理系统。采集车以l o k m h 的速度 行驶，图像大小为2 0 4 8 * 2 0 4 8 系统外加了氩激光光源在车顶控制环境亮度，数 据采集由电视摄像机、传感器、信号处理器和影像记录装置来获得。数据以 i o o m b s 的速度存储在高密度磁带上，然后用数字图像处理的方法离线处理。 数据处理主要份两个过程。处理的结果是裂缝的数目，长度、宽度等信息。 首先对2 0 4 8 * 2 0 4 8 的图像进行分割，然后对分割的图像分别进行处理，进行裂缝 的识别，并同时提取出裂缝的长度、宽度、角度等信息。最后的图像由处理完毕 的多幅裂缝图像拼接而成。 1 3 2瑞典p a v u e 系统 本系统也是由图像采集系统和离线处理系统两个部分组成。采集车后部车顶 安装了4 个摄像机用来提高图像的解析度，覆盖的车道面积为3 2 m * l m 。摄像机 的拍摄速度能使得采集车的车速达到9 0 k m h 。同时在车尾部还外加了自己研制 4 北京邮电大学硕士学位论文 第一章绪论 的光源系统以提高图像质量。 1 3 3 加拿大w is e c r a x 系统 加拿大w i s e c r a x 系统主要分成数据采集、裂缝识别、裂缝分类三个子系统。 数据的采集主要是由安装在车上的两个灰度c c d 摄像机获得，每个覆盖2 m 2 4 m 的范围，总共能够覆盖到4 m 的车道。采集车也安装了外加光照设备。但其图像 数据使用了磁带方式，在后续的过程中需要现将其数字化，然后才能交由计算机 处理。数字化后的图像大小为6 4 0 * 4 8 0 。可以通过该系统识别出裂缝的位置、长 度、宽度、方向等信息。然后通过这些信息进行裂缝的分类，从而确定裂缝的种 类。 1 3 4 澳大利亚r o a d c r a c k 系统 r o a d c r a c k 系统是一个实时进行检测的系统。将一辆改装后的卡车底部安装 了一个罩子，其内架设了自备光源和四个高速摄像机，从而满足了高速拍摄的需 要。能在1 0 0 k m h 的速度下实现实时的数据采集与处理。 1 3 5 英国h a r r is 系统 将三个时间延迟和积分线扫描( t d i ) 摄像机安装在车后，并自带光源照明。 并且能够以8 0 k m h 的行驶速度拍摄图像，由于使用了t d i 摄像机在很窄的带状 照明区域内实现数据采集，避免了光照不均的现象。同时使用三个摄像机，可以 覆盖3 m 的宽度。采集得到的数据大小为5 1 2 5 1 2 。数据采用了实时初处理，离 线再处理的方式。在数据的采集中先对图像进行处理，保证图像质量。然后再离 线精确处理。最后提取出裂缝信息。 1 3 6 南京理工大学j g - 1 型系统 由南京理工大学自行研制的j g l 型激光三维路面状况智能检测系统。该系 统解决了高速公路、高等级公路、城市道路路面平整度、车辙、裂缝，拥包坑槽， 浪涌错台等路面破损状况的高速、智能、无障碍检测。集合了高精度动态激光测 距，路面断面c t 与三维重构，高速图像采集与处理，图像智能识别技术于一体。 图1 2 ，图1 3 是该系统的道路图像采集车的外观和内部结构。 5 第一# 绪论 北京邮电太学硕学位论文 图1 - 2 南京理工大学j g - i 型系统检测车( 外现) 囤l o 南京理工太学j g - 1 型系统栓刹车( 内部 14 国内外道路裂缝检测算法介绍 在图像处理技术中，算法成百上千种，而图像处理对象和目的千差万别。在 道路裂缝识别技术中，最为关键的还是道路裂缝算法。在近几十年来，国外对高 速公路裂缝识别技术投入了大量的人力物力进行研究，也取得了不少成果。 k o u t s o p o u l o s ( t 0 等人利用差影法，将有裂缝的路面图像像素灰度值与一副标 准的无裂缝的路面图像像素灰度进行相减，从而得到路面中裂缝。但是一般情况 下道路裂缝图像比较复杂，因而实际应用效果不是很好。c h o u 等l l 俐用模糊技 术增强图像破损图像。在最大模糊熵的基础上选取模糊化的阈值，然后根据样本 图像建立一个非线性等式，去除由于亮度不一致造成的路面图像噪声。 h dc h e a g 1 2 等根据路面裂缝区域中的像素灰度值比非裂缝区域的小，并且有 其连续性的特征。用遗传算法，确定经过差分处理后，路面图像像素灰度的隶属 北京邮电大学硕士学位论文 第一章绪论 度函数的参数。然后对图像进行模糊化处理，最后根据连续的特点来识别裂缝。 该算法效果较好，但同时处理时间也较长。v c l i n s k 1 3 等提出利用直方图分析的 方法，假设图像灰度直方图有双峰性，从而确定灰度阈值对图像进行分割处理。 但是往往图像中的裂缝不是十分明显，从而导致双峰性质不是很好。故该方法处 理效果也就不是十分理想。b h a g v a t ic 等【1 4 探讨了利用数学形态学方法检测路 面裂缝的可行性。 随着人工智能学科的兴起，越来越多的学者开始尝试将人工智能的成果应用 在裂缝识别上。但大多集中应用在裂缝的分类中。熊和金等 1 7 禾l j 用网状裂缝和 块状裂缝的面积以及周长作为人工神经网络的输入特征对裂缝进行分类。肖旺新 1 5 1 6 提出了破损密度因子的概念，统计裂缝像素和周围像素点的关系，并利 用人工神经网络进行识别分类，取得了不错的效果。 1 5 道路裂缝识别面临的困难 虽然国外已经有成熟产品出现，但高速公路裂缝自动检测是一个很困难的问 题，现在仍然存在许多问题。美国联邦公路局和交通局曾组织测试，将不同的设 备的检测结果和人工检测结果进行比对，发现不同设备间存在着很大的差异，且 精度难以保证。总体说来存在下面几个问题： 成像灰度不均。使用高分辨率、高速度的广角c c d 数字摄像机拍出的图 像会有中间亮四周暗的效果，这使得后期的检测算法难于处理。 光线问题。c c d 数字摄像机对光线十分敏感。如果借助太阳光进行照明， 成像受很多不确定因素影响。一般说来光照充足时，拍摄出来的图像效 果最好，裂缝较为清晰，也容易处理。但是在阳光下拍摄也存在产生物 体影子的情况。而对影子的处理又是一个难题。同时由于天空中云层对 太阳光线的散射和折射作用，使得不同的路段图像亮度不同。目前国外 有些产品建议在拍摄时，时间上尽量选择晚上，并同时使用检测车辆的 自带光源，这样既可以控制光照强度，又消除影子的影响。 算法适用性问题。在高速公路修筑时，使用的材质、工艺不尽相同，造 成路面情况千差万别，各个地方的路面标准也不尽相同。因此，很难用 一个统一的算法来进行识别。况且还会在拍摄过程中遇到各种气象条件， 如下雨过后，雨水会渗入裂缝中，使得路面拍摄时裂缝周围区域的像素 灰度值变得很低，难以与真正的裂缝区域区别开来，造成较大干扰。目 前就算是发达国家的成熟产品。其使用的算法也很难做到适应所有的路 面情况。对于各种路面检测的效果也有较大差别。更何况高速公路修建 7 第一章绪论北京邮电大学硕士学位论文 技术也在不断进步，而各个地方修建的方法也不尽相同。更难使用一个 确定的算法来适应不断变化的需求。 算法效率问题。目前在高速公路路面自动检测中，主要还是依靠先拍摄， 后检测的方式。由于需要应对不同路面情况，因此算法复杂度较高，处 理时间长。但是，在未来还是希望能够达到拍摄和检测同步进行。能够 实时地处理图像。目前使用的算法，在效率上均有待提高。 算法检测结果问题。对算法的评估主要是两个指标：检出率和误判率， 但是目前尚没有一个确定的衡量标准。而检出率与误判率也是一对矛盾， 一般说来，检出率提高的同时，也会导致误判率的上升。对于已知算法 如何找到一个适当的平衡点；抑或寻找新的算法同时提高检出率，降低 误判率，仍然是目前研究的热点问题。 综上所述，虽然国外对高速公路路面检测算法有了一定的研究基础，但是仍 然有许多问题需要解决，需要对高速公路路面裂缝识别算法进行更为深入的研 究。而随着高速公路修建和养护技术的不断提高，与之而来的是高速公路路面情 况也在不断变化，而旧的高速公路路面识别算法势必不能满足变化的需求。这就 需要对高速公路裂缝识别算法进行不断“升级 ，以适应新的要求。道路裂缝识 别所需要的硬件可以用金钱买到，但是对道路识别软件却需要根据各个地方的不 同情况，因地制宜，设计出新的算法，适应新的要求。这就需要下大力气去努力 发展这方面的基础。 1 6 本文的计划安排 本文的内容安排如下： 第一章：绪论；主要介绍当前道路裂缝识别的背景、目的以及意义；目前国 内外道路裂缝识别系统的情况；目前国内外对道路裂缝识别算法的研究进展；道 路裂缝识别存在的困难与问题。 第二章：路面图像信号模型；主要通过对道路图像进行数学上的分析，建立 裂缝的数学模型，探讨裂缝在数学上的特征。 第三章：道路图像预处理技术；在第二章建立了对应数学模型的基础上，针 对裂缝的特征，对道路图像进行图像增强的预处理。并提出了对各种不同道路图 像均有较强适用性的道路图像增强的预处理算法。 第四章：道路裂缝识别技术：在经过第三章的预处理算法后得到的图像预处 理结果图像的基础上，使用b p 人工神经网络进行裂缝的识别。 第五章：裂缝信息提取；在得到了识别结果的基础上，使用数学形态学方法 8 北京邮电大学硕士学位论文 第一章绪论 对裂缝进行处理，便于提取裂缝信息。 第六章：总结了本文提出的算法的不足，并对裂缝识别的发展进行了展望。 9 第二章道路图像信号模型 北京邮电大学硕士学位论文 第二章道路图像信号模型 由于图像在生成、记录和传输过程中，成像系统的传输介质和记录设备的不 完善，会使得图像的质量下降，造成比较差的视觉效果和计算机处理上的困难。 使图像质量下降的原因很多，有的是因为成像系统本身，如每个像素在摄像机靶 面上的位置不同而对应光的响应不一致；有的是因为环境本身的光照不均；有的 则和成像特点相关，比如目标距离摄像机的远近不同，近处亮远处暗导致；有时 往往是以上三个因素混合造成。所以非常难于用一个显式的数学公式进行描述。 对于c c d 相机而言，主要是由于成像系统本身的特点，成像时光照的不均匀， 使得进光量不同造成的亮度不均。总体说来是中间亮，四周暗的效果。这对以后 的处理和分析，造成很大困难。同时由于实地拍摄条件不同，也造成相片间的差 异较大，也使得后续处理比较困难。 总体说来，道路图像的特征主要有： 1 由于路面材质的不均匀，导致了正常路面的纹理也不均匀。裂缝的图像 本身也有很大的变化，同时裂缝的严重程度和路面油污等也会导致裂缝 的图像灰度的变化。但总体来说，图像中裂缝区域所对应的灰度值较路 面背景灰度低得多，一般说来是图片中的局部最小值，不妨设图像t ( p ) 裂缝灰度分布在区间【o ，只】中。 2 裂缝区域的像素个数远远小于背景的像素个数： 3 正常路面的灰度值分布的区间与裂缝的灰度值分布的区间有部分的重 叠； 4 路面图像的信息量大，而不同材料力度和材料颗粒间隔所产生的噪声是 一个随机的、高频率、中低幅值的信号。 5 从灰度直方图上，尽管不同道路图像之间有差异。但是总体说来道路图 像的灰度直方图呈现明显的单峰性质。 如图2 1 为某道路图像的灰度直方图： 图2 - 1 典型道路图像灰度直方图 l o 北京邮电大学硕士学位论文第二章道路图像信号模型 6 从照片上看，由于受拍照时光照分布不均匀等因素的影响，道路图片中 出现从中间到周围亮度由亮到暗的变化。 7 对具体裂缝上看，裂缝横截面呈现马鞍状，也就是说裂缝区域中心线灰 度较低，中心线两边像素灰度较中心线灰度略高，并且灰度分布呈现鞍 状。 由此可以建立道路图像的加性和乘性模型。 2 1道路图像加性模型 考虑灰度道路图片对应的图像信号，( p ) ，p = 工，y ) 。一幅灰度道路图片信号主 要有三种信号叠加而成： 1 非均匀背景光照导致的缓慢变化的低频高幅值信号l ( p ) ； 2 裂缝或者其他不规则物质造成的，在边缘有较高频率的高幅分量的信号 x a p ) ； 3 由路面材质颗粒如石子、沥青等构成的随机高频中低幅噪声信号l ( p ) 。 由此有： j ( p ) = 厶( p ) + ( p ) + l ( p ) ( 2 一1 ) 而如何从，( p ) 中分离出( p ) ，并尽量减小厶( p ) 以及l ( p ) 对其的影响，是道路 图像处理中的关注点。 在裂缝的处理过程中，主要关注裂缝信号( p ) 的两个特征：裂缝区域的灰度 值的特征以及裂缝区域的几何特征。 2 2 道路图像乘性模型 灰度道路图片对应的图像信号，( p ) ，p = x ，y ，由上一节的图像特征我们知 道，i ( p ) 是光照不均匀的。不妨设，7 ( p ) 为光照均匀下得到的图像灰度信号。则 有： j ( p ) = e ( p ) i7 ( p ) ( 2 - 2 ) 其中e ( p ) 描述了光照的不均匀性。在图像预处理中，有相当的工作就是为了 消除e ( p ) 的影响，得到，( p ) 。 为了确定e ( p ) ，可使用一幅亮度均匀的图像来核准。设其光照均匀成像后各 点的灰度级别为常数m 。这幅亮度均匀，灰度为m 的图像在非均匀光照条件下 得到的图像为k ( p ) ，则有： 第二章道路图像信号模型 北京邮电大学硕士学位论文 l ( p ) = e ( p ) m 那么可以求出e ( p ) ，从而有 ，( p ) = m l ( p ) 如( p ) 其中j 7 ( p ) 为校正后光照均匀的图像。 2 3 本章小结 ( 2 3 ) ( 2 - 4 ) 在本章中，分析了道路图像的特征，以及这些特征产生的客观原因。最后根 据这些特征建立了对应的数学模型，主要是加性模型和乘性模型，为后续处理奠 定了理论基础。在使用图像处理技术识别裂缝时，关键的是找到一个合适的算法， 该算法能有效地把裂缝提取出来。以后各章将分别研究图像的增强、识别、信息 提取等方法。 1 2 北京邮电大学硕士学位论文第三章道路图像预处理技术 第三章道路图像预处理技术 任何一幅未经处理过的道路裂缝图像都会有一定程度上的噪声，这些噪声降 低了图像的质量，给后期的分析带来困难。因此，必须对这些图像进行预处理。 在图像处理中主要有两种技术： 1 图像增强技术；只是将图像中的裂缝信号提取出来，并衰减其背景信号 和噪音信号。 2 图像复原技术：设法使得改善后的图像尽可能逼近原始图像； 由于在图像采集过程中，光照的影响、承载车辆的运动、图像的多次传输等 会给图像带来大量的噪音，要让图像逼近原始图像几乎是不可能的，因此可考虑 采用图像增强技术。 道路图像预处理的目的是使用图像增强技术，突出一幅图像中的裂缝信息， 同时削弱或去除一些不需要的信息。使得处理后的图像对于下一步的识别更加有 利。 一般说来，图像增强技术根据其针对的空间不同，可以分成两类：空间域方 法以及频域方法。“空间域就是指图像本身，这类方法对图像像素直接进行了 处理；而“频域 方法则是通过对图像信号进行某种变换，变换至频域。在图像 信号的频域进行处理，最后再变换回到空间域。 在空间域的处理一般又分成两类：点操作和模板操作。点操作是指对图像的 单个像素进行操作，整个处理过程与这个像素周围的其他像素无关。模板操作则 是通过模板在图像上进行滑动完成对图像的处理操作，其处理过程中与该点的邻 域相关。 空间域的图像处理可以定义为： g ( x ，y ) = t f ( x ，y ) 】 ( 3 - 1 ) 其中f ( x ，y ) 为输入的图像信号，g ( x ，y ) 为处理后输出的图像信号。丁即为对 信号f ( x ，y ) 的处理操作。如果丁定义在具体每个点( x ，少) 上，那么就是点操作。 如果丁不仅仅定义在每个点( x ，y ) 上，还与点( x ，y ) 的邻域有关，那么就是模板操 作。进一步，可以将( 3 1 ) 式表述成为： g ( x ，j ，) = z l s ，n ( x ，y ) 】 ( 3 - 2 ) 其中s 为点( x ，y ) 的灰度值，n ( x ，y ) 为点( x ，y ) 邻域内像素的灰度值。 定义一个点( x ，y ) 的邻域的主要方法是利用中心在( x ，y ) 点的正方形或者矩形 第三章道路图像预处理技术 北京邮电大学硕士学位论文 子图像。子图像的中心从一个像素向另一个像素移动。比如说，可以从左上角开 始。丁操作应用到每一个( x ，j ，) 位置得到该点的输出g ( x , y ) 。这个过程仅仅用在 小范围邻域里的图像像素。在空间域处理过程中，尽管像近似于圆的其他邻域也 有使用，但是出于易用性考虑，目前还是主要使用了正方形和矩形阵列。如在本 文后面的平滑空间滤波和高提升空间滤波中，就使用了3 3 的正方形模板。 频域的处理则是在图像信号的频域进行处理，处理完成后再变换回空间域。 可以描述如下： ，( ，y ) = 尺【厂( 五y ) 】( 3 - 3 ) g 以，y ) = t t f f ( x ，j ，) 】 ( 3 - 4 ) 厂( x ，y ) g ( x ，j ，) = 尺- 1 【g ( ，y ) 】 ( 3 5 ) 其中r 表示某种频域的变换，r - 1 表示其逆变换。f ( ，l ，) 为原始图像f ( x ，y ) 经过频域变换后得到的结果，日为处理函数，g ( ，y ) 为处理后得到的结果， g ( x ，y ) 为g ，v ) 进行了频域逆变换的结果，也就是最终要求的结果。 从上一章的道路裂缝加性模型出发，从，( p ) 中分离出( p ) ，就需要强化信号 l ( p ) ，并弱化信号厶( p ) 。从裂缝的乘性模型出发，则需要消除e ( p ) 的影响，尽 量能够得到，( p ) 。为了达到这些目的，在下面的处理中，依次使用了：平滑空 间滤波、部分重叠的局部直方图均衡方法、高提升的空间滤波模板滤波方法。 这里为了阐述方便，本文设原图像为m ，经过重叠的直方图均衡后得到的 图像为m 。，高提升空间滤波后得到的图像为m ，。 在接下去的处理过程中，对于噪声的去除主要使用了先平滑去噪，再锐化强 化图像细节的步骤。为了便于叙述，下面的处理将使用实际道路采集到的图像( 如 图3 1 ，图3 3 ) 进行识别处理。 对于图像3 1 以及图像3 3 的选取，考虑到目前国内主要是有沥青和水泥两 种道路，所以各选取了两幅，其中3 1 为沥青图像，存在裂缝；3 3 为水泥图像； 有拉毛噪声与接缝，但无裂缝。从灰度直方图上来看，两幅图像之间光照是不均 的，灰度直方图的峰值不同。由上可知这两幅图具有一定代表性。 1 4 北京邮电大学碰士学位论文第! 章m 镕目但预处理技术 一 图3 1 的灰度壹方罔为 囤3 0 ! 某沥青i 擗固像 一 l 圈3 3 的扶度直方罔 图3 3 某水泥道路图像 第= 章道路图像预处理技北京邮电大学士学位论女 31 平滑空间滤波 囤3 4 水泥道路图像的友度直方圉 呜 协s ， n 京邮电大学硕士学位论文 第三章道路圈像硬处理技术 个数，也就是模扳的形状。中值滤波器类似于卷积，但是又不同于加权平均。对 于一个_ + _ 的中值滤波器( 通常为奇数) ，如果某像素的灰度级大于或者等 于邻域中( 2 0 2 个像素的灰度级，并且小于或者等于邻域中( 2 1 ) 2 个像素 的灰度级，则该灰度级就是作为中值滤波输出的灰度级。因此，中值滤波器模板 的形状与大小对滤波的效果影响很大，不同的图像内容与不同的需求所选用的滤 波器模板的形状和大小尺寸也不相同。 中值滤波的效果与邻域均值的效果相比较，有以下优点： 1 、灰度值变换比较小的情况下可以得到很好的平滑处理； 2 、降低了图像边界部分的模糊程度。 3 1 3 实验结果 对圈3 - 1 与圉3 - 3 分别进行中值滤波得到了图3 5 ，| 三l 及图3 6 ；可以发现 图像细节减少了。椒盐噪声有了明显的下降，特别是图3 - 1 中椒盐噪声得到了明 显的抑制。 一 釜签：鎏鎏i 躅3 - 5 中值穗波后的沥青道路图像 第= 章道路图像预处4 技术北京邮电大学硕学位论文 32 拉毛噪声去除 围3 4 中值瘪波后的书泥道路图像 日前我国高速公路主要有两种路面：水泥路面和沥青路面。而水泥路面往往 存在抗滑能力不足的问题，为了提高水泥混凝土路面的抗滑能力，在确保混撮土 强度和石料抗磨耗能力的前提下往往采用了拉毛水泥混凝土路面表面的处理技 术，从而形成租糙的路面表面构造。以此来提高水泥混凝土路面的抗滑能力。水 泥路面的拉毛处理，有效的提高了水泥路面的抗滑能力，减少了交通事故的发生。 但是对于使用光学方法采集到的数字图像，使用数字图像处理技术来进行路面裂 缝识别时，则造成了较大的干扰。 现在，在水泥混凝土公路的修建中，对于水泥混凝土路面的处理，较多地使 用了专门的拉毛机器。使用专门的拉毛机器拉毛