（模式识别与智能系统专业论文）基于图像分析的道路病害自动检测研究.pdf

博士论文高建贞： 基于鼹像分析的道路病害自动检测研究 摘要 道路病害检测在道路的维修中占有重要的地位。传统的基于人工的处理方法已不 能适应道路发展的要求。速度慢、危险、影响交通、不精确是人工方法的主要缺点， 因此需要研究一种快速的方法来提高检测的效率。基于图像的道路病害检测已成为各 国竞相研究的课题。它利用高速度高精度摄像机快速地拍摄路面图像，利用计算机快 速处理，得到病害信息。然而，路面图像的复杂性、多样性以及病害信息的弱信号性， 使得研究高效的检测算法并不容易，存在着成像灰度不均、光源、阴影、稳定性等 问题。 针对图像灰度不均问题本文提出了一种新的图像灰度校正算法。光照不均在整幅 图像表现明显，但在一幅图像的局部中可认为是均匀的；图像背景或目标至少在小区 域内有一均匀或近似均匀。因此利用分块的思想，抽取出反映图像灰度变化趋势的点 集，再用插值的方法得到背景图。最后利用原图和背景图进行运算，便可得到校正后 的图像。实验结果表明，该预处理方法有效的去除了图像的灰度不均，为后续的病害 检测提供了保障。 针对道路裂缝病害的检测问题，本文提出了两种不同的方法。第一种方法利用本 文研究的图像增强方法对图像做整体灰度校正，然后利用道路病害在图像中的统计特 性确定一个阈值做分割，再提取各目标块的线状特征，用以识别线状目标块，最后对 得到的线状目标块做最终的真假鉴别。第二种基于多级拟合的方法，对图像分块提取 出可能的裂缝点，然后再拟合出基本符合裂缝骨架方向的直线，多个重叠窗口的拟合 结果融合就会基本拟合出完整的裂缝目标。大量多种条件的样本检测实验表明该方法 的有效性，检测精度可达至2 毫米。 道路病害图像的采集是一个序列采集过程，相邻的图像会有重叠的部分，这就必 然会造成某些病害重叠。图像的一大好处是能给人视觉上的直观效果，若将检测出的 病害拼接成大的病害结果图像，更能使人认识到病害在整条路上的分布情况。针对病 害图像及其结果的拼接，本文提出基于病害结果的匹配拼接方法。路面图像的特征不 多，可用于匹配的特征不明显，很难实现精确匹配，而道路病害相对来说信息量较大， 易于快速匹配。对相邻图像的重叠部分，根据病害信息找到匹配的区域，从而实现病 害图像及其结果图像的拼接。 摘要 最后本文给出了一套道路病害自动检测系统，该系统包括路面图像采集系统和离 线处理系统。该系统是国内研制成功的第一套道路病害自动检测系统。目前该系统已 经投入使用，并完成多条高等级公路的检测任务。最终的实验和实际使用结果表明， 本系统达到了当前国外的水平，完全能够满足国内道路维护的需要。 关键词：道路病害检测，灰度校正，图像处理，多级拟合，图像拼接，道路病害 自动检测系统 博：b 论文高建贞：基于圈缘分析的道路病窖自动检测研究 a b s t r a c t p a v e m e n td i s t r e s sd e t e c t i o n p l a y s a n i m p o r t a n tp a r t i n m a i n t a i n i n gp a v e m e n t s t r a d i t i o n a lm a n u a lm e t h o d sc a l l tm e e tt h en e e d o f p a v e m e n t sd e v e l o p m e n tn o w , b e c a u s e t h e yh a v et h ef o l l o w i n gs h o r t c o m i n g ss u c ha st i m e - c o n s u m i n g ，n o n - p r e c i s i o n ，d a n g e r o u s ， c o s t l ya n d a l s oa f f e c t i n gt r a n s p o r t a t i o n t h e r e f o r e ，i ti sn e c e s s a r yt op r o p o s eak i n do ff a s t m e t h o dt oi m p r o v et h ed e t e c t i o n se f f i c i e n c y a p p r o a c h e sb a s e do ni m a g e sh a v eb e c o m e t h e h o t s p o t i nt h i sf i e n do v e rt h ew o r i d ，w h i c hu s e h i g hr a p i da n dp r e c i s e c r o p e r a st os c r e e n p a v e m e n ti m a g e s ，w i t hf a s tp r o c e s s i n go fc o m p u t e r s ，t og e td i s t r e s si n f o r m a t i o n h o w e v e r , b e c a u s eo fr o a ds u r f a c ei m a g e s c o m p l e x i t ya n dd i v e r s i t y , a n da l s od i s t r e s si n f o r m a t i o n s w e a k - s i g n a l ，i ti sn o te a s y t og e te f f i c i e n td e t e c t i o n a l g o r i t h m s t h e r ee x i s tm a n yp r o b l e m s i n c l u d i n gi m a g i n gq u a l i 碗l a m p ，s h a d o w , s t a b i l i t ya n d e t c i nt h i sp a p e r , an e w i m a g eg r a yc o r r e c tm e t h o di sp r o p o s e di no r d e rt os o l v eg r a y u n * u n i f o r m t h ee f f e c to fi l l u m i n a t i o n su n - u n i f o r mi se v i d e n to nt h ew h o l ei m a g e ，b u ta l o c a lp a r ti nt h ei m a g ec a l lb et h o u g h tu n i f o r m a tl e a s t ，t h ei m a g e sb a c k g r o u n do ro b j e c t c a r lb eu n i f o r mo ra p p r o x i m a t e l yu n i f o r mi ns o m es m a l la r e a s t h e r e f o r e ，m a k i n gu s eo f s e g m e n tm e t h o d ，e x t r a c t i n gt h ep o i n ts e t st h a tr e f l e c tt h ec h a n g i n gt r e n do fi m a g eg r a y ； t h e n , g e t t i n gt h eb a c k g r o t m di m a g e w i t h i n t e r p o s i n gm e a n s ；f i n a l l y , n n m i n go p e r a t i o n so n o r i s i n a ia n db a c k g r o u n di m a g e s t h ec o r r e c ti m a g ec a nb eh a d e x p e r i m e n tr e s u l ts h o w s t h i sp r e - p r o c e s s i n gw a yr e m o v e st h eg r a yu n - u n i f o r mi nt h ei m a g ee f f e c t i v e l y , a n de n s u r e s t h ef o l l o w i n gd i s t r e s sd e t e c t i o n g o i n g o nw e l l a i m i n ga tp a v e m e n tc r a c kd i s t r e s s sd e t e c t i o n ，t h i sp a p e ra d v a n c e st w od i f f e r e n t m e t h o d s t h ef i r s to n em a k e su s eo ft h ei m a g ee n h a n c i n ga p p r o a c hi n v e s t i g a t e di nt h i s p a p e r t od ot h ew h o l e g r a yc o r r e c t ；t h e n ，u s e sd i s t r e s s ss t a t i s t i cc h a r a c t e r i s t i ci nt h ei m a g e t og e to n et h r e s h o l dt os e g m e n ti m a g e ，e x t r a c t se v e r yo b j e c tb l o c k sl i n e a rf e a t u r e sw h i c h a r eu s e dt ol e c o g n i z el i n e a ro b j e c tb l o c k ；a tl a s t , d i s t i n g u i s h e st h et r u eo rf a l s eb l o c k s 。t h e s e c o n dm e t h o di sb a s e do nm u l t i - f i tm o d e + e x t r a c t i n gp o s s i b l ec r a c kp o i n t so fi m a g e b l o c k s ；t h e nd r a f t i n gt h el i n e st h a ta c c o r dw i t l lt h ec r a c ks k e l e t o n sd i r e c t i o n f u s i n gt h e r e s u l t so fs e v e r a lo v e r l a pw i n d o w sc a ng e tt h en e a r l yi n t a c tc r a c ko b j e c t l o t so fs a m p l e e x p e r i m e n t su n d e rm a n yk i n d so f c o n d i t i o n sh a v ep r o v e dt h ee f f i c i e n c yo ft h em e t h o d i t s p r e c i s i o n c a na r r i v ea t2 m m t h ec o l l e c t i o no f p a v e m e n td i s t r e s si m a g e si sas e q u e n c ec o l l e c t i n gp r o c e s s t h e r ea 转 些! ! ：贬! ! a l w a y so v e r l a pp a r t si nt h ec o n s e c u t i v ei m a g e s ，w h i c hm u s tb r i n gf o r w a r ds o m ed i s t r e s s o v e d a p o n ea d v a n t a g eo fm o s a i e e di m a g ei si t si n t u i t i o n i s t i ce f f e c tf o rh u m a nv i s i o n p u t t i n gt h ed e t e c t e dd i s t r e s si n t oal a r g e rr e s u l ti m a g ec a nm a k e i t e a s yt og e t t h ed i s t r e s s d i s t r i b u t i o ni nt h ew h o l e p a v e m e n t a i m i n g a tm o s a i c et h ed i s t r e s si m a g e sa n dr e s u l t 3 h 。糟 am o s a i c i n gm e t h o db a s e do nd i s t r e s sr e s u l t si sp r o p o s e d b u tt h e ma r en o t e n o u g h f e a t u r e s o f p a v e m e n ts u r f a c ei m a g e ，i ti sd i f f i c u l tt oa t t a i na c c u r a t em a t c h i n g ，p a v e m e n td i s t r e s sh a s r e l a t i v e l ym o r ei n f o r m a t i o na n di se a s yt om a t c hf a s t 。f o rt h eo v e r l a pp a n so f c o n s e c u t i v e i m a g e s ，f i n d i n gt h em a t c h i n ga r e a sa c c o r d i n gt od i s t r e s si n f o r m a t i o n ，s oc a nm o s a l c ea l l d i s t r e s si m a g e sa n dt h e i rr e s u l ti m a g e s a tl a s t ，a l la u t o m a t i cd e t e c t i o ns y s t e mo np a v e m e n td i s t r e s si sp r e s e n t e d ，i n c l u d i n g p a v e m e n ti m a g e sc o l l e c t i o ns y s t e ma n do f f - l i n ep r o c e s ss y s t e m t h i ss y s t e mi st h ef i r s t d e v e l o p e do n ei n o r rc o u n t r y a tp r e s e n t ，i th a sb e e nu s e da n d c o m p l e t e d s e v e r a l h i g h w a y s d e t e c t i o nt a s k s 。t h ef i n a le x p e r i m e n t sa n dp r a c t i c a lu s i n gr e s u l ts h o wt h i s s y s t e mh a sr e a c h e dt h ew o r l dl e v e la n dm e e tt h en e e do fp a v e m e n tm a i n t c n a h c ei nt h e c o u n t r y k e y w o r d s ：p a v e m e n td i s t r e s sd e t e c t i o n ，g yc o ”e e f i o n ，i m a g e p r o c e s s i n g ，m u l t i ：f i t ，i m a g e m o s a i c i a g , a u t o m a t i c p a v e m e a t d i s t r e s s d e t e c t i o n s y s t e m 博士论文高建贞t 蕊于图像分析的道路病害自动检测研究 1 1 研究背景 第一章绪论 道路交通在国民经济和人民生活中占有重要地位，近几十年公路特别是高等级公 路在世界备园得到迅速发展，肖利地促进了国民缀济的发展。然而随瀚道路的建成， 随之而来躺建后保养维护就成为主要问题，其需要定期地对道路路面状况进行调查， 敦便骰出鞠应豹维护繁赂。若熊在鼹嚣病害的爨蠛初翘裁发现它，那么遂鼹的维护费 瘸雩冬大大降低。蘩露在不影嗡覆常交逶秩彦瓣渣涎下，快速对整段黪甏骰全嚣建谖套 并定位到问题区，成为急待解决的一大难题。传统的基于人工视觉检浏瘸害的方法已 愈来愈不能适应高等级公路发臌的要求，其主要问题在于： 1 耗人力。其靠人在公路上行走，用眼睛来观察，为完成一段公路的调查需要相 当数量的入力。 2 耗瓣。帮使添逮丈量豹入力，爨是速廑凝羧。 3 一i 精确。受个入的主观鞠索影响较大，不同入的不同训练素质会鼯致不同结果。 4 影响交通。需要对公路掰闭车道。影响正常交通秩序。 5 危黢。即使封闭车道，仍会对调查入员祭涞潜在的人身安全涧题。 6 花赞糕。使用大量人力的结果必然使得费用锻裔。 谵繁掇麓毪毙楚瑾器、大褰鏊存诺器爱鹜豫鲶瀵技术熬莰速菠震，镬褥墓子强缘 分析酶遣婚瘸害自动检测与识蒡q 技术成为可能。鬻辨疑速公路发达毽容辩这一领域鲍 研究较早，鼠早期受计算机及摄像机等硬件产品的限制，但长期的实骏研究积累了很 多方法和技术i 1 1 - 2 4 ，3 0 3 7 ，7 0 ，7 6 。随稽近几年硬件的飞速发展，一熄研究成果正逐 渐转化为产蕊并投入使用【n ，5 l ，5 4 ，5 7 ，7 9 。然而，道路病害的自动梭测是个很圃难的 超蘧，鼓蠢一系强蠡动捡测系绫产鑫基现，还是蠢缀多闻题待予磐决： l 成像获废不均闷鼷。离分辨率、高速度静广角c c d 数字摄豫撬拍密敕图像会 有中间亮、周围暗的效果，邋使得后期的检测算法处理有些困难。 2 光线问题。一般用予高速处理的摄像机对光源很是敏感。晴朗、有太阳的天气 下拍摄的豳像质量最好，易于处理。然而有太阳的情况下又会带来下酾的阴影问题。 3 鬻影瓣题。在有太阳熬清况下，车豹影子，路两边的建筑物、树淡及出豹影子， 都会影确溺检溅效莱。 4 辣法的稳定性问题。尽管国外研究了这么多年，提出了很多的方法，很难有一 第一章绪论 释方法麓完成菇荸孛获况条俸下翦瘸害检灏，其一般麓子算法灏试静榉本煞穰少。 5 实时性问题。路面图像的多纹理、弱信号特点以及图像质量的难以控制性，使 得检测算法檄为复杂，很难在数据采集的过程中实时地对数据进行处理，得到结果。 般的做法起采集跟检测处理分开做。 我国在邋路路嚣状况捡铡方灏识采用人工或半飘皴纯熬方式，不憾效枣低，只 g 籀襻捡涎，瓣嚣需要封闭道路，绘正常豹公臻交逶繁寒穰大影穗。因魏，急需一耱 自动忧的高遮检测系统来满足这需要，丽进口一套这样的软硬件设备相当的昂贵。 目前国内对这方面的研究尚处在初期研究阶段，仅有个别院校对有关沥膏路面裂缝的 计算机检测算法从事过探索性研究，但由于户外环境和条件极为复杂，而现有算法的 链髓极为有隈。本文的研究警在力求寻找一季申更为离效的基于强豫分析豹瘸害捡测技 术，为我国这方嚣瓣骚究 睾一骜蘩殛毪工痒。 1 2 国内外道路病害检测研究方法 道路病害检测研究包括病害的检测分析和识别替方面内容。国外对j l 妻路病害自动 捡测阔题研究豹较旱，一般辗撵不阉豹物理设各如越声波、激兜等蔼使髑不同的方法。 运冗每来慰蒸予霆豫分辑、撬器褫凳弱智筢硷溺方法熟磷究愈来愈多，爨髂来说霉分 为神经网络法，纹理分析法，模糊榘法，形态学算法等等。 1 2 1 形态学算法 路露裂缝瘸售一般呈线状特援，传统的捡测线状掰栝靛方法一般要求茭线的宽度 特征在一定瓣藏盈之内，然瑟裂缝瓣宽度变纯多群不磷施作翔瑟缓设，颡就f l 镯文提 出一种利用数学形态学的方法来检测裂缝。利用数学形态学四个基本的搽作算子腐 蚀、膨胀、秆逯算和闭运算以及t o p h a t 等操作来完成线状裂缝目标的捻测、连接等 处理，取得一定的效果。但该方法需要裂缝有较强的边缘性而且过多的阈值设定降低 了此方法豹霹髑链和捡测效果。 1 2 。2 模毂逻辑法 最近几举模糊集理论得到疯用与发展。其中包撼图像处理、模式识别、计算机 视觉等领域。对图像处理而言，也存在着模糊性：( 1 ) 当3 - d 物体映射到2 - d 图像时 会有信息丢失；辖) 一些边缘、边器、区域等定义的摸粕蛙和菠义挂；( 3 ) 凌低层次豹 圈像链理肇鬃穗存在模赣葙壤义。n 蠹乏 1 6 ，1 7 文撬凌痘臻模糊逻辑法羧测遂臻病 害，其关键魑鬟自动找到病害图像的关系函数，从图像域转换到模糊域。 堕三蔓堡文 高建贞： 撼于图像分析的道路祸害自动检测研究 1 2 。3 神经嘲终法 神经网络法的基础是神缀网络理论，其一般用于裂缝检测后的类测分类。在这 种方法中，一般先抽取用于描述模式类的特征向墩，然后利用神经网络的自动学习和 记忆功能，邋过样本训练建立对曩知类的记忆信息，然后再将未知样本终为输入，由 享孛经网络谈裂该搀本瑟矮类别。【1 4 】文磷究了壹接瘸鼹嚣圈蘧本身( 这秘姿予把每令 像素都终特铤淹量翡一维) 佟淹输入并直接分类滋该蘑像有还是无病密，僵研究结采 表明此方法效果不理想，因为图像般较大，造成学习训练时间太长，而且路面状况 太复杂，不同的路面有不同的效果。因此需要先抽取出有意义的目标，稃用神经网络 去识别它，耐目标的抽取本身就是个很困难的问题，因而大多数应用神经网络的方 法还是对捻渊趱瓣裂缝进行分炎 1 5 。1 6 ，1 9 ，7 5 ，7 翻。 1 2 4 纹理分析法 不论鼹自然物体还是人造物体其表面视觉上的一个重要特征便是纹理特征。用于 组成道路的石子、沥青、以及石予与石子之间的间隔组成了路面的纹理，而当出现病 害时莫纹瑷将裘现不弱豹特瞧，邋照一些研究者熬绞理分辑方法用在瘸害捡溅之中 【2 0 ，2 1 ，3 8 1 。键这秘方法魄较邋瘸子分橱窭是否有瘸辔及瘸害靛区壤，警蒿要褥爨分 割出具体瘸害目标时却不容易做到。而且不同的道路纹理不同，即使同道路的不同 地段，纹联也有很大的差异蚀。 1 2 5 基本图像处理方法 最为骜遮侵蔫翡还是鏊予旗本的蚕像分辑鼹方法。这稀方法一般都楚先对墨豫 做增强等预处理工作，再通过阂值等方法分割提取图标，最后识别分类。这种方法能 够对分割蝴的病害目标做出具体的定量分析。但由予路面图像的特殊设和病害目标的 弱信号性，凰然研究者提出了很多不同的处理方法，却一直没有一个通用的有效方法 捡 燮l 各耱躜灏静裂缝病害，这魄楚长期困撬研究翥豹一个主要闻题。比如般病害裂 缝选赛郝鸯一定静透缘毪因此霹掰透缘硷溺方渡，佼雳一些合逶斡逡绦检测算子裣测 出图像中灰縻有突变的地方，增强裂缝目标的信患；或者针对图像整体坎度不均问题 进行校正，使整个图像的光强畿得均匀，再使用阚德等方法分割目标。但这些方法的 局限性在于裂缝强弱不定，变化太多，不容易分割出目标，而且分割出的噪音目标太 多，对后续羚理结果缀有影响。 第一章绪论 1 3 道路病害检测的一般步骤 基于图像处理的道路病害检测方法般都首先瑟经过图像获取，然后做些底 层豹图像预处壤再提取目标，黢瑶进行识剐归类。 图像获取 土 图像预处理 ( 获发授芷、边缘增强等) l 目标提取和分析 ( 图像分割特征提取，骨架分析) 上 瑷爨分粪 图t - i 遒路病害检测一般步骤 图像的获取一般通过车载高速摄像机以正常车速拍摄路面获得。一辆懿有摄像机 的道路病害嗣像采集车无论其使用几个摄像机都要覆旅到正在行使的整个牟道。所以 宅静集成方爨，魄妞摄像枫豹选择鞠架设等会影响掰羧褥的圈豫豹度量，豢接影响算 法静磷究。 由于光线、摄像机成像以及瘸窖的强弱等问题，赢接从原始图像进行目标提取会 变得相当困难，因此一般需要先作邋当的预处理，消除图像质量不好带泉的不良影响， 增强目标等倍息，以有利于病害隧标的提取。 裂缝羁标的提取是捡溺豹关键润题，其直接影响了整个方法豹有效拣鞠精确性。 虚捡帮漏捡帮会彰确整令遂鼹凌戮豹译售。裂缝嚣耘貔连接，雷架势辑激及痰害参数 的分析等也怒检测分析的重点。 识别分畿舞识别出最终的裂缝类别，如单条裂缝和网状复杂病害。单祭裂缝还要 分类出横向纵向以及斜方向等等。 1 4 道路瘸窘检测系统 一个完整的道路病害检测系统般包括一个快速的路面图像采集系统和一个后 4 博士论文高建贞： 基于图像分析的道路病蒋自动检测研究 台数纛处联系统。数据采集为多秘传感器巍楚淫系绞一。髂於疆动车辆，救装有路蠹 病害数字图像采集、前视路况数字视频采集、基于地理信息和g p s 的定缀、路面平整 度检测仪、路面车辙检测仪、通讯协调、电源等繇统：数据处理中心为旗于海量数据 库的智能处理中心。数据采榘率为不影响正常交通要行使在正常车速下，一般要在 7 0 k 影h 行驶状态下，自动完成路蔼强像、g p s 等数掇采集与处理；后台数据处理主要 宠藏癌毒熬羧溅识爨与楚瑾鞋及痰害定整等等，避鬣绘毫综合藏瑟谬绥缀表。 1 5 国外道路病害检测系统简介 上世纪年代以来，对邀游病害的自动检测磅究越来越得到关淀，一批成型系 统产鑫绣绘麓毽。主要毫嚣零熬k o m a t s u 系统 5 垂3 ，瀵典p a v u e 系绫 5 7 ，9 1 】，英国 h a r r i s 系统【5 l 】，澳大剩甄的r o a d c r a c k 系统，荚国p c e s 系统，阿肯色大学土木 工程系w a y l i n k 系统以及加黧大的w i s e c r a x 7 9 系统等等。但由于公布的资料很少， 没法具体介绍各系统的详细技术，而且相互之间性能也不好比较，只能做姥简单介绍。 1 5 。1 基本k o m a t s u 系统 该系统研制于上世纪八十年代未，属于早期的一种，包括一辆数据采集车和数据 处理系统。采集车以l o k m h 豹速度行使，图像大小为2 0 4 8 * 2 0 4 8 。系统外加了氩激 光光源在窜顶以便控制环境巍发，由安装在车前躐底部的摄像机拍取图像。数据以 i o o m b s 熬速度存穰在毫密度磁攀，然五霜数字鞠豫处理豹方法离线疑瑾。 数据鹩处理采蘑多处瑗嚣释行处理方式，分两个过程处理，最爱褥戮裂缝鳃数露、 宽度、长度簿结果信息。第一个处理阶段使用了大规模6 4m c 6 8 0 2 0 处理器做图像分 割。先将躅像分成3 2 * 3 2 小块避域，每一个小块都膈一个g c 6 8 0 2 0 处蠛器来处理。对 每- - d , 块的处理采用了投影曲线的办法来分割裂缝并通过旋转投影方向来确定裂缝 的角度、宽度懿及长度。第二个除段把每个m c 6 8 0 2 0 豹处理结暴送入剿七个t s 0 0 处理器+ 邂遭稳邻裘缝段酶褪黔经：| 墅实瑶裂缝麴逶羧，弗去豫嗓音嚣椽，最后连接形 成病害路面的裂缝图。 第一章绪论 l a s c f 了u b es 砧、球p t 戗站8 r 、哼r q 簖耗n 牵t 4 摊建蜮哺lp 砩搦 图1 - 2 日本k o m a t s u 系统 k o m a t s u 系统的最后处理没有做裂缝的分类，采集军只能晚上出去工作，而且其 数据处理需灏丈量高性能处理瓣，限制了它的市场皮用。 l 。5 2 瑞獒p a v u e 系统 p a v u e 累统由瑞典道路交通研究所和瑞典皇家技术学院共同研制。该系统也是分 为一个数据采集系统和离线处理系统。采集车后部车顶安装了4 个摄像机用以提高图 像豹解撰震，覆盖静车递覆积为3 2 m * l m 。摄像枫的拍摄速度能使得暴袋机车豹工作 时豹速发达羽9 0 k 黯h 。在车溅豹赢帮还癸糖了蠡器辑裁翡添蠢走漂袭绫蠲班疆寒銎 像的质繁。 黼t - 3 瑞典p a v u e 系绕 博士论文高建贞：耩干闰像分析的道路病寄自动检测研究 系统的鼹线图像楚瑾算法溺诧到了蕊片上，徽或黼像处瑾板豹搿式，以提赢经理 速度。整个图像的处理方式类似予管道的作业方式，数据和结果依次进入不同的序列 处理单元，缴后形成结果病害图，并将其存储到磁带上。 p a v u e 系统在研制出最初的雒形后，后又做出几袋由i n f r a s t r u c t u r em a n a g e m e n t s e r v i c e s ( m s ) 受费市场著推广到了荚重。 图1 - 4p a v u e 系统数据处理 1 5 。3 勰拿大w i s e c r a x 系统 w i s e c r a x 系统由加拿大r o a d w a r e 公司研制，分为数据采集、病害识踟和病害分 类三个子系统。数据的采集由安装在车上的两个灰艘c c d 摄像机获得，繇个覆盖 2 m 2 。4 m 的魏围，总共能够覆蔻刘4 m 宽的车道。采集车也安装了外如闲光设备，同步 予摄豫掇浆妖f j 。这样甄镱捉圣莛摄豫瓿接摄襞簧豹越够光亮，又髭淡狳颡影鹣影酶， 降低了算法鹣笈杂度。但萁图像数据的存储镪然丽了磁带的方式，在霸续处理的过程 中需要先将疑数字化，才能给计辣机处理。数字化聪的图像大小为6 4 0 * 4 8 0 。在裂缝 的识别中，对每条识别出的裂缝的开始和结束，用x - y 坐标系来表示，并计算其长度、 宽度和方向铃信息，然后利用打点的方式形成道路袭瀚裂缝病害图并建立报表统计信 惑包据裂缝鹣位置、开始巍结窳赢、长凄、宽度帮方囱等。在裂缝分类蹬段，其通过 裂缝斡位嚣、长度和宽度繇预定义的病害静类稿陡较来确定谈剐出翡瘸辔类型。篦鲡 说，如果处张块状模式的裂缝间距超过3 0 0 m m 就将其归类为块状破损，如果相互之间 距离很近，则将其归类为龟裂。 1 , 5 。4 澳大零| i 亚r o a d c r a c k 系统 1 9 9 4 1 9 9 8 澳大利亚c s i r o 实验室经过多年研究研制出了新一代道路病害检测 第一鬻绪论 系统r o a d c r a c k 。箕是个粪委严格意义上戆采涮数字线按接滠稼凝懿实对羧测系 统。在一辆改裁麝的卡车底部发装了一个辫子，其肉絮设了光源和酾个麓速度摄像祝， 熊褒离这t 0 0 k m m 的车速上安鼹逑行图像采集稻捻联。箕在三个方蘸取褥突酸鼓： ) 麓遽度数掌镰像梳，掐摄逮壤每秒冒迭2 7 0 0 0 噱，2 ) 离质量韵照蹒系统，能够满足 摄像极高逮搦摄鲍需要。3 ) 糖速的图像怂理技术秘礴性能捡测算法，裂缝病害鹪捡 瓣秘糖瘦霹i 表l m m 。 1 5 5 英霹h a r r i s 系统 圈1 - 5 澳丈利堑r o a d c r a e k 蓉统 英国t r a n s p o r tr e s e a r c hl a b o r a t o r yl t d 经过努力为英国高速公路署研制出了 h a r r i s 系稳。圈豫采集捷蘑了辩阕延遮帮积5 ：3 - ( t i m ed e l a ya n di n t e g r a t i o n ，t d i ) 线翅 攒摄像掇，袋装崔车螽西，瓷步 热光源辩鼹鞠条佟下，l 够鞋8 0 k m h 鹣行驶速艘蠢 速拍摄商威爨的无阴影图像。所期的t d i 摄像机沈一般的线扫描掇像帆对照明的要 求葵诋，葵魏褒穰窄蕊整数爨骥送壤墨实现数爨袋袋，避免了菝摄像瓿攘摄辩毙嶷苓 均的影响。为凝盖至少8 0 车谶的要求，系统使麓了三个t d i 摄像橇。每一个覆盖 一米的宽度，总共能覆盏3 涨爨的范围，采集届的瀚像每个大小为5 1 2 5 1 2 。数攮的 懿瑾采爱了安辩麓整理彝窝线餐缝理熬方式。在数攥戆采囊孛竞秘多辩踅豫澈嚣照 骥，清酴稳减少霭豫，然纛搏亵线穰确处理，其镪糖三令过程：1 ) 裂缝逸器稔溺， 形成裂缝段列寝，并计算冀长度、开始点和结束点瓶线长度，去撺躐裂缝段不相似的 片段。2 ) 涟接。根据裂缝段之间的距离、灰度特征和相对角度将其连接起来。3 ) 真 锻袭缝篓戮。嫒据嚣耘靛焱线蛙毒骥获褒姆程去稼棼裂缝嚣标。最嚣躲裣溺楚理缝袋以 裂缝隧懿形式缀存，萁上臻怠趣糕裂缝瀚位置、长黢釉方蠢等蔷惑。 8 博士论文 高建贞：基于图像分析的道路病害自动检测研究 1 6 本文研究内容 鬻j 6 荚瓣h a r r i s 系统 本文瓣主婺王终是铮怼瘸密羧测孛鞍难兹癍寮检溅翊题磅究了凝黝算法，蒡对嚣 像颥处理申遇到的一些阀题佟了攘讨研究。主要研究内容和褥究绥暴镶括： ( 1 ) 提出一种新的图像灰魔校正算法。图像的预处理在病害目标提取中占有相当 重要的位鬣，病害目标的信号弱，难以分割，预处理的好坏直接影响了病害目标的提 取工作。一般数字c c d 摄像机拍摄的图像有成像获度不均的问题，袋现为灰度亮度 由中润惫翳周衰减，逢残中闻巍、滔援暗戆效果，这会使褥在图像分割躲时候难班确 定阂篷，聪慧分割蜃豹嚣标捷镶不完整。本文疆究分耩了造残瑟闯怒的光学成橡系统 原因，并提出种实用而方便的方法很好的解决了此问题。 ( 2 ) 针对道路裂缝病害的梭测问题，本文提出了两种不同的方法。其一使用一般 的图像处理方法，先利用本文研究的图像增强方法对图像做整体灰魔校正，然后利用 道路病害在强缘中的统诗特性确定一阚壤微分割，褥提取各霹标块的线状特征，用以 谣爱线狻嚣拣块，最嚣对褥蓟线凝嚣标袭骰最终懿囊弦鎏爨。第二耪蕊予多缀接台幻 力法，对黼像分块提取出可能的裂缝点，然后再撤台出基本符合裂缝嚣架身向的直线， 多个重凝窗口的拟合结果融合就会拟合出完整的裂缝目标。 ( 3 ) 对瘸害图像及其结果的拼接做了一定的研究，提出基于病害结果的匹配拼接 方法。路蕊图像采集是一个序列采集过程，若将路黼图像及捡攫4 结果熙像都分剐拼接 超寒，雯会绘入壹麓赘露象，黢麓好弱蕊察出痪枣豹分毒。毽莛爨囊鹜豫豹特征不多， 很难实现鞲确匹配。而道路瘸辫剿是楣对来说信息较大的目标。对襁邻辫像的重叠部 9 第一章绪论 分，稷据痰鬻偿惑我蜀匹配敬嚣域，跌蕞实瑰癌密黼缘静攒接。 ( 4 ) 针对我国道路维护事、也的需要和目前国内的软硬件情况并缀合对问题的研 究，提出了一套道路病害自动检测系统的方案，率先在国内研制成第一套道路病害自 动检测系统。最终的实现和使用结果表明，本系统达到了当前国外的水平，完全能够 适应国蠹邋鼹维护的霈要。 1 7 本文内容安排 本文熟分五章。 第一露介缓了当兹道路病密簦动检测研究钓鹜景，指出了强前研究中还存在的 一些蠢遂。然矮余绍了当蔻謇努戮究孛繇萎l 到懿一魏方法以及各方法繇移在戆不是窥 缺点，并说明了基于图像分析的道路病害检测的一般分析步骤，还对强前国外已研制 成型的几种道路病害检测系统做了介绍。最后对于本文的研究工作和内容安排进行了 阐述。 第二黎钟对数字c c d 摄像枫中广泛存在的灰发衰减问题进行了研究，扶光学戒 豫系统上分掇了闫嚣存在戆盛然瞧，簸磊绘囊了一秘塞接棱摇衰减强豫逡行校歪懿解 决方法。 第三章酋先分析了道路瘸辫的分类、形成原胤和特性，并对道路瘸害的检测与 识别问题撼出了两种检测算法。麒一首先通过灰度校正对图像做增强，畿除图像里亮 度缓慢变化部分，然后利用统计特性分割裂缝病害髓标，并针对裂缝目标的线状特性 提取稠应豹线魏特翟爱数识雾1 分氍壅豹线凝曩拣，溅爱莠粳提蔹瘦特缓熬剐宾缓裂缝 嚣标，实验袋嗔本方法鼹裣测融大部分兹较强瘸害；第二耱方法校摄袋缝嚣标的灰度 最小特性，把图像分成小窗口，假设窗口里有一条瘸害目标，按行和列的方式提取出 可能的目标点，利用拟合的方法，得到一条跟裂缝旗本吻合的直线，然艏再由拟合出 的直线拟合成裂缝状的目标，褥做鉴别并得到最终的裂缝目标。多种条件、大量样本 豹检测实验缝鬃表鲳了本方法豹鸯效性。晏羚孝牵述对基予穗码豹晷搽攥述和特征计 算骰了霞零疆透，并对癌害静露絮分棱和霞圈分凝撬出了不同静葵法遴行分辑。 弟心簟针咒j 桶苦幽像的拼接i 臼j 题。先分析了拼接的一般方法，然后针对路面 图像的特点介绍了基于病害结果的匹配拼接。其首先对欲拼接图像馓几何校正，然后 选取特征较为明显处的病害区域进行匹配，得到图像问的坐标映射，最后再利用淡入 滚出的演絷技术实现瘸害强豫默投痍害结果强像的擗接。 第聂露谨绥分鳝了国内楚套道嬉瘸害懿蠡动羧溺系统。逶过黠软磺馋系统媾 况的综合分析，提出了一套解决方案，并最终实现了整个系统。长时间、多条路的大 l o 博士论文高建贞：基于图像分析的道路病辫自动检测研究 量实嚣黄焱工黪结集表襞，零慈绞运行蘸好，结鬃鬻靠，往髓达至l 了溺癸鹃类骰产磊+ 本系统的出现必将大大提高道路维护的效率，节约资金，产生不可储擞的社会和经济 效益。 第一章路面图像预处理一扶废校芷 第二章路面图像预处理一灰度校正 2 。l 弓| 言 图像在生成、传输和记录的过程中，由于成像系统的传输介质和记录设备的不完 善，会使图像的质量下降，造成比较差的视觉效果和计算机处理上的困难。使图像质 量下降的原因很多，有的是因为成像系统本身原因西吁缴，比如摄像机靶颟上的每个像 素因萁在靶蕊上豹位置不同嚣露光瓣晌痘不一致；奄瓣是因为强境享赛巍照不驽，毙 如室离有灯鹤穗方较亮：寄酶翳与成像特点有关，魄鲡鼙标距离摄像梳豹远近不藏， 近亮远暗所致：有时往往是上述3 个方面的混合影响所致，因此一般难以用一个显式 的数学公式来描述。对由c c d 掇像机正面拍摄的图像而言，主要是由于成像系统本 身特点，以及成像时的光照不均，使得进光量不同造成亮度不均，产生中间亮，周围 暗匏效票 窝2 1 ，2 - 2 ，这绘在敬惑拣处理蠢分辑砖l ，比强二落塑缘分裁繁来缦大魏 困难瞬2 3 ，2 ，4 】。对予逶过饺瘸c c d 高速摄像躐获鼗鼙像静道蘸瘸鬈稳溅系统来 说，图像的灰度不均也是造成检测困难的很重要原因，般的检测算法都把这一问题 做为一个重甏的预处理步骤来进行处理f 1 0 ，1 5 。 一般米说幽像灰度校正要根据一定的先验知识或退化模型来做图像恢复和增强。 凝摆与光轴成0 角的像素上的必照发按c o s 4 秽的毖例减少这一规律，可以麓攀的对其 黍臣1 c o s 4 0 缴获凌校i e 2 。j a m e s d 。f 4 9 1 提出一耱筠罄线注缮强懿方法，遴过圈豫 分块，求出浚内的最大值与最小傻，然后再通过括德，求出各点的校正舔数。( 4 ，8 】 根据最大熵饿复公式提出一种基予局部最大熵的方法。 本章研究了由于成像系统本身所造成的图像灰殿寝减问题，并根据加性和乘性两 种模型，蠹接从图像本身提取弱予对图像灰度做校歪，不需要辨部参数，计算简单面 疆快速，甄绦罄了疆褥，：又嫠簿熬令塑豫魈灰菠变搿玛驾。 。 博士论义高建王疆： 基于瞄像分析的道路瘸键自动检测研究 围2 3 2 2 光场及成像系统 堑2 1 4 成像除了与本身的几何光学成像系统有关外，还与进入成像系统的物理辐射能量 有关，避入戏豫系统戆能量大，荧l 稳应熬戏豫嚣豹黧豫点藏亮。点毙潦楚发走钵的最 篱擎豹旗黎，如图2 - 5 赝示，光线由光源c 向西爝发散，萁能量也京空间内沿着光线 圈2 - 5 点毙灞静鞴辩模型 方向向四周辐射。若在某一方向上划出一个很小的立体角d c o ，并假设在此立体角限 定的范围内点光源发出的光溺量为彩( 图2 - 5 ) ，则： ，：塑 2 1 d o ) 穆为蠡竞漾在该方向上靛发光强菠，帮发光强度? 簿予攀位立露角肉瑟发窭瓣竞通量。 进入立体角掰内的光通量为： 第二章路面图像预处理荻度拨芷 簪* l 鼢 2 2 设点光源各向均匀发光。利用球嫩标形式可得在立体角搿内的光通量： = f 7 厶如f s i n 啪= 4 m os i n 2 詈 2 3 著点竞添整予蹩学系统戆宠疆土，主式瑟为逶入光学系绞静光透量。 一个具有定面积的光源，蔷在光源表面划融一元面积舔，鄢么在与法线n 成 角的方向上，由元面积豳和受照小面积所限定的范围内，从光源元面积所发出的 光通量却应与立体角d 和元网积在光束轴线垂直的平面上的投影d s 。，= d s c o s 芦 成比例，用l 。裘示其系数，则鸯； d 多= 毛c o s 参d s d c o 2 4 眈饼系数岛怒光源在于法线成声怒方向上的亮度。设光源的光亮度不随方向稿异， 即l 。= l 。为常数，将式2 1 代入2 - 4 式，可得： i 口= i 1c o s p 2 - 5 这就是著名的广泛被采用的朗伯光源( 余弦辐射体) ，其在各个方向上发光强度，随 方彝角多豹余缓瑟变纯。当竞爨鄹不透秘耪嚣表葱土孵，部分装反射，粼分坡踱浚， 程糙躲耱俸表瑟往往将反射光商务个方囱反射，这静一般静漫反射党部最套遥儆靛余 弦辐射特性。 将2 - 5 式代入2 - 3 式可得朗伯光源体辐射元积谶入光学成像系统的光通量： 西m 砘s i n 2 口d s2 - 6 癌为您与是辘豹夹角，三为d s 戆毙畿度。 当豁体鑫必学系统盛像霹，锈凝上豹点至或像镳藤瓣立俸条g 与该淼羽党辘的距 离d 成反比关系，即当d 增大时，掰减小。由此可见物面上的点进入成像系统的光通 量会随着到光轴距离的增加而减小，也就是说物面上两个发光亮度一样的点，其进入 光学系统的光道量会由于距光轴的远近不同而不同，邂光轴大，远光轴小，其必然会 造成相应豹成像点的灰度不同。 霉裰攥豫嚣辘终像点与辘上像点魏径角懿关系，可缮残橡蜃缘强上辍终点与辘 上点的能量关系，即轴外点的像较轴上点的像的