（控制理论与控制工程专业论文）道路质量视频检测系统的设计与实现.pdf

人连理一j ：大学硕士学位论文 摘要 我国交通运输事业发展十分迅速，道路质量是影响交通运输发展的重要因素，其中 道路的路面维护与管理已经成为交通工程领域的研究热点。传统的路面管理系统存在着 数据采集量大、处理过程复杂、评价结果不直观、可视化程度低等缺点。针对这些问题， 本文采用地理信息系统和视频技术开发了道路质量视频检测系统。系统以v c 6 0 为开发 平台，选用地理信息系统二次开发组件m a p o b j e c t s 和a c t i v e x 控件进行整体架构设计， 将路面信息以图形、视频和决策文本等形式直观地进行表示。在数据管理方面，使用 a c c e s s 数据库结合a d o 访问技术对系统中的空间数据、属性数据和路面视频等数据进 行综合高效的管理。利用基于内容的视频检索技术和图像处理技术对路面视频进行有效 的分析和检测。 道路质量视频检测系统主要包括三个模块：地理信息管理模块、路面视频管理模块 和路面视频检测模块。地理信息管理模块主要设计实现了地图绘制、显示控制、图层控 制、统计图表和道路信息查询等地理信息系统的通用操作功能。路面视频管理模块设计 实现了视频数据和道路属性数据的编辑和管理、路面视频数据的播放测试和查询等功 能。路面视频检测模块是系统的核心，主要实现了路面故障视频的自动检测和特定类型 图像的查询检索功能。在实现视频自动检测的过程中，针对传统的镜头边界检测和关键 帧提取算法，在计算量和鲁棒性等方面的不足，本文提出自适应阈值的隔帧检测算法， 实验结果表明，与传统的检测方法相比，该方法能够有效地提高路面故障视频检测的效 率；同时本文又提出了一种新的选取关键帧参数的方法，进一步提高了路面故障视频检 测的科学性和准确性。查询检索功能是在病害图像处理的基础上，通过特征提取和特征 匹配实现的。 道路质量视频检测系统的实现，提高了道路质量管理的科学性，保证了路政管理部 门直观准确地查询路面状况信息，为养护决策的制定提供了有利的辅助决策支持，具有 较强的实用价值。 关键词：地理信息系统；镜头边界检测；关键帧提取；图像处理；特征提取 道路质量视频检测系统的设计与实现 d e s i g na n dr e a l i z a t i o no fv i d e od e t e c t i o ns y s t e mo fr o a dq u a l i t y a b s t r a c t t r a n s p o r t a t i o nb u s i n e s si no u rc o u n t r yh a sar a p i dd e v e l o p m e n t t h eq u a l i t yo f r o a di sa n i m p o r t a n tf a c t o ro ft r a n s p o r t a t i o n t h em a n a g e m e n ta n dm a i n t e n a n c eo ft h er o a dh a sb e e na r e s e a r c hf o c u so nt r a f f i ce n g i n e e r i n g t h et r a d i t i o n a lp a v e m e n tm a n a g e m e n ts y s t e mh a s s o m es h o r t c o m i n g s ，f o re x a m p l et h ea c q u i s i t i o no fd a t ai sah a r dw o r k ，d a t ap r o c e s s i n gi s c o m p l e x ，d a t ai so fl o wv i s u a l i z a t i o n ，e v a l u a t i o nr e s u l t sa r en o ti n t u i t i o n i s t i ce t c i nt h i st h e s i s ， av i d e od e t e c t i o ns y s t e mo fr o a dq u a l i t yi si m p l e m e n t e dt oo v e r c o m ea b o v ep r o b l e m s t h e s y s t e mi si m p l e m e n t e do nt h ep l a t f o r mo fv c 6 0 m a p o b j e c t so fg i sr e d e v e l o pc o m p o n e n t a n da c t i v e xc o n t r o la r ee x p l o i t e dt os h o wr o a di n f o r m a t i o nb yt h ew a yo fg r a p h i c s ，v i d e oa n d d e c i s i o nt e x t t h es p a t i a ld a t a , a t t r i b u t ed a t aa n dv i d e od a t aa r em a n a g e ds y n t h e t i c a l l ya n d e f f i c i e n t l yb ya c c e s sd a t a b a s ea n da d ot e c h n o l o g y v i d e or e t r i e v a la n di m a g ep r o c e s s i n g a r eu s e dt oa n a l y s i sa n dd e t e c tt h ep a v e m e n tv i d e oe f f e c t i v e l y t h i ss y s t e mi sc o m p r i s e do fg e o g r a p h i ci n f o r m a t i o nm a n a g e m e n tm o d u l e ，r o a dv i d e o m a n a g e m e n tm o d u l ea n dp a v e m e n tf a u l td e t e c t i o nm o d u l e t h ef i r s tm o d u l ei m p l e m e n t st h e f u n c t i o n so fm a p p i n g ，d i s p l a y i n gc o n t r o l ，l a y e rc o n t r o l ，s t a t i s t i c a lc h a r t sa n dr o a di n f o r m a t i o n q u e r y i n g t h es e c o n dm o d u l em a i n l yi m p l e m e n t st h em a n a g e m e n to fv i d e od a t aa n dr o a d a t t r i b u t ed a t a ，q u e r y i n ga n dd e t e c t i o no fr o a dv i d e o t h et h j r dm o d u l ei st h ec e n t e ro f s y s t e m a u t o m a t i cd e t e c t i o no ff a u l tr o a da n dq u e r y i n go fs p e c i f i ci m a g ea r ei m p l e m e n t e di nt h i s m o d u l e i na u t o m a t i cd e t e c t i o n ，t h et r a d i t i o n a ls h o tb o u n d a r yd e t e c t i o na n dk e y - f r a m e e x t r a c t i o nh a v es o m ed e f e c t so nc o m p l e x i t ya n dr o b u s t n e s s s ot h i st h e s i sp r o p o s e san e w a l g o r i t h mw i t ha d a p t i v et h r e s h o l da n di n t e r v a ld e t e c t i o n s i m u l a t i o n so nt h i sa l g o r i t h ms h o w t h a tt h ee f f i c i e n c yo fp a v e m e n tf a u l tv i d e od e t e c t i o ni si m p r o v e de f f e c t i v e l y b e s i d e s ，an e w m e t h o do fs e l e c t i n gt h ek e yf r a m ep a r a m e t e r si sp r o p o s e dw h i c hf u r t h e ri m p r o v e st h e a c c u r a c ya n ds c i e n t i f i co fa u t o m a t i cd e t e c t i o n q u e r ya n dr e t r i e v a lf u n c t i o n sa r ei m p l e m e n t e d b yt h ew a y o ff e a t u r ee x t r a c t i o na n df e a t u r em a t c h i n g v i d e od e t e c t i o ns y s t e mo fr o a dq u a l i t yi m p r o v e st h es c i e n c eo ft h er o a dq u a l i t y m a n a g e m e n t ，e n s u r e st h er o a da d m i n i s t r a t i o nd e p a r t m e n tt oc h e c kr o a dc o n d i t i o n sv i s u a l l y a n da c c u r a t e l y , p r o v i d e saf a v o r a b l ed e c i s i o ns u p p o r tf o rm a k i n gc o n s e r v a t i o nd e c i s i o n ，h a sa s t r o n gp r a c t i c a lv a l u e k e yw o r d s ：g i s ；s h o tb o u n d a r yd e t e c t i o n ；k e yf r a m ee x t r a c t i o n ；i m a g e p r o c e s s ；f e a t u r ee x t r a c t i o n i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 亟盗函量越，透造捌螽鏖。鲍煎丛互奥丑尘 作者签名：趔2 日期：j 如l 年_ l 月l 日 大连理r 大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：遭盟盘量御垣划垒氲自迳丛当迎 作者签名：垒是签1日期：翘q 刍年陵月卫日 导师签名：日期：麴旦年j l 月乙日 大连理工人学硕士学位论文 1绪论 本章分析了国内外路面管理系统的发展状况和存在的问题，主要阐述了道路质量视 频检测系统的课题背景和研究意义，最后简单介绍了本文的主要内容。 1 1 研究背景 在现代社会中，道路已经成为各个国家经济发展的重要基础设施。我国公路交通事 业虽然起步较晚，但是发展迅速。截止到2 0 0 8 年底，全国公路总里程已经达到3 7 3 0 2 公里，越居世界第二位【l 】。随着公路网的逐步完善，新建道路逐渐减少，现有道路的养 护维修问题同益突出。路政部门的工作重心开始由对公路的建设、施工等实体性工作向 管理和维护这些耗资巨大的建设上转移。但是，当今路政部门面临着许多问题，例如养 护资金少，养护设备不齐全，对原有道路缺少系统的检测、科学的评价和详细的记录， 缺乏对路面损毁程度的定量分析，从而导致制定出的养护方案不符合实际情况，造成资 金的浪费、路面质量继续下降以及重复性维护费用的上升。为了解决这些问题，路面管 理系统应运而生。这是一套计算机辅助决策系统。它综合了计算机、系统分析、工程理 论、专家预测、公路养护等多项技术，为路面管理和分析提供辅助信息。通过对路面有 关数据例如：路段名称、路段里程、路面宽度、基层类型，修建年月等基本数据以及交 通量、路面破损度、平整度等路面现状数据的采集，结合现有路面状况进行评价和分析， 提出养护建议，辅助制定养护计划【2 】。最大化的利用有限的资金，实现了综合性地管理 和养护现有路面。 1 2 路面管理系统的发展现状 ( 1 ) 路面管理系统的国外研究现状 公路建设事业发展较早的国家，也较早的开展了公路养护管理方面的研究。路面管 理系统( p a v e m e n tm a n a g e m e n ts y s t e m ，简称为p m s ) 的应用研究起源于北美，自从该 系统被提出以后，许多学者致力于p m s 的研究。p m s 现今已经发展成为一个包含交通 网路规划、道路建设、施工、养护等过程在内的全面科学的管理系统，并被广泛地应用 于多个国家。 国外路面管理系统比较典型的有：美国陆军工兵团的p a v e r 系统，该系统包括三 个重要部分：路况分析、路况预测、养护维修计划等，其主要特点是最早采用了扣分法 计算路况指数( p c i ：p a v e m e n tc o n d i t i o ni n d e x ) 。由于此方法思路严密、清晰，所以被 广泛应用【3 】。英国c h a r t 路面管理系统是由英国运输与道路研究所( t r ll i m i t e d ) 于 道路质量视频检测系统的没计与实现 1 9 8 0 年开发的。系统的主要功能有：路面损坏形状、路面断面、位置图片、路面破损评 估与维修列表、列出维修路段位置、破损评估与对应的统计柱形图等。加拿大的城市路 面管理系统( m p m s ) 也具有完善的功能，该系统由数据库管理、养护计划、路网改建 计划、项目级设计与分析4 个子系统组成。其最大的特点是提出了效果的概念，并将其 作为优化排序的重要指标，即把改善路面使用性能作为所获收益中的重要一项【4 卅。 ( 2 ) 路面管理系统的国内研究现状 国内对路面管理系统的研究起步也较晚，开始于上世纪八十年代。1 9 8 6 年我国引进 了英国的b m s 沥青路面养护管理系统，在辽宁营口地区进行试用。“七五”期间，交 通部公路科学研究所、同济大学等科研单位共同承担了国家重点攻关项目“干线公路路 面评价养护成套技术 的研究，建立了我国的干线公路路面评价养护系统，即路面管理 系统c p m s ( c h i n ap a v e m e n tm a n a g e m e n ts y s t e m ) 。从此我国进入了路面管理系统的研 究的高潮。广东、北京、河北、四川和宁夏等省市的公路部门相继建立了符合自身状况 的省市级或地区级沥青路面管理系统，并取得了良好效果。国内所建立的路面管理系统 主要分为两种形式，一种是直接应用交通部推广的c p m s 系统。如营口【7 】、宁夏【8 】地区 和沈大高速公路等，另一种则是在c p m s 系统基础上又结合各个地区的实际情况而开发 的系统，如河北省高速公路路面管理系统【9 】，广东省高速公路路面管理系统【l o 】等。目前 国内的路面管理系统功能主要包括：数据自动化检测、路况评价、养护需求分析、养护 预算预测、资金优化分配、养护计划自动编制、日常管理等功能，路面管理系统已经成 为公路信息化和管理现代化的一个重要标志。 ( 3 ) 路面管理系的发展趋势 路面管理拓展到设施管理。路面管理系统发展成熟以后。9 0 年代中后期，研究 人员开始将路面管理与桥梁管理结合在一起。美国纽约州的公路管理部门在1 9 8 7 年就 开始着手对路面和桥梁一起进行管理。而在国内，随着路面管理系统应用程度地加深， 上海于9 0 年代中后期开始开展了城市基础设施管理信息化的研究。 专家系统体系的引入。随着新技术的不断发展，新的技术不断被引入路面管理 系统。上世纪8 0 年代，各个国家纷纷建立了基于专家知识库的路面管理系统( k b e s ) ， 在路面日常养护和改造方案的选择方面得到了具体的应用。目前k b e s 中人工神经元网 络和遗传算法的研究针对的就是路网优化和桥梁的资金分配。 开发的标准化与新技术平台的应用。计算机软件地发展极大地促进了路面管理 系统的发展。近年来，地理信息系统( g i s ) 技术被广泛应用于交通运输领域，形成了g i s 的专门分支g i s t 。基于g i s 的管理系统是对被管理对象进行数字化，完成地理信息的 空间和属性的结合。 大连理t 大学硕士学位论文 数据采集技术的提高。近年来，研制新的数据采集设备和相关软件技术的研究 也是国际和国内道路工程界的一个前沿方向。其中，比较具有代表意义的有利用模式识 别技术进行路面损坏状况自动或半自动检测和交通数据的采集。数据采集仪器采集到的 数据与路面管理系统的数据通信研究始终是研究者需要解决的问题。 新理论的改善和新技术的应用是路面管理的发展趋势。 1 3 道路质量检测系统的提出和研究意义 从国内的路面管理系统的使用现状来看，收到了一定的效果，但是也存在一定的问 题。路面管理系统目前应用范围大都局限于高速公路，对于日常的城市交通路段没有切 合实际的应用。路面管理系统收集和处理数据的工作量很大，所需要的时间也很长。收 集来的数据大多基于文本或枯燥的数字，数据的输出和查询仍以表格或曲线的形式，路 面状况的信息化和可视化程度不高。目前，决策人员评定路面状况和制定养护计划仍然 依据大量的数据或图表，对路面的实际情况没有感官上的认识。因此，需要根据实际需 要开发相应的应用系统平台。 近年来随着电子科学、计算机、多媒体信息和网络技术的迅速发展，视频技术逐步 兴盛起来。视频信息属于一种视觉媒体信息，它提供的丰富信息量是其他媒体不可比拟 的。视频是将一幅幅静态的影像以电信号的方式加以捕捉、记录、处理、存储和重现。 它能够将真实景况以动态的图像的方式反映给使用者。对于大容量的视频数据的查询和 检索已经成为近些年研究的热点领域。 基于内容的视频分析与检索( c o n t e n t b a s e dv i d e oa n a l y s i sa n dr e t r i e v a l ，c b v a r ) 是指在没有人工参与的情况下，自动提取视频的特征和内容( 如视频中的镜头、关键帧 等) ，同时根据提取的特征和内容进行检索【1 1 1 。国外基于内容的视频检索的典型系统有： i n f o r m e d i a 数字视频图书馆系统。它是c a r n e g i e m e l l o n 大学所开发的，该系统致力于研 究新的方法用于音、视频内容的检索、浏览和提取。该系统被广泛用于教育、信息和娱 乐等行业n 刳。q b i c 是i b m 研究中心于2 0 世纪9 0 年代开发的，该系统是第一款基于商 用的视频检索系统。系统提供示例图像、构建草图、颜色选项和纹理模式、镜头与目标 运动或者其它相关的图形信息等，对大型图像和视频数据库进行查询【l3 】等功能。 v i s u a l s e e k 是美国哥伦比亚大学与电信研究中心图像与高级电视实验室共同研究的， 它实现了互联网上的基于内容的图像视频检索系统【1 4 1 。国内典型的视频检测系统主要 有：t v f i ( t q i n g h u av i d e of i n di t ) 系统。它是清华大学开发的视频节目管理系统。该 系统提供了视频数据入库、基于内容的浏览、检索等功能。同时提供多种数据访问方式， 其中主要包括基于关键字查询、示例查询、按视频结构浏览及按用户自定义类别进行浏 道路质量视频检测系统的设计与实现 览等。还有由中国科学院计算技术研究所开发的基于形状的图像检索系统等。目前视频 分析与检索领域的研究热点已经从传统的基于低层特征的方法向语义分析转移。 基于内容的视频检索技术的特点是充分利用图像数据的信息，如颜色、形状、纹理、 语义等特征作为索引，在一段视频中检索出具有相同特征的帧图像。该方法由计算机自 动地从图像数据中提取内容特征，有效地避免了人工干预过程中的主观性，减少了工作 量，提高了处理速度。该技术利用相似特征匹配算法进行检索，按照相似度的大小得到 近似匹配结果，自动检索到所需信息，实现视频自动检索的功能。 总结国内外路面管理系统和基于内容的视频检索技术的特点后，为了提高数据的可 视化程度，减少用户工作量，开发了道路质量视频检测系统。系统将地理信息系统与视 频检索相结合。地理信息系统能够将道路、桥梁的地理属性图形化，把信息准确真实、 图文并茂地输出给用户。视频能直观形象地反映路面损坏程度，视频检索的技术地引入， 将路面损坏状况自动或半自动检测分析功能和道路数据集成起来进行管理。帮助用户对 故障路面进行分析处理，及时地安排相应的人员、材料、机器对故障路面进行修护本 系统极大地提高了传统路面管理系统的图形化、数字化和分析能力，为养护方案的制定 提供了有效地辅助决策手段。 1 4 本文的主要内容 本文介绍了自行设计和开发的道路质量视频检测系统。系统采用了现今流行的开发 方式- 基于c o m 的设计开发方法，在v c 6 0 平台上利用m f c 和地理信息技术中的 m a p o b j e c t s 组件搭建了系统总体框架。利用a c c e s s 建立了系统数据库，具体实现了道 路数据库的访问、空间属性数据查询、图层控制、空间分析等功能；道路信息与视频数 据结合实现了道路与路况视频相互查询的功能。同时将基于内容的视频检索技术引入系 统，通过对路面视频信息进行分析处理，设计了查询检索、自动检索、故障图像分析和 故障图像查询等功能。 本文主要分六章对研究内容进行介绍：第一章为绪论，概括说明了课题的研究背景， 分析了路面管理系统的国内外研究现状。总结了基于内容的视频检索的发展状况，并根 据其技术特点提出了道路质量检测系统，阐述了系统开发的意义。第二章主要介绍了开 发系统所选用的m a p o b j e c t s 组件和和视频检索技术。第三章阐述了系统的总体功能设 计和数据库设计。第四章介绍了系统中地理信息管理模块的设计与实现。第五、六章介 绍了路面视频处理和检测模块的设计与实现，其中详细介绍了故障路面视频检测算法的 设计与实现。最后提出总结与展望。 大连理工大学硕十学位论文 2 系统开发方式选择和视频技术介绍 2 1系统开发方式的选择 系统是建立在具体的道路模型的基础上。道路除了具有结构、几何、性能等特征的 属性信，9 4 , b ，还具有地理位置和空间特征等空间属性信息。要将这些信息结合反映给用 户，并实现方便的管理，地理信息系统是首选。地理信息系统综合了地理、制图、遥感 影像、计算机技术、数据库技术等。它具有数据综合、地理信息模拟和空间数据分析的 特点。利用这些特点不仅能够将道路图形化，提供给用户真实、直观、形象的模型，而 且能够将道路信息的空间数据和属性数据进行集成管理，加强二者之间的联系，方便用 户浏览和查找所需数据。 2 1 1 组件式地理信息系统 地理信息系统开发模式主要有三种【1 5 】： ( 1 ) 独立开发 独立开发是指完全从底层开发，不依赖于任何g i s 的开发工具，从空间数据采集、 编辑到数据分析处理以及最终的结果输出，所有过程都由开发者独立设计完成，然后选 择某种程序设计语言，如v i s u a lb a s i c ，v i s u a lc + + 等，根据软件工程的开发步骤完成系 统整体的设计与开发。此种开发模式适用于开发商品化的地理信息系统平台，但是这种 模式开发难度较大、开发周期也较长，不适用于一般的开发用户。 ( 2 ) 单纯二次开发 单纯二次开发是指完全基于g i s 的开发平台，运用提供的二次平台开发语言进行开 发，例如a r c i n f o 所提供的a m l 语言、m a p l n f o 所提供的m a p b a s i e 等，开发出具有特 定应用功能的地理信息系统。这种开发模式简单易行，许多功能可以直接从原有平台软 件中引用过来，但是此种模式移植性差，容易受开发平台的影响，无法脱离原有的系统 单独运行，适用于开发特定功能的用户。 ( 3 ) 组件式开发 很多g i s 软件生产商都提供商业化的g i s 组件，例如e s r i 公司的m a p o b j e c t s 、 m a p l n f o 公司的m a p x 等。组件式丌发就是在可视化开发环境( 例如v c 、v b 、v c n e t 等) 中，将上述g i s 控件嵌入到用户的应用程序中，实现基本的g i s 功能，在同一个开 发环境下对控件进行调用就可以实现专业的g i s 功能。此种模式可以缩短程序的开发周 期，程序移植性较好、利用维护。 通过以上分析，独立开发和单纯二次开发从丌发难度、开发周期和移植方面性能都 道路质量视频检测系统的设计与实现 较差，不适合道路质量视频检测系统的开发。因此，综合考虑系统建立的难易程度、健 壮性以及系统日后的维护、扩展等方面。本文主要选择了组件式开发方式开发道路质量 信息系统框架。 2 1 2 m a p o b j e c t s 控件 m a p o b j e c t s 是由美国的e s r i ( e n v i r o n m e n t a ls y s t e m sr e s e a r c hi n s t i t u t e ，环境系统 研究所) 公司开发的一组供应用开发人员应用开发的g i s 功能组件。m a p o b j e c t s 由一个 o l e 控件和一系列可编程o l e 对象组合而成的。该地图控件可以直接嵌入到许多标准 的软件开发环境中，能够通过其功能属性来操纵地图。这些属性也是在目前流行的如 v i s u a l c + + 、v i s u a lb a s i c 、d e l p h i 、m i c r o s o f ta c c e s s 等程序设计环境中开发而成的，或 者通过其他程序化的对象来操纵地图。这些对象为应用程序开发人员提供了有力的制图 和g i s 相关功能的支持。 ( 1 ) m a p o b j e c t s 控件的结构 m a p o b j e c t s 是由一个m a p c o n t r o l 的a c t i v e x 控件和4 6 个功能对象组成。其中m a p c o n t r o l 中含有1 5 个消息、2 4 个方法和4 0 个属性设置函数。其中4 6 个功能对象又可 以分为四组【1 6 】： 数据通道目标组。利用数据通道目标组，可以建立与地图数据的联系，增加属 性值，从地图元素上反馈得到相应的属性信息。 地图显示目标组。利用该目标组提供的符号或实例画一张电子地图，也可以加 入图像作为背景，或在地图上显示动态数据。 几何图形目标组。几何图形目标组提供多种功能，例如，从图层中选择元素并 反馈几何信息：向图层中添加几何目标；向地图中绘制几何目标但是不更新图层。 地址匹配目标组。地址匹配目标组允许进入某一个图层上的某个地址，该地址 具有目标名称和地址并且返回一个位置信息【1 7 】。 ( 2 ) m a p o b j e c t s 控件的功能 可以符号化显示一幅地图，支持自定义符号。 支持对图层的管理和操作。 支持各种图形操作。 可以添加地图注记。 提供各种空间查询的方法。 提供了一定的空间分析功能。 提供空间数据库的访问功能。 一6 一 大连理t 大学硕十学位论文 通过对m a p o b j e c t s 组件的组成结构和功能特点进行分析，可以看出这是一款灵活 且实用的组件系统。为了缩短开发时问，提高系统的开发效率，因此系统选取此控件进 行地理信息部分的丌发。 2 2 视频技术介绍 根据内容的变化性质可以将图像划分为静止图像和活动图像，而活动图像也被称为 序列图像或视频。视频是由许多幅按时间序列构成的连续图像，每一幅图像称为一帧， 帧图像是视频的基础。由于每一帧图像的内容可能不同，因此，整个图像序列看起来就 是活动图像。视频的特点有：直观性。与其他信息相比，人眼视觉所获得的信息给人的 印象更生动、更直接、更具体。确定性。就是指视频是确定无疑的，不容易与其他内容 相混淆，保证了信息传递的准确性。高效性。人眼视觉像是一个高度复杂的并行信息处 理系统，它能够快速的观察每一幅图像的细节，因此它获取视频信息的效率比其他信息 高。广泛性。人类接受的信息，约8 0 来自视觉，即人类日常所获得的信息大部分是视 觉信息【l8 1 。正因为视频具有以上特点，本文利用视频信息将路面状况真实、具体的反馈 给用户，以利于养护计划地制定。要实现视频的检测和查询，首先要了解视频的数据结 构。 2 2 1 视频数据的结构 正如教科书可以分为章节、段落和语句一样，视频数据也具有一定的结构层次。一 段视频自顶向下可分为视频序列、场景、镜头和帧【1 9 1 。如图2 1 所示。图中帧( f r a m e ) 是视频数据的最小的数据单元，即是一幅静止的独立图像。关键帧( k e y - f r a m e ) 是镜 头中最具代表性的特殊的帧。因此，对镜头的分析主要是对关键帧的分析，所以应该尽 量选取最具有代表意义的帧作为关键帧。关键帧可以是某一帧，也可以是多个帧的集合。 镜头( s h o t ) 是对视频流进行处理的最小物理单元。它是相邻地点连续发生的事情的图 像集合。场景( s c e n e ) 则是由语义上相关、时间上相邻的若干组镜头组成的。它描述 的是同一件事情，只是角度不同。此外，结构层中每一个视频层次的数据都可以用一些 属性加以描述。 对用户的需求进行分析，系统要自动检测出路段视频中所包含的路面故障。由于传 统的基于内容的视频信息检索方法是使用文字标识符等进行检索，具体到对视频帧的查 询是借助帧图像的编号和注释来进行的，无法满足系统功能要求。基于内容的视频检索 技术是依靠提视频本身的颜色、纹理等特征进行相关检索。该方法能够满足系统自动检 测和查询检测的功能，是本文的主要技术手段。 道路质鼍视频检测系统的设计与实现 视频序列( v i d e o ) 场景( s c e n e ) 镜头( s h o t ) 帧( f r a m e ) 图2 1 视频的层次结构 f i g 2 1 h i e r a r c h yo fv i d e o 2 2 2 基于内容的视频检索技术 基于内容的视频检索( c o n t e n t b a s e dv i d e or e t r i e v a l ，c b v r ) 技术，就是对视频自 底向上的处理、分析和理解后，获取其内容并根据内容进行检索。它涉及到对视频中的 视觉信息进行有效的查询、索引、浏览和提取，而这些工作是直接依据视频的内容含义 而展开的。简而言之，它是这样一种算法：在没有人工参与的情况下，自动提取并描述 视频的特征和内容，同时根据提取的特征和内容进行检索。它不同于传统的基于关键字 的检索手段，而是融合了图像处理、模式识别、计算机视觉等多种技术。本系统正是借 助基于内容的视频检索的上述特点，检测和显示道路视频中故障路面，对故障路面进行 分析处理，进而制定符合实际情况的养护方案。 由于系统的视频数据是基于灰色路面的，要检测的是视频中所包含的路面故障。因 此，利用基于内容的视频检索技术实现自动检测含有路面故障的帧图像。其具体流程为： 视频数据首先通过镜头边界检测划分多个镜头。通过对各个镜头的特征提取，得到一个 尽可能充分反映镜头内容的特征，并按此特征提取镜头中的关键帧。从中可以看出，基 于内容的视频检索中的两项关键性技术是镜头边界检测和关键帧提取。 2 2 3 镜头边界检测方法 如果将视频序列看作一系列镜头的集合，那么将需要的镜头划分出来就是将视频序 列沿时间轴进行切分，所以镜头边界检测也被称之为视频序列图像的时域分割( t e m p o r a l 人连理工大学硕士学位论文 s e g m e n t a t i o n ) 。根据镜头转换处编辑特性的不同，镜头转换可分为突变( a b r u p tc h a n g e ) 和渐变( g r a d u a lc h a n g e ) 两大类。突变是指一个镜头与另一个镜头之间没有过渡，由一个 镜头直接切换到另一个镜头，一般不同镜头间的内容是不同的。渐变则是指一个镜头在 转换处渐渐转变为后续视频镜头的方式，渐变处的内容变化较为缓慢。镜头边界检测正 是利用不同镜头间的各种颜色、纹理、形状、运动等特征差异来划分镜头边界。传统的 镜头突变检测算法有一下几种： ( 1 ) 基于帧问像素灰度颜色差值检测镜头分割方法 这是最简单的一种计算帧间差的方法，此种方法原理简单，也是此后很多算法的基 础【2 0 1 。这种方法的具体过程如下： 首先，定义相邻两帧对应点的灰度或亮度差： 厶2 if n ( i ，) 一厶+ 1 ( i ，) l ( 2 1 ) 其中l ( i ，j ) ，z + 。( f ，j ) 分别代表第甩帧和第n + l 帧像素( z ，j ) 的灰度值或者亮度值，则相 邻两帧之间的总的帧差为： 乃2 土m n 善否乃( “)f ”、 d 鲁鲁。口， 然后，判断总的帧差是否大于某个设定的阈值，如果大于阈值认为发生了镜头突变，否 则没有发生镜头突变。这种方法原理简单、便于实现，但是这种方法对于视频中物体 相机的运动十分敏感，容易导致检测错误。 ( 2 ) 基于直方图的镜头分割方法 邬长安等提出了基于灰度直方图的算法【2 1 1 。直方图是在帧间差算法基础上产生的。 它描述了一幅图像的灰度和颜色的分布情况，由于直方图不记录像素的位置信息，所以 它对物体或摄像机的运动变化不敏感，在一定程度上克服了帧间差法的缺点。该方法是 对比较相邻的两帧图像的直方图，当差值大于预先给定的阈值即可判定该帧就是镜头突 变帧。如果有两帧图像j ；和j ，它们的直方图分别为e 和日，则这两帧图像的直方图差 值可通过下式计算： 里j d ( t ，) = i q ( 尼) 一厶0 ( 尼) l ( 2 3 ) 由于r g b 图像的颜色是由不同亮度的r 、g 、曰三基色组成，因此上式可以写成： 以( ，) = i 钟( 尼) 一彬( 尼) 砰( 后) 一彬( 尼) 钟( 尼) 一彬( 尼) i ( 2 4 ) 然而基于直方图算法的镜头检测，经常采用x 2 算法来计算帧间差，公式如下： 道路质量视频检测系统的没计与实现 m 圳= 薹警 眨5 ， 由上式可得，d ( ，i ，) 值越大则两帧间差异越大，反之则越小。当差值大于某一特 定阈值时，出现镜头突变。 ( 3 ) 双阈值比较法 z h a n g 等提出7 x 2 阈值比较法【2 2 1 ，这是镜头渐变检测的最典型的方法之一。该方法 选取两个阈值，两阈值一高一低。首先选用较低的阈值来确定出渐变帧序列潜在的起始 帧，然后用它与后续帧进行比较，用积累差值取代帧间差值。但前提是这个积累差值必 须是单调递增并有限。此时，将积累差值与较大的阈值进行比较，如果超过了这个阈值， 就可以认为这个积累差值单调递增序列对应的就是一个渐变切换列。 ( 4 ) 其他方法 直接基于压缩视频的算法，该算法是将压缩的视频序列先进行解压缩，然后再利用 像素域中的边界检测；c e r n e k o v a 等人提出了用两帧的互信息量和联合熵来判断镜头边 界的方法，对镜头的切变和渐入、渐出等特效都能达到比较好的检测效果【2 3 】；蔡莉华等 人也提出用熵闽值检测镜头切变 2 4 1 ；c h i c h u nl o 等人提出的模糊c 均值( f c m ) 聚类 算法【2 5 】等。 2 2 4 关键帧提取方法 镜头边界分割后，也就是把视频序列分解成了多个镜头，并且检测识别出镜头转换 类型之后，接下来要进行视频内容的表示和总结，即提取关键帧。关键帧( 也称作代表 帧) 是指描述一个镜头的主要内容的图像。关键帧提取是这样一种方法：计算机能够对 视频进行高效地分类，自动检测关键帧，提供给用户快速查找视频关键内容的方法。典 型提取视频关键帧的方法有： ( 1 ) 基于镜头边界提取关键帧 该方法是将已经划分出边界的镜头的首帧和尾帧作为镜头的关键帧。此方法简单、 复杂度低，耗时短，适合内容简单或者固定内容的镜头。但对于较为复杂的场景，该方 法提取的关键帧一般不能较好的代表该镜头的内容。如果镜头边界没有划分详细，此种 方法选取的关键帧错误率较高。 ( 2 ) 基于运动分析的方法提取关键帧 摄像机的运动造成显著地运动信息变化是产生图像变化的重要因素，也是提取关键 帧的重要依据。将摄像机本身运动所造成的图像变化分成两类：一类是由相机焦距变化 造成的；另一类是相机角度变化造成的。对于焦距变化影响的视频，选择首尾两帧为关 大连理工大学硕十学位论文 键帧；对于角度变化影响的视频，若当前帧与前一关键帧重叠率小于3 0 ，选其为关键 帧。 ( 3 ) 基于聚类的方法提取关键帧 聚类算法是一种被广泛应用在模式识别、语音分析和信息检索中，是一种非常有效 的处理手段。通过聚类法将那些相关性很高的帧图像划分为不同的聚类，然后选取其中 最不相关的几帧作为镜头关键帧。h a n j a l i c 等人利用聚类算法来提取关键帧【2 6 】； x i a o m u s o n g 以k l 距离作为度量，利用聚类算法建立g m m 模型，然后用s f s s 方法提 取关键巾贞【2 7 1 ，l a n g 、x u 等人提出了利用基于预估计的非参数聚类方法提取关键帧【2 8 1 ， 该方法可以有效地分析复杂的多维特征空间的特征。 从上述方法中很难确定哪种方法最好。一般而言，镜头边界检测和关键帧提取方法 取决于具体的应用。在第六章，会详细介绍选用的适合道路质量检测系统视频检测的边 界检测和关键帧的提取方法。 道路质最视频检测系统的设计与实现 3 系统总体设计 3 1系统设计原则 道路质量视频检测系统本质上属于路面管理系统( p m s ) 的范畴，其设计除了遵循信 息管理系统的一般设计原则外，还应该具备系统自身的特点。本系统设计原则有以下几 方面： ( 1 ) 实用性原则 从路面质量信息的特点出发，结合用户需求设定系统的各项功能。所开发的系统应 该具备简便实用、稳定可靠、维护方便等特点。系统开发的各个阶段都要遵守此原则， 并且把满足用户要求作为最高目标。 ( 2 ) 模块化原则 道路质量视频检测系统是由多个模块组成的，每个模块实现自己特定的功能，最后 通过模块间的配合来实现系统的总体功能。 ( 3 ) 可扩展性原则 系统应当符合当今信息管理的主流方向，所有功能可以持续地扩充和增强。一方面， 本系统目前只完成了主要框架，应保证系统的相关功能可以不断扩充和完善；另一方面 系统应该使用与最先进的计算机软件技术，以便日后进行系统的整体移植、优化和升级。 除上述原则外，系统设计还需要考虑容错性、稳定性、可靠性等原则。 3 2 系统总体设计 根据用户的实际要求，路政管理人员需要迅速、高效地获取路面状况的各种信息， 因此要求各项数据能够直观的、形象化的表达，同时也需要高效地完成数据的查询分析、 统计、检测、制定养护计划等管理性工作。本文以当前最主要的应用程序开发工具之一 的m i c r o s o f tv i s u a ls t u d i 0 6 0 作为开发环境。v c 6 0 不仅是c c + + 语言的集成开发平台， 而且与w i n d o w s 3 2 紧密相连，可以迅速创建面向任务的应用程序，极大的缩短w i n d o w s 应用程序的丌发时间。同时，它与底层硬件相关性较大，便于系统的扩展与延伸。所以 选择它作为整体系统开发平台。由于基于组件的地理信息系统克服了传统开发g i s 系统 的复杂度高和周期长的缺点，将道路的空间信息和属性要素结合起来进行管理，开发较 为灵活，为此选用了m a p o b j e e t s 组件和数据库技术( a c c e s s 2 0 0 3 ) 相结合实现道路信息 管理的功能。基于内容的视频检索能够根据具体的特征，找到所需的视频图像。通过它 实现视频数据的查询和检测功能。综上所述，设计开发了道路质量视频检测系统。从软 件体系结构的设计基础上，实现用户所需功能，将系统分为三个功能模块：地图信息管 大连理r t 大学硕十学位论文 理模块、路面视频管理模块、路面视频检测模块，其中每个模块可以继续细分。系统总 体结构图如图3 1 所示。 图3 1 系统总体结