（信号与信息处理专业论文）智能交通中闯红灯车辆视频检测算法的研究.pdf

摘要 伴随着世界各国车辆数量的急剧增加，交通状况日益受到人们的重视。如何 有效地进行交通管理，越来越成为世界各国政府和有关部门所关注的焦点。针对 此问题，各种智能交通管理系统相继产生或者已在研发之中，而对违规车辆进行 监控则是其中一个极其重要的环节。传统上对交通违章车辆监控主要是通过埋在 地下的感应器或车轴传感器来实现，这些方法对路面有损坏，施工和安装都不方 便，并且要经常进行维修和维护。随着视频技术的e 速发展和计算机运算速度的 成倍提高，基于计算机视频检测技术的交通监拧系统的实现已成为可能。计算机 视频检测较其它交通检测技术而言，主要特点是安装调试方便，对路面不会产生 损坏，维护也很简单，不会对路面交通状况产生影响，并且给出的信息多。 鉴于以上背景，本文对闯红灯车辆视频检测算法进行了研究与探讨。首先采 用了基于道路方向的搜索匹配法对车辆进行越线检测，在系统实际运行中能根据 目标运动方向自动排除诩：多人为和自然因素的干扰，确保了图像匹配的快速性和 准确性。如果判定车辆越线，则对车辆进行跟踪检测以确定车辆是否闯红灯违规。 本文的核心任务是对被监控目标车辆的捕捉及其跟踪。 对j ：车辆的跟踪检测技术，本文采用了种以固定单摄像头对越线车辆进行 实时跟踪的方法。为了取得更好的图像分割效果本文采用了三帧差法，对分割后 的同标采， jo t s u 算法进行二值化以及形态学等操作，以得到完整的分割目标。然 后记录多个目标的特征，利片j 提出的代价函数搜索最佳匹配目标，对目标的特征 实时更新，使正确的轨迹得以延续，实现了对被跟踪目标正确的统计和处理，为 对闯红灯等违章车辆进行有效的视频跟踪抓拍和避免误拍提供了可靠保障。 关键词：智能交通系统；图像分割；帧差；目标链；匹配 t h er e s e a r c ho fr e d l i g h tr u n n e r sv i d e od e t e c t i n ga l g o r i t h mi n i n t e l l i g e n tt r a f f i c a b s t r a c t w i t ht h eq u i c ki n c r e a s eo fv e h i c l eq u a n t i t yw o r l d w i d e ，t h et r a n s p o r t a t i o ns t a t u si s t h o u g h tm u c hi n c r e a s i n g l y h o wt oc a r r yo nt h et r a n s p o r t a t i o nm a n a g e m e n ta v a i l a b l y b e c o m e st h ef o c u st h a tt h ei n t e r n a t i o n a lg o v e r n m e n t sa n dt h ed e p a r t m e n t sp a ya t t e n t i o n t o a i m i n ga tt h i sp r o b l e m ，v a r i o u si n t e l l i g e n tt r a n s p o r t a t i o nm a n a g e m e n ts y s t e m sa r e c r e a t e do ru n d e rd e v e l o p m e n t ，t om o n i t o ra n dc o n t r o lt h ec a r sd r i v ei np e c c a n c yi sm o s t i m p o r t a n tt a c h eo ft h es y s t e m s ，t r a d i t i o n a l l y ，t om o n i t o ra n dc o n t r o lt h ei l l e g a lv e h i c l e i sm a i n l yg e ta c r o s st h eu n d e r g r o u n ds e n s o ro ra x l e sm a c h i n et or e a l i z e ，t h e s em e t h o d s h a v ed a m a g e st ot h er o a d ，w h o s ec o n s t r u c t i o na n di n s t a l l a t i o na r ea l li n c o n v e n i e n ta n d u s u a l l yn e e dt ob em a i n t a i n e da n ds u p p o s e d a l o n gw i t ht h eh i g hs p e e do fv i d e o t e c h n o l o g ya n df l a t o u tt i m e si n c r e a s e so ft h ec o m p u t e r ss p e e d ，t h er e a l i z a t i o no f t r a f f i cm o n i t o r i n gs y s t e mb a s e do nc o m p u t e rv i d e od e t e c tt e c h n o l o g yb e c o m e st h e p o s s i b l e c o m p a r ew i t ho t h e rt r a f f i cv i d e od e t e c tt e c h n o l o g y ，c o m p u t e rv i d e od e t e c t i o n t e c h n o l o g yh a sm a n ya d v a n t a g e s ，t h ei n s t a l l a t i o na n da d j u s t m e n ta r ec o n v e n i e n t ，d o e s n o tp r o d u c et h ed a m a g et or o a d ，m a i n t e n a n c ei se a s y ，d o e sn o ta f f e c tt r a f f i cc o n d i t i o no f t h er o a d o w i n gt ot h eb a c k g r o u n da b o v e ，t h i st h e s i sa i m st or e dl i g h tr u n n e r sv i d e o d e t e c t i n ga l g o r i t h mr e s e a r c h i n ga n dd i s c u s s i n g f i r s t ，a na l g o r i t h mo fs e a r c hm a t c h i n g b a s e do nr o a dd i r e c t i o nt oe x a m i n ew h e t h e rt h ec a rt r a v e r s e sw a r n i n gl i n ei sa d o p t e d i n p r a c t i c ei tc a ne l i m i n a t eal o to fd i s t u r b a n c ea r o u s e db ym a no rn a t u r e ，e n s u r ei m a g e m a t c h i n ge f f e c t i v e l ya n dc o r r e c t l y i ft h ev e h i c l et r a v e r s e sw a r n i n gl i n ei sj u d g e d ，t h e n t h ev e h i c l ei st r a c k e da n dd e t e c t e dt om a k es u r ew h e t h e rt h ev e h i c l er u n st h er e dl i g h t t h ec e n t r a lt a s ko ft h e s i si sc a t c h i n ga n dt r a c k i n gt h ew a t c h e dc a r s f o rt h et e c h n o l o g yo fv e h i c l e s t r a c k i n ga n dd e t e c t i n g ，t h i st h e s i sa d o p t sam e t h o d o ft a k i n gas h o to fr e dl i g h tr u n n e re f f e c t i v e l yb yas t a t i o n a r yc a m e r a t h i st h e s i st a k e s t h ed i f f e r e n c e so ft h r e ef r a m e si no r d e rt oh a v eab e t t e re f f e c to fi m a g es e g m e n t a t i o n ， u s e so t s ua l g o r i t h mt or e c e i v eb i n a r yi m a g e ，a n du s e sm o r p h o l o g i c a lo p e r a t i o nt o r e c e i v et h ew h o l es e g m e n tt a r g e t s t h e nt h et r a c k e dt a r g e t s c h a r a c t e ra r en o t e da f t e r s e g m e n t a t i o n ，p r o v i d e dc o s tf u n c t i o ni su s e dt os e a r c ht h ef u r t h e s tm a t c h i n gt a r g e t sa n d i i c o n t i n u e st h ef i g h tt r a c k s ，d i s p o s i n gt h et r a c k e dt a r g e t si sc o m et r u et i g h t l y , t a k i n ga s h o to fr e dl i g h tr u n n e ra n do t h e rd r i v ei sp r o v i d e dc r e d i b i l i t y k e yw o r d s ：i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ；i m a g es e g m e n t a t i o n ；f r a m e d i f f e r e n c e s ；0 b j e c t - c h a i n ；m a t c h i n g 1 1 1 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 博七蔫戮本茹茹篙嚣遵戮篡博七硕士学位论文! 鳐瞧l 戤卤五杰缓暨l 边整基蕴勃鲤显羔塑：竺。除论文中已经注 明引用的内容外，对论文的研究做出重要贡献的个人利集体，均已在文中以明确方式标 明本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或未公开发表的 成果 本声明的法律责任由本人承担 论文作者签名：绷“年3 月巧f l 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学研究生学位论文提变版权使用 管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅本人授权大连海事大学可以将本学位沦文的全部或部分 内容编入有关数据库进行检索，也可聚用影印缩印或扫描等复制手段保存和汇编学位论 文 保密口，在年解密后适用本授权书 本学位论文属于： 保密口 不保密口( 淆在以上方框内打“”) 论文作者签名：辱艮司司导师签名：嬲 r 期：驰年3 月弓同 第1 章绪论 1 1 课题来源及意义 本课题是国家科技攻关计划子课题基于图像的处理技术城市交通调度管 理，课题号：2 0 0 4 b a l l l b 0 1 。 伴随着世界各国汽车数量的急剧增加，城市交通状况日益受到人们的重视。 如何有效地进行交通管理，越来越成为各国政府和有关部门所关注的焦点。针对 此问题，人们运用各种先进的科学技术，相继研制和开发了各种交通道路监视、 交通管理等智能系统，这些系统一般都包括车辆检测装置，通过这些装置对过往 车辆实施检测，提取有关交通数据，以达到监控、管理和指挥交通的目的。 传统上对交通违章车辆监控主要是通过埋在地下的感应器或车轴传感器来实 现，这些方法对路面有损坏，施工和安装都不方便，并且要经常进行维修和维护。 计算机视频检测较其它交通检测技术而言，主要特点是安装调试方便，对路面不 会产生损坏，维护也很简单，不会对路面交通状况产生影响。 随着视频技术的b 速发展和计算机运算速度的成倍提高，基于计算机视频检 测技术的交通监控系统的实现已成为可能，计算机视频检测技术问题已成为现代 交通工程领域中研究的重点和热点问题之一。 本课题属于智能交通领域，视频图像的车辆跟踪检测技术本身属于图像分割 和模式识别范畴。 视频图像的车辆跟踪检测技术是智能交通系统的核心技术之一。因此，视频 图像的车辆跟踪检测技术对智能交通系统的发展和交通事业的发展起着重要的推 动作用，对车辆跟踪检测算法的研究对于智能交通系统具有重要的理论意义和实 用价值，更具有广阔的市场前景。 1 2 本人主要工作 本文充分参考了以往图像处理和模式识别方面的文献，综合比较了各种视频 图像中车辆检测跟踪算法的优点与不足，最后分别提出了基于道路方向的搜索匹 配法来判断车辆是否闯红灯的算法和一种以固定单摄像头对闯红灯车辆进行实时 跟踪的算法。 我们主要采用的是图像处理和模式识别的方法：首先利用网像处理技术对图 像序列进行处理，分割出其中的运动目标，再利用模式识别的方法提取、分析目 标的特征，最后再对目标进行跟踪处理。我们将整个处理过程分成了两部分：运 动目标的分割与目标的特征提取是一部分，目标的跟踪是另外一部分。本人的主 要工作包括以下内容： 1 视频图像的车辆跟踪检测算法的前期准备工作，拍摄了大量的视频图像， 以便能够得到真实的交通状况，使算法更加实用。 2 提出了通过基于道路方向的搜索匹配法来判断车辆是否闯红灯的算法。 该算法不需要对图像进行预处理，能够对车辆的运动方向及运动矢量做 出准确的判断，采用该搜索算法兼顾了运算速度和匹配精度两方面的需 要，对闯红灯车辆进行有效的视频跟踪提供了可靠保障。 3 提出一种以固定单摄像头对闯红灯车辆进行实时跟踪的算法。利用图像 分割与目标匹配的知识，采用三帧差法对目标进行分割，分割后的多个 目标设置目标链，记录多个目标的特征，最后搜索最佳匹配目标，实验 证明这种算法对于车辆跟踪检测具有较好的效果。 4 采用了o t s u 算法对分割出的目标进行二值化，这种二值化算法不论图像 的直方图有无明显的双峰，都能得到较为满意的效果。 5 采用了自适应形态学处理，针对不同的路面情况取得了较好的效果。 6 根据对应运动目标在相邻帧中的质心间距离、目标灰度值和包围窗口目 标连通域面积变化不大的特点，提出了匹配代价函数，能够达到比较准 确的匹配效果。 7 针对车辆的合并问题和车辆区域的判别问题提出了解决方法，并取得了 较好的效果。 第2 章智能交通系统介绍 2 1 智能交通系统的概念 智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m ) 的概念是在本世纪9 0 年代初期 才形成的，在这之前一些发达国家，如美国、f = _ 1 本以及欧盟各国曾经对高速公路 和机动车辆的智能化问题进行过不少研究，并取得了一批成果。当时美国取名为 i v h s 项目，即是i n t e l l i g e n tv e h i c l e - h i g h w a ys y s t e m 的简称。后来，随着交通智 能化的要求日益迫切，交通产业现代化的任务日益繁重，确定了将道路交通智能 化的研究成果扩大应用到铁路、水运和航空领域的发展方向，从综合交通系统的 角度来研究交通网络智能化的问题，这就逐步形成了建立智能交通系统的新概念。 尽管在国际上已经成立了智能交通系统行业协会( 简称i t s 协会) ，并且每年 要召开全球性的大会来研究智能交通的发展和应用情况，但对智能交通系统的科 学定义仍很难确定，其原因是智能化本身是个比较模糊的概念，没有一个衡量智 能化程度的标准，再加上各国的经济技术水平各异，发展交通的政策和投资亦不 尽相同，因此对智能交通系统的理解尚不能取得统一的共识。但是，单独从学科 发展的角度来理解，可以认为，智能交通系统就是将通信、信息技术、计算机、 图像处理、自动化技术、传感器技术、管理科学等技术应用于交通运输系统；或 者说是利用智能交通信息来扩大交通运输能力，提高交通的安全性和减少交通对 生态环境的影响，因此可以将智能交通系统理解为在原有交通网络基础上新建立 的增值网络，其核心是采用先进的通信网络和各种应用信息系统。 交通信息的来源很多，主要地来自道路、车辆和环境，但是其中大部分是属 于静态信息，例如道路位嚣和等级、匝道位置和距离、车道数目和宽度、车辆型 号和车身长度等，它们都是固定不变和不可调整的，因此这些交通信息无法利用 和控制。另外一部分则是动态信息，例如车辆通过频率及其时空分布、行车速度 的变化规律、事故出现率分布、出行时间和距离统计等，它们可以加以利用和控 制，f 是建立智能交通系统的基本因素，具有十分重要的应用价值。 所谓增值网络具有三方面意义，一是由于智能交通系统依靠通信网络和信息 技术增加了交通运输能力，缩短了运输时间，节省了大量能源，因而带来巨大的 经济效益，这是在原有交通网络上增值的直接部分。另一方面，智能交通系统依 第2 章智能交通系统介绍 21 智能交通系统的概念 智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m ) 的概念是在本世纪9 0 年代初期 才形成的，在这之前一些发达国家，如美国、f = i 1 本以及欧盟各国曾经剥高速公路 和机动车辆的智能化问题进行过不少研究，并取得了批成果。当时美国取名为 i v h s 项目，即是i n t e l l i g e n tv e h i c l e h i g h w a ys y s t e m 的简称。后来，随着交通智 能化的要求日益迫切，交通产业现代化的任务日益繁重，确定了将道路交通智能 化的研究成果扩大应用到铁路、水运和航字领域的发展方向，从综合交通系统的 角度柬研究交通网络智能化的问题，返就逐步形成了建立智能交通系统的新概念。 尽管在围际上已经成立了智能交通系统行业协会( 简称i t s 协会) ，并且每年 要召丌全球性的大会来研究智能变通的发展和应用情况，但对智能交通系统的科 学定义仍很难确定，其原因是智能化本身是个比较模糊的概念，没有一个衡量智 能化程度的标准，再加箨国的经济技术水平各异，发展交通的政策和投资亦不 尽相同，因此对智能交通系统的理解尚不能取得统一的共识。但足，单独从学科 发展的角度来理解，可以认为，智能交通系统就是将通信、信息技术、计算机、 图像处理、自动化技术、传感器技术、管理科学等技术应用于交通运输系统：或 者说足利用智能交通信息来扩大交通运输能力，提高交通的安全性和减少交通对 生态环境的影响，凶此可以将智能交通系统理解为在原有交通网络基础上新建立 的增值网络，其核心是采用先进的通信网络和各种应用信息系统。 交通信息的来源很多，主要地柬自道路、车辆和环境，但是其中人部分是属 于静态信息，例如道路位置和等级、匝道位置和距离、车道数日和宽度、车辆型 号和车身i 丈度等，它们都是固定不变和不可调整的，因此这些交通信息无法利用 和控制。另外一部分则足动态信息例如车辆通过频率及其时空分布、行车速度 的变化规律、事故出现率分布、卅行时间和距离统计等，它们可以加以利用和控 制，正是建立智能交通系统的基木因索，具有十分重要的应用价值。 所谓增值网络具有兰方面意义，一是由于智能交通系统依靠通信网络和信息 技术增加了交通运输能力，缩短了运输时间，节省了大量能源，因而带柬巨大的 经济效益，这是在原有交通网络上增值的直接部分。月一方面，智能交通系统依 经济效益，这是在原有交通网络上增值的直接部分。另一方面，智能交通系统依 靠各种控制手段，提高了行车安全性，降低了事故发生率，因而也就减少了人员 伤亡和事故损失，带来巨大的社会效益。第三是智能交通系统使车辆在道路上的 行驶和停留时问大量减少，因而大大降低了车辆噪音总量和尾气的总排放量，将 会带来巨大的生态环境效益。 2 2 智能交通系统的设计目标 个有效灵活的交通运输系统是每个国家发展生产和搞活经济的生命线，同 时交通运输提供的行动自由也是人们工作和休闲的一个重要部分。我们生活在竞 争社会中，企业和商业活动已经构成全球国际市场，交通运输已经突破国界的限 制，也不受时间气象的影响，真正成为全方位、大范围、全天候运行的大系统。 随着社会经济文化活动的发展，人们h 行的范围越来越j 一，出行频率越来越 高，除了要节省出行时间、节约出行开支外，保障出行安全更为重要，因此任何 一个交通系统都必须将安全性放在首要，只有在安全的前提下彳+ 有运输效益和交 通行业的发展。 另外，为了保护环境和提高人们的生活质量，要尽量减少交通运输对生态环 境的污染，例如减少有害物质的排放、降低噪音强度等。除了在道路两旁设置声 屏障、车辆改进尾气排放质量外，最有效的措施是尽量减少车辆在道路上的行驶 时问，用最短行驶路径及最少行驶时间安全地到达目的地。 因此，智能交通系统的设计目标就是围绕着有效灵活性、安全可靠性和净化 生态环境这三方面来确定的。在智能交通系统中采用了先进的通信网络和信息技 术，实现了各种调度和控制交通的措施，它提供路由、路况、拥塞、事故、安全 等各种交通信息和旅客需要知道的各种服务信息，使旅客、驾驶员、调度中心和 运输公司之间做到紧密合作，共同受益；并使人、车、路之间实现充分协调，共 同创造优质的交通环境。 具体的设计目标可以归纳为以下1 8 条【1 i ： 1 节省出行时间和出行距离： 2 预防交通事故和冲撞； 3 收集、处理和传送交通信息； 4 提供路由指南和导航信息； 4 5 监控交通流量和交通信号，减少停留时间； 6 检测安全因素，监视车前路况； 7 提供客运服务信息； 8 扩大交通运输能力； 9 提供紧急呼叫、快速救援； 1 0 减少交通阻塞率； 1 1 提供环境保护措施： 1 2 便于不同交通工具换乘； 1 3 提供停车信息； 1 4 改进公交服务质量； 1 5 改进铁路客运服务质量： 1 6 提供水运集装箱货物运输效益； 1 7 改进航空管理； 1 8 保障危险品运输安全。 2 3 智能交通系统在我国的发展现状 我国在交通管理和控制方面已经积累了一些经验，以城市交通管理为例，在 7 0 年代依靠国产设备曾以线控为起点，实行交通流量控制；到8 0 年代引进国外 设备，采用计算机面控技术，并逐步国产化：到了9 0 年代，开始在若干大城市中 实施现代化综合交通管理系统，它除了对交通信号控制外还包括警车定位系统、 地理交通信息系统以及车辆和驾驶员档案的静态信息系统等。另外，在高速公路 上实现电子自动收费系统，在铁路上实现车辆实时跟踪的t m i s 系统，以及在远 洋船队装备g p s 全球定位系统作为通信导航用。在公路、水运、铁路和航空部门 还开发了各具特色的交通信息管理和服务系统，但它们都是个别和分散的子系统， 缺乏统一的规划和技术标准，更没有联网成为综合性的交通管理系统，这就成为 当前迫切要求研究开发具有我国特色的智能交通系统的出发点。 由于智能交通系统是集通信、信息技术与交通运输为一体的新型交通管理系 统，它能从根本上解决我国交通总量猛增，而道路增长永远跟不上车辆增长的矛 盾；同时也能解决交通发展对生态环境的影响，建立可持续发展的交通环境。在 城市交通中它为彻底根治交通拥塞、事故率上升以及对城市的污染等严重问题找 到对策，在公交系统和集装箱运输中提高效率和效益，因此研究开发我国的智能 交通系统已经刻不容缓。 但是，由于智能交通系统是一个巨大系统，它涉及到许多部门、企业和单位， 同时又横跨不同的专业学科领域，因此有必要建立中央。级的协调部门，丰管智 能交通系统的发展战略、目标和投资，统一制定必要的政策法规和技术标准，以 便分阶段、分步骤地实施。 当前，可以在不同的交通运输部门进一步完善各自的交通管理和信息服务系 统，在本行业范围内实现统一联网运行，尽快取得效益。特别是在某些特大城市 首先建立先进的交通管理系统和先进的交通信息服务系统，提高交通运输能力， 减少道路拥塞，减少出行时间，减少车辆事故，以及改进交通信息服务，使驾驶 员做到心中有数，增加安全感。另外，在公交系统中实现先进的交通监控和公交 优先原则，提高班次的准点率和减少交叉路口的停留时间，增加乘客的舒适度和 满意率，改进车站和车上的交通信息服务，提供换乘信息，降低候车人数和时间， 这些子系统的效益最容易被广大市民接受。 在各运输部门初步完善智能交通系统的基础上，可以在主管部门的协调下， 建立综合运输的智能交通系统，它应覆盖公路、铁路、水运和航空备交通领域， 并完善不同交通工具之间的换乘功能，方便旅客出行，节省出行时间与开支。特 别是集装箱货物运输对转运的需求更为迫切，依靠智能交通系统可以精确调度计 划，减少装卸时间和库存场地。 另外，不容忽视的是发展智能交通系统可以带动大批新兴的交通产品和企 业诞生，促进国民经济的发展。中国地域辽阔，出行空间很大，交通建设和发展 一直是国家投资的重点，因此交通产品f 如运输服务一样具有巨大的需求市场， 而智能交通系统在二 - 一世纪就将成为这个市场的主体。 第3 章理论基础 3 1 图像分割 一般来说，运动分割是运动车辆提取的第一涉操作。在我们进行运动车辆提 取的过程中，我们一般首先通过运动分割的方法将运动车辆与背景区分开来，然 后才是根据不同的需要进行跟踪，因此运动分割算法的好坏将直接影响到后续操 作的效果。 下面我们丰要介绍一下基于灰度的分割 2 】0 3 1 1 灰度门限法 灰度门限分割是一种常见的赢接检测区域的分割方法，它对物体与背景有较 强对比的景物的分割特别有用。它计算简单，而且总能用封闭且连通的边界定义 不交叠的区域。 利用狄度门限进行图像分割是基于一定的假设的，一般假设图像由具有单峰 灰度分布的背景和目标组成，背景或目标内部的相邻像素间的灰度值是高度相关 的，但是在目标和背景交界处的欢度值有很大的差别。如果图像满足这个条件， 那么其灰度直方图基本上可以看成是由目标和背景两个单峰直方图组成的。如果 这两个单峰直方图中单峰的情况接近并且均值相差较远、均方差较小，那么混合 直方图应该是双峰的，这一类图像用灰度门限法就可以很好地进行分割。 当使用灰度门限法进行图象分割时，所有灰度值大于或等于某门限值的像素 都被判属于物体。所有灰度值小于该门限值的像素被排除在物体之外。于是，边 界就成为这样一些内部点的集合，这些点都至少有一个邻点不属于该物体。如果 感兴趣的物体在其内部具有均匀一致的灰度值并分布在一个具有另一个灰度值的 均匀背景上，使用灰度门限法效果就很好。 3 1 2 灰度门限的确定 分割门限选择的准确性直接影响分割的精度及图象描述分析的正确性。门限 选得太高，容易把大量的目标判定为背景，定得太低又会把大量的背景判为目标。 因此，正确分割门限是很重要的。 下面介绍几种选取闽值的方法。 7 1 全局闽值化方法 采用闽值确定边界的最简单做法是在整个图像中将灰度阈值的值设置为常 数。如果背景的灰度值在整个图像中可合理地看作为恒定，而且所有物体与背景 都具有几乎相同的对比度，那么，只要选择了正确的闽值，使用一个固定的全局 阈值一般会有较好的效果。 2 自适应闽值法 在许多情况下，背景的灰度值并不是常数，物体和背景的对比度在图像中也 有变化。这时， 个在图像中某一区域效果良好的阈值在其他区域却可能效果很 差。在这种情况下，把灰度阈值取成一个随图像位簧缓慢变化的函数值是适宜的。 3 2 运动跟踪 现有的运动目标跟踪方法主要可以分为三种【3 】： ( 1 ) 采用顺序搜索算法来检验所有的跟踪数据关联假设。 这一工作通常由操作员来完成。每个目标通过特定的标记来分辨，操作员提 供目标数据关联的概率假设估计，此方法无法实现多目标的自动跟踪。 ( 2 ) 相关跟踪算法【4 】 相关跟踪充分利用包含在目标和背景中的各种信息，适用于在复杂背景和低 信噪比、低对比度的情况下完成跟踪任务。一般来说这种方法能够获得精度比较 高的跟踪效果，但是相对来说速度比较慢。 ( 3 ) 特征跟踪算法【3 【5 特征跟踪算法是一种重要的跟踪算法，在目标和背景的对比度比较大的情况 下，跟踪精度可以达到很高。这个方法的一般流程如下图： 输图区目 刷新提取 标入 像 4 域 目标 目标 图分标 特征 识 链 像割识别 圈3 1 特征跟踪算法基本流程 f i g31b a s i cf l o wo f c h a r a c t e r i s t i ct r a c k i n ga 地o r i t h m 3 3 物体的表示与描述 通常，表示一个区域可以采取两种不同的方法：1 ) 可以通过该区域的外部特 征( 例如区域的边界) 来表示区域：2 ) 可以通过区域的内部特征( 如组成区域的 像素) 来表示区域。一般来说，不同的表示方法针对不同的问题处理角度：如果 比较注重处理区域的形状特征，那么应该选取区域的外部特征；而如果注重的重 点是区域的总体特性，比如说区域的颜色、纹理，那么应该选取区域的内部特征。 对于实际处理过程来蜕，可能同时需要这两个表示方法。 为了能够利用计算机处理数据，在确定了区域的表示方法后，要在所选取的 表示方法的基础上描述出区域。只有将区域数字化，彳唷b 够利用计算机来进行下 一步的操作。 不管选用的是哪种表示方法，所选取的描述方法应该尽可能的具有对于区域 的大小、平移操作和旋转操作不敏感的性质。 3 ，3 1 物体的表示方法 物体的表示方法主要是用来方便我们在后续的描述过程中的物体描述子的计 算。常用的物体表示方法有：链码，多边形近似，识别标记，边界分段和骨架。 我们这里主要介绍一下链码。 3 3 1 1 链码 链码足一种利用一系列的相连的直线段来表示物体边界的方法，通常这些直 线段具有固定长度和方向。一般来说，链码这种表示方法是基于分段的4 连通或者 是8 连通特性的。每个分段的方向通过一个方案进行编码，如图3 2 所示。 利用链码来表示物体的边界存在一个问题就是链码依赖于起始点的选择，对 于统一区域，不同的起始点选择会导致得到不同的链码。通常我们可以利用下面 两种方法来对链码进行归一化，以解决这个问题：1 ) 由于链码表示的是物体的封 闭边界，所以我们可以将链码当作一个周期序列来处理，我们可以对该序列进行 循环移位操作重新定义这个序列的起始点，我们规定归一化后的链码具有如下形 式：它所反映的整数为所有表示中的最小的。2 ) 我们也可以利用差分运算来对链 码进行归一化。通过计算相邻两个链码的方向差值，我们可以获得一个归一化的 区域边界链码表示方法。 9 2 四连通方向系数 0 八连通方向系数 i 划3 2 四连通和八连通方向系数 f i g3 2f o u rc o n n e c t i n ga n de i g h tc o n n e c t i n gd i r e c t i o nc o e f f i c i e n t 3 3 2 物体的描述方法 物体的描述方法主要分为两类：数值型描述方法和关系型描述方法。在数字 图像处理技术中数值型描述方法主要包括：边界描述算子和区域描述算子。关系 描述方法是一种利用文字方式进行图形描述的方法。一般来说，这种算子主要有 两种不同的实现方法：一个是利用递归定义的方法，另一个是利用树的方法。 在对物体进行描述的时候，我们既可以单独使用其中的一种方法，也可以两 种方法混合使用。 3 3 2 1 边界描述算于 在这一节我们主要介绍一下边界描述算子中的傅立叶描述算子。傅立叶描述 子是一种描述边界形状的非常有用的描述方法。傅立叶描述子的实现方法比较简 单，而且，通过一些简单的归一化处理后，很容易获得对于起始点的选择、图形 的旋转以及图形的大小均不敏感的傅立叶描述子。这对于只需要处理图形的形状 的情况具有很大的好处。此外，傅立叶描述子不仅可以描述物体的形状特征，而 且可以用少量的数据进行存储、描述，因而被广泛采用【”。傅立叶描述子的基本计 算过程： 1 ) 对于具有k 个点的边界的区域，定义区域的驯坐标系，然后在边界卜任 选一点 。，y 。) 作为起始点，按逆时针的方向遍历边界，记录下边界各点的坐标 o o ，y o ) ， ，y ，) ，o k - 1 y k 一1 ) ； 2 ) 利用5 ( 七) 一x 。+ y 。， k = 0 , 1 ，k 一1 构造复数序列s ( t ) 。这样就将2 维的 边界转化为了1 维的序列表示方式； 3 ) 计算s ( k ) 的离散傅立叶变换( d f t ) ， 1k 一1 口( “) 2 去荟s ) 9 1 2 驯。 “= 0 ，l ，2 ，弘1 ( 3 1 ) 其中的复系数a ( u ) 就是边界的傅立叶描述子。 傅立叶描述子根据边界的初始链码的获取不同有很多种不同的变种，其中最 基本的如上面介绍的利用边界点的坐标构造初始链码，但是也可以利用其他的方 法，例如说基于边界的极半径函数【7 j 【、基于边界的转角函数10 】或者是利用曲率 函数【1 l 】【1 2 】，有关这些方法的详细细节及他们之间的差别，可以参考文献【1 3 l 。 傅立叶描述子的一个比较大的优点就是在实际的使用中，不需要利用所有的 傅立叶系数来构成傅立叶描述子，可以根据精度的要求，截取其中的一部分。因 为根据傅立叶变换的性质离散信号的傅立叶变换前后的信号长度不变，可以 在截断后重新获得原始数目的边界点坐标，可能损失的只是所恢复的图形的细节。 为了使所获得的傅立叶描述子不受图像的大小变化、平移、旋转等操作的影 响，需要对傅立叶描述子进行一下归一化处理。归一化处理的过程可以参考文献 1 4 1 1 l 5 1 。 3 3 2 2 区域描述算子 1 ) 区域面积 区域的面积是区域的一个基本特征，对于区域r 来说，设f 方形象素的边长 为单位长，则其面积a 的计算公式如下： “。，翟 ( 3 2 ) 可见计算区域面积就是对属于区域的象素计数，利用对象素计数的方法来求 区域，不仅简单，而且也是对原始模拟区域面积的无偏和一致的最好估计。 2 ) 区域重心 区域重心是一种全局描述符，区域重心的坐标是根据所有属于区域的点计算 ( 3 3 ) ( 3 4 ) 尽管区域各点的坐标总是整数，但区域重心的坐标通常不为整数，在区域本 身的尺寸与区域问的距离相对很小时，可将区域用位于其重心坐标的质点来近似 表示。 3 ) 区域灰度 描述分割区域的目的是为了描述原目标的特性，包括反映目标灰度，颜色等 的特性，目标的灰度特性要结合原始狄度图和分割图来得到，常用的区域灰度特 征有目标灰度( 或各种颜色分量) 的最大值，最小值，平均值，方差以及高阶矩 等统计量。 4 ) 形状参数 形状参数f 是根据区域的周长和区域的面积计算出来的： ，：笪 如洲 ( 3 5 ) 对数字图像来说，如果边界长度是按4 连通计算的，则对于正八边形区域f 取最小值；如果边界长度是按8 连通计算的，则对正菱形区域f 取最小值。形状 参数在一定程度上描述了区域的紧凑性，它没有量纲，对尺度的变化不敏感。除 掉由于离散区域带来的误差，它对旋转也不敏感。 5 ) 边界长度 边界的长度是一种简单的边界全局属性，它是所包围区域的周长。我们考虑 区域由内部点加边界点构成的情况。区域边界是由区域的所有边界点按4 方向或 8 方向连接组成的，区域的其他点成为区域的内部点。 3 4 模式识别技术 模式识别( p a t t e r nr e c o g n i t i o n ) ，通俗的说就是指对于某一个研究对象，根 据它的某些特征对它进行识别并分类。按照模式识别的这个简单定义，我们可以 x r y k警銎 ，一爿 1 4 ： 暑 = 的 i 歹 来出 将模式识别分成两个部分：分析过程和识别过程。 分析过程一般是分析研究对象的各种特征信息，通过分析找出最能反映对象 特点的特征，并利用这些特征构造反映研究对象的特征向量。同时，根据所选定 的特征向量及研究对象的类别间的特点，选择合适的判别方法。 识别过程可以认为是利用前面选用的判别方法、特征向量来进行实际谚 别的 过程。在识别过程的开始阶段，可能需要收集一定数量的样本，对所选用的判别 方法中的参数进行初始化。初始化完成后，就可以开始识别过程。一般来说，识 别过程分为三个主要阶段( 见图3 3 ) 。第一阶段称为图像分割或图像分离阶段， 在该阶段检测出各个物体，并把他们的图像和其余景物分离。第二个阶段称为特 征提取阶段。在该阶段对物体进行度量，利用度量值构成描述物体的特征向量。 第三个阶段为分类阶段，这个阶段对第二阶段获得的特征向量进行判决，给出物 体的类别l ：1 6 】。 图日 匹巫吁匝垂丑三 耳茎 ”o建型 匝画口匦亘口匝固也型 幽3 3 识别过程的三个基本步骤 f i g3 3t h r e eb a s i cs t e po fr e c o g n i t i o np r o c e s s 3 4 1 基本知识 首先定义模式识别领域的几个基本概念：模式指的是描述算子的一个多元组 合。模式类别指的是一系列的具有某种共同属性的对象的集合。特征在目标识别 中对应于一个描述。 目标识别的方法主要被分为两个不同的类型：基于统计理论的目标识别方法 和基于结构的目标识别方法。前者主要利用那些数值型描述算子( 例如长度、面 积等) 构成模式，而后者主要利用那些性质型描述算子( 例如关系描述算子) 构 成模式。 3 4 2 基于统计理论的目标识别 判别函数的运用是基于统计理论的目标识别的基础。假设模式表示为 x t ( z ，x 。) 7 ，假设共有类模式类别，分别为w 1 ，对于基于统计理论的 目标识别，基本的问题是确定w 个判别函数d 。o ) ，d ：0 ) ，d 。 ) ，其中，如果某 个模式x 属于m 类，那么判别函数应该满足： d f ) d j ( x )，= 1 , 2 ，i 矿；，_ f ( 3 6 ) 也就是说，如果模式x 属于w i 类，那么将x 输入到所有的判别函数，d 1 0 ) 将 产生最大的输出。 在给定了判别函数后，我们将满足d 。( x ) 一d j ) 的x 的集合定义为判别边界。 同时，为了简化判断过程，我们定义 d “( x ) ；d 。( x ) 一d ( z ) ( 3 7 ) 这样，在后面的判断中，如果略，0 ，则认为石属于哗类；如果如c0 ，则认 为x 属于w 类。 3 5 数学形态学基础 数学形态学【1 7 【1 8 】是基于集合论提出的，它的基本思想是用具有一定形态的结 构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。形态学 运算主要用于( 1 ) 图像预处理( 去噪声，简化形状) ，( 2 ) 增强物体结构( 抽取 骨骼、细化、物体标记) 。在数学形态学中有四个基本的算予：腐蚀，膨胀，开和 闭。 3 5 1 膨胀和腐蚀 腐蚀和膨胀是最基本的形态学运算，腐蚀具有收缩图像的作用，膨胀具有扩 大图像的作用。 设x 和b 为二维欧氏空间中的两个集合。对于二值图像，设似) 。表示x 平 移b 而得到的图像，即： ( x ) 。= y i y 。x + b ，x z ) ( 3 8 ) 则腐蚀和膨胀定义分别为： 1 4 腐蚀：x o b = n ) _ b = y 1 6 占，( y + 6 ) b ( 3 9 ) 膨胀：x o 丑= u ( x ) 6 - y l y = z + 6 ，x e x ，b e b ( 3 1 0 ) 膨胀x o b 是所有可能向量加之和的集合，向量加法的两个操作数分别来自 x 和b ，并且取到任意可能的组合。腐蚀 对集合元素采用向量减法，将两个集 合合并。 1 ) 原盘i = j 图像2 ) 膨胀图像腐蚀幽像 图3 4 膨胀和腐蚀图像 f i g3 4d i l a t ea n de r o d ei m a g e 3 5 2 开运算和闭运算 刀：运算和闭运算是基于腐蚀和膨胀运算基础上的。先腐蚀再膨胀称为开运算， 先膨胀再腐蚀称为闭运算，即： 开：xo b = ( x o b l o b ( 3 1 1 ) 闭：x b = ( x o b ) o b ( 3 1 2 ) 丌运算可以把比结构元素小的突刺滤掉，切断细长搭接而起到分离作用；闭 运算可以把比结构元素小的缺口或孔填充上，搭接短的间断而起到连通作用。另 外开闭运算也具有滤波性质。 图像分割结果中存在着一些散点和毛刺，有些目标中还存在着小的空洞或裂 缝。先埘图像开启然后再闭合就是一种对图像进行平滑的方法。利用开运算可以 消除散点和毛刺，即对图像进行平滑：利用闭运算可以将两个邻近的目标连接起 来，填补目标中小的空洞和裂缝。 1 ) 原始图像2 ) 开运算图像3 ) j j 运算图像 图3 5