（计算机应用技术专业论文）特殊环境下运动个体行为图像识别的研究.pdf

中文摘要 随着城市轨道交通的快速发展，自动售检票系统的作用变得越来越重要。闸 机是城市轨道交通自动售检票系统中的关键设备之一，它利用其内部的智能识别 系统对通过闸机通道环境的运动个体( 人和物) 行为进行识别，从而实现自动检 票。因此，智能识别系统是轨道交通中闸机的“大脑”，是整个闸机设计和开发 的核心，已成为城市轨道交通的研究热点。通过闸机通道的运动个体事件行为相 当复杂，闸机的智能识别系统如何快速、准确的识别出运动个体行为模式面临着 艰巨的挑战，本文对此进行了深入研究。 基于图像的闸机通道中运动个体行为模式的识别，它主要是从图像中进行运 动个体识别和数量统计。系统的工作环境决定了图像的背景比较固定，所以可以 采用差分法去掉图像的背景，便于后续图像的识别。图像分割技术采用了一种阈 值白适应的算法，这样做的目的是为了能够适应环境中光线的变化。同时，本文 提出了一种基于最高点假设的边缘检测方法，有效的提高了图像的处理速度。最 后，本文还提出了一种帧与帧间信息关联技术，有效的提高了单帧图像识别的准 确度。系统运行能够识别出闸机通道中的运动个体( 人和物) ，还能对通过的人 的数量进行有效统计。实验结果表明，系统的运行速度比较快，可以满足设计要 求。 关键词：去图像背景边缘检测 阈值自适应的图像分割运动个体行为识别 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fu r b a nr a i l w a yt r a 伍c a u t o m a t i cf a r ec o l l e c t i o n ( a f c ) s y s t e mh a sb e c o m em o r ei m p o r t a n t i nu r b a nr a i l w a yt r a f f i c ，g a t ei so n e o fk e y a p p a r a t u sa n du s e dt oa u t o m a t i c a l l ye x a m i n et i c k e t sb ym e a n so fi t si n t e l l i g e n t r e c o g n i t i o ns y s t e m t h er e c o g n i t i o ns y s t e mi s 也e “b r a i n ”a n dc o r eo fg a t ei nu r b a n r a i l w a y 订a f f i c w ea r ef a c i n gw i t ht h et r e m e n d o u sc h a l l e n g e si nt h ea s p e c t so fh o w t h ep a s s e n g e r sa r er e c o g n i z e dq u i c k l ya n dc o r r e c t l yu s i n gt h er e c o g n i t i o ns y s t e mo f t h eg a t e ，o w i n gt oc o m p l i c a t e dt r a n s i t s t h i sp 印e rh a sm a d eaf u r t h e rs t u d yo nt h i s i s s u e ，a n dt h em a i nc o n t e n ti sa sf o l l o w s ： t or e c o g n i z em o v i n go b j e c t s b e h a v i o r st h r o u g ht h eg a t eb a s e do ni m a g e si s m a i n l yu s e dt or e c o g n i z et h en u m b e ro fp e r s o ni n ap i c t u r e t h ee n v i r o n m e n tt h e s y s t e mw o r k i n gi n m a k e st h eb a c k g r o u n do ft h ep i c t u r er e l a t i v e l yf i x e d , s oi tm a k e s y o uc a nu s e a s i m p l em e t h o dt oc u to f f t h eb a c k g r o u n do ft h ep i c t u r e ，m a k i n gi te a s y t or e c o g n i z et h en u m b e r s e c o n d , t h i sp r o g r a mu s eas e l f - a d a p tt h r e s h o l di nt h e d i v i s i o no fi m a g e ，w ed ot h i st oa d a p tt h el i g h tc h a n g ei m p a c t i n gt h ed i v i s i o np r o c e s s t h i r d t h i sp r o g r a mu s e sa l le d g ed e t e c t i o nm e t h o db a s eo nt h ea s s u m p t i o no ft h e h i g h e s tp o i n tt os a v ep r o c e s st i m ee f f e c t i v e l y a tl a s t an e wr e l a t i n gm e t h o db e t w e e n f r a m e si su s e dt or a i s ea c c u r a c yi ns i n g l ef l a m er e c o g n i t i o n ，t h er e s u l ti ss a t i s f i e d 。i t c a nr e c o g n i z et h en u m b e ro fp e r s o n st h r o u g ht h eg a t e ，i tc a na l s or e c o g n i z ep e r s o n f r o mo b v i o u so b j e c t t h er e s u l ti n d i c a t e st h a ti tr u r l sf a s te n o u g h k e yw o r d s ：c u to f fb a c k g r o u n d o fi h a a g e ，e d g ed e t e c t i o n ，s e l f - a d a p tt h r e s h o l d i m a g ed i v i s i o n ，m o v i n gp e r s o n s b e h a v i o r s r e c o g n i t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和 取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得墨鲞盘鲎或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： c6 日 签字日期： 硼7 年6 月 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的 规定。特授权墨鲞盘鲎可以将学位论文的全部或部分内容编入有关数 据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅 和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：丁辔 导师签名： 菩字日期：) 7 年 6 月l6 日 日 巨苠正 替醐：罗年 6 艮嗡 第一章前言 第一章前言 1 1 选题背景和研究意义 随着社会和经济的发展，城市规模不断扩大，城市人口也急剧增加，同时也 引起了诸多城市问题。其中，城市交通是最严重的问题之一。由于快速轨道交通 具有运载能力大、快速且通畅性好、适于城市主干线运输、环境污染小和占用土 地资源小等特点，已经成为解决城市交通问题的重要组成部分。 城市快速轨道交通主要有地铁和轻轨两种形式。轨道交通发展至今已经有 1 0 0 多年的历史了。城市轨道交通的雏形是轨道公共马车。1 8 6 3 年，世界上第一 条用蒸汽机车牵引的地下铁路在英国伦敦建成通车，从此揭开了城市轨道交通的 序幕。尽管隧道内烟雾熏人，但是伦敦市民还是愿意乘坐这种地下列车。原因就 在于伦敦的地面交通拥挤不堪，乘坐马车要比地铁列车慢得多。这就为如何解决 人口密集的大城市的交通问题积累了宝贵的经验。1 8 8 1 年，在德国的柏林诞生 了世界上的第一辆有轨电车。电力驱动机车的研究成功，极大的改善了地下铁路 的运输条件。从此，世界上的许多大城市都相继修建了地铁。在地铁交通发展的 同时，轻轨也得到了快速的发展。轻轨交通是一种中等运量的城市轨道交通客运 系统，它的客运量在地铁和公共汽车之间。它是在传统的有轨电车的基础上发展 起来的交通系统，由于其造价低、无污染、乘半舒适、建设周期短等优点而被许 多国家的城市所接受。2 0 世纪后半期，人类的科学技术和生产力已经达到了相 当高的水平，欧美发达国家已经进入了机动化、电气化、信息化的社会。大城市 人口集中、交通拥挤、环境污染等问题进一步加剧。为了解决这些问题，城市快 速轨道交通进入了一个迅猛的发展时期。当前，巴黎、莫斯科、东京、伦敦、香 港等城市都已经拥有完善而高效的城市轨道交通网。实践证明，快速轨道交通在 城市交通中发挥着越来越重要的作用。 随着城市轨道交通的快速发展，客流量的大幅增长，人工方式的售检票系统 已经不能满足现在的需要。因此，使用磁票或非接触式i c 卡作为车票的自动售 检票( a u t o m a t i cf a r ec o l l e c t i o n ，a _ v c ) 系统就应运而生了。轨道交通的a f c 是一 种由计算机控制的集自动售票、自动检票和自动收费功能为一体的自动化处理系 统。闸机作为自动检票设备，是城市轨道交通的a f c 系统中的关键设备之一。 城市轨道交通中各个车站的进出口均发装有闸机，乘客进出车站均要经过闸机。 闸机利用其内部的智能识别系统对乘客的行为进行识别，从而实现自动检票。其 优点是可以实现按里程计费、减少逃票现象、加快乘客通行速度等。因此，智能 识别系统是城市轨道交通中闸机的“大脑”，它是闸机设计和开发的核心。它的 优劣不仅是衡量闸机性能的主要标准，而且还关系到整个a f c 系统的成败。所 以，闸机的智能识别系统已经成为城市轨道交通领域的研究热点。 第一章前言 近2 0 年来，我国的经济快速发展，城市化、机动化速度加快，大城市交通 拥挤以及由此导致的交通事故增多、环境污染等问题日趋严重。进入2 1 世纪后， 我国城市化水平必将进一步提高，人口密度将进一步增加，大城市的交通拥挤问 题必将成为制约经济发展、影响城市环境的关键因素。因此，我国的城市轨道交 通建设势在必行，而研究城市轨道交通中闸机的智能识别技术和通行算法具有重 大的现实意义。 1 2 闸机智能识别系统研究现状 由于闸机智能识别系统的专用性，对闸机的智能识别系统的研究主要是由与 城市轨道交通相关的一些生产商进行的。从2 0 世纪7 0 年代开始，意大利 g u n n e b o 、韩国s u m s a n g 瞳1 、美国m o t o r o l a 口1 、日本信号h 1 等公司开始研究和开 发适合于城市快速轨道交通的闸机智能识别系统，并被世界上许多城市的轨道交 通系统所采用。在我国的城市轨道交通中，自动售票系统所使用的闸机多数也是 国外的产品，因此研究闸机智能识别技术和通行算法是相当必要的，以便使闸机 智能识别系统国产化。令人可喜的是，从2 0 世纪9 0 年开始，我国的一些公司也 对闸机智能识别系统进行了尝试性研究，例如，上海大漠电子科技有限公司畸。 生产的三棍门型闸机和上海华铭智能终端设备有限公司埔1 的拍打门型闸机先后 被上海地铁所采用，深圳现代计算机有限公司盯1 的剪式门型闸机已经应用于深圳 地铁系统中。由于我国的闸机智能识别系统的研究尚处于起步阶段，因此智能识 别系统的性能与国外同类产品还有较大的差距。 1 3 本论文所作的主要工作和创新点 系统采用了三种方法联合的方式对闸机通道中个体行为进行检测和识别： 通过红外矩阵被个体的遮挡情况，对个体行为进行识别。 利用红外矩阵中得到的数据，对人的步态进行识别。 利用一个摄像头采集图像，对图像中的物体个数进行识别，并尽量区别 出真人和物体。 本论文主要的创新点如下： 提出了一种新的适合于城市轨道交通中的基于人体轮廓识别方法。本文将图 像处理和图像识别技术首次引入闸机智能识别系统中，通过使用摄像头采集包含 运动个体信息的图像。进行了基于图像的个体行为模式检测和识别，其最终目的 是要识别出图像中的个体数量，如果想对图像中的个体进行识别，技术上就要先 对图像进行必要的处理，使图像本身更容易进行识别。文章中主要讨论的是利用 图像进行识别的方法，以及在这个过程中对图像的处理和图像识别这方面的工 作。 在图像处理阶段，实现了图像的去除背景和阈值自适应的图像的分割算法； 2 第一章前言 在图像的识别阶段，实现了基于最高点假设的边缘检测和一种基于特征曲线匹配 的模式识别算法。 1 4 论文结构 第一章，首先阐明了本文所选课题的研究背景能其所具有的研究意义，然后 介绍了闸机智能识别系统的研究现状，最后指出本文的主要研究工作和创新点。 第二章，介绍了图像技术的发展，以及对论文中用到的图像技术中的名词进 行了一下简单的说明。 第三章，对取得图像进行的预处理工作，这其中包括去图像背景和图像的分 割，其中在图像的分割时，还采用了一种阈值自适应的分割技术。 第四章，在对图像识别进行简单介绍的基础上，提出了一种基于最高点假设 的边缘检测技术，并对论文中用到的识别算法进行了具体的说明。 第五章，展示了对单帧图像进行处理得到的结果，以及对程序的复杂度进行 了分析。 第六章，将前面工作的特征量提取出来，并且采用帧与帧之间信息关联技术 提取一条特征曲线，对该曲线进行了详细的说明，并由此产牛出一种识别算法。 笫七章，对前面的工作进行了总结，和对以后的工作的展望。 第二章图像技术和图像丁程简介 第二章图像技术和图像工程简介 2 1 图像技术和图像工程 图像技术在广义上是各种与图像有关的技术的总称。目前人们主要研究的是 数字图像，主要应用的是计算机图像技术。这包括利用计算机和其它电子设备进 行和完成的一系列工作，例如图像的采集、获取、编码、存储和传输，图像的合 成和产生，图像的显示和输出，图像的变换、增强、恢复( 复原) 和重建，图像的 分割，目标的检测、表达和描述，特征的提取和测量，序列图像的校正，3 - d 景 物的重建复原，图像数据库的建立、索引和抽取，图像的分类、表示和识别，图 像模型的建立和匹配，图像和场景的解释和理解，以及基于它们的判断决策和行 为规划等等。另外，图像技术还可包括为完成上述功能而进行的硬件设计及制作 等方面的技术。 尽管计算机图像技术的历史可追溯到1 9 4 6 年世界是第1 台电子计算机的诞 生( 借助打印设备进行数字图像处理甚至可追溯到2 0 年代) ，但在5 0 年代计算机 主要不是用于数值计算，满足不了处理大数据量图像的要求。在6 0 年代，第3 代计算机的研制成功，以及快速傅里叶变换算法的发现和应用使得对图像的某些 计算得以实际实现，人们从而逐步开始利用计算机对图像进行加工利用。在7 0 年代，图像技术有了长足的进展，而且第1 本重要的图像处理专著也得以出版。 在8 0 年代，各种硬件的发展使得人们不仅能处理2 一d 图像而且开始处理3 一d 图 像。许多能获取3 - d 图像的设备和处理分析3 - d 图像的系统研制成功，图像技术 得到了广泛的应用。进入9 0 年代，图像技术己逐步涉及人类生活和社会发展的 各个方面。以近年得到广为宣传和应用的多媒体为例，图像在其中占据了主要地 位。广义上来说，文本、图形、视频等都需要借助图像技术才能充分利用。展望 即将到来的2 l 世纪，图像技术必将得到进一步的发展和应用，从而改变人们的 生活方式以及社会结构。 由于图像技术近年来得到极大的重视和长足的进展，出现了许多新理论、新 方法、新算法、新手段、新设备。图像界一致认为亟需对它们进行综合研究和集 成应用。我们认为这个工作需要在一个整体框架下进行，这个框架就是图像工程。 众所周知，工程是指将自然科学的原理应用到工业部门而形成的各学科的总称。 图像工程学科则是将数学、光学等基础科学的原理，结合在图像应用中积累的技 术经验而发展起来的。“图像工程”的概念在1 9 8 2 年首先提出，当时主要包括有 关图像的理论技术，对图像数据的分析管理以及各种应用，但其后一段时间并未 得到广泛响应。现我们重新使用这个概念，并将图像工程看作一个对整个图像领 域进行研究应用的新学科。事实上，图像技术多年来的发展和积累为图像工程学 科的建立打下了坚实的基础，而各类图像应用也对图像工程学科的建立提出了迫 4 第二章图像技术和图像工程简介 切的需要。 图像工程的内容非常丰富，根据抽象程度和研究方法等的不同可分为三个层 次：图像处理、图像分析和图像理解。换句话说，图像工程是既有联系又有区别 的图像处理、图像分析及图像理解三者的有机结合，另外还包括对它们的工程应 用。 图像处理着重强调在图像之间进行的变换。虽然人们常用图像处理泛指各种 图像技术，但比较狭义的图像处理主要满足对图像进行各种加工以改善图像的视 觉效果并为自动识别打基础，或对图像进行压缩编码以减少所需存储空间或传输 时间、传输通路的要求。 图像分析则主要是对图像中感兴趣的目标进行检测和测量，以获得它们的客 观信息从而建立对图像的描述。如果说图像处理是一个从图像到图像的过程，则 图像分析是一个从图像到数据的过程。这里数据可以是地目标特征测量的结果， 或是基于测量的符号表示。它们描述了图像中目标的特点和性质。 图像理解的重点是在图像分析的基础上，进一步研究图像中各目标的性质和 它们之问的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解 释，从而指导和规划行动。如果说图像分析主要是以观察者为中心研究客观世界 ( 主要研究可观察到的事物) ，那么图像理解在一定程度上是以客观世界为中心， 借助知识、经验等来把握整个客观世界( 包括没有直接观察到的事物) 。 由上所述，图像处理、图像分析和图像理解是处在三个抽象程度和数据量各 有特点的不同层次上。图像处理是比较低层的操作，它主要在图像象素级上进行 处理，处理的数据量非常大。图像分析则进入了中层，分割和特征提取把原来以 象素描述的图像转变成比较简洁的非图形式的描述。图像理解主要是高层操作， 基本上是对从描述抽象出来的符号进行运算，其处理过程和方法与人类的思维推 理可以有许多类似之处。随着抽象程度的提高数据量是逐渐减少的。具体说来， 原始图像数据经过一系列的处理过程逐步转化为更有组织和用途的信息。在这个 过程中，语义不断引入，操作对象发生变化，数据量得到了压缩。另一方面，高 层操作对低层操作有指导作用，能提高低层操作的效能。 2 2 相关学科和领域 图像工程是- - f - j 系统地研究各种图像理论、技术和应用的新的交叉学科。从 它的研究方法来看，它与数学、物理学、生理学、心理学、电子学、计算机科学 等许多学科可以相互借鉴，从它的研究范围来看，它与模式识别、计算机视觉、 计算机图形学等多个专业又互相交叉。另外，图像工程的研究进展与人工智能、 神经网络、遗传算法、模糊逻辑等理论和技术都有密切的联系，它的发展应用与 医学、遥感、通信、文档处理和工业自动化等许多领域也是不可分割的。 图形学原本指用图形、图表、绘图等形式表达数据信息的科学，而计算机图 第二章图像技术和图像工程简介 形学研究的就是如何利用计算机技术来产生这些形式。如果将它和图像分析对 比，两者的处理对象和输出结果正好对调。计算机图形学试图从非图像形式的数 据描述来生成图像。另一方面，模式识别与图像分析则比较相似，只是前者试图 把图像分解成可用符号较抽象地描述的类别。它们有相同的输入，而不同的输出 结果可以比较方便地进行转换。至于计算机视觉主要强调用计算机实现人的视觉 功能，这中间实际用到了图像工程三个层次的许多技术，但目前的研究内容主要 与图像理解相结合。 由此看来，以上学科互相联系，覆盖面有所重合。事实上这些名词也常混合 使用，它们在概念上或实用中并没有绝然的界限。在许多场合和情况下，它们只 是专业和背景不同的人习惯使用的不同术语。它们虽各有侧重但常常是互为补充 的。另外以上各学科都得到了包括人工智能、神经网络、遗传算法、模糊逻辑等 新理论、新工具、新技术的支持，所以它们又都在近年得到了长足进展。总的来 说，图像工程既能较好地将许多相近学科兼蓄并容，也进一步强调了图像技术的 应用，所以我们选用图像工程来概括整个图像领域的研究应用。 2 3 论文中用到的相关技术 2 3 1 位图 由于程序中需要处理的图像是通过摄像机采集而来的，并且图像在内存中的 格式是一幅位图，所以先介绍一下位图( b i t m 印) 的概念。 普通的电子管显示器屏幕是由许许多的点的构成的，这些点称之为象素。显 示时是采用扫描的方法：电子枪每次扫描一行，从左到右或从右到左，这样就可 以为这一行的各个象素着色。这样从上到下扫描整个屏幕，一幅图像就可以在屏 幕上显示出来。当然，为了防止屏幕的闪烁，要不断的刷新屏幕，这一过程每秒 需要进行几十次，才能得到比较稳定的画面。例如，屏幕分辨率为1 0 2 4 7 6 8 ， 刷新率为7 5 h z ，意思就是说，每次扫描，一行要扫描1 0 2 4 个象素，总共要扫描 7 6 8 行，这个过程每秒进行7 5 次。 这种设备被称为位映像设备。所谓位映像，就是指一个二维的象素矩阵，而 位图就是采用位映像方法显示和存储的图像的。另外，程序中处理的是灰度图， 也就是说，位图中的每一个元素位置存储的是该象素点的灰度值。 2 3 2 图像处理 图像处理，就是对图像中的各个象素点，按照一定的算法，进行一系列的运 算，最终达到一种方便后续处理的结果。图像处理作为- - i 1 学科，它得益于数字 6 第二章图像技术和图像工程简介 信号处理技术的成熟，得到了比较快速的发展。 根据项目的特殊应用场合的要求，最朴素的想法，就是先把图像的背景去掉。 对一般的图像处理来说，这一步很麻烦，或者可以说不容易做到。但对这个具体 的环境来说，图像的背景比较固定，所以可以预存一幅背景图像，这样的话，要 去掉图像的背景就很容易的做到了。经过以上一步的处理，图像中的物体影像就 剩了下来，而程序要得到的对象就集中在这个图像中的剩余部分了，对图像进行 识别时所需要的信息也基本上完全保留了下来，也方便了以后的识别工作。 由于程序工作是识别出图像中乘客的个数，而不需要对乘客的细节给出记 录。所以，为了以后编写程序的方便，这里可以把图像中的所有象素进行一个二 值化的处理，即背景部分置为纯黑，其余的部分置为纯白，这样只要关心白色象 素的处理就可以了，既简化了编程，又使需要处理的i = i 标在位图中更明确的显示 出来。 2 3 3 图像识别 图像识别，是模式识别的一种，是在经过图像处理后的位图上面，进行必要 的特征提取，然后对提取到的特征进行判断。模式识别作为人工智能的一个重要 分支，其发展是计算机智能化的一个重要推动力。 经过对获取图像的处理，程序要处理的目标锁定在图像中白色象素上面，下 面的工作就是要对图像中的白色象素和白色区块进行识别。之所以这么做是因 为，程序要识别的主体是人的头部，两个靠近的人，身体可以靠的很近，但人的 头部绝对不可能靠的非常近。基于这些判断，可以对图中的白色区块进行简单的 计数。虽然这种方法存在一定的误差，如，不能区分图像中的人和物，但可以通 过对识别的算法进行一定的改进，使它可以初步的区别出人和物的不同特征。 第三章图像的二值化分割 第三章图像的二值化分割 像第二章中说明的那样，为了能够方便地从所采集的图像中识别出个体( 乘 客) 的数量，程序中需要对图像进行一系列的处理。这其中主要包括，去掉图像 背景、对图像进行二值化处理的步骤。 3 1 除去图像背景 3 1 1 信息主体 信息主体就是程序中要处理的信息主要集中的区域。一幅图像，由背景图像 和前景图像组合而成。其中的前景图像就是要处理的信息主体。所以，为了要得 到这个信息主体，需要把图像的背景去掉。这样就可以去掉不必要的信息，从而 把要处理的信息主要集中在剩下的区域里。 3 1 2 去背景的方法 常用的去背景的方法是差分法。具体讲，就是先得到要处理图像的背景图像， 然后用当前要处理的图像与背景图像作差分。 具体到这个项目中，先说背景图像的取得，由于摄像机位置固定，所以，背 景图像相对稳定，程序中可以预存一幅背景图像，留作后继处理时继续使用。当 前图像的获得是用摄像机即时获取。 两个图像作差分： i 。一t ( x ，y ) = i 。嘞t ( x ，y ) - i b a c k g r o 仰d ( x ，y ) ； 公式( 3 - 1 ) 其中i c 。一“x ，y ) 代表当前图像在( x ，y ) 象素点的亮度，i b a c k g r o 衄d ( x ，y ) 代表的 是背景图像在( x ，y ) 象素点的亮度。 但是，这样做存在一个问题，由于亮度i 在计算机中的表示是一个无符号的 数字( u n s i g n e d ) ，所以，两个亮度数值直接相减会产生溢出的问题。如： o x 0 0 0 0 一o x 0 0 0 1 ：o x l l l l 而实际上，两个象素的亮度，o x 0 0 0 0 、与o x 0 0 0 1 之间并没有存在如此大的反 差，只相差o x 0 0 0 1 而已。这么做误差太大。 一种改进的方法： i f ( i c u 唧t ( x ，y ) = i b a c k g r o 岫d ( x ，y ) ) 当前景图像比背景图像对应的象素点灰度值大的时候宰 i c u 丌舶t ( by ) 2i c 咖t ( x ，y ) - i b a c l 呼d 岫d ( x ，y ) ； 8 第三章图像的二值化分割 e l s e 严当前景图像比背景图像对应的象素点灰度值小的时候+ k d x ，y ) 2 i h b 一x ，y ) ( x ，y ) ； ) 由于程序只要得到前景与背景的差别，因此，这样做可以满足程序的要求。 3 13 去掉图像背景后的效果 下面两幅图是分别用改进前的方法和改进后的方法去掉图像背景后的效果 图3 一l 效果对比 其中，图3 - 1 ( a ) 是预存的背景图像，图3 - i ( b ) 是即时获取的前景图像，图 3 - i ( c ) 是用改进前的方法去背景过后的图像，可以看出人的面部和背景的灯光处 很不协调，躅3 - i ( d ) 是用改进后的方法去背景后得到的图像，与图3 - 1 ( c ) 相比 较，人的面部和背景的灯光处变的柔和了一些。 3 i 4 小结 在上述的图像处理过程中，如果需要保留前景信息的灰度的话，还可以稍加 改进。程序代码可以改写如下： 第三章图像的二值化分割 i f ( i c 哪t ( x ，y ) i b a c k g r o 皿d ( x ，y ) ) 严当前景图像比背景图像对应的象素点灰度值小的时候 i c u 。蜘t ( ) 【y ) 2i b k 留m 。d ( x ，y ) 一i 咖t ( x ，y ) ； ) 木当前景图像比背景图像对应的象素点灰度值大的时候，不做处理囊 经过这样的处理，前景图像的灰度值便被保留下来，没有被削弱。 3 2 图像的二值化分割 3 2 1 图像二值化的概念 图像经过去背景处理后，信息主要集中在图像中比较亮的区域。为了计算机 处理的方便，需要把图像中亮区域和相对暗的区域区别对待，把它们分别赋与不 同的两个值，这一过程就是对图像进行二值化处理的过程。而二值化过程一般都 是利用取阈值的方法来分割图像的，而这时一般都对图像有一定的假设。换句话 说，是基于一定的图像模型的。最常用的模型如下：假设图像是由具有单峰灰度 分布的目标和背景组成，在目标或背景内部的相邻象素间的灰度值是高度相关 的，但在目标和背景交界处两边的象素在灰度值上有很大的差别。如果一幅图像 满足这些条件，它的灰度直方图基本上可看作是由分别对应目标和背景的两个单 峰直方图混合而成。此时如果这两个分布大小( 数量) 接近且均值相距足够远，而 且均方差也足够小，则直方图应是双峰的。对这类图像常可用取阈值方法来较好 的分割。 二值化的方法举不胜举，但都可以分为取全局阈值的二值化和取局部阈值的 二值化两大类。 最简单的利用取阈值方法来分割灰度图像的步骤如下。首先对一幅灰度取值 在g 咖和g 陋。之间的图像确定一个灰度阈值t ( g 咖 t t 的称做组2 ； 盯1 2 0 ) ，仃；o ) 是l 组和2 组各自的方差；q l o ) ，q 2 0 ) 是1 组和2 组各自的概率； 硒o ) ，：o ) 是1 组和2 组各自的灰度平均值。定义组内方差仃：o ) 为这两个组的 方差的加权和： 仃矿2 ( f ) 2q l ) 仃1 2 ( f ) + 9 2 ( f ) 盯2 2 ( f ) 公式( 3 2 ) 所有像素的平均灰度和方差记做p 和t 7 2 。有下面的关系式成立： 仃2 = o w 2 ( f ) + 2 ( f ) 公式( 3 - 3 ) 其中仃；0 ) 叫做组问方差， 仃占2 0 ) = q l o ) 。( ，) 一】2 + 曰2 0 ) 2 ( f ) 一 2 = q l ( f ) 1 一日，( f ) 。( f ) 一2 ( f ) 】2 公式( 3 4 ) 显然盯2 并不随t 变化，所以使得组内方差最小的t 就是使得组间方差最大 的to 寻找这个t 的方法是穷举法，即搜索t 的每一个可能值，计算出相应的盯；o ) ， 然后找出最大的仃；o ) 对应的t 。 当阈值为t 时的各参量已知时，阈值为t + 1 时的各参量可以用下列递推公式 算出，从而避免对每个t 都做独立的大量的运算。 q j ( ，+ 1 ) 2 9 - ( f ) + 尸( f + 1 ) ，递推起点是g l ( 1 ) ：尸( 1 ) “。+ l ，= 鱼塑丛轰掣，递推起点是。( 。) ：。 聃肛等群 公式( 3 - 5 ) 公式( 3 - 6 ) 公式( 3 - 7 ) 有了g ( f + 1 ) ，a 。( f + 1 ) 和：o + 1 ) 之后，盯；( f + 1 ) 就可以求出。 这个全局取阈值方法常常可以得到不错的效果。但在这个应用中，还可以找 出一个更为行之有效的方法。 第三章图像的二值化分割 3 2 2 图像二值化的方法 图像二值化中常用的方法，先选取一个阈值e ，然后把图像中的各点与e 相 比较。当前点的亮度大于e 时，把0 ( 白色) 赋给当前点；当前点的亮度小于e 时， 把1 ( 黑色) 赋给当前点： i f ( i ( x ，y ) = 0 ) 附 近，当然i 有可能在不同的两幅图像的差分中是不同的，但这并不影响文章中将 要提到的算法。它的分布将非常类似于指数分布，图3 2 所示。图3 3 中的两图 是同一相机在不同时刻连续抓拍的两幅图像；而经过差分后的图像的直方图图像 就是图3 - 4 中显示的那样。图3 2 预计的曲线和图3 - 4 中实际的曲线的十分相似 的( 图3 2 相当于图3 - 4 的局部放大) 。 第三章图像的二值化分割 田3 0 相机连续抓拍的两幅圈像 根据以上论述，当把要处理的前景图像与背景图像作差分后，得到的图像， 其中的背景部分比较暗，并且会比较集中的分布在一个常数附近，而信息主体部 分，则会比较明亮，并且会比较均匀的分布在各个亮度上面。但由于图像作过差 分，所以图像的高亮度区域分布的象素是比较少的。圈3 - 5 中的两图是同一相机 在不同时刻采集的背景图像和存在信息主体时的图像；经过差分后的图像的直方 图图像就是图3 - 6 中显示的那样。 图3 - 5 背景图像( 左) 和前景图像( 右) r 6 。一 i - 一 图3 - 6 去背景后的图像的直方圉 图3 - 6 表示去背景后图像的直方图，其中横轴代表图像的各个亮度级，而曲 线的高度则代表相应亮度值上分布的图像的象素的个数。其中左边的波峰区域代 表比较集中的背景图像的象素，而其它部分则表示信息主体，可以看出它太部分 都分布在图中两条竖线的中间，所咀，两条竖线的横坐标e ，和e 2 就是要求出来 的点。 要得到e 点，就需要找山e 点的特征。e 点与直方图中的最高点相距很近， 并且分别在其左右两侧。可以利用这个特征来设计算法，在这之前先加一个经验 值，假设e 点要比最高点的l ，2 还要小，而这个假设，在实际中是成立的，当然 你也可以把它设置的小一点，如l “。 这是因为，用y = p i 畸j ( o j s l 0 1 作为近似，当x = l 时y = e g ：而y 的晟大 值为e ”。所以可以认为x = 1 为阈值的选取点。那么，计算( 0 ，i ) e n 与( 0 ，l o ) 区 间面积的比值： 第三章图像的二值化分割 fp ( 1 0 一出 兰一= 0 。6 3 21 心o o - x ) d x 可以看出被去除的象素点占整个图像的6 3 2 1 ，所以，这样选取阈值是合 理的。 下面给出计算其中一个点的算法的基本思路： 严初始化一个数组m 口，数组大小为灰度级的级数，数组中将来记录图像的 直方图信息，数组的索引就是灰度级的大j , * i n i t i a lm w i t ht h ev a l u eo ； 奉把各个灰度级上的象素个数，也即直方图。填入一个一维数组m 木 f i l lt h ea r r a ym 【】w i t ht h en u m b e ro f p i x e l so ne a c hg r a yl e v e l ； 木找出m 口中的最大值，波峰，它代表背景象素比较集中的区域中心母 f i n do u tt h em a xv a l u ei nt h ea r r a ym 】； 严在m 口中，从最大值的那个灰度级开始，沿着灰度值变大的方向，找到第 一个满足下面条件的点，这个点要比最大值的一半小宰 f i n do u tt h ef i r s ti t e mw h i c hi sl o w e rt h a nh a l fo ft h em a xv a l u e ，o nt h er i g h to f t h em a xv a l u ei nt h em ； p 把得到的那个点的灰度级取出来，就得到了阈值e * e = t h ei n d e xo f t h ei t e mi nm 口； 到这里得到了阈值e ，也就是前面的阈值e 2 ；按照相似的方法找到另一个阈 值e l 。剩下的就是把3 3 2 中给出的处理图像的算法稍加修改： 设待处理图像中所有像素点的总的集合为s ，二值化后需要赋予白色的像素 点的集合为s 1 ，需要赋予黑色的点的集合为s 2 ，p 为图像中的像素点，d e g r e e ( p ) 为该像素点的灰度值，则： s 1 = 扫i 即s ，d e g r e e ( p ) p 2 ) s 2 = pv 矽s ，q ( 1 e g r e e ( p ) e 2 得到的结果如图3 7 所示。 1 6 3 2 4 阈值选取小结 圈3 7：值化以后的幽像就岽 由上述讨论可知取闽值分割方法的关键问题是选取合适的阈值。阈值一般可 写成如下形式： t = t 【x ，m 歌，y ) ，p ( x ，”】 其中坟ky ) 是在象素点( x ，y ) 处的灰度值，p ( x ，y ) 是该点邻域的某种局部性质。换 句话说，t 在一般情况下可以是( x ，y ) ，缸x ，y ) 和p 忆y ) 的函数。借助上式，可将 取阈值分割方法分成如下3 类： ( 1 ) 如果仅根据f i x , y ) 来选取阈值，所得的阈值仅与各个图像象素的本身性质 相关( 也有叫全局阈值的，因为此时确定的阈值对全图使用k ( 2 ) 如果阈值是根据坟ky ) 和p ( x ，y ) 来选取的，所得的阐值就是与( 局部) 区域 性质相关的( 也有叫局部田值韵) 。 ( 3 ) 如果阈值进一步( 除根据孔y ) 和p ( k y ) 来选取外) 还与x ，y 有关，则所得 的阈值是与坐标相关的他有叫动态阈值的，且可将前2 种阈值对席称为固定阈 值1 。 以上对取阈值分割方法的分类思想是通用的。近年来，许多取阚值分割方法 借用了神经网络、模糊数学、遗传算法、信息论等工具，但这些方法仍可归纳到 以上3 种方法类型中。” 第四章信息主体的检测与识别 第四章信息主体的检测与识别 4 1 图像识别目的 图像识别技术的涵义很广，主要指通过计算机，采用数学技术方法，对一个 系统前端获取的图像按照特定目的进行相应的处理。可以说，图像识别技术就是 人类视觉认知的延伸。计算机通过图像识别人和他们的行动是计算机与人类智能 交互的关键技术所在。因为有很多重要的应用，如何从图像中识别出人，已经成 为计算机视觉领域最热的话题之一。 处理和分析一个包含人的图像，已经使计算机视觉产生了一个新的应用领 域。这个应用领域包括面部识别、手势识别和整个人的个体的跟踪。有许多重要 的人机交互领域的应用，推动着图像识别的发展。 其中在人工智能方面，它要求设计出更加智能和更像人行为的机器；在图灵 测试中，它是以自然语言理解为基础，有着大量的基本信息，并且还要进行非常 复杂的逻辑推理，然而，这还只是一部分，对于一部机器来说，想要足够的智能 和有用，它就需要有从它所在的环境中提取信息的能力。它需要独立的从环境中 提取信息，而不是人们在键盘上录入信息( 最初的图灵测试的要求) 。对于人机 交互来说，最有用的信息就是，谁在与它交互，这个人在哪里，他现在的动作是 什么之类的信息。这里，图像的识别就扮演着很重要的角色。 图像识别的基础实验是一个著名的心理学实验，在心理学方向，对于人类的 感知j o h a n s s o n 做了一个经典的实验。实验中，他把人体的主要部分用可以活动 的灯做出标记，结果是，即使只给出很少几个移动的点，实验中的观察者还是几 乎总是可以识别出人体的行为。n 研n 7 m 硝 图像识别可以有很多标准来进行分类。比如，建模的类型( 以轮廓为基础的、 以体积为基础和以统计学为基础) ，所跟踪空问的维数( 2 维还是3 维) ，传感器 类型( 可见光和红外光) ，传感器组织样式( 独立的和成矩阵的) ，传感器位置( 集 中的还是分散的) ，传感器可移动性( 静止的还是可移动的) 。d 叭2 们乜妇 本论文所采用的是以轮廓为基础的，经过前面的图像处理，识别工作所需要 的信息主体已经很清晰的表示出来了( 图3 - 7 ) ，但是需要让计算机也能理解这幅 图像的意义，这就是图像识别的工作任务。乜2 儿2 3 儿2 4 1 4 2 图像的检测及模板匹配 图像的分割与检测( 识别) 实际上是一项非常困难的工作。很难说清楚为什么 图像应该分割成这样而不是那样。人类的视觉系统是非常优越的，它不仅包含了 双眼，还包括了大脑，可以从很复杂的景物中分开并识别每个物体，甚至可以毫 不费力地跟上每秒好几十帧变化的图像。举两个例子来说明下人类视觉系统的 优越性。 第四章信息主体的检测与识别 图4 1 图像中含有t h e 这个单词 j 图4 2 隐藏着的三角形 图4 - 1 是单词t h e ，这一点很容易看出来，但仔细观察一下，就会发现，图 中少了很多线条。在人类看来很简单的一件事，让计算机来做就很困难了。 图4 - 2 中尽管没有任何线条，但我们还是可以很容易的看出中间存在着一个 白色三角形。计算机却很难发现。 由于人类在观察图像时用了大量的知识，所以没有任何一台计算机在分割和 检测真实图像时，能达到人类视觉系统的水平。正因为如此，对于大部分图像应 用来说，自动分割与检测还是一个将来时。目前只有少数的几个领域( 如印刷体 识别o c r ) 自动识别达到了实用的水平。 也许算是题外话，我们可以憧憬这样一种应用：基于内容的搜索。在一场足 球比赛的录像中，用户可以输入命令，由计算机自动搜索出所有射门的镜头并显 示在屏幕上。目前，能从一幅图像中获得的信息只是每个象素的颜色或灰度值， 除此以外别无其它，完成上述功能实在是太困难了。所以说解决图像分割和检测 最根本的方法是在编码( 成像) 时就给予考虑。这也正是m p e g 4 及未来的视频压缩 编码标准的主要工作。乜5 儿2 6 儿矧 正因为有上述的困难，所以将要介绍的只是一些最基本，最简单的算法和思 想，针对也只能是一些具体( 而不是通用) 的应用。首先介绍一种算法：投影法。 4 2 1 投影法 在介绍投影法之前，先出一道题目，下面的图4 - 3 这幅照片是著名的华盛顿 1 9 第四章信息主体的检铡与识别 纪念碑怎样从图中自动检测到水平方向上纪念碑的位置。 仔细观察，不难发现，纪念碑上象素的灰度都差不多而且与众不同如果选 取舍适的阈值，将该图二值化，如图4 - 3 所示： 圈4 - 3 华盛顿记念碑和二值化后的雷像 由于纪念碑所在的那几列的白色点比起其他列多很多，如果把该图在垂直方 向做投影，如图4 - 4 所示。 图44 二值化图像后的垂直方向的投影 其中，黑色线条的高度代表了该列上白色点的个数。图中间的高峰部分就是 要找的水平方向上纪念碑所在的位置，这就是投影法。可咀看出投影法是一种很 自然的想法，有点像灰度直方图。为了得到更好的效果，投影法经常和阈值化一 起使用。由于噪声点