（信息与通信工程专业论文）客流计数单元算法研究及其在tms320dm642系统上实现.pdf

嘲 r e s e a r c ho np a s s e n g e rc o u n t i n gu n i ta l g o r i t h ma n di t s im p l e m e n t a t i o ni nt m s 3 2 0 d m 6 4 2 s y s t e m at h e s i ss u b m i t t e dt o d a l i a nm a r i t i m e u n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o r t h e d e g r e eo f m a s t e ro fe n g i n e e r i n g b y l i y i n g e ( i n f o r m a t i o na n dc o m m u n i c a t i o ne n g i n e e r i n g ) t h e s i ss u p e r v i s o r ：p r o f e s s o rb is h e n g j u n e2 0 11 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文= = 窒逋过数垫丞亟究厘墓在i 丛墨三2 q 旦丛鱼垒至丕统土塞 现：。除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和 集体，均已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个 人或集体已经公丌发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名：盔腿i 虱 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全 文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版发 行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密m ( 请在以上方框内打“，) 论文作者签名：巷服闾 导师签名：肇 e t i t 习：& 詹年月多g 日l 虫文摘要 摘要 近年来，自动客流统计系统是一个正在发展和得到初步应用中的科学研究领 域。已经有许多人研究基于单目图像处理进行客流计数的技术，但大多数都仅限 于获取图像的二维信息，以提取头部特征作为识别、跟踪客流的主要手段，通过 模型匹配，从而进行客流统计。本文利用双目立体视觉原理设计了客流计数算法， 并在嵌入式系统上实现。 本文的系统是基于s e e d v p m 6 4 2 开发板和两个c c d 摄像头，利用立体双目 视觉恢复视频序列中运动目标的深度信息，再结合人体的一些二维特征，比如人 体目标区域的面积、宽高比、质心坐标等目标区域特征，从而进行人数统计的。 其中双目立体视觉技术主要分为以下部分：摄像机定标、左右图像的获取、特征 提取、立体匹配和三维信息恢复。其中，立体匹配是最为重要也是最难实现的一 部分。 通过对相关算法的分析和研究，本文设计了客流计数单元算法，可以分为以 下几个部分完成。首先，通过分割算法得到左右目视频序列中的目标区域；其次， 利用h a r r i s 角点检测的方法提取目标区域内的特征点，并通过基于区域的匹配方 法对左右目图像中的特征点进行匹配操作；最后，根据双目视觉原理，计算匹配 成功的点对所对应的视差和深度值，结合人体的二维特征参数值，进行人数的统 计。 本文的客流计数算法经过实验的验证，其统计人数的平均准确率达到了9 2 左右，由于陔算法结合了人体的深度信息，从而提高了检测人数的准确率，使其 具有较好的统计准确性和稳定性。 关键字：客流统计系统；嵌入式系统；双目立体视觉；s e e d - v p m 6 4 2 开发板 a b s t r a c t i nr e c e n ty e a r s ，t h ea u t o m a t i cp a s s e n g e rc o u n t i n gs y s t e mi s b e i n gd e v e l o p e da n d g e t sap r e l i m i n a r ya p p l i c a t i o ni nt h ef i e l do fs c i e n t i f i cr e s e a r c h m a n yp e o p l er e s e a r c ho n t h ep a s s e n g e rc o u n t i n gt e c h n o l o g yb a s e do nm o n o c u l a ri m a g ep r o c e s s i n g ，b u tm o s ta r e l i m i t e dt oo b t a i nt w o - d i m e n s i o n a li n f o r m a t i o no fi m a g e st oe x t r a c th e a df e a t u r e s 弱t h e p r i m a r ym e a n so fi d e n t i f i c a t i o na n dt r a c k i n gp a s s e n g e rf l o w t h e n ，t h en u m b e ro f p a s s e n g e ri sc o u n t e db ym o d e lm a t c h i n g t h i sp a p e rd e s i g nt h ep a s s e n g e rc o u n t i n g a l g o r i t h mb a s e do nb i n o c u l a rs t e r e ov i s i o n ，a n db ei m p l e m e n t e di nt h ee m b e d d e d s y s t e m s t h i ss y s t e mi sb a s e do nt h es e e d - v p m 6 4 2d e v e l o p m e n tb o a r da n dt w oc c d c a m e r a s ，w h i c hu s e st h eb i n o c u l a rs t e r e om e t h o dt or e c o v e r yd e p t hi n f o r m a t i o no f m o v i n go b j e c t si nt h ei m a g e ，a n dc o m b i n e sw i t hs o m et w o d i m e n s i o n a lf e a t u r e st o r e a l i z ep a s s e n g e rc o u n t i n g t w o d i m e n s i o n a lf e a t u r e si n c l u d ea r e ao ft h eb o d y t a r g e t ，t h e r a t i oo fw i d t ht oh e i g h t ，a n dc e n t r o i dc o o r d i n a t e so ft h et a r g e ta r e a b i n o c u l a rs t e r e o v i s i o nt e c h n o l o g yi sr o u g h l yd i v i d e di n t os e v e r a lp a r t sa sf o l l o w s ：c a m e r ac a l i b r a t i o n ， l e f ta n d r i g h ti m a g e sa c q u i s i t i o n ，f e a t u r ee x t r a c t i o n ，s t e r e om a t c h i n ga n d t h r e e _ d i m e n s i o n a li n f o r m a t i o nr e c o v e r y s t e r e om a t c h i n gi st h em o s ti m p o r t a n ta n d d i f f i c u l tp a r to ft h eb i n o c u l a rv i s i o nt e c h n o l o g y i nt h i sp a p e rt h ep a s s e n g e rc o u n t i n gu n i ta l g o r i t h mi sd e s i g n e db ya n a l y z i n ga n d r e s e a r c h i n gr e l a t e da l g o r i t h m s ，w h i c hc a l lb ec o m p l e t e db ys e v e r a lp a r t sa sf o l l o w s ： f i r s t l y , t h et a r g e ta r e ai nv i d e os e q u e n c e sa r eo b t a i n e db ys e g m e n t a t i o n ；s e c o n d l y , f e a t u r ep o i n t sw i t h i nt a r g e ta r e aa r ee x t r a c t e db yh a r r i sc o m e rd e t e c t i o n ，a n dt h e nt h e p o i n t si nl e f ta n dr i g h ti m a g e sa r em a t c h e dt h r o u g hr e g i o n - b a s e dm a t c h i n gm e t h o d ； f i n a l l y ，a c c o r d i n gt ot h ep r i n c i p l eo fb i n o c u l a rv i s i o n ，t h ev a l u eo fd i s p a r i t ya n dd e p t ho f p o i n t sm a t c h e ds u c c e s s f u l l yi sc a l c u l a t e d ，w h i c hc o m b i n e sw i t ht w o d i m e n s i o n a lf e a t u r e p a r a m e t e rv a l u e so fh u m a nb o d y t h e n ，t h en u m b e ro fp a s s e n g e ri sc o u n t e d t h ea l g o r i t h mo fp a s s e n g e rc o u n t i n gi nt h i sp a p e ri sv e r i f i e db yt h ee x p e r i m e n t , a n d t h es t a t i s t i c a la v e r a g ea c c u r a c yr a t ei su pt oa b o u t9 2 ，b e c a u s et h e a l g o r i t h mc o m b i n e s d e p t hi n f o r m a t i o nt oi m p r o v et h ed e t e c t i o na c c u r a c ya n ds t a b i l i t y k e yw o r d s ：p a s s e n g e rc o u n t i n gs y s t e m ：e m b e d d e ds y s t e m ；b i n o e u l a rs t e r e ov i s i o n ：s e e d - v p m 6 4 2d e v e l o p m e n tb o a r d 目录 第一章绪论1 1 1 课题研究的意义1 1 2 客流计数系统的发展现状1 1 3 本人的主要工作2 1 4 本文的章节安排3 第二章运动目标的提取5 2 1 视频图像的预处理一5 2 2 运动目标区域的检测6 2 2 1 背景差分法6 2 2 2 对称帧差分法7 2 3 运动目标区域的分割算法。8 2 3 1 阈值分割的基础9 2 3 2 最大类间方差分割法1 0 2 4 提取运动区域的后续处理12 2 4 1 膨胀与腐蚀操作12 2 4 2 开操作与闭操作1 4 2 5 运动目标提取算法的设计1 5 2 6 实验结果分析1 7 第三章客流计数单元算法的研究与设计1 9 3 1 立体视觉1 9 3 1 1 图像坐标系、摄像机坐标系与世界坐标系1 9 3 1 2 双目立体视觉2 1 3 1 3 摄像机焦距的计算2 4 3 2 特征点的提取一2 5 3 2 1s u s a n 角点检测法一2 6 3 2 2h a r r i s 角点检测法2 8 3 2 3 实验分析2 9 3 3 立体匹配3 l 3 3 1 基于区域的匹配3 2 3 - 3 2 基于特征的匹配。3 3 3 3 3 实验分析3 4 3 4 空间点重建3 5 3 5 客流计数算法的设计3 7 第四章客流计数在t m s 3 2 0 d m 6 4 2 系统上的实现3 9 4 1s e e d v p m 开发板的概述3 9 4 2t m s 3 2 0 d m 6 4 2 数字信号处理器4 0 4 3 在t m s 3 2 0 d m 6 4 2 系统上客流计数算法的实现4 2 4 3 1 系统硬件的整体构架4 2 4 3 2 软件开发环境4 6 4 3 3 系统的软件实现4 9 4 3 4 实验结果分析5 3 第五章总结与展望5 7 5 1 工作总结5 7 5 2 研究展望5 7 参考文献5 9 至j 【谢6 3 研究生履历6 4 第一章绪论 1 1 课题研究的意义 随着计算机技术的高速发展，信息技术已经应用到了人们生活的诸多方面，其 中自动视频监控系统也是一个正在发展和得到初步应用中的科学研究领域，通道入 口处的客流统计是视频监控系统中非常有应用前景的一项技术，比如，通过在入口 处安装摄像机，可以实时估计展厅的人数，得到展厅的拥挤程度而做相应的判断和 处理；通过对超市和便利商店人流量的检测和分析，相应的市场分析和预测可以更 有目的性和预见性；另一方面，基于人流检测的银行或者大厦安全系统将可以很方 便地检测到可疑人物的出没。通过对客流的分析，可以方便商场、展馆等场所制定 决策【1 埘。 在以往的客流计数技术的应用中，往往采取人工的方式进行计数，从而对客流 量进行统计，人们要在一段时间内，对于人眼所看到的检测区进行统计人数【2 1 ，但 这种方法在一定程度上造成了人力资源的浪费；后来出现的利用红外线和压力传感 器检测客流的方法，对于并肩通过的人不能够进行有效的统计；基于图像处理的客 流检测应该是一种较为新的应用技术，但大多数都局限于根据图像二维信息进行判 断计数。 本文的客流计数系统是基于双目立体视觉的方法，利用s e e d v p m 6 4 2 开发 板、双面摄像技术和相关的图像处理技术从双摄像头采集的视频图像中统计高度处 于一定范围内的目标数目，从而能够有效地进行客流统计。 1 2 客流计数系统的发展现状 目前客流检测的主要技术有以下几类：红外线检测技术、压力检测技术、激光 引导的方法和图像处理的方法【。 目前来说，红外线检测是一种应用于现实生活中较早的客流检测技术，同时其 技术方面也比较成熟，在很多商场和超市都已经投入了广泛的应用。当前后有一定 距离的人们通过时，可以进行比较精确的统计人数，但如果两个人并排或者前后紧 挨着通过入口时，这种方法就不能进行有效统计。 压力检测也是一种得到广泛应用的客流检测技术，主要是利用踏板式压力传感 器技术实现的。其实现过程是：当有人踩到踏板上时，这时会使踏板压力传感器内 部应变片发生变化，导致其内部电流也会发生变化，最后对电流变化进行采样，从 而统计客流人数【3 1 。但是，这种检测方法也存在着一定的缺点：首先，通过检测区 域的每一个人必须保证一定能够踩到踏板上；其次，当前后两人或者并排两人同时 进入时，可能会发生两人的脚同时踩到踏板上，这时就有可能造成人数的漏检。 2 0 0 9 年，北京理工大学计算机学院和北京中交兴路信息科技有限公司共同开 发了一种激光引导的视频客流检测方法，该方法的实现过程是：从客流上方垂直激 光扫描和视频拍摄，分别获取激光扫描数据和视频图像；对所述激光扫描数据进行 分析，从而对视频图像中的人体目标进行定位，继而对行人进行视频跟踪，行为分 析来进行客流检测【4 】。但这种方法的实现过程较为复杂。 与前几种客流计数技术相比，利用图像处理方法进行检测人数的技术应该是一 种较为新的研究领域【5 ，6 】。当前，已经有许多人研究基于单目图像处理进行客流计 数的技术，但大多数都仅限于获取图像的二维信息，以提取头部特征作为识别、跟 踪客流的主要手段，通过模型匹配，从而进行客流统计【7 9 】。还有一些基于人头发 或皮肤特征进行识别的方法 1 0 , 1 1 】，但是在现实中，由于帽子覆盖了头发和皮肤的特 征、改变头部和肩膀的轮廓，都会造成一些算法无法匹配成功，而在北方寒冷的冬 季和南方阳光猛烈的夏季，人们戴帽子的情况会很常见。 本论文将利用立体视觉对二维图像信息进行三维重建，进而结合目标的深度信 息和人体的部分二维特征进行人数统计。本文设计的系统可以统计高度处于1 2 米 2 米之间的目标，人的一般高度处于这个范围内，利用这种方法可以把1 2 以下小 车、行李箱等物体会被滤掉，这样提高了客流统计数据的有效性；而检测区域里面 可以透过高度信息统计处于一般高度内的人数，因此不受头部的遮盖物以及秃顶、 头发颜色的影响，因此这种方法可以有效的统计乘客数量。 1 3 本人的主要工作 本文的主要工作包含以下几个方面： ( 1 ) 设计客流计数单元算法。包括以下的相关算法：图像平滑滤波算法，背景 2 差分法，最大类问方差分割算法，图像形态学相关的算法，h a r r i s 角点检测算法， n c c 角点匹配算法。 ( 2 ) 研究s e e d v p m 6 4 2 数字视频开发板的整体功能，实现了两路左右目视频 序列的采集和输出视频序列的显示，并侧重于研究了t m s 3 2 0 d m 6 4 2 这款主要面对 数字媒体领域的3 2 位定点d s p 芯片。通过对硬件整体构架的学习，完成了对于 v p 0 、v p l 和v p 2 三个视频口的配置。 ( 3 ) 在嵌入式中实现客流计数单元算法，并通过了一系列的测试实验，实现了 客流计数系统。 1 4 本文的章节安排 本文的章节安排如下： 第一章主要阐述了本课题研究的意义，并介绍了客流计数系统的发展现状。 第二章主要介绍了运动人体目标的检测和分割，在分割运动目标后，对提取的 运动目标的区域依据人体的几个特征参数，从而检测人体目标的存在。 第三章主要针对于客流技术单元算法的研究，首先对相关的算法和理论进行了 分析和研究，并设计了客流计数单元算法。 第四章侧重于介绍了客流计数算法在t m s 3 2 0 d m 6 4 2 系统上的实现过程，另外 简单介绍了本论文的硬件框架、软件运行环境、软件实现部分以及实验的结果分析。 第五章对本论文的重要内容进行一些列的总结，并对客流计数系统的进一步研 究进行展望。 3 4 第二章运动目标的提取 目标的提取是通过运动图像分割得到运动目标区域，为了能从背景环境中准确 地获取运动目标区域，本文在分割运动区域之前先进行了预处理阶段，其中主要是 对采集到的左右目图像序列进行平滑去噪处理，并且在利用背景差分法和最大类间 方差法分割完运动区域后进行了相关的后续处理，对得到的二值图进行了形态学处 理，从而得到了较为理想的分割区域。 2 1 视频图像的预处理 通过摄像机和开发板上视频口获取数字图像，由于受光照、温度变化等因素影 响，图像中可能会避免不了被加入一些噪声。因此，在进行运动目标分割之前，首 先要对采集的图像进行预处理。下面主要介绍一下均值滤波器和中值滤波器。 均值滤波器的概念非常直观，它用滤波掩膜确定的邻域内像素的平均灰度值去 代替图像每个像素点的值，这种处理减小了图像灰度的“尖锐 变化 1 2 , 1 3 】。由于典 型的随机噪声由灰度级的尖锐变化组成，因此，常见的平滑处理应用就是减少定 的噪声。本文在对运动目标进行分割之前，先对图像进行了平滑滤波处理。图2 1 显示了本文所使用的3 3 均值滤波器掩膜。 1 一 1 6 l 2 l 242 121 图2 13 x 3 均值滤波器掩膜 f i g 2 13 x 3a v e r a g ef i l t e rm a s k 中值滤波器是一种非线性的空间滤波器，它的响应基于图像滤波器包围的图像 区域中像素的排序，然后由统计排序结果决定的值代替中心像素的值【1 2 1 。其正如其 名，它是将像素( 在中值计算中包括的原像素值) 邻域内灰度的中值代替该像素的值。 中值滤波器的使用非常普遍，这是因为对于一定类型的随机噪声，它提供了一种比 5 较好的去噪能力，比小尺寸的均值滤波器的模糊程度明显要低。中值滤波器对处理 脉冲噪声( 也称为椒盐噪声) 非常有效，因为这种噪声是以黑白点叠加在图像上的。 在本实验采集到的视频图像中，图像中存在的噪声不是椒盐噪声，而主要是由 光照等因素造成的。所以，本文采用均值滤波器对原始图像进行滤波处理。 2 2 运动目标区域的检测 本节将讨论静止背景条件下运动目标的检测方法，比较常用的有背景差分法和 对称阵差分澍悼17 1 。本论文采用的是背景差分法进行运动目标区域检测。下面主要 围绕着这两种算法展开进一步介绍。 2 2 1 背景差分法 背景差分法是一种比较简单的运动目标检测方法。其实现过程是把当前图像与 静止背景图像之间作差分操作。 在本文的硬件系统中，摄像头和场景是相对静止的，通过摄像头捕捉的第一帧 也是固定的，并不随着摄像头或场景的变化而变化，因此，可以把镜头捕捉的第一 帧作为后续处理要用到的背景帧，然后将当前待处理的图像和背景帧图像的差分来 消除背景，从而突出前后两帧图像中有变化的目标区域。不过，为了更准确选取背 景帧时，也可以选择通过摄像头捕捉1 0 帧左右的图像，然后对这1 0 幅图像整体取 一次平均，取平均后的图像数据作为实验的背景帧使用。 在现实的场景中，背景图像可能会受到光照、噪声等多方面的影响，所以可以 考虑采用对背景图像进行及时的更新的方法，尽量减少这些方面所带来的影响，但 考虑本论文的实验环境受这方面的影响不是特别大。因此，在本试验中并没有对原 始背景帧进行及时更新，同时也整体提高了系统的实时性。 ( 1 ) 算法的描述大致如下： 首先，选取摄像头捕捉的第一帧图像当作背景帧，记作b ( i ，j ) ，t 时刻的图像 帧记作q ( f ，j f ) ，n t 时刻图像和背景图像之间的差分图像可以表示如下： d l ( f ，) = i c f ( f ，_ ，) 一b ( i ，_ ，) l ( 2 1 ) 6 其中，f 可取l ，2 ，3 ，其分别代表不同的时刻。 这种背景相减的方法也有着一些优点，比如说算法运算复杂度低、便于满足系 统要求较高的实时性等掣1 8 1 。 ( 2 ) 实验结果： (a)第l帧(”第2帧 ( a ) f i r s tf r a m e( b ) s e c o n df r a m e 图2 2 左目视频序列 f i g 2 2l e f tv i d e os e q u e n c e 其中，第1 帧作为背景帧，第2 帧作为当前帧处理。 背景帧差分法后的结果如图2 3 所示： 图2 3 背景差分法后的结果图 f i g 2 3r e s u l to f b a c k g r o u n ds u b t r a c t i o n 2 2 2 对称帧差分法 对称帧差分法是将当前帧分别与前后两帧图像进行差分的结果。当前，也有一 些文献中提出为增强运动物体分割精度采用5 或7 帧的多帧差分法对对称帧差分法 进行改进，以提高性斛1 9 1 。 7 其具体算法如下： 假设当前帧图像为z ( z ，y ) ，而其前后两帧分别记为z 一。( x ，y ) 和丘。( x ，y ) ，则计 算前后相邻两帧之间的差分结果如下： d f ( x , y ) = z ( x ，y ) 一z 一- ( 石，y ) ( 2 2 ) d r , + l ( x ，y ) = z + l ( x ，y ) 一z ( x ，y ) 、 由上面的式子( 2 2 ) 可进一步得到下面的结果： ) 一、予5 三r ，、ii f l o f , ( x , y d r , ( x , y t + 塑圳扎5 5 ( 2 - 3 ) 2 l o f , ( x , y ) + 磁舶y ) i p “川 ( 2 3 其中，d f , ( x ，y ) 表示当前帧和前一帧的差分结果，o f , + 。( 工，y ) 表示后一帧和当 前帧的差分结果，i d f , ( x ，y ) + o f , + 。( x ，y ) i 表示两个差分结果之和的绝对值，d ，：( 石，y ) 表示对称帧差分法的最后结果。 这种算法存在着一定的局限性，由于本论文中研究的人体目标是属于非刚体运 动目标，人体行走的速度较慢，而且当人行走的时候，并不是全身都发生的位移。 因此，两帧图像之间运动对象的位移会比较小，而对称帧差分法对于这种情况检测 的效果较差，对于运动对象位移量较小的情况，通过这种方法只能检测到运动目标 的部分边缘信息。 2 3 运动目标区域的分割算法 图像分割是指将图像细分为构成它的子区域或对象【1 2 1 。对图像进行分割的程度 取决于不同的情况。在实际应用中，如果感兴趣的区域已经被分割出来了，就没有 必要继续分割下去了。例如，在客流人数的检测方面，关注的是通过检测区域的人 体部分，而超过识别人体所需的分割是没有意义的。 图像分割算法一般是基于亮度值的两个基本特性之一：不连续性和相似性。第 一类性质的应用是基于亮度的不连续变换进行分割图像，比如图像的边缘。第二类 的主要应用是依据事先制定的准则将图像分割为相似的区域。门限处理、区域生长、 区域分离和聚合都是这类方法的实例。 上述的分割算法中，实现简单且比较常用的图像分割算法是阈值分割。当不同 8 物体之间的灰度值相差较大时，该方法就能有效地实现对图像的分割。本文使用的 是最大类间方差分割法，下面首先介绍一下阈值分割的基础。 2 3 1 阈值分割的基础 假设图像f ( x ，y ) 所对应的灰度级直方图如图2 4 所示，通过图中曲线可以看出 对象和背景的灰度值分布处于两个不同的区域。想要把对象和背景分离开，一种简 单的方法是选择一个门限值r 。在图2 4 中，将图像中像素点灰度值f ( x , y ) t 所 对应的点( x ，y ) 判定为对象点，否则就认为是背景点。 基于上面的论述，门限处理可以被看作一种涉及测试下列形式函数r 的一种操 作。 r = r x ，y ，p ( x ，y ) ，f ( x ，y ) 】 ( 2 4 ) 其中，f ( x ，y ) 是点( 工，y ) 的灰度级，p ( x ，j ，) 表示这个点的局部性质。例如，以 ( x ，y ) 为中心的邻域的平均灰度级。经门限处理后的图像g ( x ，y ) 定义为： 出= 骺凳翳 亿5 ， 因此，标记为1 ( 或其他任何合适的灰度级) 的像素对应于对象点，而标记为o ( 或 任何其他没有被标记为对象的灰度级) 的像素对应于背景点。 幅 度 ot2 5 5 灰度值 图2 4 利用单一的门限进行分割的灰度级直方图 f i g 2 4g r a yl e v e lh i s t o g r a mu s i n gas i n g l et h r e s h o l ds e g m e n t a t i o n 9 2 3 2 最大类间方差分割法 最大类间方差分割法是在1 9 7 9 年由日本学者大津提出的一种自适应阈值确定 的方法，又称为o t s u 法【2 0 1 。其实现的过程主要是通过确定阈值丁，从而把图像中 的像素点区分为背景点和目标点，阈值是通过求取类问方差的最大值而获得的。 o t s u 法是基于最小二乘法原理经过一定的推导得到的。其算法简单，分割效果好， 是一种较为广泛使用的阈值分割法。 其算法描述如下： 设图像有三个灰度级，将图像中的像素按照次度级用阂值丁分为c o = ( o ，1 ，) 和c l = o + 1 ，t + 2 ，l 1 ) 两大类【2 0 1 。图像的像素总数用n 表示，处在灰度级 i ( i ：1 ，2 ，l ) 的像素个数用墨表示，则有n ：s + 而+ + j ：= 罗j ，只表示图像中灰， 1 - 一 度级为i 出现的概率，其定义为： 霉= 专 工 其中，只为概率值，只o 且罗只= 1 。 _一 i = l 上述两类像素级的概率分布为： 其中，+ q = 1 。 两类的灰度级均值为： t = 暑= 缈( f ) f 暑l l q = 曰= l - o ( t ) i = t + l “：争堡 风2 备云 一= 毫鲁= 篙 1 0 ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) 工 其中，+ q “= a t ，所= 嵋，a t 表示图像的总平均灰度；只表示图像 f 中灰度级为i 出现的概率；c o ( t ) = 只，c o ( t ) 表示c o 类像素级的概率分布； f = i f ( f ) = 嵋，( f ) 表示g 类像素点的平均灰度值。 i = l 两类的方差分别为： 靠2 善t ( f 一心) 2 以f ic o ) = 喜。一) 2 丢 ( 2 1 1 ) 砰= i 壹= t + l ( 卜h ) 2 尸( 引c i ) = t 壹= t + l ( f 一“) 2 丢 ( 2 1 2 ) 叶 其中，号表示图像中灰度级为f 出现的概率；c o o 、q 分别表示g 、q 两类像 素级的概率分布；- t o 、, u 1 分别表示两类像素点的平均灰度值。 类问方差为： 以( f ) = ( 胁一所) 2 + c 0 1 ( a , 一所) 2 类内方差为： 2 ( f ) = c o o 靠+ q 砰 其总体方差为： 昕2 ( f ) = 靠( f ) + 2 ( f ) 下面介绍一个关于t 的等价判决准则函数： 祀) 2 鬻 其中，式子中的分子以( f ) 表示类内方差，分母听2 ( f ) 表示类间方差。 则最优的阈值选择t 可以通过求取上式( 2 1 6 ) 的最大值得到： 丁。a r g ( ，幂葛) ” ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) ( 2 1 7 ) 筮三童运动厶佳目拯的提取 2 4 提取运动区域的后续处理 由于人属于非刚体的运动目标，在完成运动区域检测和分割之后，得到的运动 区域可能会出现边缘不平滑或者产生一些小的空洞，从而导致提取的目标不完整， 本文运用形态学图像处理可以有效的改善这种情况。 形态学( m o r p h o l o g y ) 一词通常代表生物学的一个分支。它是研究动物和植物的 形态和结构的学科。这里提到的是表示数学形态学的内容，将数学形态学 ( m a t h e m a t i c a lm o r p h o l o g y ) 作为工具从图像中提取对于表达和描绘区域形状有用处 的图像分量，比如边界、骨架以及凸壳等等，本文使用到的是形态学滤波的相关操 作，其主要目的是对图像进行后续处理，消除一些小空洞，下面介绍几种常用到的 形态学操作。 2 4 1 膨胀与腐蚀操作 膨胀和腐蚀属于形态学上的两个基本操作，同时也是形态学处理的基础【眩】。实 际上，有许多的形态学算法都是以这两种原始运算为基础的，包括将要介绍到的开 操作和闭操作。 ( 1 ) 膨胀 由于么和召是z 2 中的集合，么被b 膨胀定义为： 么。b = # i ( 雪) ：n 么矽j ( 2 1 8 ) 这个公式是以得到b 的相对它自身原点的映象并且由z 对映象进行位移为基 础的。么被b 膨胀是所有位移z 的集合，这样曰和a 至少有一个元素是重叠的。根 据这种解释，上式又可写为： a b ：售岭z n a ca j ( 2 1 9 ) 其中，集合刀通常叫做膨胀的结构元素。 ( 2 1 9 ) 式子中，可以把结构元素曰看作一个卷积模板时，这样式子中的定义形 式比起其他定义形式更为直观，这也是它区别于其他定义形式的突出优点。尽管膨 胀是以集合运算为基础，而卷积是以算术运算为基础，但相对于曰的原点对口进行 翻转，而后逐步移动曰以便b 能滑过集合彳。 1 2 如图2 5 示，集合彳使用图( a ) 中的深灰色区域表示；结构元素b 使用图( b ) 中的 深灰色区域表示；结构元素b 的映象使用图( c ) 表示；而集合爿ob 则使用图( d ) 中的 深灰色和黑色区域一起表示。通过膨胀后的结果图，可以看出膨胀操作使图像区域 在一定程度上扩大了。 ( a ) 集合a( b ) 结构元素b( c ) b 的映象( d ) 膨胀后的集合 ( a ) s e ta ( ”s t r u c t u r i n ge l e m e n tb ( c ) r e f l e c t i o no fb ( d ) s e to f d i l a t i o n 图2 5 膨胀运算示例 f i g 2 5i l l u s t r a t i o no fd i l a t i o n 膨胀操作既可以桥接裂缝，也可以用来填充小的空洞，如图2 6 示： ( a ) 原豳( b ) 分剖后的图像( c ) 膨胀后的图像 ( a ) o r i g i n a li m a g e( b ) i m a g eo f s e g m e n t a t i o n( c ) i m a g eo f d i l a t i o n 图2 6 膨胀前后的图像 f i g 2 6i m a g e sb e f o r ea n da f t e rd i l a t i o n ( 2 ) 腐蚀 对z 中的集合彳和口，使用曰对a 进行腐蚀，用a o b 表示，并定义为： a o b = z i ( b ) zg ；a ( 2 2 0 ) 这个公式中，使用b 对彳进行腐蚀是所有曰中包含于彳的点z 的集合用z 平 移。( 2 2 0 ) 式并不是腐蚀唯一的定义形式。但是，在形态学实际应用过程中人们比 1 3 较习惯于使用上式。 如图2 7 所示，图中的集合么和结构元素b 都和图2 5 中的前两个一样，而图 ( c ) 中的黑色部分表示彳o b 。由图可以看到，通过腐蚀操作可以使图像区域缩小。 匿。i ； ；i 鬻 f j 鬻丙f 喇 巨诩褥甭 彰|j1 一；一 i f “ | 。一 e k 二。_ 。l 。l 。，。i 么 ( a ) 集合a ( ”结构元素b( c ) 腐蚀后的集合 ( a ) s e ta( b ) s t r u c t u r i n ge l e m e n tb( c ) s e to f e r o s i o n 图2 7 腐蚀运算示例 f i g 2 7i l l u s t r a t i o no fe r o s i o n 腐蚀在形态学操作中，主要是消除物体边界点，或者是对于图像分割后的二值 图进行一些后续处理。如图2 8 所示： ( a ) 原始图像( ”经分割和膨胀后的图像 ( c ) 瞄蚀后的豳像 ( a ) o r i g i n a li m a g ec b ) i m a g eo f s e g m e n t a t i o na n dd i l a t i o n ( c ) i m a g eo f e r o s i o n 图2 8 腐蚀前后的图像 f i g 2 8i m a g e sb e f o r ea n da f t e re r o s i o n 2 4 2 开操作与闭操作 开操作与闭操作也是形态学中的两个重要图像处理算法【1 2 1 。开操作一般使对象 的轮廓变得光滑，断开狭窄的间断和消除细的突出物。闭操作同样使轮廓线更为光 滑，但与开操作相反的是，它通常消弭狭窄的间断和长细的鸿沟，消除小的孔洞， 1 4 并填补轮廓线中的断裂。 使用结构元素b 对彳进行开操作，表示为么。曰，其定义为： a o b = ( a o b ) b ( 2 2 1 ) 因此，用b 对彳进行开操作就是用召对a 腐蚀，然后用b 对结果进行膨胀。 同样，使用结构元素曰对集合a 的闭操作，表示a e b ，定义如下： a e b = ( 彳o b ) g b ( 2 2 2 ) 其中，上述式子表达的是先使用结构元素艿对集合么的闭操作就是用曰对彳进 行膨胀，而后用曰对膨胀后的结果进行腐蚀操作。 开操作满足下列的性质： ( 1 ) ao b 是么的子集合。 ( 2 ) 如果c 是d 的子集，则c o b 是do b 的子集。 ( 3 ) ( 么ob ) ob = a ob 。 同样，闭操作也满足下列性质： ( 1 ) 彳是a b 的子集。 ( 2 ) 如果c 是d 的子集，则c b 是d b 的子集。 ( 3 ) ( 么b ) b = a b 。 其中，由于上述两种情况下的性质( 3 ) ，可以得知：算子应用一次后，一个集 合进行多少次开操作或闭操作都不会有变化。 2 5 运动目标提取算法的设计 运动目标的提取是建立在运动目标的初步检测和运动目标分割基础上的。本文 通过对以上相关算法的研究设计了目标提取的算法，其整个流程图如2 9 所示。 1 5 图2 9 运动目标提取的流程图 f i g 2 9m o v i n go b j e c te x t r a c t i o nf l o wc h a r t 运动目标的检测、分割算法以及提取目标的后续形态学处理在前面几节已经介 绍过了，下面主要介绍一下关于人体目标的特征参数提取等问题。 运动目标的特征反映了目标的多种属性参数。本文选取的人体目标的特征有： 目标面积、目标的质心坐标和目标外接矩形的宽高比等，分别用s 、( x ，】，) 和p 表 示【2 1 1 。 假设原始输入图像为f ( x ，y ) ，其大小为m xn ，经过目标分割后的二值图为 b ( x ，y ) ，则