（电路与系统专业论文）基于小波变换和神经网络的人数统计方法研究[电路与系统专业优秀论文].pdf

摘要 摘要 随着经济社会的发展，各种公共场地和设施中的人群流动越来越频繁。如何 对公共场合的人群进行有效管理与控制，是不得不考虑的重大问题，智能化人群 人数统计方法应运面生。智能化入群人数统计可以用于入群的监铡和管理，同时 也可用于商业领域如市场调查、交通安全以及建筑设计领域等。它直接或间接地 提高了上述场合工作人员的工作效率和建筑设施的利用率，对人群人数统计方法 的研究有着深远的意义和广阔的前景。 本课题的研究内容是运用图像视频处理和模式识别等技术对人群人数进行 智能化统计。其中，如何有效地提取表征人群个体的特征，如何对人群个体和背 景进行分类，以及如何快速统计人群人数是人群人数统计方法的关键技术，也是 本论文的主要研究内容。 本论文首先介绍了智能化人群监测系统的构成和基本原理以及它的发展。然 后指出了现有人群监测系统的不足之处。论文提出了一种通过定位头部识别人群 个体从而对人群人数进行统计的方法。首先对头部图像作二维h a a r 小波变换， 对一级、二级小波系数进行了分析，并利用反向传播神经网络加以详细验证，最 后采用了一级和二级小波的h l 和l h 子带系数作为特征量。特征量的选取的理 论依据是小波h l 和l h 子带能够反映图像的轮廓及横向和纵向的纹理特征。为 了进一步降低误检率，我们采用自举的方法对训练样本库进行补充扩大。然后借 助基于y c b c r 空间的肤色模型对实验结果进行了后验证，相比子传统的只考虑 色度的肤色模型，我们采用的是最新提出的加入亮度补偿的椭圆肤色模型。最后 对结果图像中相同个体的窗口采用目标聚类的分析方法加以合并。实验取得了较 好的效果。 关键词人数统计；h a i r 小波；神经网络；亮度补偿；目标聚类。 ! ! 垂三兰奎耋三耋塑圭兰堡丝三 a b s t r a c t w i t h t h ed e v e l o p m e n to f t h es o c i e t y , m o r ea n dm o r ep e o p l ea p p e a r e di np u b l i c p l a c e sa n df a c i l i t i e s s o ，h o wt om a n a g e t h ec r o w di sa p r o b l e m t h a tw eh a v et op a y s p e c i a la t t e n t i o nt o ，a n di n t e l l i g e n tc r o w ds u r v e i l l a n c eb a s e do ni m a g ep r o c e s s i n g e m e r g e sa sr e q u e s t e d i tc a nb ea p p l i e dt o t h ef i e l d so fc r o w ds u r v e i l l a n c ea n d m a n a g e m e n t ，m a r k e tr e s e a r c h ，t r a 伍cs a f e t y , a n db u i l d i n gd e s i g n i tm a yi m p r o v e w o r ke f f i c i e n c yo ft h ea b o v es i t u a t i o n sa n dt h er a t ei nu s eo f b u i l d i n g sd i r e c t l yo r i n d i r e c t l y r e s e a r c ho np e o p l ec o u n t i n gh a sd e e pm e a n i n g sa n dw i d ef u t u r e t h ee m p h a s i so ft h et h e s i si sp e o p l ec o u n t i n gu s i n gt e c h n o l o g yo f i m a g e v i d e o p r o c e s s i n ga n dp a r e mr e c o g n i t i o n a n dh o w t oe x t r a c tt h ef e a t u r e so f h e a d e f f e c t i v e l y , a n dh o w t oc l a s s i c yp e o p l ea n d b a c k g r o u n da r et h ek e yt e c h n o l o g i e so f t h i st h e s i s t h et h e s i sf i r s ti n t r o d u c e st h es t r u c t u r ea n dd e v e l o p m e n to f i n t e l l i g e n tc r o w d s u r v e i l l a n c es y s t e m a n dt h e nt h el i m i t a t i o n so f p r e s e n ts y s t e ma r ea d d r e s s e d t h i s t h e s i sp r o p o s e sam e t h o do f r e c o g n i z i n gt h ei n d i v i d u a li nt h ec r o w db yd e t e c t i n gt h e h e a d ，a n dt h e ne s t i m a t i n gt h en u m b e ro f c r o w d a f t e rt h ef i r s ta n ds e c o n dg r a d eo f 2 d h a a r w a v e l e t t r a n s f o r n l ， w e a n a l y s e s t h ew a v e l e t c o e f f i c i e n t s ， a n du s e b a c k - p r o p a g a t i o nn e t w o r k t ot e s t i f yt h o s ec o e 趱c i e n t ss e l e c t e da sf e a t u r e s a tl a s tw e s e l e c tt h et o e 筒c i e n t so fh ls u bb a n da n dl hs u bb a n da sf e a t u r e s t h eb a s i so f c o n c e p ti ns e l e c t i n gt h o s ef e a t u r e si st h a tt h ec o e f f i c i e n t sr e v e a lt h ec o n t o u ra n dt h e t e x t u r eo fh o r i z o n t a la n dv e r t i c a lo r i e n t a t i o n i no r d e rt or e d u c et h er a t eo fe r r o r d e t e c t i o n ，b o o t s t r a p p i n gi su s e dt oe n l a r g et h en u m b e ro fs a m p l e s a n da sf o l l o w sa s k i nm o d e lo fy c b c rc o l o rs p a c ei st a k e na sp o s t - v a l i d a t i o n u n l i k et l l ec o n v e n t i o n a l s k i nm o d e l ，am o d e lo f a d d i n gl i g h t i n gc o m p e n s a t i o nt h a ti sp r e s e n t e dn e w l yi su s e d f i n a l l y , t h eh e a dw i n d o w s o fs a m e p e r s o nu s i n go b j e c tc l u s t e r i n ga r em e r g e d a n dt h e t e s th a s g o tg o o d r e s u l t s k e y w o r d s p e o p l ec o u n t i n g ；h a a rw a v e l e t ；b pn e t w o r k ；l i g h t i n gc o m p e n s a t i o n ； o b j e c tc l u s t e r i n g 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一问工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：盘翌担旦日期：2 翌丝皇二2 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：盐函簋旦导师签名： 芦呼醐：划 1 1研究背景 1 1 1 人群监测的提出 第1 章绪论 随着经济的飞速发展，各种高层建筑、地下建筑和大型商业娱乐设施越来越 多，与此同时，人群活动也在增长，尤其是在一些重大活动，例如：娱乐活动、 体育赛事、宗教仪式、庆祝活动等等举行期间。因此我们不得不考虑如何保证人 群的安全问题【1 1 1 2 1 。 下面是在不同场合几个典型的由人群拥塞引起人群灾祸的案例： ( 1 )娱乐活动：1 9 7 9 年1 2 月在美国辛辛那提的一个流行音乐会场，因人 群发生拥塞而造成1 1 人死亡i l 】。 ( 2 )体育赛事：1 9 8 9 年4 月1 5 臼，在英格兰的希尔斯伯勒足球场举行足 协杯半决赛。由于大批球迷蜂拥进入看台，造成2 0 0 多人受伤，9 6 人死亡。这是 英国体育运动史上最惨痛的一次灾难。此前4 年，在利物浦队与意大利尤文图斯 俱乐部队进行的欧洲杯决赛中，球迷相互攻击，引起围墙倒塌，3 5 人因此死亡【“。 ( 3 )宗教仪式：在沙特阿拉伯圣城麦加的朝圣活动中，几乎每年都要发 生人群骚乱事故。仅举以下几例：2 0 0 4 年2 月1 日，在“破魂”仪式上发生人群 冲撞骚动，导致至少2 2 4 人被践踏致死。1 9 9 0 年7 月2 日，1 4 2 6 名朝圣者在通往 麦加圣地的一条行人地下通道中被拥挤的人潮踩死，这是麦加朝圣历史上最惨重 的人员伤亡事件。1 9 9 8 年4 月9 日，“石砸魔鬼”仪式中有数人掉下天桥，造成 恐慌，有1 8 0 人被踩死。 ( 4 )展览活动：2 0 0 4 年2 月1 5 日，在北京市密云县密虹公园举办的第二 届迎春灯展中，因一游人在公园桥上跌倒，引起身后游人拥挤，造成踩死、挤伤 游人的特大恶性事故，有3 7 人死亡、1 5 人受伤。 所有这些人群惨案的发生，都是由于人群过度拥挤导致人群失去控制引起 的。从古至今，从中到外，这类事故的发生并不鲜见，只要有群体活动，就有可 能出现意外。伴随着人群安全问题发展起来的人群行为和人群心理的研究，尽管 对人群安全的发生原因给出了解释，但并不能从根本上解决该问题。如果我们能 够自动地对人群进行监测，发现人群行为异常的预兆，那么就可以及时采取解决 措施，避免灾祸的发生。 北京工业大学工学硕士学位论文 1 1 2 基于图像处理的人群人数统计方法的提出 基于图像处理的人群监测方法的提出 传统的保障人群安全的途径主要有 2 1 ：1 ，采用物理方法修正建筑物。在一 些容易发生人群聚集的地方，采取适当地修正现有建筑物的方法，比如在人多的 地方增加出入口等。2 ，利用闭路电视监测某一场景。闭路电视对周围环境进行 例行地扫描来查找发生危险的地方，并有专门的工作人员盯着屏幕，以便发生情 况及时通报并采取措旌。这样做主要有如下缺点：1 ，不能起到预防的作用。即 使人可以根据经验来发出危险警告，但由于入的主观性太强，很容易发生预告太 晚或者错误预告的情况。2 ，易造成漏报。 当人群已经发生拥塞时，般采取的方法是：关闭人群正在大量涌入的入口 1 1 j 。这种方法虽然解决了建筑物某个入口处的拥挤问题，但是人群很可能又涌向 别的入口造成新的拥挤。所以这种做法往往不能从根本上解决问题。 近年来，对人群的研究越来越引起人们的关注，对人群状态和行为的研究也 越来越多，而人群研究的前提是要弄清如何对人群进行适当的描述。虽然人群由 独立个体组成，而每一个个体又有他自己的行为模式，但作为总体的人群有它整 体性的特征，且可被描述出来。要想用精确的数学模型来描述人群的状态和行为 非常困难，但我们仍然看到了一些能够逼近人群真实行为的数学模型的出现，比 3 f i s t i l lgk 的人群动力学吐c r o w d d y n a m i c sl i m i t e d 公司依据s d l igk 的数 学模型应用a u t o c a d 做出了一些建筑设施的设计方案。 人群行为的数学模型为我们理解人群的状态和行为提供了方便，但并不能直 接用来对人群进行监测。1 9 8 5 年，f r u i n 提出当人群密度达到0 1 5 米2 从时，人 群将很容易失去控铝r l t 4 j 。这就给出了人群密度与人群灾难的量的关系，为借助于 数字图像处理方法实现对人群的自动实时监测提供了依据。 数字图像处理即用计算机对图像进行处理，其优点是处理精度高，可进行复 杂的非线性处理，有灵活的变通能力。数字图像处理的应用领域非常广泛，它在 包括工程、工业、医疗保健、航空航天、军事、科研、安全保卫等国民经济中发 挥着重要作用娜“。 如果把人群看作一个物理整体，那么我们可以用以下两个物理量来表征这个 整体所处的状态：密度和人数。也就是说在给定密度或人数与人群整体状态的关 系下，如果能够找到人群图像中与不同密度或者人数对应的图像特征，那么人群 监测的预测目的就可以实现了。 图1 - i 是一个用图像处理方法实现人群监测的框图。 图l i 用图像处理方法实现人群监测的框图 f i g 1 - 1d i a g r a mo f r e a l i z i n gc r o w d s u r v e i i l a n c eu s i n gi m a g e p r o c e s s i n g 对于采集到的人群图像或者视频源，首先提取人群的密度特征，对于提取到 的不同密度下的特征进行分类后，得到密度结果。在人群密度不高的情况下，继 续提取人群个体的特征，特征分类后得到人群的具体人数。根据不同的场合要求， 以密度结果来进行人群管理和达到其他的目的，以人数结果进行人群管理、市场 调查、交通管理等活动。 基于图像处理的人群人数统计方法的的提出 1 9 9 5 年，d a v i e s 等通过估计人群密度来理解人群的行为和状态【2 】 8 】，从而达 到对人群的自动监测。自此人群监测技术才开始被注意并得到了积极研究。目前， 研究主要针对于人群密度特征的提取，对人群人数统计的研究却刚刚起步。人群 密度和人数统计方法的研究面临的主要问题有【7 】： ( 1 ) 现有的人群密度估计方法的精确度不够。主要表现在现有算法对相邻 两类的误分现象较严重。 ( 2 ) 现有的拥挤环境下人群人数统计的研究还很少，没有形成完整的体 系。 由此可见，对人群密度和人数统计方法的研究还有很多工作要做： 北京工业太学工学硕士学位论文 ( 1 ) 进一步提高现有算法的速度和准确率，研究提出新的更为实用的算 法。从目前一些算法和系统的指标中可以看出，其速度和准确率有待 提高。 ( 2 ) 进一步深入研究人群人数统计。人数统计在现代生活中也有着很大应 用前景，但对人数统计的研究却刚刚起步，现有的方法在实时性、准 确率方面都有待提高。如何利用图像处理技术提取个人特征是今后的 主要研究方向。 ( 3 ) 将密度估计和人数统计结合在起形成一个完备的人群监测系统。现 有的人群监测系统都只局限于对密度的估计，而没有考虑到对人数的 统计，这就缩小了它的应用范围。在实际应用中，可以将密度估计和 人数统计的算法嵌在一个系统中，用户可根据需要选择性地使用该系 统。 总之，人群监测技术的研究，尤其是其中的人群人数统计研究，由于受到多 方面的限制，其技术还存在着一些不足。随着现代经济社会发展的迫切要求，使 其具有巨大的应用潜力。相信随着研究的进一步深入，人群人数统计技术定会走 向成熟。 1 1 3 人数统计的应用及意义 由于人数统计可以应用在人群监测中，首先来看人群监测的应用和意义。 人群监测有着广泛的应用，它通常被用在： ( 1 ) 短期、高密度人群集中的场合。比如：露天大型运动场、中心广场、 大型娱乐场地、大型会议中心、购物中心等。在这种场合下，可通过 估计人群的密度得知人群的行为和状态。 ( 2 ) 程序化工作场合。比如机场、车站、地铁、电梯、超市、银行等。在 这种场合，既可以通过估计人群的密度，也可以通过统计人群的人数 得知人群的行为和状态。 人群监测有着重要的意义： ( 1 ) 通过对现有建筑物中人群活动情况的观察统计，可以知道哪些地方容 易发生人群拥挤，从而对以后建筑物的设计及建造起到参考作用。人 群行为模型的发展可以为建筑师和城市规划人员提供更好的设计基 础。尤其是当建筑空间稀缺的时候( 就像在多数大城市那样) ，建筑 师要寻找最优的解决方案。 ( 2 ) 通过对人群行为和状态的实时监测，可以达到预防人群灾祸发生的目 第1 章绪论 的。 除了应用在人群监测中，人群人数统计方法的研究还有着更为广泛的应用和 意义，主要表现在： ( 1 ) 预测程序化工作场合的人群流量，提高建筑设施利用率。比如：知道 了等候电梯的人数，就可以提高电梯的利用率，减少用户的等候时间。 ( 2 ) 管理人群流动繁忙场合的交通。例如：通过统计通过十字、丁字路口、 建筑物出入口等的人数，可以合理安排交通警察或保安人员的工作时 间和工作额度。 ( 3 ) 进行市场调查。例如：对于商场、超市等刚进的新货品，通过统计前 来访问的人数，可以知道顾客对这种新货品是否感兴趣，将此信息反 馈给经营者和管理者，将那些不受欢迎的货品拿下货架，将受欢迎的 货品保留，不仅减少了调查人员的工作量，也提高了运营速度和质量。 在人口流动频繁的今天，对公共场所的人群进行有效的监测与管理，是亟待 解决的问题。同样，在经济快速发展的今天，各行各业对提高工作效率的要求越 来越迫切。人群人数快速统计方法可以应用于社会、经济的很多方面，它不仅可 以解决人群拥挤带来的安全问题，而且可以提高建筑设施的利用率、指导建筑物 的设计和提高某些场合工作人员的效率。因此，人群人数统计方法的研究有着深 远的意义和广阔的前景。 1 2 论文的主要工作 我国正处于经济飞速发展的大好时机，在人群管理、市场调查、交通管理等 方面实现智能化有很重要的意义，通过对人群人数的统计可以达到这个目的。但 在国内，该方面的研究基本还是一项空白，相关的文献和技术资料很少，几乎没 有成熟的产品。本课题的研究内容是运用图像，视频处理和模式识别等技术对人 群人数进行自动统计。其中，如何有效地提取表征人群个体的特征是人群人数统 计的难点，也是本论文的主要研究内容。 论文主要围绕以下工作展开： ( 1 ) 建立训练和测试图像库。 ( 2 ) 研究基于小波的人头特征描述人群个体方法。 ( 3 ) 基于神经网络的人头聚类方法。 ( 4 ) 结合肤色特征的人群个体检测方法。 北京工业大学工学硕士学位论文 1 3 论文框架 论文章节组织如下： 第1 章绪论。概要地介绍论文的研究背景、研究内容以及论文框架。 第2 章人群人数统计方法的发展。介绍当前人群监测系统的体系结构、主 要功能及其局限性，详细阐述人群密度估计和人群人数统计的关键技术：密度特 征提取技术、密度特征分类技术和人群人数统计方法研究的发展现状。 第3 章基于小波的人头图像特征提取。主要介绍了小波的原理及其独有的 特性以及图像的小波表示，详细描述了小波的垂直和水平方向的多分辨率特性。 然后对经过一级和二级h a a r 小波分解后的图像的小波系数进行分析，给出了6 组备选特征量。 第4 章基于神经网络的人头聚类。首先介绍了多层前向传播神经网络及其 改迸算法：利用神经网络验证各组备选特征量的有效性，经过比较后给出了最后 选定的特征值。经过测试发现，结果图像的误检率较高，采用自举的方法将误判 的人头和背景从测试图像中分离出来，充实到训练样本库后，将新的人头样本和 背景样本的特征输入到神经网络中，得到新的权值，在一定程度上降低了误检率。 第5 章后期验证和人数统计。主要介绍了最近提出的基于y c b c r 空间的 加入色度补偿的肤色模型的具体算法。对同一个人头的重叠窗口进行合并，最后 给出了实验结果。 最后，对论文进行总结，并对未来研究进行展望。 第2 章人群人数统计方法的发展 人群人数统计可应用于人群监铡。本章首先介绍了当前人群监测系统的结构 与功能特点，指出其应用中的局限与不便之处，提出人群监测技术的一些研究与 发展方向，并对其中的几个关键技术：密度特征提取技术、特征分类技术和人数 统计方法的发展与研究现状作了详细阐述。 2 1 人群监测系统的结构 一个典型的智能化人群监测系统由图像摄取与采集、图像处理单元组成。 图2 - 1 智能化人群监测系统的组成框图 f i g 2 1s t r a c t i a r eo f i n t e l l i g e n t i z e dc r o w ds u r v e u l a a c es y s t e m 其工作流程如下： 图像摄取与采集：用c c d 摄像机对人群按一定频率扫描，连续摄取某一场 景中的人群图像，用图像采集卡将所摄取的图像数据传输至计算机内存中。 图像处理：对人群图像用数字图像处理技术进行处理，得到人群的流量数据 ( 人群密度或人群人数) 。 对于不同的应用场合，根据人群流量作出相应的判断和采取相应的措施。 2 2 人群密度估计方法的研究现状 人群人数统计方法的研究是跟人群密度估计方法密不可分的，最先提出的人 群人数统计方法跟人群密度估计方法在基本思想上是一致的，本节将首先对人群 密度估计方法的发展作一简要介绍。 2 2 1 基于像素数统计的人群密度估计 1 9 9 5 年，d a v i e s 等提出了一种基于人群人数与像素数成正比的关系来估计 人群密度的方法【2 1 【8 1 。具体做法有两种：1 ，首先用背景减的方法除掉每幅图像的 背景，然后计算剩下的人群图像所占的总像素数。2 ，用背景减的方法除掉每幅 7 北京工业大学工学硕士学位论文 图像的背景后，借助边缘检测法提取单个人的边缘，对边缘进行细化，计算边缘 的总像素数。在分别进行完这两种操作后，再手工数出每幅图像中的人数。然后 以每幅图像中的人数为纵坐标，以对应图像中的人群面积总像素数或者边缘总像 素数为横坐标在二维坐标系中描点，结果发现所有的点可以连成近似一条直线。 我们假设x 代表人群面积总像素数或者人群边缘所占总像素数，y 代表人群人数， 那么他们的关系可以表示成：y = m x + n ，m ，n 为待确定的常数。为了达到最优估计， 作者选用卡尔曼滤波器来逼近m ，n 。当以1f | 贞l o 秒( 相邻两幅连续图像不包含 相同人群的最小时间间隔) 来处理图像时，这种方法的均方误差是8 。 图2 2 是作者的处理过程示意图： 图2 - 2 基于线性关系的人群密度估计处理过程示意图 f i g 2 - 2p r o c e s so f e s t i m a t i n gc r o w dd e n s i t yb a s e do nl i n e a rr e l a t i o n 1 9 9 9 年香港的c h o w 等人p l 【1 0 1 提出了使用基于混合全局学习算法的神经网 络估计人群密度的方法。该方法的系统框图如图2 3 示。 篁：耋垒墼垒鳖釜茎耋鎏墼丝量 图2 3 神经网络密度估计系统框图 f i g 2 - 3d i a 鲫no f g r o w dd e n s i t yb a s e do nn e u r a ln e t w o r k 该方法的特征提取基于一个假设：人群密度的大小与图像中有显著运动的区 域的“碎片”有关。特征提取的具体操作如下：首先对视频序列进行采样，得到 静止的人群图像；再用模板对背景图像进行操作，屏蔽掉大部分复杂背景，只留 下人群对象区域的背景；然后用此背景图像对人群图像进行背景减操作，从所得 的图像中提取三种特征值：人群对象的边缘长度，人群对象的像素在整个图像中 占有的比例，以及背景对象的像素在整个图像中占有的比例。这三个特征将被用 来送入神经网络进行人群密度估计。神经网络的拓扑结构是由3 个输入层神经 元，1 5 个隐藏层神经元，1 个输出层神经元构成。采用最小均方误差分别与随机 搜索( r s ) ，模拟退火( s a ) 和遗传算法( g a ) 三种全局搜索策略混合的方法找出神经 网络的最优权值。这种人群密度估计方法的结果分别如图2 - 4 ，2 5 ，2 6 所示。 图2 4 r s 的结果 f i g 2 - 4r e s u l to f r s 9 北京工业大学工学硕士学位论文 i l 一 ! 孰 ， 0柏尚 7 01 0 c 1 4 - r 口d 口r ，l h 图2 - 5s a 的结果 f i g 2 - 5r e s u l to fs a 图2 - 6 g a 的结果 f i g 2 - 6r e s u l to f g a 2 0 0 2 年c h o w 等人为了使他们1 9 9 9 年提出的基于神经网络的人群密度估计 方法0 1 能够真正适用于工业应用环境( 香港地铁车站) ，而对该方法作了改进。 改进后的系统框图如图2 7 所示【l l 】。 奢ic口口口，s 堡! 茎垒垂垒墼篓茎查鋈墼垄璧 图2 - 7 改进后的系统框图 f i g 2 7d i a g r a mo f m o d i f i e ds y s t e m 其中增加了一个模块：旅客模板匹配( p a s s e n g e rt e m p l a t em a t c h i n g ) 。这个 模块用来解决旅客站在镜头前遮挡住一部分监视区域的问题。几种旅客模板之一 如图2 - 8 所示。 图2 - 8 旅客模板 f i g 2 8t e m p l a t eo f p a s s e n g e r 这些旅客模板用来在前景对象区域进行搜索匹配，匹配的结果作为特征矢量的附 加维输入神经网络进行人群密度估计。这样神经网络的输入层神经元增加到4 个，而隐藏层和输出层神经元数目不变，依然是1 5 个和1 个。神经网络最优权 值的全局搜索算法采用一种新的学习策略即最小均方误差与惩罚优化( p e n a l i z e d o p t i m i z a t i o n ) 混合，提高了收敛速度。 该方法的实验结果如图2 9 所示。 l l ! ! 塞三些查兰三兰矍圭兰竺兰兰 9 0 j o 6 8 0 站0 7 0 0 0 客8 0 0 0 氧 ；5 0 0 0 4 0 0 0 3 0 _ o o 2 0 _ o 口 1 0 ，o 6 o ，o o o5 01 0 口1 5 0 2 0 0 洋嘲瞄量瑶鞫闻口l 图2 - 9 试验结果 f i g 2 - 9t e s tr e s u l t s 2 0 0 1 年美国的p a r a g i o s 等人【1 2 】提出了：一种基于马尔可夫随机场( m r f ) 的 实时人群密度估计的方法。该方法分为两步：第一步是区分图像前景和背景的变 化检测算法，算法使用了基于马尔可夫随机场的方法，这种方法可以保持图像前 景背景间的不连续性。马尔可夫随机场把从各种不同信息源得到的信息( 背景减， 强度模型) 与图像空域的信息结合起来得到个平滑的变化检测图像。第二步是 把得到的变化检测图像与一个几何模块结合来进行透视校正，来估计出监视区域 的人群密度。 在第一步中作者用三个模块来取得时域的图像变化信息：差帧模块来获得全 局统计约束条件：强度模块用来检测像素级的颜彩变化；颜彩归一化( 光照不变 量) 模块用来校正光照的偏差。再用m r f 来融合空域约束条件u 与这三个模块 产生的g i b b s 势能函数：以( 残差帧) ，u 3 ( 强度) ，u ( 光照不变量) 。 晚( 圣) t ，台( 垂( ，n ) ，圣妇) ) 其中，势能函数 ，c ( 圣m ) ，圣汹) = f + a c t p m s ) i f 零i m ) 壬f 4 ) j b t a “( 1 一p d ( 帕) 。i f 蕾( m ) 盈圣毒) 篁畦 i 一i ( 王一阳 i i f 士湎) = 蛋国；硝 现( 垂，聊= 一l a g p , t , ( s ) ( d ( 曲) 】 e s 1 2 - 一l o g 融阳( 。l ，只( 珏0 ) 曩 啾舐d 一暑：甚麟瑟盘渤 毫s + l o gl 叫印峄bt 皿1 5 j ) l 玩j ) = 一l o g b ) 一( j ( e ) ) 】 融合后的全局g i b b s 势能函数为 c ，( 圣，i ，f ，d ) = m 矾( 圣) + 声阮渖，d ) + 7 骗( 蛋，j ) + 占砜悸，d p a r a g i o s 等人用一种复杂的多尺度最小化方法( m u l t i s c a l em i n i m i z a t i o n ) 1 3 1 解决了全局g i b b s 势能最小的问题，得到了变化检测图像。接着利用变化检测图 像对人群密度进行估计。他们基于从三维到二维投影的透视变换构造了两个二次 函数，用来对前景的人群对象进行透视校正，从而提高估计精度。 d a v i e s ，c h o w ，p a r a g i o s 等人的方法大体上先进行背景减操作，然后对所得 图像进行像素数统计。可以是较简单的统计，如边缘像素数统计，对象区域像素 数统计等，也有比较复杂的统计，例如m r f 方法，它不仅利用像素之间的时域相 关性还利用像素的空域相关性。这些方法优点在于：通常特征提取的计算量不大， 而且在人群密度不很高的情况下，根据d a v i e s 的实验，人群密度与像素数成近 似的线性关系，可以比较直接的得到人群密度估计结果，这样也节省了在估计阶 段的计算量。但这类基于像素数统计的方法有一个致命的缺陷，即在对高密度人 群的估计上并不十分有效。因为这些方法并不能解决高密度人群图像中人群重叠 的问题，人群密度越大，重叠越厉害，误差就越大。 2 2 2 基于纹理分析的人群密度估计 1 9 9 8 年，m a r a n a 提出了一种基于纹理分析技术的人群密度估计方法【l4 1 。他 的根据是不同密度的人群图像对应的纹理模式不同。高密度的人群在纹理上表现 为细模式，低密度的人群图像在背景图像也为低频时在纹理上表现为粗模式。基 于纹理分析技术的人群密度估计方法解决了d a v i e s 等所不能解决的高密度人群 的区分问题，目前正处于进一步发展之中。 图2 1 0 是一个基于纹理分析技术的人群密度估计的结构框图：首先，对输 入图像的纹理进行统计分析，然后提取纹理特征，将这些特征通过分类器进行分 类得到密度结果。 北京工业大学工学硕士学位论文 图2 - 1 0 基于纹理分析技术的人群密度估计示意图 f i g 2 - 1 0d i a g r a mo f c r o w dd e n s i d , b a s e do nt e x t u r ea n a l y s i st e c h n o l o g y 纹理分析方法通常可分为四类： ( 1 ) 统计的方法，这种方法的代表是由h a r a l i c k 提出的灰度共生矩阵法 g l d m ( g r a yl e v e ld e p e n d e n c em a t r i x ) e l 6 l 。该方法是基于估计二维联合条件概 率密度函数，( f ，i d ，臼) 来实现的，函数的物理意义是：距原点距离为d ，角度为0 处的、灰度值分别为f ，_ ，的灰度对出现的概率。所有估计值形成了一个二维的 直方图，也可以表示成一个矩阵的形式，灰度共生矩阵的名字由此而来。因为一 对( d ，曰) 对应一个矩阵，所以限制( d ，目) 在一定范围内是非常必要的。一般地，只 有四个0 ( 0 。，4 5 。，9 0 * , 1 3 5 。) 值和一个d 值被用。为了获得统计值，直方图矩阵的元 素必须是具有平均意义，这可以通过以下两种方法实现：l ，对元素进行幅值量 化操作。2 ，进行加窗操作。前者会导致低幅值的纹理信息丢失，而后者会导致 较大范围内的纹理变化信息的丢失。 纹理的粗细可以通过直方图主对角线上的元素的分布情况得知，经过分析发 现，粗纹理的直方图较之于细纹理的更为疏散。在这种方法中，选用了四个描述 子来表征纹理：对比度( c o n t r a s t ) 、同质性( h o m o g e n e i t y ) 、能量( e n e r g y ) n 熵 ( e n t r o p y ) 。下面是具体的描述子表达式： l - i 一i 2 对比度：足( d ，口) = ( i - j ) f ( i ，川d ，印 同质性：s c d ，曰，= 霎蓑； ；! ；笋 一1 一1 2 能量：& ( d ，目) = f ( i ，卅d ，口) 熵：s ，( d ，臼) = 一厂( f ，旧o ) i o g f ( i ，旧回l 为灰度值的级数。 对i 羽像的每一个像素，这四个描述子可通过以下途径获得：对四个矩阵的每 一个都用一个n + n 的窗，在纹理分类处理过程中以窗的平均值代替该元素的值 作为纹理特征。 相对于基于线性关系估计人群密度的方法，灰度共生矩阵法一个明显的改进 之处就是它解决了重叠问题，可以估计高密度的人群。它的一个明显的缺点是： 对低密度人群的区分率非常低，只有5 3 8 5 ! ( 2 ) 基于结构的方法：直线分割法( s t r a i g h tl i n es e g m e n t s ) 。这种方 法的基本思想是：先对图像作h o u g h 变换，然后提取直线分割后的纹理的一阶 第2 覃人群人数统计方法的发展 统计特征。它的描述子有：m l ( 1 0 ) ( m e a nl e n g t h ) ：最长分割长度的1 0 的分 割区域长度的均值；m l ：所有分割区域长度的均值；s d l ( s u mo f d e v i a t i o no f l e n g t h ) ：所有分割区域长度的方差；e l ( e n t r o p yo f l e n g t h ) ：所有区域长度的熵； s d a ( s u m o f d e v i a t i o n o f a n g l e ) ：所有分割区域的角度的方差；e a ( e n t r o p y o f a n g l e ) ：所有分割区域角度的熵。很明显这种方法的缺点是不能实现实时处理， 因为图像分割会占用大量时间。 ( 3 ) 基于频谱的方法：傅立叶频谱法( f o u r i e rs p e c t r u m ) u ”。这种方法 的基本思路是：纹理的平滑度与图像的空间能量成比例。粗纹理的频谱能量主要 集中在低频部分，细纹理的频谱能量主要集中在高频部分。方法的特征量有两个： j ( ，) ，距原点为，处的频谱值之和；s ( e ) ，角度为口处的频谱值之和。该方法有两 个缺点：1 ，所需特征量最多，一般在1 0 个以上。例如，可对r 取值l ，3 ，5 ，； 对0 取值4 5 0 ，9 0 。，1 3 5 0 ，等。2 ，正确率较低，最低为7 5 1 7 。 2 0 0 1 年m a r a n a 等人 1 5 】又提出利用小波包分析估计人群密度的方法。由于摄 像机的位置关系，人群图像具有定的透视效果，因此呈现出不同的尺度，m a r a n a 等人针对这种情况，基于以前在人群图像纹理分析方面的积累，提出一种多分辨 率分析的人群密度估计方法。这种方法利用小波包分解方法提取人群图像的纹理 特征，首先对人群图像进行二级小波包分解，得到小波系数矩阵，分别计算这些 系数矩阵的能量，最后将得到的能量值作为特征矢量送入自组织映射神经网络 ( s o m ) 进行分类。人群图像的小波包分解如图2 - 1 l 所示。 图2 - 1 1 人群图像的小波包分解 f i g ，2 11w a v e l e tp a c k e td e c o m p o s i t i o no f c r o w di m a g e 这种方法的结果如表2 1 所示。 表2 - 1 小波包分解法的结果 t a b 2 1r e s u l to f w a v e l e tp a c k e td e c o m p o s i t i o n ： ! ! 塞三些查兰三兰堡圭耋堡篓圣 v e r rl o wm o d e l i i g h v e r y i m r a t e l l 纽h v e r y l o w 8 2 3 s 1 7 6 5 l o w1 9 0 56 i 算o1 7 4 6i 鹁 m o d e r a t e 1 6 6 7 5 2 0 8 2 9 1 7 2 0 8 i l i 2 h 23 895 27 6 1 91 1 9 l v e 州h j 曲 3 l5 86 8 4 2 小波包分解法为人群图像的多尺度分析提供了有效的途径。多尺度分析可以 适应由摄像机位置产生的透视效应，并且由于纹理模式的尺度特性，使得多尺度 分析在纹理分析上具有相当的优势。但小波包分解系数的数据量巨大，计算负担 很重，而且由于如此大的数据量，有效地选择分类特征也变得比较困难。 ( 4 ) 基于模型的方法：分形( f r a c t a l s ) 1 s i 。方法的基本思路是：纹理 的平滑度与分形维数有关。通常情况下，平滑图像的分形维数接近2 ，而高度粗 糙图像的分形维数接近3 。具体过程：首先对输入图像作边缘检测得到一个二值 图像，然后根据不同型号的结构元素判断二值图像的膨胀度( 由1 到n 来量度) ， 最后将分形维数作为分类的依据。该方法的优点是只需要一个特征量：分形维数。 缺点是：对高密度和很高密度的人群的误分很大。 2 2 3 人群密度的分类 人群密度通常根据人群的拥挤程度分为五类：很低、低、中、高、很高1 1 4 1 。 每类的范围与服务级别有关。表2 2 展示了1 9 8 3 年p o l u s 提出的对服务级别的定 义【1 4 1 。 表2 - 2 服务级别的定义 t i b 2 2d e f m a t i o no f l e v e lo f s e r v i c e l e v e lo f s e r v i c ep e d e s t r i a nd e n s i t y ( p e d s m 2 ) a ：f r e e ( n o r m a l ) f l o w b ：r e s t r i c t e df l o w c 1 ：d e r l s ef l o w c 2 ：v e r yd e n s ef l o w d ：j a m m e df l o w 2 0 表2 - 3 展示了密度分类与服务级别的关系( 试验中监控面积大约是1 8 m 2 ) 。 第2 章人群人数统计方法的发展 表2 - 3 密度分类与服务级别的关系 t a b 2 - 3r e l a t i o n s h i pb e t w e e nt h eg r o u p so f c r o w dd e n s i t i e da n dt h el e v e l so f s e r v i c e 一般地，为了得至0 可靠的结果，对提取到的不同密度下的人群纹理特征，通 常用三种分类技术进行分类： ( 1 ) 神经网络法：神经网络分类法为模式分类提供了一种无需参数的途 径。k o h o n e n 提出的自组织神经网络分类法( s o m ) 实现了从高维空间到低维空 间的非线性投影，这个匹配过程可以用以下函数表示：厂：工一m ，z c r ”a n d m c r 2 ，x x ，( f ，) m 。 ( 2 ) 统计法：找到一种均方误差最小的分类方法是非常必要的，贝叶斯 分类器满足了这种要求。首先它假设在条件：p ( x h ) ( c o 。) p ( x c o ，) p ( c o ，) ， j = i ，m a n di j ，( p ( x i ) 是珊的概率密度函数，p ( c o ) 是类的概率，m 是类的总数) 满足的情况下，模式x 属于类国，。所以贝叶斯分类器取决于先验知 识p ( x p ) 和p ( ) ，并且假定类内满足正态分布，即p ( x l ) 为高斯函数，同时假定 所有类的分布是等概率的，高斯函数的刀和盯由已知的样本估计得到。所以说，贝 叶斯分类器是统计参数分类器的一个例证。 ( 3 ) 拟合函数法