（计算数学专业论文）人群的密度估计与运动估计.pdf

大连理工大学硕士学位论文 摘要 随着经济社会的发展，各种公共场地和设施中的人群流动越来越频繁。如何对公共 场合的人群进行有效管理与控制，是不得不考虑的重大问题。智能化人群监控技术应运 而生，它主要包括人群的密度估计和运动估计两部分内容。智能化人群密度估计和运动 估计可以用于人群的监测和管理，也可应用于商业领域，如市场调查、交通安全以及建 筑设计领域等。它们能够直接或间接地提高上述场合工作人员的工作效率和建筑设施的 利用率，因此对人群密度估计和运动估计方法的研究有着深远的意义和广阔的前景。 本文研究了基于图像和视频处理的智能化人群自动估计方法。首先介绍了智能化人 群监测系统的构成和基本原理以及它的发展。在人群密度估计方面，本文采用提取人群 前景和边缘两种特征，尔后利用最小二乘直线拟合估计出人数与这两者的线性关系，并 通过实验比较了s o b e l 算子和c a n n y 算子在边缘检测上的优劣性，同时完成了背景图像 的自动生成。在运动估计方面，采用块匹配算法对人群的运动趋势以及速度进行估计， 同时通过全搜索法和三步搜索法的实验比较，得出二者在精确度和运算速度方面的优 劣，并且计算出人群在图像平面的运动速率。 关键词：人群监控；密度估计；边缘检测：运动估计；块匹配 大连理工大学硕士学位论文 c r o w d sd e n s i t ya n dm o t i o ne s t i m a t i o n a b s t r a c t w i mt h ed e v e l o p m e n to fe c o n o m i cs o c i e t y t h ec r o w di nv a r i o u sk i n d so fp u b l i cp l a c e s f l o w sm o r ea n dm o r ef r e q u e n t l y h o wt om a n a g ea n dc o n t r o lt h ec r o w de f f e c t i v e l yc o m e st o b ea l l i m p o r t a n t i s s u ew h i c hw eh a v et oc o n s i d e rn o w a d a y s i n t e l l i g e n t i z e dc r o w d s u r v e i l l a n c et e c h n o l o g ya r i s e sa tt h ev e r ym o m e n t i tm a l n i yi n c l u d e sb o t hd e n s i t ye s t i m a t i o n a n dm o t i o ne s t i m a t i o n i n t e l l i g e n t i z e dc r o w dd e n s i t ya n dm o t i o ne s t i m a t i o nc a nb eu s e df o r m o n i t o r i n ga n dm a n a g i n gt h ec r o w d ，a tt h es a m et i m e ，i tc a na l s ob eu s e df o rm a r k e ts u r v e y i nt h ec o m m e r c i a lf i e l d ，t r a f f i cs a f e t ya n da r c h i t e c t u r a ld e s i g nf i e l d ，e t c i tc a r tb e t os t a f f m e m b e r si nt h ea b o v em e n t i o n e do c c a s i o n si m p r o v ew o r k i n ge f f i c i e n e ya n di r e p r o v e u t i l i z a t i o nr a t i oo fb u i i d i n gf a c i l i t i e sd i r e c t l yo ri n d i r e c t l y ，s ot h e r ei sf a r r e a c h i n gm e a n i n g a n dw i d ep r o s p e c ti nc r o w d sd e n s i t ya n dm o t i o ne s t i m a t i o nr e s e a r c h t h j st e x tw o r k so nt h ei n t e t l i g e n t i z e dc r o w da u t o m a t i ce s t i m a r i o nw h i c hi sb a s e do nt h e i m a g ep r o c e s s i n g i ti n t r o d u c e st h ec o m p o s i t i o n ，b a s i cp r i n c i r ，l ea n dt h ed e v e l o p m e n to ft h e i n t e l l i g e n tc r o w dm o n i t o r i n gs y s t e ma tf i r s t a st ot h ee s t i m a t i o no fc r o w d sd e n s i t y i td r a w s p r e - s e l e c tc r o w da n de d g ec h a r a c t e r i s t i c ，a n dt h e nu s e st h el e a s ts q u a r e sm u l t i p l yt of i tt h el i n e i nt h ee x p e r i m e n ti tc o m p a r e st h es o b e lo p e r a t o rw i t l lt h ec a n n yo p e r a t o r a tt h es a l n et i m ei t c o m p l e t e st h eb a c k g r o u n dp r o d u c i n g w h e ni tc o m e st oc r o w d sm o t i o ne s t i m a t i o n ，i ta p p l i e s b l o e km a t c ha l g o r i t h m h aa d d i t i o ni tc o m p a r e st h ef 1 1 l ls e a r c ha l g o r i t h ma n dt h r e es t e p s e a r c ha l g o r i t h mi nb o t ha c c u r a c ya n dc o m p u t a t i o n a ls p e e db yt h ee x p e r i m e n t a tl a s ti t c a l c u l a t e st h em o t i o ns p e e do f t h ec r o w di nt h ei i n a g ep l a n k e yw o r d s ：c r o w ds u r v e i l l a n c e ；d e n s i t ye s t i m a t i o n ；e d g ed e t e c t i o n ；m o t i o n e s t i m a t i o n ；b l o c km a t c h 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：塑窒 日期：盟钲三 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名： 和破冯 导师签名：塑! 茎圣 l 碰钲月旦日 大连理工大学硕士学位论文 1 绪论 1 1 研究背景 1 1 1 人群监控的提出 随着经济的飞速发展，各种高层建筑、地下建筑和大型商业娱乐设旖越来越多，与 此同时，人群活动也在增长，一些易聚集高密度人群的重大活动亦频繁举行，因此如何 对某些场所的人群进行有效管理以保证人群的安全就成为一个亟待解决的问题。 下面是在不同场合几个典型的由人群拥塞引起人群灾祸的案例： ( 1 ) 娱乐活动：1 9 7 9 年1 2 月在美国辛辛那提的一个流行音乐会场，因人群发生拥 塞而造成1 1 人死亡。 ( 2 ) 体育赛事：1 9 8 9 年4 月1 5 日，在英格兰的希尔斯伯勒足球场举行足协杯半决 赛。由于大批球迷蜂拥进入看台，造成2 0 0 多人受伤。9 6 人死亡。这是英国体育运动 史上最惨痛的一次灾难。此前4 年，在利物浦队与意大利尤文图斯俱乐部队进行的欧 洲杯决赛中，球迷相互攻击，引起围墙倒塌，3 5 入因此死亡f l 】o ( 3 ) 宗教仪式：在沙特阿拉伯圣城麦加的朝圣活动中，几乎每年都要发生人群骚乱 事故。仅举以下几例：2 0 0 4 年2 月1 日，在“破魂”仪式上发生人群冲撞骚动，导 致至少2 2 4 人被践踏致死。1 9 9 0 年7 月2 日，1 4 2 6 名朝圣者在通往麦加圣地的一 条行人地下通道中被拥挤的人潮踩死，这是麦加朝圣历史上最惨重的人员伤亡事件。 1 9 9 8 年4 月9 日，“石砸魔鬼”仪式中有数人掉下天桥，造成恐慌，有1 8 0 人被踩 死。 ( 4 ) 展览活动：2 0 0 4 年2 月1 5 日，在北京市密云县密虹公园举办的第二届迎春 灯展中，因一游人在公园桥上跌倒，引起身后游人拥挤，造成踩死、挤伤游人的特大恶 性事故，有3 7 人死亡、1 5 人受伤。 所有这些人群惨案的发生，都是由于人群过度拥挤导致人群失去控制引起的。从古 至今，从中到外，这类事故的发生并不鲜见，只要有群体活动，就有可能出现意外。伴 随着人群安全问题发展起来的人群行为和人群心理的研究，尽管对人群安全的发生原因 给出了解释，但并不能从根本上解决该问题。如果我们能够自动地对人群进行监控，发 现人群行为异常的预兆，那么就可以及时采取解决措施，避免灾祸的发生。 1 1 2 国内外的研究现状 ( 1 ) 传统的保障人群安全的途径主要有1 2 ： 人群的密度估计与运动估计 采用物理方法修正建筑物。在一些容易发生人群聚集的地方，采取适当地修正 现有建筑物的方法，比如在人多的地方增加出入口等。 希忍 i l 路电视监控某一场景。闭路电视对周匿环境进行例行地扫描来查找发生 危险的地方，并有专门的工作人员盯着屏幕，以便发生情况及时通报并采取措施。 ( 2 ) 这样做主要有如下缺点： 不能起到预防的作用。即使人可以根据经验来发出危险警告，但由于人的主观 性太强，很容易发生预告太晚或者错误预告的情况。 易造成漏报。 当人群已经发生拥塞时，一般采取的方法是；关闭人群正在大量涌入的入口【l 】。这 种方法虽然解决了建筑物某个入口处的拥挤问题，但是人群很可能又涌向别的入口造成 新的拥挤。所以这种做法往往不能从根本上解决问题。 近年来，对人群的研究越来越引起人们的关注，对人群状态和行为的研究也越来越 多，而人群研究的前提是要弄清如何对人群进行适当的描述。虽然人群由独立个体组成， 而每一个个体又有他自己的行为模式，但作为总体的人群有它整体性的特征，且可被描 述出来。要想用精确的数学模型来描述人群的状态和行为非常困难，但我们仍然看到了 一些能够逼近人群真实行为的数学模型的出现，比如s t i l lg k 的人群动力学【3 1 ，c r o w d d y n a m i c sl i m i t e d 公司依据s t i l lg k 的数学模型应用a u t o c a d 做出了一些建筑设施 的设计方案。 人群行为的数学模型为我们理解人群的状态和行为提供了方便，但并不能直接用来 对人群进行监控。1 9 8 5 年，f m i n 提出当人群密度达到o 1 5 米2 ，人时，人群将很容易 失去控制【4 】，这就绘出了人群密度与人群灾难之间的量的关系，为借助于数字图像处理 方法实现对人群的自动实时监控提供了依据。 数字图像处a i s l e 6 】即用计算机对图像进行处理，其优点是处理精度高，可进行复杂 的非线性处理，有灵活的变通能力。数字图像处理的应用领域非常广泛，它在包括工程、 工业、医疗保健、航空航天、军事、科研、安全保卫等国民经济中发挥着重要作用。 二十世纪以来，人群密度和运动估计的自动方法逐渐发展起来。在密度估计上主要 有d a v i e s l 2 1 1 7 ，c h o w s j l 9 1 ，m a r a n a 1 0 1 等人的方法；在运动估计上主要有r o u r k e 1 等人的 方法，并且这些方法要求提供场景的背景图像。r o u r k e 等人的人群运动估计的方法依靠 个体信息的提取，因此都限于低密度人群，如果人群密度较高，出现个体间的相互遮挡 使得个体信息提取不全时，就会遇到蔼难。 大连理工大学硕士学位论文 1 1 3 人群密度估计和运动估计的应用及意义 由于人群的密度估计和运动估计是人群监测的主要构成，首先我们来看人群监测的 应用和意义。 ( 1 ) 人群监测有着广泛的应用，它通常被用在： 短期、高密度人群集中的场合。比如：露天大型运动场、中心广场、大型娱乐 场地、大型会议中心、购物中心等。在这种场合下，可通过估计人群的密度得知人群的 行为和状态。 预测程序化工作场合的人群流量，提高建筑设施利用率。比如：获得了等候电 梯的人数，就可以提高电梯的利用率，减少用户的等候时间。 管理人群流动繁忙场合的交通。例如：通过统计通过十字、丁字路口、建筑物 出入口等的人数，可以合理安排交通警察或保安人员的工作时间和工作额度。 进行市场调查。例如：对于商场、超市等刚迸的新货品，通过统计前来访问的 人数，可以知道顾客对这种新货品是否感兴趣，将此信息反馈给经营者和管理者，将那 些不受欢迎的货品拿下货架，将受欢迎的货品保留，不仅减少了调查人员的工作量，也 提高了运营速度和质量。 ( 2 ) 人群监测有着重要的意义： 通过对现有建筑物中人群活动情况的观察统计，可以知道哪些地方容易发生人 群拥挤，从而对以后建筑物的设计及建造起到参考作用。人群行为模型的发展可以为建 筑师和城市规划人员提供更好的设计基础。尤其是当建筑空间稀缺的时候( 就像现在多 数大城市那样) ，建筑师要寻找最优的解决方案。 通过对人群行为和状态的实时监测，可以达到预防人群灾祸发生的目的。 在人口流动频繁的今天，对公共场所的人群进行有效的监测与管理，是亟待解决的 问题。同样，在经济快速发展的今天，各行各业对提高工作效率的要求越来越迫切。人 群人数快速统计方法可以应用于社会、经济的很多方面，它不仅可以解决人群拥挤带来 的安全问题，而且可以提高建筑设旌的利用率、指导建筑物的设计和提高某些场合工作 人员的效率。因此，人群密度估计方法的研究有着深远的意义和广阔的前景。 1 2 论文的主要工作 我国正处于经济飞速发展的大好时机，在人群管理、市场调查、交通管理等方面实 现智能化有很重要的意义，通过对人群智能化检测可以达到这个目的。但在国内，该方 面的研究基本还是一项空白，相关的文献和技术资料很少，几乎没有成熟的产品。本课 题的研究内容是运用图像，视频处理等技术对来完成对人群的密度和运动进行自动估计。 人群的密度估计与运动估计 论文主要围绕以下工作展开： ( 1 ) 建立训练图像库。 ( 2 ) 研究基于图像前景和边缘特征的人群整体描述方法，并且采用经典s o b e l 算子 和c a n n y 算子提取边缘信息并加以比较。 ( 3 ) 实现运用全搜索法和三步搜索法的块匹配算法进行人群运动估计，并加以比较 做出各方面优劣性比较。 1 3 论文框架 论文章节组织如下： 第l 章绪论。概要地介绍论文的研究背景、研究内容以及论文框架。 第2 章人群人数密度估计的发展。介绍了人群监控系统的体系结构，详细阐述人 群密度估计的各种方法：基于像素统计的方法、基于纹理分析的方法等。 第3 章自适应背景下的人群密度估计。主要介绍了几种重要的图像边缘特征提取 方法，并通过对实例场景的实验结果比较了s o b c l 算子和c a n n y 算子的性髓。阐示了最 小二乘直线逼近的原理并给出了实验场景中的拟合系数a 和b 的值，最后通过均方误差 的计算肯定了利用人群前景面积和边缘面积进行人群密度估计的可行性。 第4 章基于块匹配的人群运动估计方法。首先介绍了块匹配的原理和多种搜索算 法，重点实现了基于全搜索法和三步搜索法的块匹配算法进行人群运动估计，并且通过 二者在准确度、运算速度方面的比较，肯定了这两种方法在人群运动估计方面的可行性 并且指出三步搜索法由于其在运算速度方面和大运动矢量存在的情况下的优势而更加 有利于实时应用。 最后，对论文进行总结，并对未来研究进行展望。 大连理工大学硕士学位论文 2 人群密度估计方法的发展 2 1 智能化人群监控系统 智能化人群监控指的是借助于数字图像处理技术对某一区域的人群进行监控，它在 社会生活和生产的许多领域有着广阔的应用前景。一个典型的智能化人群监控系统由图 像摄取与采集、图像处理单元和控制单元组成【l l 】。 图2 i 智能化人群监控系统的组成框图 f i g 2 1c o m p o s i t i o nb l o c kd i a g r a mo f t h ei n t e l l i g e n tc r o w dm o n i t o r i n gs y s t e m 其工作原理可以用以下步骤来描述： ( 1 ) 图像摄取与采集：用c c d 摄像机对人群按一定频率扫描，连续摄取某一场景中 的人群图像，用图像采集卡将所摄取的图像数据传输至计算机内存中。 ( 2 ) 图像处理：对人群图像用数字图像处理技术进行处理，得到人群的密度或运动 状态的流量数据。 ( 3 ) 控制单元：对于不同的应用场合，根据人群流量及运动状态作为相应的判断并 采取相应的措施。 在图像处理过程中，由于人群的密度和运动状态是人群的两个重要参数，因此目 前人们所做的工作都是用于求解这两个参数的。 2 2 人群密度估计方法的研究现状 2 2 1 基于像素数统计的人群密度估计 1 9 9 9 年香港的c h o w 【8 】f 9 】等人提出了使用基于混合全局学习算法的神经网络来估 计人群密度的方法。该方法主要是基于提取人群的三种特征：人群对象的边缘长度、人 群对象的像素在整个图像中占有的比例、以及背景对象的像素在整个图像中占有的比 例，其具体系统框图如图2 2 所示。 人群的密度估计与运动估计 图2 2 神经网络密度估计系统框图 f i g 2 2d i a g r a mo f c r o w dd e n s i t yb a s e do nn e u r a ln e t w o r k 该方法的特征提取基于一个假设：人群密度的大小与图像中有显著运动的区域的 “碎片”有关。特征提取的具体操作如下：首先对视频序列进行采样，得到静止的人群 图像；再用模板对背景图像进行操作，屏蔽掉大部分复杂背景，只留下人群对象区域的 背景：然后用此背景图像对人群图像进行背景减操作，从所得的图像中提取三种特征值： 人群对象的边缘长度，人群对象的像素在整个图像中占有的比例，以及背景对象的像素 在整个图像中占有的比例。这三个特征将被用来送入神经网络进行人群密度估计。神经 网络的拓扑结构是由3 个输入层神经元，1 5 个隐藏层神经元，1 个输出层神经元构成。 最后采用最小均方误差分别与随机搜索限s ) ，模拟退火( s a ) 和遗传算法( o a ) - - 种全局搜 索策略混合的方法找出神经网络的最优权值。其结果分别如图2 3 ，2 4 ，2 5 所示。 图2 3 r s 的结果 f i g 2 3r e s u l to f r s 6 大连理工大学硕士学位论文 峨 越* oi d卫阳1 0 0 图2 5s a 的结果 f i g 2 5r e s u l to f s a od抽轴 4 0砷g o q - 一 图2 6 g a 的结果 f i g 2 6r e s u l to f g a 2 0 0 2 年c h o w 等人为了使他们1 9 9 9 年提出的基于神经网络的人群密度估计方法 1 3 l 能够真正适用于工业应用环境( 香港地铁车站) 而对该方法作了改进。改进后的系统框 图如图2 7 所示。 誊t蔷，g 蚺 麒 秭 嘛 悱 札 弧 如 峨 氟 o ； 人群的密度估计与运动估计 图2 7 改进后的系统框图 f i g 2 7d i a g r a mo f m o d i f l e c ls y s t e m 其中增加了一个模块：旅客模板匹配( p a s s e n g e rt e m p l a t em a t c h i n g ) 。这个模块用 来解决旅客站在镜头前遮挡住一部分监视区域的问题。几种旅客模板之一如图2 8 所 示。 图2 8 旅客模板 f i g 2 8t e m p l a t eo f p a s s e n g e r 这些旅客模板用来在前景对象区域进行搜索匹配，匹配的结果作为特征矢量的附加 维输入神经网络进行人群密度估计。这样神经网络的输入层神经元增加到4 个，而隐藏 层和输出层神经元数目不变，依然是1 5 个和1 个。神经网络最优权值的全局搜索算法 采用一种新的学习策略即最小均方误差与惩罚优化( p e n a l i z e do p t i m i z a t i o n ) 相混合， 提高了收敛速度。该方法的实验结果如图2 9 所示。 大连理工大学硕士学位论文 1 0 n 9 0 0 0 8 0 a d 7 d 0 0 室6 0 0 0 6 0 0 0 i 柏，0 0 3 0 2 0 的 1 0 , 0 0 o t o o o b 01 0 0 - m 醇嗣i r 啊一 图2 9 实验结果 f i g 2 9t e s tr e s u l t s 2 2 2 基于纹理分析的人群密度估计 1 9 9 8 年，m a r a n a 提出了一种基于纹理分析技术的人群密度估计方法【l5 1 。他的根据 是不同密度的人群图像对应的纹理模式不同。高密度的人群在纹理上表现为细模式，低 密度的人群图像在背景图像也为低频时在纹理上表现为粗模式。基于纹理分析技术的人 群密度估计方法解决了c h o w 等所不能解决的高密度人群的区分问题，目前正处于进一 步发展之中。图2 1 0 是一个基于纹理分析技术的人群密度估计的结构框图：首先，对输 入图像的纹理进行统计分析，然后提取纹理特征，将这些特征通过分类器进行分类得到 密度结果。 i 原图像h纹理分析r 叫特征提取卜_ | 特征分类卜- 叫密度结果l 广 厂_ 1 广 广 广 图2 1 0 基于纹理分析技术的人群密度估计示意图 f i g 2 1 0d i a g r a mo f c r o w d s d e n s i t ye s t i m a t i o nb a s e d0 1 1t e x t u r ea n a l y s i s 纹理分析方法通常可分为四类： ( 1 ) 统计的方法：这种方法的代表是由h a r a l i c k 提出的灰度共生矩阵法 g l d m ( g - r a yl e v e ld e p e n d e n c em a t r i x ) 【1 3 1 。该方法是基于估计二维联合条件概率密度 函数厂( f ，j l d ，口) 来实现的。函数的物理意义是：距原点距离为d ，角度为口处的、灰度 值分别为i ，j 的灰度对出现的概率。所有估计值形成了一个二维的直方图，也可以表 人群的密度估计与运动估计 示成一个矩阵的形式，灰度共生矩阵的名字由此而来。因为一对( d ，p ) 对应一个矩阵， 所以限制p ，p ) 在一定范围内是非常必要的。一般地，只有四个0 ( 0 0 ，4 5 0 ，9 0 0 , 1 3 5 0 ) 值和 一个d 值被使用。为了获得统计值，直方图矩阵的元素必须具有平均意义，这可以通过 以下两种方法实现：对元素进行幅值量化操作；进行加窗操作。前者会导致低幅 值的纹理信息丢失，而后者会导致较大范围内的纹理变化信息的丢失。 纹理的粗细可以通过直方图主对角线上的元素的分布情况得知，经过分析发现，粗 纹理的直方图较之细纹理的更为疏散。在这种方法中，选用了四个描述值来表征纹理： 对比度( c o n t r a s t ) 、同质性( h o m o g e n e i t y ) 、能量( e n e r g y ) 和熵( e n t r o p y ) 。下面是具体的描 述值表达式： 对比度：s o ( a ，e ) = x x ( , - j ) v ( i ，卅d ，0 ) 同黜魄啦嚣蓑嬲 能量： & p ，目) = 厂o | d ，口) 2 熵： s e 0 ，目) = - z z ：c , ，_ ，l d ，o ) l o g s i ，爿d ，0 ) l 为灰度值的级数 对图像的每一个像素，这四个描述值可通过以下途径获得：对四个矩阵的每一个都 用一个n x n 的窗，在纹理分类处理过程中以窗的平均值代替该元素的值作为纹理特征。 相对于基于线性关系估计人群密度的方法，灰度共生矩阵法一个明显的改进之处就 是它解决了重叠问题，可以估计高密度的人群。它的一个明显的缺点是：对低密度人群 的区分率非常低，只有5 3 8 5 ! ( 2 ) 基于结构的方法：直线分割法( s t r a i g h tl i n es e g m e n t s ) 1 6 o 这种方法的基本思 想是；先对图像做h o u g h 变换，然后提取直线分割后纹理的一阶统计特征。它的描述 值有：m l ( 1 0 ) ( m e a nl e n g t h ) ：最长分割长度的1 0 的分割区域长度的均值；m l ： 所有分割区域长度的均值；s d l ( s u mo f d e v i a t i o no f l e n g t h ) ：所有分割区域长度的方 差；e l ( e n l x o p yo f l e n g t h ) ：所有区域长度的熵；s d a ( s u mo f d e v i a t i o no f a n g l e ) ： 所有分割区域的角度的方差；e a ( e n t r o p yo f a n g l e ) ：所有分割区域角度的熵。很明 显这种方法的缺点是不能实现实时处理，因为图像分割会占用大量时间。 ( 3 ) 基于频谱的方法：傅立叶频谱法( f o u r i e rs p e e t n m a ) 【1 6 1 。这种方法的基本思路 是：纹理的平滑度与图像的空间能量成比例。粗纹理的频谱能量主要集中在低频部分， 细纹理的频谱能量主要集中在高频部分。方法的特征量有两个：s p ) ，距原点为r 处的 大连理工大学硕士学位论文 频谱值之和；s p ) ，角度为口处的频谱值之和。该方法有两个缺点：所需特征量最多， 一般在1 0 个以上。例如，可对，取值1 ，3 ，5 ，；对日取值4 5 。，9 0 。，1 3 5 。 等。正确率较低，最低为7 5 1 7 。 2 0 0 1 年m a r a n a 等人【1 7 】又提出利用小波包分析估计人群密度的方法。由于摄像机的 位置关系，人群图像具有一定的透视效果，因此呈现出不同的尺度。m a r a n a 等人针对 这种情况，基于以前在人群图像纹理分析方面的积累，提出一种多分辨率分析的人群密 度估计方法。这种方法利用小波包分解方法提取人群图像的纹理特征，首先对人群图像 进行二级小波包分解，得到小波系数矩阵，分别计算这些系数矩阵的能量，最后将得到 的能量值作为特征矢量送入自组织映射神经网络( s o m ) 进行分类。人群图像的小波包 分解如图2 1 1 所示。 图2 11 人群图像的小波包分解 f i g 2 11w a v e l e tp a c k e td e c o m p o s i t i o no f c r o w di m a g e 小波包分解法为人群图像的多尺度分析提供了有效的途径。多尺度分析可以适应由 摄像机位置产生的透视效应，并且由于纹理模式的尺度特性，使得多尺度分析在纹理分 析上具有相当的优势。但小波包分解系数的数据量巨大，计算负担很重，而且由于如此 大的数据量，有效地选择分类特征也变得比较困难。 ( 4 ) 基于模型的方法：分形( f r a c t a l s ) 1 8 1 。方法的基本思路是：纹理的平滑度与分 形维数有关。通常情况下，平滑图像的分形维数接近2 ，而高度粗糙图像的分形维数接 近3 。具体过程：首先对输入图像作边缘检测得到一个二值图像，然后根据不同型号的 结构元素判断二值图像的膨胀度( 由1 到玎来量度) ，最后将分形维数作为分类的依据。 人群的密度估计与运动估计 该方法的优点是只需要一个特征量：分形维数。缺点是：对高密度和很高密度的人群的 误分很大。 2 2 3 个人特征提取技术 目前对人群具体人数的研究主要集中在确定建筑物进出口的人数，采用的方法大部 分是依靠探测器来探测是否有行人通过并作记录，或者通过两条辅助直线根据人先通过 哪条线来确定人的进出并计数【1 9 1 ，或者去掉背景后用起泡法计数【2 0 啦“，但是这些方法 都不能很好地解决拥挤情况下的人数确定。 2 0 0 1 年，s h c n g f i ml i n 等提出了一种通过小渡变换提取头部轮廓特征来定位每一 个人，从而确定拥挤环境下的人数的方法瞰】。图2 1 2 给出了该方法的原理框图。 图2 1 2 小波变换提取个人特征的原理图 f i g 2 1 2p r i n c i p l ep i c t u r ew h i c hd r a w st h ep e r s o r t a lc h a r a c t e r i s t i cb yw a v et r a n s f o r m a t i o n 具体做法是：首先对同样大小的头部图像和背景图像分别作一级和二级超完全小波 变换，然后对变换后的图像分别提取h l 子带和l h 子带的小波系数的均值以及方差等统 计特征。经过分析后发现，小波系数的均值能够代表头部的总体特征，h l 子带的小波 系数能够获得头部左边和右边轮廓的特征，l h 子带的小波系数能够表征头的上边缘和 下巴的轮廓特征。将这种方法应用在拥挤环境下取得了较好结果，为今后人数统计的研 究工作提供了思路。图2 1 3 为超完全小波变换后的头部图像。 ( a ) 原图像( b ) u 。( c ) r m( d ) l h ( e ) i - h 图2 1 3 超小波变换后的头部图像 f i g 2 1 3 h e a dp i c t u r e a r e r h y p e r w a v e t r a n s f o r m a t i o n 2 2 4 分类器的设定 在对人群图像进行密度特征提取或个人特征提取之后，必须对这些特征进行分类。 大连理工大学硕士学位论文 人群密度一般情况下分为5 类：很低、低、中、高、很高口3 1 。每类的范围与服务级别有 关。表2 1 给出了1 9 8 3 年p o l u s 2 3 1 关于服务级别的一个定义，表2 2 给出了密度分类与服 务级别的关系( 实验中监控面积大约是1 8 m 2 ) 。 表2 1 服务级别的定义 t 8 b 2 1d e f i n a t i o no f l e v e lo f s e r v i c e 服务级别人群密度( x m 2 ) a ：自由( 正常) 人流s o 6 b ：受约柬人流 0 6 - - 0 7 5 c 1 ：密集人流0 7 5 l + 2 5 c 2 ：很密集人流1 2 5 2 o d ：堵塞人流 2 0 表2 2 密度分类与服务级别的关系 t a b 2 2r e l a t i o n s h i pb e t w e e nt h eg r o u p so f c r o w dc l a s s i f i c a t i o na n dt h el e v e l so f s e r v i c e 密度类别人群人数范围密度范围服务级别 很低 o 1 50 0 8 3 3a ，b 低 1 5 3 00 ，8 9 - 1 6 7c 1 由 3 0 , - 4 51 7 也5c 2 。d 高 4 5 - - 6 02 5 岳o 3 3d 很高 6 0 3 3 9d 一般地，为了得到可靠的结果，通常用3 种分类器进行分类：神经网络分类器、贝叶 斯分类器和拟合函数分类器。 ( 1 ) 神经网络分类器：神经网络分类法为模式分类提供了一种无需参数的途径。 k o h o n e n 提出的自组织神经网络分类法( s o m ) 实现了从高维空间到低维空间的非线性 投影，这个匹配过程可以用以下函数表示：厂：x 辛m ，x c r 4a n dm c r 2 ，x x ， ( f ，- ，) m 。 ( 2 ) 贝叶斯分类器：找到一种均方误差最小的分类方法是非常必要的，贝叶斯分类 器满足了这种要求。首先它假设在条件： p q q 妒慨) p 纠q 1 尸b ) ，j = 1 ，m a n d f ，是的概率密度函数，( p ( 一) 是国类的概率，m 是类的总数) 满足的情况下，模 式x 属于类，。所以贝叶斯分类器取决于先验知识p i 刊m ) 和p ) ，并且假定类内满足正 人群的密度估计与运动估计 态分布，即p ( x b ) 为高斯函数，同时假定所有类的分布是等概率的，高斯函数的，7 和盯 由已知的样本估计得到。所以说，贝叶斯分类器是统计参数分类器的一个例证。 ( 3 ) 拟合函数分类器：当已知某些模式可以由一系列的参数来描述时，那么可以用 一个由这些参数组成的拟合函数来表示这些模式，新的模式发现后新的参数也可以补充 进来。 m a r a n a 等人采用这三种分类器对2 2 2 小节中部分方法提取的纹理特征进行分类， 四种纹理分析方法结合三种分类器得出的结果如图2 1 4 所示。 图2 1 4 四种纹理分析方法结合三种分类器得出的结果 f i g 2 1 4 r e s u l t o f f o u r k i n d s o f t e x t u r ea n a l y s i s m e t h o d s w i t h t h r e e k i n d s o f e l a s s i f y i n g m a c h i n e s 由图2 1 4 可以看出，对于同一种纹理特征提取方法，选用不同的分类器得到的密 度分类结果的正确率是不同的。在实际工作中，可根据经验或者分别试验后决定采用何 种分类器。 大连理工大学硕士学位论文 3 自适应背景的人群密度估计 3 1 自适应背景的生成 背景生成应用各像素在时间轴上的统计信息，生成没有人群的参考图像。人群视频 空域上某一像素点的灰度值是沿对间轴不断变化的一维随机信号。该信号的非平稳段意 味着有前景人群通过该像素点，而平稳段意味着该点表示背景图像。通过计算平稳段的 灰度值的统计平均，可得到背景图像在该像素点的灰度值，生成的背景如图3 3 。 3 2 边缘检测 3 2 1 边缘检测概述 边缘是指图像局部亮度变化最显著的部分。边缘主要存在于目标与目标、目标与背 景、区域与区域( 包括不同色彩) 之间，是图像分割、纹理特征提取和形状特征提取等 图像分析的重要基础。 i t s , 西 i 岫 a ( a ) 阶跃状边缘( b ) 屋顶状边缘 图3 1 两种边缘灰度变化及其一阶、二阶导数变化示意图 f i g 3 1t w ok i n d so f t h ee d g eg r a ya n dt h e i ro n eo r d e r 、t w oo r d e rd e r i v a t i v ec h a r t 人群的密度估计与运动估计 图像中的边缘通常与图像亮度或图像亮度的一阶导数的不连续性有差。图像亮度的 不连续可分为：阶跃不连续，即图像亮度在不连续处的两边的像素灰度值有着显著 的差异；线条不连续，即图像亮度突然从一个值变化到另一个值，保持一个较小的 行程后又返回到原来的值。图像边缘可以划分为阶跃状( s t e pe d g e ) 和屋顶状( r o o f e d g e l 边缘。其中，阶跃状边缘两边的灰度值有明显的变化；而屋顶状边缘在灰度增加和减小 的交界处。在数学上可以利用其灰度变化曲线的一阶、二阶导数来描述两种不同的边缘。 图3 1 分别给出了两种边缘的示意图及相应的一阶导数、二阶导数的变化规律。 从图3 1 可以看出，对于阶跃状边缘，灰度变化曲线的一阶导数在边缘处呈极值， 而二阶导数在边缘处呈零交叉；屋顶状边缘在灰度变化曲线的一阶导数呈零交叉，而在 二阶导数处呈极值。 3 2 2 典型的边缘检测算子 传统的图像边缘检测方法大多从图像的高频分量中提取边缘信息，微分运算是边缘 检测与提取的主要手段。 梯度是一阶导数的二维等效式，定义为： g ) = g ，g ，r = 怯科 梯度有幅值和方向两个属性，g ( x ，y ) 的幅值为： g k y 】= 噬+ g ； 实际应用中可用两个分景的绝对值之和或最大值来近似梯度幅值，即： i g g ，y | = l o ，f + 俐或l g g ，j ，】= m a x g x ，吲 梯度的方向是函数厂k y ) 增加最快的方向，定义为： 口g ，y ) ：a r e t a n f 孚l ( 其中口角是相对于x 坐标轴的角度) l u 一 ( 1 1r o b e r t s 算子 任意一对互相垂直方向上的差分可以看成求梯度的近似方法，r o b e r t s 边缘检测算 子利用该原理，采用对角线方向相邻两像素之差代替梯度，即： 六= 厂( f ，) 一，( f + l ，j + 1 ) ：，( ，_ ，十1 ) 一厂( + 1 ，) 正和的卷积算子为： 正：墨oi ：i 二：i 大连理工大学硕士学位论文 梯度幅值近似为： 且o ，) = 刀+ 或r ( f ，力= 阮h 乃j 通过差分可以求得r o b e , s 算子在差分点f 掣，与 1 处连续梯度幅度的近似值 二 r ( f ，j ) ，适当选取阈值f ，如果r ( f ，j ) f ，则认为点( j ，_ ，) 是边缘点。 r o b e , s 边缘算子采用对角线方向相邻两像素之差进行梯度幅度检测，其检测水平、 垂直方向边缘的性能要好于切线方向边缘，并且检测定位精度比较高，但对噪声敏感。 ( 2 ) s o b e l 边缘检测算子 s o b e l 边缘检测算子在以像素点为中心的3 3 邻域内做灰度加权运算，根据该点是 否处于极值状态进行边缘的检测，其本质上仍是一种梯度幅值。 s o b e l 边缘检测算子定义为： s ( f ，_ ，) = 七+ 或s ( ，) = m a x 正i ，k | j 其中： 六= 【厂( f 一1 ，j i ) + 2 f ( i 一1 ，) + ，( f 一1 ，+ 1 ) 】一【厂( f + 1 ，j i ) + 2 f ( i + i ，) + ，( f + 1 ，+ 1 ) 】 = 【厂( f l ，一1 ) + 2 f ( i ，j 一1 ) + ，( f + l ，_ ，一1 ) 】一驴( f 一1 ，+ 1 ) + 2 f ( i ，j + 1 ) + ，( f + 1 ，+ 1 ) 】 与其他的梯度算予一样，工和 可用如下卷积模板描述，即： f 。10 1 11 2 1 无：l - 2 0 2l 元： 0 0 0 l l 0 l jl 一1 2 1 j s o b e l 边缘检测算子是综合图像的每个像素点的上、下、左、右邻点灰度的加权和， 接近模板中心的权值较大。适当选取门限f ，如果s ( f ，j ) f ，则认为点( f ，j ) 是边缘点。 s o b e l 边缘检测算子不但可以产生较好的边缘效果，而且对噪声具有平滑作用，减 小了对噪声的敏感性。但是，s o b e l 边缘检测算子也检测出了一些伪边缘，使得边缘比 较粗，降低了检测定位精度。在检测定位精度要求不是很高的情况下，s o b e l 算子是比 较常用的边缘检测算子。 ( 3 ) c a n n y 边缘检测算予 传统的计算方法是用模板在图像中每个像素的邻域进行卷积运算，如r o b e , s ， s o b e l 等算子，这些算子的主要缺点是对噪声的敏感和边