基于视频的客流计数系统的研究

1、基于视频的客流计数系统的研究作者：田京雷发表刊物：全国图象图形学学术会议发表时间：2005-9（大连海事大学信号与图像处理研究所，大连 116026）    摘要：本文利用图像处理和模式识别的方法研究并设计了基于视频的客流计数系统。该系统算法分为三部分：首先利用图像帧差进行运动目标的提取；然后利用模式识别分析目标的特征，对目标进行分类；最后利用模糊C均值（FCM）聚类得到目标的形心，对人体目标进行匹配、跟踪并计数，实时给出越过计数线的人数。实验证明该算法简单可行，统计数据具有较高的正确率。关键词：图像序列；帧差；形态学；贝叶斯分类器；模糊C均值（FCM）聚类

2、60;1 引言    客流统计技术是目前模式识别技术的典型应用之一。对于商场、车站等公共场所，客流量是极其重要的信息，利用统计的客流量数据 ，管理人员可以合理调度人力、物力，合理配置资源，从而获得最佳的运营效果。早期发展的客流计数系统主要使用光电传感器，这种系统的实现过程简单。目前比较成功的有南非Headcount公司的客流量统计系统，Headcount的全内置的检测器采用多个红外传感器及多个高速的、具有人工智能技术的微处理器来连续监测客流模式，它可以连续监测双向客流量，但在人流密集时精度会受到一定的影响。近些年来使用图像传感器进行客流统计的技术也有所发展。利用侧

3、面安装的CCD摄像机可以获得较多的物体运动信息，但它所受目标遮挡影响的程度也最大；被动红外成像系统可以更精确的提取人体运动信息，得到高精度的统计结果，但它的成本过高难以广泛应用。本文利用安装在检测区域正上方的CCD摄像机，由于不存在目标遮挡，与传统的基于光电检测器的方法相比，具有更好的准确性、智能性和鲁棒性。在参考了现有的一些客流计数系统后，我们定义了下图所示的系统结构。     系统计数工作流程由五部分组成：1、利用单摄像头捕获视频序列。2、由视频图像分割出视场中的运动区域。3、对运动区域求取特征，进而根据特征进行目标的分类。4、在监测区域内设置了跟踪

4、区域（Tracking Region），在跟踪区域内进行运动目标的实时跟踪处理。5、在跟踪过程中如果有目标跨过预先设定的计数线(Counting Line)，即可视为某方向上有运动目标通过，对通过计数线的目标进行计数操作。                               

5、60;    2 运动目标的捕获和提取    视频捕获部分由广角镜头、CCD摄像头和视频采集卡构成。其中采用广角镜头的原因是为了在安装高度限定情况下获得足够大的视场，以扩大单摄像头的可监测区域。在摄像头的安装上，本系统采取了轴线垂直向下的方式，尽可能减少运动目标遮挡所带来的影响。我们在多种场景下安装测试进行了实验。      采用三帧图像的帧差算法分离出运动目标。帧差是在图像序列中相邻帧间采用基于像素的时间差分并阈值化来提取图像中前景区域的方法。假设分别代表连续第t-1、t、 t+1帧

6、图像，则后两帧图像的帧差为：         (1)                                       

7、   然后确定一个阈值Z，根据Z和大小关系将图像二值化，                        (2) 同理得到前两帧图像的帧差并进行二值化     (3)            &

8、#160;                    则三帧图像的帧差结果为（1）、（3）两式二值化的结果相与。就是两次检测必须两次都为变动。    利用帧差检测运动信息，会造成缓慢运动目标的丢失。为了提取缓慢运动的目标，算法中需要加入一个保留信息，这个保留信息为上一帧图像的运动分割结果。缓慢运动的物体前后两帧图像差异较小，空间灰度分布具有相似性。在保留信息所在的区域内，检测前后两

9、帧图像像素灰度是否具有相似性。如果灰度相差不大就可作为补偿信息填入当前帧，恢复缓慢运动物体的轮廓。通过三帧图像的帧差及利用保留信息进行补偿就可以较好地检测出场景中快速和缓慢运动的物体。如果可信，这个分割还是不错的。    分割得到运动区域的二值图像，为闭合断开的边界，对图像进行形态学1处理，这里使用形态学闭运算，选取5×3大小的结构要素矩阵；为平滑边界、消除噪声，对二值图像进行中值滤波1，中值滤波选取5×5大小的窗口，在以某像素为中心的窗口邻域内如果白像素过半则该像素赋值为白像素，否则赋值为黑像素。当人体某些区域灰度值变化较为平坦时，帧差可使分

10、割后的二值图像中产生空洞现象，这对于运动物体的分类和人体运动的跟踪造成不便。为了消除运动区域中出现的空洞，对分割后的二值图像采用种子算法进行了填充。经过上述的分割处理，就可以从视频捕获的原始图像中得到运动区域。  3 运动目标的分类由经过分割处理获得的二值图像提取各个运动区域的特征：如面积(区域的面积定义为区域内的像素点的个数)、长度和宽度。采用阈值化的方法，依据面积特征进行运动区域的初次分类。首先要在大量统计样本的基础上，按实际安装情况进行修正，确定运动区域统计特征：TH1TH15为各类运动区域面积的最佳阈值，mean为单人面积均值，std为单人面积方差。假设area为运动区域的面

11、积,num为运动区域的人数估计。TH1  area< TH2      num=1； TH3  area< TH4      num=1.5；TH5  area< TH6      num=2；  TH7  area< TH8      num=2.5；TH9  area< TH10  &

12、#160;  num=3；TH11 area< TH12     num=3.5；TH13 area< TH14     num=4；  area TH15           num=round(area/mean)；round函数是对area/mean取近似整数    对于num大于1的运动区域，利用模糊C均值聚类2算法对运动区域进行聚类分析。模糊C均

13、值聚类分析是目前比较常用的一种聚类分析方法， 该算法通过对目标函数的迭代优化实现集合划分，它可以表示出各个像素属于不同类别的程度。设N为待聚类的样本数，C为类别数（C是整数），m为模糊加权指数，。目标函数的值是图像中像素到C聚类中心值的平方距离的加权累积和，可表示为 ：        (4)                    

14、;                  其中是第j个像素在第 i个类中的模糊隶属度函数值，是像素与聚类中心的距离内积，U是模糊隶属度集合，V是聚类中心集合。的值反映在某种差异性定义下的类内紧致一致度；越小，聚类越紧致。的极小化可由迭代算法实现。经过模糊C均值聚类后，就可以得到多人运动区域中各个人体的所在区域，进而求取各个人体目标的形心，用于运动目标的匹配与跟踪。    num为小数表示运动区域面积位于交界处，

15、具有一定模糊性，需要进一步判决。在聚类分析时要将num两个相邻的整数作为样本数分别聚类，根据两种聚类的结果，本文使用了一种最优统计判别器贝叶斯分类器（Bayes classifier）将模式判断为具有最小风险的类别，使平均风险就将降至最低。平均风险定义为：            （5）             是属于类的模式的概率密度分布函数，是类发生的概率。将类的模

16、式X判断为类的损失为。当采取0-1风险函数时，我们的判别函数为：  （6）         各类别的出现概率可以通过观察统计的样本数据获得，算法中设定模式的概率密度函数为高斯概率密度函数。4 运动目标的匹配与跟踪计数    采用形心法3进行运动目标的匹配和跟踪45，各运动目标的形心在聚类分析后得到。目标的匹配和跟踪利用了相邻两帧图像中待匹配的目标在时间和空间上的相关性6：如目标形心运动轨迹的连续性，目标灰度的相似性等。由于目标形心轨迹的连续，则同一目标的形心在前后两帧之间的距

17、离很小，并且形心邻域周围像素的灰度具有相似性，所以定义代价函数为：         （7）                                    

18、;        D(i,j)为前后两帧图像匹配目标形心之间的距离，A(i,j)反映了两目标形心邻域周围像素的相似程度，为邻域周围像素灰度均值和方差的函数，、为加权系数。代价函数最小，则视为目标匹配成功，即同一目标在前后两帧图像应具有最小的距离和最大的灰度相似性。   定义一个模板存储上一帧图像的中心点和其邻域周围像素灰度的均值、方差，通过处理则可以得到当前图像中心点和其邻域周围像素灰度的均值、方差。利用上述的匹配方法重复进行前后两帧图像目标间的匹配，并实时更新模板的内容。这样就可以做到对于运动目标的实时

19、跟踪。根据前后两帧中心点的位置，判断运动目标是否越过计数线，对于过线的目标予以计数。系统中设置了两条计数线，这里分别标记为计     数线A和计数线B，用来记录不同方向上通过的人数，两条计数线之间的区域为跟踪区域。如果目标形心先后越过计数线A、计数线B，则由A到B方向上的人数加1；如果目标形心先后越过计数线B、计数线A，则由B到A 方向上的人数加1。经过聚类分析后的运动目标形心及计数线位置如图7所示  5 实验结果分析    在实验过程中，我们采集了几种场合的视频序列，并利用这些序列对系统进行了测试。其中实验场景2中一段视频序列测试的结果如表1所示：计算机的配置CPU：P，2.0GHz，内存：512M，  操作系统为Windows 2000。系统处理的图像大小为192×144，图像采集速率25帧/s。6 结束语    本系统已通过几个公共场所的测试，实验说明本系统可以满足实际需求。    利用图像处理来完成客流计数系统，主要优点就是图像信号非常直观，便于人为的理解。此外这种信号易于存储，便于人为的分析、比对。但是由于图像信号数据量都比较大，算法复杂度就相应较高，为满足实时性要求需简化算法。在某些