一种面向监视场景的斗殴行为快速检测算法行为场景

一种面向监视场景的斗殴行为快速检测算法行为场景 摘要:针对监视场景的斗殴行为检测精度低和速度慢的问题,本文提出了一种基于运动矢量的斗殴行为快速检测方法。该方法首先分析了斗殴行为和正常行为的运动矢量统计特性差异,采用三帧差分法分割运动区域,采用改进的三步搜索算法计算运动矢量;然后从运动矢量的模值和方向中提取运动特征,使用联合高斯隶属度函数对特征参数进行归一化,采用加权平均的方式进行特征融合;最后提出了平均最大暴力指数AMRI的概念,实现监视场景中斗殴行为的判定。实验表明,该方法能够实时检测出95%左右的斗殴行为。 关键词:监视场景 斗殴行为 运动矢量 平均最大暴力指数 中图法分类号:TP391.4:A : 1 引言 近年来,安全问题日益受到社会的高度关注,监视场景斗殴行为检测成为新兴的研究方向。如Datta等1分析人体主要部分(头、四肢)的加速度和方向,文献2计算人体轮廓边界点到质心的距离,来检测异常行为。但由于需要提取人体的精确轮廓,仅能在人员较少的情况下工作。Nam J等3提取视频镜头暴力场面的颜色和声音特征,但仅能检测出开枪、流血、爆炸等特殊场景。Mecoi等4计算运动区域在时-空间颜色变化来检测暴力行为,但对监视环境的适应性不强。Hayashi等5从光流信息中提取运动速度和方向等信息来判定暴力行为,但计算复杂且检测精度较低。 针对监视场景的斗殴行为检测精度低和速度慢的问题,本文提出了一种基于运动矢量的斗殴行为检测方法。实现流程如图1所示。 2 斗殴行为的运动特征 斗殴行为具有一些较为明显的特征:人与人之间的距离较近,人体轮廓相互重叠较多,运动部位间的遮挡和被遮挡现象频繁,某些部位(如手臂、武器和脚等)具有较快的运动速度;同时,场景通常会显得非常混乱。 运动矢量携带了大量有用的运动信息,如运动轨迹、速度、方向等。斗殴行发生时,某些运动矢量的模值会更大,运动矢量的方向会更散乱,运动矢量的残差会增大。图2(a)的图像序列的左半部分是两人正在殴斗,右半部分是3个人准备上前劝解。沿图示虚线分别提取图像左右部分的运动矢量并统计其分布,结果如图2(b)、(c)所示。可以看出,斗殴行为运动矢量的模值和方向偏差大,分布更为散乱。 3 基于运动矢量的斗殴行为检测算法 3.1 运动区域分割 本文采用三帧差分法检测运动目标,并对运动目标进行合并和标识操作: step1 使用中值滤波消除孤立运动点; step2 运动区域的合并。采用数学形态学中的膨胀和腐蚀操作,去除图像的“孔洞”,合并一定间距范围内的运动目标; step3 运动区域标识。采用8-邻接连通运动区域;计算运动区域的运动像素数目,使用预设阈值剔除运动像素数目过少的运动区域。 (1) 其中,Ni代表第i个运动区域运动像素的个数。 3.2 运动矢量计算 采用改进的三步搜索算法ITSS 6计算运动矢量,该算法充分考虑运动矢量偏向中心分布的特性,采用新设计的大小菱形搜索模板,减小了计算复杂度,提高了运动估计精度。 step1 如图3所示,搜索17个“”点,求取最小误差MBD的位置。若MBD点在搜索窗的中心,则算法结束;若MBD点在大菱形模板上,则进行step2,否则进行step3。 step2 以MBD点为中心,重复使用小菱形模板进行搜索,直到MBD点位于搜索窗中心。 step3 搜索步长减半,确定新的MBD点,直到步长等于1,算法结束。 3.3 运动特征提取 从统计的角度看,斗殴行为运动矢量的模值、残差会更大,运动方向趋于散乱。本文主要从运动矢量的模值和方向中提取以下5种特征参数: 1.一致度因子fU 设某运动区域有M个运动幅度不为0的运动矢量,第i个宏块的运动矢量为(Vxi, Vyi)。计算运动矢量在x、y方向上的均值(、): , (2) (3) 其中,为固定系数,可通过实验确定。 2.模值的均值MR和均方差R 先使用公式(4)计算各运动矢量的模值Ri: (4) 然后计算运动矢量模值的均值MR和均方差R: (5) (6) 3.方向熵Eo和最小方向均值Mo step1将0360度划分为N个方向,分别用0N-1进行标记,对运动矢量的方向进行归一化,统计各方向上运动矢量出现的概率,称为归一化运动方向直方图H(),如图4所示。 Step2通过H()计算运动方向的熵Eo: (7) 式中,pi为运动矢量第i个方向上的概率。 Step3计算最小方向均值Mo。H()中第i个方向与方向j的相对方向ij: 8) 则第i个方向的相对方向均值为: 3.4 斗殴行为判定 使用联合高斯型隶属度函数对特征参数进行归一化处理。 (11) c,分别表示高斯函数的均值和均方差。 采用加权求和方式对特征参数进行融合,称之为区域暴力指数RVI: (12) 式中,0wi1,表示第i个特征参数的权值,可通过实验确定。fi=fU、MR、R 、Eo、Mo。 选取图像中最大的RVI来表征当前帧,定义为最大暴力指数MVI: (13) 使用多帧MVI的均值可有效降低误警率,称之为平均最大暴力指数AMVI: (14) 使用固定阈值对的AMVI进行判定: (15) 如果flag=1,判定场景中有斗殴行为发生,可发出警报或进行其它处理。 4 仿真实验及分析 视频源为112个监视视频录像,其中,斗殴行为片段34个,正常行为片段78个,每段长度约为1015秒。斗殴行为持续310秒。图像大小为240320,播放速度为25帧/秒。 图5画出了帧间隔为10帧时视频源的AMVI曲线。根据时间、场地和拥挤程度对视频源进行分类,统计系统误警率,如表1所示。可以看出,算法对监视场景具有较强的鲁棒性,虚警率控制在10%左右时,可以检测出95%左右的斗殴行为。 算法的运算量主要集中运动区域分割和运动矢量计算两个步骤。运动区域分割时,需要对图像进行3次逐点操作,5mn 次加减法运算(图像大小为mn);计算运动矢量时,本文算法的计算量约为经典三步搜索算法(TSS)运算量的1027%。采用VC+6.0编程,在Celeron 1.8GHz CPU、512M内存的计算机上,对运动区域约占整幅图像的2040%的视频录像,本算法能够以2帧的帧间隔实时检测斗殴行为。 5 结语 本文提出了一种面向监视场景的斗殴行为快速检测方法,该方法用三帧差分法分割运动区域,采用ITSS算法计算运动矢量;从运动矢量的模值和方向中提取运动特征,使用联合高斯隶属度函数归一化特征参数,采用加权平均的方式融合特征;通过固定阈值判定监视场景中是否存在斗殴行为。实验表明,该方法检测精度较高,能够实现实时检测。但该方法仅能适用于摄像机完全静止状态下的斗殴行为检测。 _ 1 Datta A., Shah M., etc., Person-on?Person Violence Detection in Video Data, ICPR, Vol. 1, xx. 2 Xinyu WU, etc, A Detection System for Human Abnormal Behavior, the Research Grants Council of the Hong Kong Special Administration Region, xx. 3 Nam J., etc., Audio-visual content- based violent scene characterization, ICIP, 1998, pp 353-357. 4 Mecoi A., Micheli F., Real-Time Automatic Detection of Violent-Acts by Low-Level Color Visual Cues, xx IEEE, 1-4244-1437-7/07/. 5 Hayashi K., Seki M., Hirai T., Koichi T., Real-time Vio