基于关键点梯度特征描述的人体行为识别算法.doc

基于关键点梯度特征描述的人体行为识别算法摘要：提出一种新的人体行为识别方案并进行了算法实现。通过对视频序列在空间上高斯滤波，在时间轴向上gabor滤波，提取出视频序列的关键点，对每个关键点邻域2020的区域使用梯度位置朝向直方图进行描述，描述的序列可以表征视频序列的特征。与其他人体行为识别算法比较，不需要标记特定的特征区域和比较耗时的聚类算法，构建单个支持向量分类器即可达到好的识别率，算法简单有效。关键词：关键点检测； 梯度位置朝向直方图； 人体行为识别； 支持向量机引言基于视觉人体运动的分析在智能监控、高级人机交互、虚拟现实和基于内容的视频检索分析等方面有广泛的应用前景和潜在的经济价值，已经成为计算机领域中备受关注的研究方向1。行为识别可以看作是在空间中时变数据的分类问题，即将测试序列和标记的典型行为的参考序列进行相似性度量，但是人体运动同一行为速度、方向和尺度有可能有变化，好的算法应该能处理相似行为模式在时空中的微小变化。从对人体行为的特征选取，人体行为识别方法可分为2方面：结构化的数据特征（如人体的轮廓序列，人体的躯干分布和人体的局部区域的时间特征）和非结构化的数据特征（如图像人体区域的角点检测、行为序列的关键点检测）2。从这两方面看，前者多借助于图像图形处理的方法，而后者多借助于原始信号处理的方法。本文采用非结构化的数据特征，原因在于其关键点检测没有像图像图形处理那么复杂。用时空关键点表征视频序列，在研究初期存在许多对静态图像的关键点提取3，对在视频中的时空关键点检测较少。直到2005年laptev等人提出基于harris and frstner兴趣点算子的时空关键点检测器4，虽然这种方法检测到一些时空关键点，但是只产生了少数稳定的关键点不足以描述复杂视频序列的特征。同时dollr等人提出一种基于分离线性滤波器集合的时空关键点检测器5，这种方法不仅使得人体局部区域表征人体复杂的运动模式，而且在关键点的临近视频块中可以生成大量的描述子。ke等人提出了时空测定体积的特征扫描视频序列，这种方法通过运动矢量检测关键点，而运动矢量需要对光流密集的估计，计算量大不能满足通用的实时性6。oikonomopoulos等人把在空间图像上的特征区域扩展到时空情景中，2个时空特征点集通过chamfer距离比较，得到较好的实验结果78。由上文可知基于分离线性滤波器集合的时空关键点检测器，具有描述复杂人体行为的模式的优势和产生丰富的特征描述子的特性，在最近的研究得到了进一步的扩展应用。文献6，8中，利用分离线性滤波器集合得到关键点，获取关键点区域的梯度信息，然后在区域的立方体中获得特征描述，再将这些立方体中的特征聚类，使用svm(support vector machine)或lda（latent dirichlet allocation）进行分类得到较好的人体行为分类结果。但是文献6特征学习需要关键点的标记，文献8中运用的聚类算法对多类人体行为非常耗时。1本文算法介绍本文实现了一种新的简单有效的人体行为识别算法，不需要预先标记特定的特征区域，也不需要比较耗时的聚类算法预分类。首先使用分离线性滤波器将视频序列中的人体行为运动剧烈的关键点提取出来，然后在这些关键点的2020的区域中使用梯度位置朝向直方图进行描述，描述序列可以构成描述一种行为的特征向量，使用基于核函数的svm多分类器，取得良好的识别结果。算法流程如图1所示。图1算法流程图2视频序列中人体行为关键点检测关键点的检测最初是用于图像的匹配，而且随后发展成为图像匹配一种主要的方法。但是对静态图像的关键点的检测与对视频序列的关键点检测有很大区别。前者只是检测静态图像的边缘和角点，反映静态图像中不确定目标对象的关键点（如sift,scale invariant feature transform），而后者检测的是视频序列中确定人体行为的运动关键点。本文应用的是分离线性滤波器对视频序列的人体行为进行检测。分离线性滤波器本质是多个滤波器联合处理相关数据信息。对于视频序列的人体行为，可以用多各不同尺度高斯滤波来处理视频序列每一帧图像，即所谓的空间信息滤波，用gabor滤波来处理空间相同位置时间不同的视频数据信息。本文所用的高斯滤波函数为：g(x,y;)=122e(x2+y2)/22（1）式中：(x,y)为视频图像空间的坐标；为高斯滤波的尺度。在时间上的滤波函数用一维gabor正交对函数：hev(t;)=cos(8t/)et2/2 （2）hod(t;)=sin(8t/)et2/2（3）式中：t为时间的维数；为gabor滤波的尺度。分离线性滤波器对视频数据处理会得到输出响应，响应函数：r=(i*g*hev)2+(i*g*hod)2（4）对于视频片段取固定的空间滤波尺度和时间滤波尺度，每个帧图像的每个像素点都会得到输出响应，为了简便取每一帧最大的输出响应为关键点的所在位置。那么这样是否能表征人体行为的特征，在weizmann行为数据库中以shahar的10种行为视频作为检测对象。这十种行为是:弯腰、四肢伸展跳跃、跳跃前行、原地跳跃、跑、侧行、单腿跳行、走、单臂挥动、双臂挥动。如图2所示，图中的白点为检测到的关键点，实验时把视频片段的所有帧关键点叠加到一帧图像中，可以看到有非常明显的行为模式，但是有的关键点检测到人体运动范围以外，统计得到这部分点不到5%不影响整体行为模式的表达。图2人体动作关键点检测3关键点区域梯度特征描述在检测确定人体行为的关键点后，近一步需要确定人体行为特征向量。特征向量的提取主要分为2个步骤：人体图像帧关键点区域梯度位置朝向直方图的获取；特征向量的选择和归一化处理。获得梯度位置朝向直方图，首先要计算图像关键点及其领域的像素点的梯度。图像的梯度可使用2个滤波器(-1,0,1)和(-1,0,1)t对图像进行水平和垂直方向进行滤波,获得水平和垂直方向的梯度。由于人体运动状态时刻变化，所以图像帧容易受到噪声的影响。在进行梯度计算时首先要做相关的平滑处理，而进行关键点检测时空间滤波使用高斯滤波本身就相当于给图像帧做平滑处理，这里直接应用即可。根据图像各点在水平和垂直方向上的梯度值dxi和dyi,计算出各点梯度的幅值mi和方向i。mi=d2xi+d2yi （5）i=tan1(dyi/dxi)（6）考虑到视频图像中人体行为有效梯度信息都集中在人体运动最剧烈的像素附近,关键点区域可能完全落在人体运动区域外没有意义的区域。因此,为降低局部噪声的影响,去除关键点区域图像局部细小的波动特征,需要对梯度的幅值进行限定。为计算梯度朝向直方图,图像中梯度的方向角也被归并为8个方向。得到关键点区域梯度后，假设一个序列长度l， 可以确定l各区域。使用区域内各点的梯度作为权向量，计算各区域内不同梯度朝向的直方图hk：hk=j=1,2,8j,iqlmi （7）式中：l为关键点区域的数目；ql表示第l各区域内所有的像素点；j为并归后当前梯度方向。最后将各个视频图像帧人体行为区域的梯度朝向加权直方图进行归一化处理，通过各个值除以直方图的最大值，映射到0,1区间内作为该区域的特征向量。整个人体行为可以用序列各关键点区域特征联合描述。为保留行为的空间和时间信息，将各个区域的特征向量按固定顺序排列成一个行向量:d=h1,h2,hl（8）描述整个人体行为的特征向量的维数为ln,n为梯度朝向的归并数目9。4人体行为的多类识别支持向量机具有完美的数学形式、直观的几何解释和良好的泛化能力，解决了模型选择与欠学习、过学习问题以及非线性问题，避免了局部最优解，有效地克服了“维数灾难”，且人为设定参数少，便于使用，已经成功的应用于许多分类、识别和回归问题1011。设给定样本集xirn，输出分类结果yi1,1，i=1,2,l和核函数k(xi,xj)。k对应特征空间z中的内积，即(xi),(xj)=k(xi,xj)。变化:xz将样本从输入空间映射到特征空间。设计基于svm的分类器就是在z中寻找一定意义下的最优超平面w,(x)b=0。具体来说就是样本集在z中线性可分，使得分类间隔最大，求条件：yi(w,(xi)b)1,i=1,2,l时下式的解：minw,b,12w2（9）当样本在z中线性不可分时，使分类间隔和分类错误达到某种折中。求条件：yi(b)1i，i0,i=1,2,l时下式的解：minw,b,12|w|2+cli=1i（10）式中：i为松弛变量；c为正则化参数。本文中取核函数为高斯径向基函数：k(xi,xj)=exp(xixj2/2)（11）以上针对2类的分类过程，要实现多类人体行为的分类，需要构建基于svm的多分类器。构造若干个svm二值分类器是解决多值分类的最基本的方法，这类方法目前主要有2种分支算法，1对多（oneagainstrest，简称1ar）算法和1对1(oneagainstone，简称1a1)算法。1ar算法定义：对于n类问题，构造n个2类分类器，第i个分类器用第i类训练样本作为正的训练样本，将其他类的训练样本作为负的训练样本，此时分类器的判决函数不取符号函数，最后的输出是n个2类分类器输出中最大的那一类。本文实验就是基于此方法构建的svm的人体行为分类器。5实验结果分析本文实验使用weizmann行为数据库对算法进行分析测试，weizmann行为数据库包括9个人体的10种行为，每个人体有10种行为的视频片段。这些视频片段长度不一致，如果取视频序列的整体提取特征会使得特征长度不一致，而且人体的行为在运动有一定的重复性。所以取多少维的特征向量和最优分类器参数（c，）影响着分类计算的时间和分类器的泛化能力。根据人体行为的时空连续性，取特征区域的数目l从10到33（选取最佳区域数目）。在进行分类参数选择时，将样本分随机的十组，设定（c，）的搜索区间为（c：0.0011 000，：0.0011 000）,进行交叉比对测试,通过所有交叉检验准确率(cva,cross validation accuracy)平均值最高的分类器的(c,)的值作为最优参数。实验取训练样本200个，测试样本100个，表1为各种行为在特征区域的数目l为10，20，30和最优参数(c,)下最高识别率。表1中l为特征区域的数目，sbl为识别率，xw为行为种类。由上表兼顾计算量实验取30个特征区域，最优参数(c,)取各识别情况下均值即（0.98，1.23），重新构建分类器平均识别率可达81%以上，识别的平均时间在0.2 s左右。在识别过程中一些行为模式比较复杂如跑与侧行涉及到的身体运动不是一个关键点能够表达的，所以识别率比较低，影响平均识别率下降。但是算法有较明显的优势，与文献3，56识别算法比较，关键点特征选取不需要标记特定的特征区域; 与文献5，8识别算法比较,不需要耗时的聚类算法进行特征的预处理，构建单个支持向量多分类器即可达到较好的识别率。6结语本文提出了一种新的人体行为识别方案，首先使用分离线性滤波器将视频序列中的人体行为运动剧烈的关键点提取出来，无需特别的标注。然后在这些关键点的2020的区域中使用梯度位置朝向直方图进行描述，描述序列可以构成描述一种行为的特征向量，无需对这些特征向量聚类，直接使用基于核函数的svm多分类器，取得良好的识别结果。在下一步工作中，将需求更加可靠的特征取代梯度特征描述，降低特征向量维数，提高算法性能。表1不同特征区域的数目下各种行为识别测试对比%xwsbll102030bend1008880jack60100100jump569196pjump409699run648589side709598skip586578walk789497wave1558892wave2889599参考文献1凌志刚,赵春晖,梁彦,等.基于视觉的人行为理解综述j.计算机应用研究,2008,25(9):25702578.2蔺广逢,张二虎,顾桓,等.基于功率谱密度的人体运动状态检测 j.计算机应用,2008,28(5):12691271.3schmid c, mohr r, bauckhage c. evaluation of interest point detectors j. international journal of computer vision, 2000, 2(37): 151172.4laptev i. on spacetime interest points j. international journal of computer vision, 2005, 64(2/3): 107123.5dollaka r p, rabaud v, cottrell g, et al. behavior recognition via sparse spatiotemporal features c/ proceedings of 2nd joint ieee international workshop on visual surveillance and performance evaluation of tracking and surveillance. s.l.: ieee, 2005: 6572.6ke y, sukthankar r, hebert m. efficient visual event detection using volumetric features c/ proceedings of the tenth ieee international conference on computer vision. los alamitos: ieee computer society, 2005: 166173.7oikonomopoulos a,