《人体行为识别概述》ppt课件

1、人体行为识别概述人体行为识别概述机器视觉团队：欧阳寒机器视觉团队：欧阳寒行为识别现状行为识别现状n VSAM(Visual Surveillance and Monitoring) 1997n IVPL实验室实验室(The Image and Video Processing Laboratory)n AIRVL实验室实验室(Artificial Intelligence，Robotics，and Vision Laboratory)n LPAC实验室实验室(Laboratory for Perception，Action and Cognition)n KNIGHT系统系统n ISCAPs(

2、Integrated Surveillance of Crowded Areas for Public Security)n REASON(Robust Methods for Monitoring and Understanding People in Public spaces)n CANTATA(Content Aware Networked systems Towards Advanced and TailoredAssistance)n 中国科学院自动化所的生物识别与平安技术研讨中心中国科学院自动化所的生物识别与平安技术研讨中心CBSRn 微软亚洲研讨院微软亚洲研讨院参考文献：监控视

3、频中的人体异常行为检测研讨行为识别前景行为识别前景n high-level video indexing and retrievaln “smart video surveillance systemsn 自动检测异常行为，辅助检索一个特定的事件。n The analysis of sport videosn 协助教练进展战略分析。识别不同的游泳风格。n Hand gesture recognitionn 虚拟现实n Human-Computer Interaction (HCI) systemsn kidsRoom、Smart room 、Facial action用于分析精神病病人的情感行

4、为。n roboticsn medical arean 辅助诊断病人的运动问题。另一个是对老年人提供远程协助。参考文献：Action Recognition in Videos:from Motion Capture Labs to the Web行为识别的流程行为识别的流程参考文献：运动人体行为分析 视频中的人体运动分析及其运用研讨 n目的的运动特征，可以用于运动表述，是行为了解等高层部分的根底。目的的运动特征，可以用于运动表述，是行为了解等高层部分的根底。n常见的运动表述方法有：运动轨迹、时空图表述和光流。常见的运动表述方法有：运动轨迹、时空图表述和光流。行为识别的流程行为识别的流程。目录

5、目录目的检测目的检测目的分类目的分类特征提取特征提取行为了解行为了解目的跟踪目的跟踪运动目的检测运动目的检测参考文献：视频中的人体运动分析及其运用研讨.nh 运动目的跟踪算法研讨综述.pdfn 对于不依赖先验知识的目的跟踪来讲，运动检测是实现跟踪的第一步对于不依赖先验知识的目的跟踪来讲，运动检测是实现跟踪的第一步n 运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动检测即为从序列图像中将变化区域从背景图像中提取出来。目的检测目的检测时间差分法时间差分法n 在延续的图像序列中两幅或三幅相邻帧之间采用基于像素的时间差分，在延续的图像序列中两幅或三幅相邻帧之间采用基于像素的时间差分，并对差

6、分结果进展阈值化处置以提取图像中的前景运动区域。并对差分结果进展阈值化处置以提取图像中的前景运动区域。n 缺陷：缺陷：n 前景、背景区域确实定与阈值的选取有很大的关系前景、背景区域确实定与阈值的选取有很大的关系n 当灰度图像序列对比度较低时，由于相邻两帧的差当灰度图像序列对比度较低时，由于相邻两帧的差(前景与背景之前景与背景之差差)的范围很小，阈值难以选取，影响前景目的的分割结果。的范围很小，阈值难以选取，影响前景目的的分割结果。n 区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞景象，区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞景象，给后续的目的分类、跟踪和识别呵斥不便。给后

7、续的目的分类、跟踪和识别呵斥不便。n 优点：优点：n 对于动态环境有较强的自顺应性对于动态环境有较强的自顺应性目的检测目的检测光流法光流法n 基于光流法的运动检测，是利用运动物体随时间变化在图像中表现的基于光流法的运动检测，是利用运动物体随时间变化在图像中表现的光流特性，经过计算位移向量光流场来提取运动目的。光流特性，经过计算位移向量光流场来提取运动目的。n 光流是空间运动物体在观测成像面上对应像素运动的瞬时速度，是空光流是空间运动物体在观测成像面上对应像素运动的瞬时速度，是空间物体可见点的三维速度矢量在成像平面上的投影，它携带了丰富的间物体可见点的三维速度矢量在成像平面上的投影，它携带了丰富

8、的运动和构造信息。运动和构造信息。n 优点：优点：n 即使在摄像机运动的情况下也能检测出独立的运动目的。即使在摄像机运动的情况下也能检测出独立的运动目的。n 缺陷：缺陷：n 由于噪声、多光源、阴影和遮挡等缘由，计算出的光流场分布并不非由于噪声、多光源、阴影和遮挡等缘由，计算出的光流场分布并不非常可靠和准确。常可靠和准确。n 多数光流法计算复杂、耗时，在实践的系统中没有特殊的硬件支持时，多数光流法计算复杂、耗时，在实践的系统中没有特殊的硬件支持时，很难实现实时检测。很难实现实时检测。目的检测目的检测背景减除法背景减除法n 最常用且有效的是背景减除法。最常用且有效的是背景减除法。n 背景减除法最简

9、单的实现方法是预先选取不含前景运动目的的背景图背景减除法最简单的实现方法是预先选取不含前景运动目的的背景图像，然后将当前图像帧与背景图像相减得到前景目的。像，然后将当前图像帧与背景图像相减得到前景目的。n 背景减除法通常在摄像机固定的情况下运用，关键是建立随场景变化背景减除法通常在摄像机固定的情况下运用，关键是建立随场景变化不断更新的背景模型。不断更新的背景模型。n 有两类常用的背景更新方法有两类常用的背景更新方法:n 1、建立背景模型并采用自顺应方法对模型参数进展调整，从而获得、建立背景模型并采用自顺应方法对模型参数进展调整，从而获得新背景图像新背景图像;n 2、从过去的一组观测图像中按一定

10、的假设选择像素值构成当前背景、从过去的一组观测图像中按一定的假设选择像素值构成当前背景图像。图像。目的分类目的分类参考文献：视频中的人体运动分析及其运用研讨人体描画人体描画参考文献：Human Motion: Modeling and Recognition of Actions and Interactions 运动跟踪运动跟踪参考文献：运动目的跟踪算法研讨综述n 运动目的的跟踪，即经过目的的有效表达，在图像序列中寻觅与目的运动目的的跟踪，即经过目的的有效表达，在图像序列中寻觅与目的模板最类似候选目的区位置的过程。模板最类似候选目的区位置的过程。n 就是在序列图像中为目的定位。就是在序列图像

11、中为目的定位。n 范例范例四种跟踪方法的比较四种跟踪方法的比较。运动目的的特征运动目的的特征参考文献：自动目的识别与跟踪技术研讨综述运动表征运动表征。行为识别行为识别n 人的行为了解与描画是指对人的运动方式进展分析和识别, 并用自然言语等加以描画. n 可以简单地以为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进展匹配. n 行为了解的关键问题是如何从学习样本中获取参考行为序列, 并且学习和匹配的行为序列可以处置在类似的运动方式类别中空间和时间尺度上细微的特征变化.行为识别方法行为识别方法基于模板匹配的方法基于模板匹配的方法n 首先将图像序列转换成一组静态外形方式n 然

12、后在识别过程中用输入图像序列提取的特征与在训练阶段预先存储的动作行为模板进展类似度比较，在比较数据可以有细微变化下识别人体行为。M H V(Motion History Volumes)基于模板匹配的方法之基于模板匹配的方法之DTWn DTWdynamic time warping动态时间规整动态时间规整n DTW是一种时变数据序列匹配方法是一种时变数据序列匹配方法n DTW 优点：概念简单、算法鲁棒，可以对图像序列进展分类。优点：概念简单、算法鲁棒，可以对图像序列进展分类。n DTW缺陷：算法计算量较大，缺乏思索相邻时序之间的动态特性，缺陷：算法计算量较大，缺乏思索相邻时序之间的动态特性，而

13、在实践中，运动序列中相邻序列在时间和空间上有高度的相关性。而在实践中，运动序列中相邻序列在时间和空间上有高度的相关性。n基于形状空间的方法基于形状空间的方法n 将图像序列中的每个静态姿态或运动形状作为一个形状节点，这些形将图像序列中的每个静态姿态或运动形状作为一个形状节点，这些形状节点之间由给定的概率联络起来。状节点之间由给定的概率联络起来。n 任何的动作序列可以以为是这些静态动作在不同形状节点中的一次遍任何的动作序列可以以为是这些静态动作在不同形状节点中的一次遍历过程，计算这个遍历过程的结合概率，取其最大值作为分类规范。历过程，计算这个遍历过程的结合概率，取其最大值作为分类规范。n 基于形状

14、空间的方法曾经被广泛运用于预测、估计和检测时间序列。基于形状空间的方法曾经被广泛运用于预测、估计和检测时间序列。基于形状空间的方法基于形状空间的方法HMM隐马尔可夫模型的根本构造隐马尔可夫模型的根本构造基于形状空间的方法基于形状空间的方法DBNsn 动态贝叶斯网络动态贝叶斯网络(dynamic Bayesian networks，DBNs)n 由于由于HMMs不能有效处置三个或三个以上独立的过程，作为不能有效处置三个或三个以上独立的过程，作为HMMs的推行方法。的推行方法。n 是一种对随机过程描画的有向图解是一种对随机过程描画的有向图解n 利用先验知识建立视觉特征之间的因果关系来处置视频处置中

15、固有的利用先验知识建立视觉特征之间的因果关系来处置视频处置中固有的不确定性问题。不确定性问题。n 优点：优点：n 可以恣意改动拓扑结果或增删变量以反映变量间各种不同的关联关系，可以恣意改动拓扑结果或增删变量以反映变量间各种不同的关联关系，而不影响训练算法本身，因此具有良好的可解释性，其拓扑构造具有而不影响训练算法本身，因此具有良好的可解释性，其拓扑构造具有准确及易于了解的概率语义。准确及易于了解的概率语义。n 相比马尔可夫链，贝叶斯网络训练比较复杂。相比马尔可夫链，贝叶斯网络训练比较复杂。基于形状空间的方法基于形状空间的方法ANNn 人工神经网络是由人工建立的以有向图为拓扑构造的动态系统，它经

16、人工神经网络是由人工建立的以有向图为拓扑构造的动态系统，它经过对延续或断续的输入作形状呼应而进展信息处置，在分析时变数据过对延续或断续的输入作形状呼应而进展信息处置，在分析时变数据时具有很大的优势。时具有很大的优势。n 缺陷：需求用大量的数据来训练网络缺陷：需求用大量的数据来训练网络n TDNN(time-delay neural network)时延神经网络时延神经网络n 是在多层前馈感知器神经网络模型中引入时延单元使得神经网络添加是在多层前馈感知器神经网络模型中引入时延单元使得神经网络添加记忆功能；记忆功能； n 时变序列的前述值被用来预测下一个值。由于大量数据集成为能够，时变序列的前述值

17、被用来预测下一个值。由于大量数据集成为能够，时延神经网络的重点就可以放在时分信息的表达时延神经网络的重点就可以放在时分信息的表达n 这样由此导出的神经网络模型合顺运用于处置序列数据。这样由此导出的神经网络模型合顺运用于处置序列数据。基于形状空间的方法基于形状空间的方法SVMn 支持向量机支持向量机(support vector machine，SVM )n 优点：优点：n 可以较好地处理常见的非线性分类问题中的小样本、非线性、高维数可以较好地处理常见的非线性分类问题中的小样本、非线性、高维数和部分极小点等实践问题和部分极小点等实践问题n 可以防止神经网络构造选择和部分极小点问题可以防止神经网络

18、构造选择和部分极小点问题两种方法比较两种方法比较n 模板匹配方法的优点是计算复杂度低、操作和实现简单，但缺乏思索模板匹配方法的优点是计算复杂度低、操作和实现简单，但缺乏思索运动序列中相邻时序之间的动态特性，对于噪声和运动时间间隔的变运动序列中相邻时序之间的动态特性，对于噪声和运动时间间隔的变化相当敏感。化相当敏感。n 形状空间方法虽然能抑制模板匹配的缺陷，但通常涉及到复杂的迭代形状空间方法虽然能抑制模板匹配的缺陷，但通常涉及到复杂的迭代运算，算法的步骤较为复杂，难以运用到实践任务中。运算，算法的步骤较为复杂，难以运用到实践任务中。基于语义的描画方法基于语义的描画方法n 用一种方式化的语法格式：

19、主语人、谓语人的动作、宾语用一种方式化的语法格式：主语人、谓语人的动作、宾语实物，将场景中人的活动情况用填空的方式填入语法格式中，产实物，将场景中人的活动情况用填空的方式填入语法格式中，产生对场景的自然言语描画。生对场景的自然言语描画。n 基于语义描画的方法是对在一段继续时间内场景内容的分析过程基于语义描画的方法是对在一段继续时间内场景内容的分析过程n 目前还处于对场景中人体行为的简单语义解释目前还处于对场景中人体行为的简单语义解释n 对复杂场景中人体复杂行为有效的充分的语义描画还有相当艰巨的任对复杂场景中人体复杂行为有效的充分的语义描画还有相当艰巨的任务要做务要做行为的分层模型行为的分层模型

20、n 常用的概念常用的概念n pose、actions、activitiesn action/motor primitivesn Human action recognitionn Motion analysisn Action detectionn Automatic Target Recognitionn Behavior understandingn visual analysis行为识别难点行为识别难点n 运动分割运动分割Motion Segmentation n 人体建模人体建模n 遮挡问题遮挡问题n 多摄像机的运用多摄像机的运用n 运动特征选择与表达运动特征选择与表达n 行为识别行为

21、识别n 高层行为与场景了解高层行为与场景了解n 性能评价性能评价行为识别的热点行为识别的热点n 音频与视觉相结合的多模态接口音频与视觉相结合的多模态接口n 行为了解与生物特征识别相结合行为了解与生物特征识别相结合n 人的运动分析向行为了解与描画高层处置的转变人的运动分析向行为了解与描画高层处置的转变常用数据库常用数据库n KTH human motion datasetn Weizmann human action datasetn INRIA XMAS multi-view datasetn UCF sports action datasetn Hollywood human action datasetn CASIA顶级会议顶级会议n ICCV(IEEE International Conference On Computer Vision)n ICPR(IEEE Conference on Computer Vision and Patte