（信号与信息处理专业论文）人体行为识别技术研究.pdf

research on human behavior identification technology a thesis submitted to chongqing university in partial fulfillment of the requirement for the degree of master of engineering by zhang jing supervised by prof. yin yong major: signal and information processing college of communication engineering of chongqing university, chongqing, china april 2011 重庆大学硕士学位论文 中文摘要 i 摘 要 视频序列中的运动人体检测与行为识别是一项涉及计算机视觉、模式识别及 人工智能等多领域的研究课题，因其在商业、医疗和军事等领域中广泛的应用价 值，一直是人们研究的热点。然而，因为人体行为的多样性和非刚性及视频图像 固有的复杂性，所以要提出一种稳健而又实时准确的方法仍然是一个极具挑战的 工作。 本文主要对人体运动目标的检测和行为识别技术进行研究。在运动目标检测 方面，采用 k 均值聚类的思想对混合高斯模型进行初始化，节约了存储空间并使 初始化的高斯模型更符合背景场景模型。根据场景中不同区域不同时间所需要的 高斯模型的个数不同，对混合高斯模型中高斯成分的个数进行了自适应的选择， 将多余的高斯成分去除，节约了存储空间并提高了检测的速度。在运动目标阴影 检测和去除时，针对现有阴影检测方法的不足，提出采用勿需提前设定阈值的改 进的自适应阴影检测方法，在阴影检测时，采用只对混合高斯模型检测出的可能 为运动目标或阴影的区域进行阴影的判断和去除。既保证了阴影检测的准确性， 又能提高算法的实时性。 针对现有基于 radon 变换的特征提取和运动描述不具有缩放不变性的不足， 提出采用改进的 radon 变换提取视频序列每一帧中运动人体区域最小外接矩形的 radon 变换特征，并提取外接矩形的高宽比。该方法不仅具有平移不变性，而且具 有缩放不变性。在特征提取和运动描述之前不再需要缩放归一化处理，使特征的 提取和运动的描述更具有鲁棒性。有利于后续人体行为分析识别。论文提出了一 种基于分段二维主成分分析（分段 2dpca）的人体行为识别方法。提高了行为识 别的鲁棒性和准确性。实验结果表明，采用本文方法可以有效的进行人体行为识 别，不仅在识别率上有了较大的提高，而且在识别时间上也有较明显的降低。 关键词：关键词：行为识别，分段二维主成分分析，radon 变换，运动目标检测 重庆大学硕士学位论文 英文摘要 ii abstract moving human body detection and behavior identification in video sequences is a task related to video image processing, computer vision, pattern recognition, artificial intelligence and other areas. it is an important research topic in recent several years because of its widely application in business, medical and military fields. since human behavior is diverse and non-rigid and video image is very complex, research on a truly robust algorithm of human activity recognition is still a challenging task. in this paper, moving human body detection and behavior identification is researched. for the moving objects detection, gaussian mixture model is initiated by k-mean clustering, which saves storage space and makes the initial gaussian mixture model more conform to the background. because different time and areas in the scene need to the different number of gaussian model, gaussian composition of the gaussian mixture model is chosen adaptively. redundancy gaussian components are removed to save storage space and improve the detection speed. when the shadow is detected and removed, in order to overcome the disadvantages of the present shadow detection and remove method, an improved shadow detection method is proposed. it neednt set threshold in advance and only detects moving target or shadow region that is detected by gaussian mixture model and removes shadow. the accuracy of shadow remove is improved and processing time is decreased. in order to solve the scaling sensitivity of radon transformation, an improved radon transformation is used to extract radon features of minimum enclosing rectangle of motion human for every frame of video sequence. and the height-width ratio of the rectangle is extracted. the improved radon transform is the invariant to translation, rotation and scale change. therefore, normalized processing of size is not needed before feature extraction and motion description, which is more robust and benefits to the following human behavior analysis. when human behavior is recognized, a human behavior recognition method based on subsectional two-dimensional principal component analysis (subsectional 2dpca) is proposed. the robustness of behavior identification is improved. the experimental results show that the proposed method can effectively identify human behavior and has low computation and higher recognition rate. 重庆大学硕士学位论文 英文摘要 iii keywords: human activity recognition, subsectional two-dimensional principal component analysis, radon transform, motion object detection 重庆大学硕士学位论文 目 录 iv 目 录 中文摘要中文摘要 . i 英文摘要英文摘要 . ii 1 绪绪 论论 . 1 1.1 课题研究的背景及意义课题研究的背景及意义 . 1 1.2 国内外研究现状概述国内外研究现状概述 . 1 1.2.1 运动目标检测 . 2 1.2.2 运动目标阴影检测和去除 . 3 1.2.3 特征提取和人体运动描述 . 4 1.2.4 人体行为分析识别 . 4 1.3 行为分析识别的常用公共数据库行为分析识别的常用公共数据库 . 5 1.4 论文的主要研究内容论文的主要研究内容 . 6 1.5 论文的结构安排论文的结构安排 . 7 2 运动目标检测运动目标检测 . 8 2.1 运动目标检测的常见方法运动目标检测的常见方法 . 8 2.1.1 背景减除法 . 8 2.1.2 帧差法 . 9 2.1.3 光流法 . 9 2.2 基于高斯模型的运动目标检测基于高斯模型的运动目标检测 . 10 2.2.1 单高斯模型 . 10 2.2.2 混合高斯模型 . 12 2.3 改进的混合高斯模型改进的混合高斯模型 . 15 2.3.1 混合高斯模型初始化的改进 . 15 2.3.2 参数更新 . 16 2.3.3 混合高斯分布个数的自适应 . 17 2.4 本章小结本章小结 . 18 3 运动目标阴影检测与运动目标阴影检测与去去除除 . 19 3.1 阴影产生原理阴影产生原理 . 19 3.2 基于基于 rgb 色彩空间的阴影检测色彩空间的阴影检测 . 20 3.2.1 差分算子阴影检测 . 20 3.2.2 协方差差分算子阴影检测 . 20 3.3 基于基于 hsv 空间的阴影检测空间的阴影检测 . 21 3.4 改进的阴影检测方法改进的阴影检测方法 . 22 重庆大学硕士学位论文 目 录 v 3.5 本章小结本章小结 . 25 4 特征提取与运动描述特征提取与运动描述 . 26 4.1 基于基于 radon 变换的特征提取变换的特征提取 . 26 4.1.1 radon 变换原理 . 27 4.1.2 radon 变换改进 . 29 4.2 运动描述运动描述 . 30 4.3 本章小结本章小结 . 31 5 人体行为识别人体行为识别 . 33 5.1 二维主成分分析原理二维主成分分析原理 . 33 5.2 基于分段二维主成分分析的人体行为识别方法基于分段二维主成分分析的人体行为识别方法. 34 5.2.1 分段二维主成分分析原理 . 35 5.2.2 训练阶段 . 36 5.2.3 测试阶段 . 37 5.3 实验验证及结果分析实验验证及结果分析 . 38 5.4 本章小结本章小结 . 41 6 工作总结与展望工作总结与展望 . 42 6.1 工作总结工作总结 . 42 6.2 展望展望 . 42 致致 谢谢 . 44 参考文献参考文献 . 45 附附 录录 . 50 a作者在攻读硕士学位期间发表的论文目录作者在攻读硕士学位期间发表的论文目录 . 50 b作者在攻读硕士学位期间参加的科研项目目录作者在攻读硕士学位期间参加的科研项目目录 . 50 c作者在攻读硕士学位期间获得的奖励目录作者在攻读硕士学位期间获得的奖励目录 . 50 重庆大学硕士学位论文 1 绪 论 1 1 绪 论 1.1 课题研究的背景及意义 随着社会的发展，人们生活的进步，人们对安全问题越来越关注，视频监控 系统的需求也正爆炸式的扩张，如停车场、超市、银行、厂矿等安有监控装置， 但目前监控系统并不能实时主动地进行监控。因为它们通常是将摄像机采集的视 频图像存储下来，异常情况发生后，人们才对记录的结果进行观察分析，进而知 道发生的事实。现迫切需要一种监控系统能够 24 小时的连续实时监视，并自动分 析摄像机捕捉的图像数据进行有效的人体行为分析识别。进而当有异常情况发生 时，系统能够向保卫人员准确及时地发出报警，从而避免犯罪等异常情况的发生。 用监控系统来协助人甚至代替人来完成监控任务，可以减少因雇佣监视人员而进 行的人力和财力的投入。此外，如果长时间记录无运动图像，存储的信息极少， 就失去了存储的意义并且也是对视频监控系统存储资源的浪费。因此，传统的监 控系统浪费大量的人力而且很可能造成漏警，实时监控性能差。监控系统如能够 实时对人体行为进行分析识别不仅可以代替监视人员的部分工作，提高监视系统 的自动化水平，也可提高监控存储的效率，在视频监控系统中有广泛的应用前景 和潜在的经济价值。 人体行为检测与识别技术除了在智能监控系统中具有有广泛的应用前景和潜 在的经济价值外，在医学、虚拟现实、视频会议等也有很重要的应用价值。如目 前的步态分析研究，可以为医学诊断与治疗提供支持，从而做出积极有效的治疗。 综上所述，人体行为检测与识别技术研究具有广泛的应用前景和潜在的经济 价值，所以开展这方面的研究有着非常重要的社会和经济意义。 1.2 国内外研究现状概述 因人体行为具有很大的自由度，因人体衣着宽松程度和款式的不同及距离图 像采集设备远近位置的不同其外观表现会有很多的差异等，故人体行为分析识别 具有一定的难度。但因人体行为实时分析识别作为智能监控系统的关键技术以及 其在医学、安保、虚拟现实、军事等的广泛应用前景和潜在的经济价值，受到国 内外研究机构和学者的日益关注，并且在许多国际著名期刊和会议上进行专题讨 论。美欧等国已经开展了大量的相关项目的研究。如美国国防高级研究项目署于 1997 年设立的重大项目 vsam(visual surveillance and monitoring)1， 主要致力于研 究战场和民用场景中基于视频的视频理解技术；ibm 和 microsoft 等公司也正逐渐 的将基于视觉的手势识别技术应用到其商业领域。实时视觉监控系统 w42已经能 重庆大学硕士学位论文 1 绪 论 2 够实现定位及分割出运动人体并且能够进行多人的跟踪，而且能检测出人是否携 带物体等简单行为；欧盟程序委员会 framework5 于 1999 年设立的重大项目 advisor 系统3，主要对人体行为模式和人机交互等进行研究，为了开发一款用 于公共安全的安全管理系统；darpa 在 2000 年又资助了远距离人体行为识别 (human identification at a distance)项目4，主要研究用于国防和民用等预防恐怖袭 击的多模式监控技术； 英国雷丁大学5先后开展的项目 reason(robust methods for monitoring and understanding people in public spaces)、etise(evaluation of video scene understanding)、iscaps(integrated surveillance of crowded areas for public security)等，主要研究视觉图像中人体行为的识别和场景理解等；此外还有 pfinder(person finder)6系统，该系统能够对人进行实时的跟踪和行为理解，及项目 avitrack(aircraft surroundings, categorized vehicles & individuals tracking for aprons activity model interpretation & check)7，是由欧盟及奥地利共同资助的科研 项目，该项目主要对视频监控技术进行研究等。国内在该领域研究的机构主要有 中国科学院自动化所模式识别国家重点实验室8、亚洲微软研究院9、北京大学视 觉与听觉信息处理国家重点实验室10，大学在该领域进行研究的主要有清华大学、 浙江大学等。虽然开始时间相对要晚，但也对人视觉分析中的关键技术进行了深 入的研究。 人体行为识别11主要是对包含人的运动图像序列进行分析处理，通常涉及到 运动目标检测12,13、运动目标阴影的检测与去除14、特征提取与运动描述15和人 体行为分析识别16等四个过程。下面我们从上述四个方面对人体行为识别技术的 研究现状进行阐述，并对人体行为识别技术的热点难点进行讨论。 1.2.1 运动目标检测 进行人体行为分析识别首先要进行运动人体的检测。运动人体检测的目的是 将运动人体从背景中精确提取出来，它是人体行为识别分析的基础。现有图像序 列的运动检测算法由于其应用范围的不同，通常采用不同的方法。通常运动目标 检测方法有三种方法：帧差法17、背景减除法18和光流法19。帧差法即在连续的 图像序列中相邻两帧或三帧之间采用基于像素的差分并且阈值化来提取运动区 域。帧差法进行目标检测的优点是能够反映视频图像中背景的实时变化，但检测 结果容易产生“重影”或“空洞” 。背景减除法是将当前帧与参考背景图像的差分 来检测运动区域。背景减除法能够检测到比较完整的运动目标区域，但需要建立 合适的背景更新方法。光流法是利用物体运动时产生的光流信息进行运动目标的 检测，光流法一般计算量较大。采用一种检测方法存在种种缺点，如帧差法检测 分割精度不高；光流法计算复杂，不适应实时性要求高的场所等。针对通常运动 检测方法的种种缺陷，融合多种运动检测方法的综合判决方法可提高检测的准确 重庆大学硕士学位论文 1 绪 论 3 性、鲁棒性和运动区域分割精度。如 stefan huwer 和 heinrich nielsen20，huang weight 等21人提出的将背景减除法与帧差法结合起来，赋予不同的权值系数，从 而可以解决光照变化或前景与背景颜色相近等复杂问题。elia 等人22提出的采用 双背景和相邻帧差分相结合的方法，这种方法将背景分为短期背景和长期背景分 别来解决光线的明暗变化和背景中运动目标长时间滞留的问题。 1.2.2 运动目标阴影检测和去除 因为当阴影和运动目标相连在一起时，会改变运动目标的几何形状，导致基 于形状特征的人体行为识别算法失效；当阴影独立于运动目标而存在时，则很容 易被错误的认为是一个单独的运动目标。故检测出运动目标后需要进行适当的阴 影检测与去除，使提取的运动目标更加精确。因为阴影和运动目标一样都与背景 有显著的区别及阴影和投射它们的运动目标具有相同的运动规律，所以阴影的检 测和去除具有一定的难度。阴影的检测和去除已成为当前一个非常活跃的研究领 域。当前阴影检测存在的主要问题是如何将运动目标点和运动投射阴影相区分， 以防止运动投射的阴影被误认成运动目标或运动目标的一部分。现有阴影检测方 法大致可以分为三类：基于模型的阴影检测、基于纹理的阴影检测和基于阴影属 性的阴影检测。基于模型的阴影检测方法一般需要有关场景、物体、光照等的先 验知识。zhao23等通过建立三维模型来提取阴影，检测暗影区域，之后检测暗影 区域的亮度变化率，最后根据这些特征来判断阴影的分布是否和光照方向一致来 进行阴影的检测。 song24等通过建立红绿蓝(rgb)颜色空间中的亮度比值模型进行 阴影的检测。基于纹理的阴影检测是利用阴影区域的纹理和其对应背景的纹理具 有相似性这一特性进行阴影检测。leone25等采用基于 gabor 小波纹理分析方法， 将通过差分法提取的运动物体区域的纹理与其对应的背景的纹理特征进行比较， 进而找出阴影所在的区域。刘利频26等根据纹理信息在光照条件下的特性，即极 点分布具有不变性进行阴影的检测。贾减毅27采用 gabor 小波提取纹理信息进行 阴影区域的判断。根据阴影的属性进行阴影判断的方法，是利用阴影本身的亮度、 颜色或几何等特征进行阴影区域的判断检测。bevilacqua28首先根据亮度与其对应 背景图像亮度的比值找出疑似阴影区域，然后经过边缘匹配，进而去除离边界过 远或面积过小的区域得到真正的阴影区域。 cucchiara 等29在 hsv 空间， 根据阴影 点和其对应的背景点的亮度比值、色凋和饱和度的差值，得出了阴影区域检测的 的经验公式，用该经验公式进行阴影的检测与去除。salvador 等30在 rgb 空间定 义了三个色彩特征不变量(c1、c2、c3)，先找出可能的阴影区域，然后通过对比视 频图像与背景图像相应区域的三个色彩不变量来判断是否为阴影区域。 然而，因基于模型的阴影检测方法需要事先知道光源的位置、方向等，但这 些条件都很难确定且随不同的应用环境而变化，因而该方法的鲁棒性较差；基于 重庆大学硕士学位论文 1 绪 论 4 纹理的阴影检测方法因需要对图像与背景的纹理特征进行比较分析，距离摄像头 太远的场景中的纹理特征会不明显，会造成阴影检测的不准确；基于阴影属性的 阴影检测方法根据阴影区域的几何特征、颜色特征或者亮度特征来检测阴影，具 有更广泛的适用性。 1.2.3 特征提取和人体运动描述 特征提取与运动描述即为从人的运动序列中提取合适的特征数据来描述人的 运动状态，是人体行为识别的关键问题，所选特征的好坏将直接影响识别的效果。 目前行为分析研究所采用的特征主要有：运动特征、外观形状特征、时空特征以 及前两种特征的混合特征15。其中，运动特征和形状特征在人体行为识别中应用 的最多。 基于运动特征的方法是利用图像序列中的运动信息来表征运动所出的状态， 常用的运动特征主要有：运动轨迹、运动速度、运动方向等。基于外观形状特征 方法是将运动人体的静态姿势利用其几何结构、轮廓、姿态或区域颜色等外观形 状特征来描述，之后采用这些姿态序列进行人体运动状态的描述。外观形状特征 具有获得简单、比较稳定且对纹理的变化不敏感等优点。运动特征和静态形状特 征相比，其优点在于对距离摄像头的距离和环境不敏感，例如在远距离或能见度 低等情况下，运动特征仍然可以用于运动模式的分类识别，但在这种情况下进行 人体行为识别时，形状特征往往变的无能为力。但目前运动特征很难准确地提取 且运动特征没有有效利用有关人体结构的任何形状信息。所以有的研究人员为了 效利用形状特征获取简单、稳定且对纹理不敏感的优点和运动特征对距离摄像头 的远近距离和环境不敏感的优势，采用两种特征进行组合形成混合特征进行人体 行为的识别31-33。近年来，时空特征34-38也得到了广泛的应用。 1.2.4 人体行为分析识别 人体行为识别可以简单地被认为是时变数据的分类问题，即将测试序列与预 先标定好的具有代表性行为的参考序列进行匹配。因人体行为距离摄像头远近以 及起始帧不同，行为序列在学习和匹配时，应能够对空间尺度和时间尺度上特征 的轻微变化具有适应性。对人体行为进行识别分析目前常用识别方法有：基于模 板匹配的方法和基于状态空间的方法15,39。将视频图像序列表示为静态形状模式， 识别时通过和预先存储的每种行为的标本相比较进行行为识别的方法称为基于模 板匹配方法。 例如bobick与davis40采用运动能量图像mei （motion energy images） 和运动历史图像 mhi（motion history images）来解释图像序列中人的运动。 alessandor mecocci41等人使用 avq（altruistic vector quantization）方法对正常行 为轨迹进行学习并建立模型， 然后用模型匹配进行异常行为识别。 该文对传统 avq 方法进行了改进：在学习过程中，加强了运动向量的检测以达到提高学习效率的 重庆大学硕士学位论文 1 绪 论 5 目的，并且该算法已经运用于实际系统中，用于机场的异常行为监控。刘菲42在 文中采用人体轮廓将实时检测、跟踪到的人体行为与预先定义存储好的标准行为 库中的标准行为进行比对， 以此达到判别异常人体行为的目的。 polana与nelson43， 利用二维网格特征进行人的运动表征，采用最近邻算法进行行为识别。 基于状态空间模型44的方法定义每个静态姿势作为一个状态，通过某种概率 将这些状态联系起来。任何一种运动序列可由这些静态姿势在不同状态之间一次 遍历过程来表示，在这些遍历的过程中计算联合概率，联合概率的最大值作为行 为分类识别的标准。在时间序列的预测、检测和估计中，状态模型已得到了广泛 地应用，其中最具代表性的状态空间方法是隐马尔可夫模型45。与基于模型匹配 方法相比，状态空间方法虽然能克服模板匹配的缺点，但通常涉及到复杂的迭代 运算，算法的步骤较为复杂，难以应用到实际工作中。目前，基于状态空间方法 和基于模板匹配的方法在用于人体行为识别时通常是在运动行为的识别准确率和 识别时间之间进行折衷，所以仍然需要研究和开发新的算法，使行为识别准确率 提高的同时，识别时间也能够有效地降低。 1.3 行为分析识别的常用公共数据库 如果研究者对其算法在各自选择的视频序列上具体问题具体分析的进行实验 分析，而没有统一的视频序列，则将无法对所提出的算法进行统一的评价。所以 在人体行为识别分析研究时，为了客观的比较各种方法性能的优劣，公共的视频 数据库是不可或缺的。随着相应研究的不断深入发展，已经出现了多个各有侧重 点的公共数据库。这些公共数据库的出现，有利于各种基于视频的人体行为分析 识别方法的性能的评估。下面简单介绍常被用于人体运动分析识别的数据库。 以色列 weizmanm 科学院的人体运动数据库46是最常用的人体行为分析识别 数据库之一。该人体行为数据库中包括 10 种行为（如图 1.1 所示） ，分别是：走 （walk） 、 跑 （run） 、 弯腰 （bend） 、 原地双手挥舞蹦跳 （jack） 、 单脚向前跳跃 （skip） 、 原地双脚蹦跳（pjump） 、侧向跑(side)、双脚并拢向前蹦跳(jump)、原地单手挥舞 （wave1） 、原地双手挥舞（wave2） 。每个动作由 9 个人分别单独完成。 kth 人体运动行为数据库47也是较常用的人体行为分析识别的数据库。该 人体行为数据库中包括 6 种行为，分别是：走（walking） 、慢跑（jogging） 、快 跑（running） 、拳击（boxing） 、双手挥舞（hand waving）和鼓掌（hand clapping） 。 每种行为有 25 人在 4 种场景下分别单独完成（如图 1.2 所示） ，其中 4 种场景分 别为室外场景（s1） 、室外距离摄像头有远近位置的变化的场景（s2） 、室外衣着 不同的场景（s3）和室内光线较暗的场景（s4） 。 重庆大学硕士学位论文 1 绪 论 6 图 1.1 weizmanm 人体数据库中的 10 种行为 fig 1.1 ten kinds of behavior in weizmanm database 图 1.2 kth 视频库中的 4 种场景下的 6 种行为 fig 1.2 six kinds of behavior for four scenes in kth database pets2004 数据库48，主要为单人或多人的运动场景，目的是对单人的行为或 者多人之间的交谈、冲突斗殴以及物品丢失等进行监控分析。 为评价本文的方法的优劣， 主要在以色列 weizmanm 科学院的人体运动数据库 进行了实验分析和验证。 1.4 论文的主要研究内容 本文主要对人体行为检测和识别方法进行研究，使行为识别准确率提高的同 walk run bend jack skip jump side pjump wave1 wave2 重庆大学硕士学位论文 1 绪 论 7 时，识别时间也能够有效地降低。本文的主要研究内容如下： 1）针对传统高斯模型检测运动目标存在的初始化时采用第一帧不够准确和高 斯成分个数采用固定值浪费存储空间并影响计算效率的问题，采用改进的混合高 斯模型进行运动目标检测，以提高运动目标检测的准确性和实时性。 2）经过运动目标检测得到的运动目标往往存在投射阴影。此阴影会改变运动 目标的形状或被误识别为运动目标。本文针对现有基于颜色属性的阴影检测方法 需要提前设定阈值具有局限性的的不足，进行了自适应的改进，在阴影检测时无 需提前设定阈值，以提高算法的适应性。 3）采用改进的radon变换进行人体行为特征提取和运动描述，使特征描述具 有平移和缩放不变性，有利于后续人体行为分析识别。 4）提出了一种新的人体行为识别方法。将在人脸识别中常