（控制科学与工程专业论文）视频中的人体运动分析及其应用研究.pdf

( k 为常数) 、余算法、本文算法迭代相应次数滤波结果比较2 6 图25各种方法滤波结果比较27 图26像素点h触，瑚及删位置关系36 图27原图(唧iuinjpg)及其对应的特征点图37 图28仙人球实验结果38 图29信息量与窗口大小的对应关系示意图39 图210本文方法改进me雏shm算法对逐渐减小目标的跟踪结果40图2 1 1 me锄shin改进算法对逐渐增大目标的跟踪结果40 图212粒子滤波算法对逐渐增大目标的跟踪结果41 图213粒子滤波算法对逐渐减小目标的跟踪结果4l 图31人体轮廓编码示意图46 图32人体二值图像及其对应的轮廓点集(采用lo6的网格)。47 图33人体二值图像及不同所疗对应的轮廓点集合岛47 图34算法1的伪代码49 图35算法2的伪代码49 图36de衄is的视频行为序列中的部分图像帧5 1 图37协啪n07的视频行为序列中的部分i鲴像帧5l 图38本文分割算法与手动分割算法结果比较5l 图41行为数据库中的典型行为举例56 图42挥手行为对应的mei和mhi62 图43蹲下和跌倒行为对应的mes中的部分图像帧及其拟合椭圆63 图44各种行为类型的特征向量臼64 图45行走、坐下行为及其mel和尺度规范化后的mei轮廓65 图46方到圆的转换示意图66 图47人体最小外接矩形框。67 图48人体二值图像在坐标轴上的投影。67 图49分类示意图7l图4 10 n a g s 的5 类分类决策过程7 4图4 1 l 决策树支持向量机分类器结构7 6 图412基于先验知识的决策树支持向量机77 vii6图 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均己在论文中作了明 确的说明。 研究生签名：年月 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名：年月日 博士论文视频中的人体运动分析及其应用研究 l 绪论 人类正在进入信息时代，计算机将越来越广泛地应用于各个领域。目前来讲，要实 现计算机的复杂功能仍然需要借助专业知识，这就限制了更多未经专业训练人员使用计 算机。因此，为了使计算机能更好地为人类服务，必须使计算机能够以人所习惯的方式 与人进行交流，即让计算机具备听、说和看等能力，理解人类的语言、手势和行为等。 常言道“百闻不如一见 ，有数据表明，人类在感知和理解周围环境时，约有8 0 的信息来自视觉系统。因此，为了使计算机与人顺畅交流，并像人那样通过视觉观察理 解世界，自主适应环境，就需要开发计算机的视觉功能，使计算机能处理和理解图像、 视频等外界环境信息的表达方式。计算机视觉的研究内容就是用各种成像系统模拟人类 视觉器官功能感知图像，并由计算机模拟大脑完成图像处理和解释任务。比如，看到一 段视频，人类很容易理解其中所包含的人体运动，计算机是否可以呢? 基于视频的人体 运动分析就是研究开发计算机理解人体运动的能力。 1 1 人体运动分析的研究背景及意义 在运用现代的计算机视觉技术研究人体运动分析之前，人类在研究人体运动上经历 了一段漫长的历程【l 】。早在1 5 世纪，达芬奇为了更好地描绘出做某些动作( 如爬楼梯) 的人体，对人的肢体在这些动作下的受力情况或肌肉的状态作了详细的研究。1 7 世纪， 意大利的数学家、物理学家博雷利根据伽利略的力学原理解释动物肌肉与骨骼系统的运 动情形，并著有论动物运动一书。1 9 世纪，法国科学家马雷研制了马雷摄影枪，解 决了连续摄影的问题，能在同一张底片上显示动物的运动，同期，英国摄影师迈布里奇 发明了动物实验镜，可快速连续地投影，他们为记录人的运动做出了贡献。1 9 7 3 年瑞士 的心理学家j o l 瑚s o n 【2 】对人类运动感知所作的研究工作则开启了使用图像序列研究人体 运动的先河。在他的实验中，将人体的关节上( 如肩、肘、踝等) 贴上十二个l e d 灯， 因此当人处于黑暗环境中时只有关节点可见，记录人体运动时的光点运动组合就等于记 录了人体的运动。实验结果显示这些光点集合可用以辨别运动的形态如行走、跑步等， 还可用于判断运动者的性别。在此之后，人体运动分析得到了各领域研究者的广泛关注， 包括计算机视觉、模式识别、图像处理、计算机图形学和人工智能等学科。 人体运动分析是指对采集到的视频中的运动人体进行检测、跟踪以及理解和描述人 体行为，属于图像分析和图像理解的范畴。信号和图像处理技术的不断更新和发展，以 及有效的传感器和通信方式的发展，使得目标检测和跟踪这些低层处理工作的准确性和 鲁棒性都有很大提高，从而为高层分析模块如行为理解和描述奠定了基础。人体行为分 l 绪论博士论文 析和理解的目的是希望在系统中嵌入更多的智能，使得计算机系统能学习人类操作者的 知识和经验，自动地识别人体行为，或者自动检测异常事件的发生，从而减轻工作人员 的负担。 人体运动分析研究具有广泛的应用前景，g a v r i l a 【3 1 总结了它的一些主要应用领域： 智能监控系统、虚拟现实、智能人机交互、视频编码、运动分析、视频会议、医疗诊断 等，以下对一些典型应用做进一步介绍。 ( 1 ) 智能监控系统 智能监控系统是一个新兴的应用方向，它与传统意义上的监控系统的区别在于其智 能性，它不仅用摄像系统代替人眼采集视频，而且用计算机代替、协助人完成监控任务， 从而减轻人的负担。智能监控系统主要用在那些对安全要求敏感的场合【4 ，5 1 ，如银行、停 车场、超级市场等公共场所，或者重要政府部门、军事基地等。目前，在这些场合已普 遍安装了监控系统，但并未普遍实现智能监控，通常仍是记录摄像机的输出结果，当异 常情况( 如偷盗事件、暴力事件等) 发生后，才通过查询监控视频寻找异常事件，这往 往为时已晚。 理想的智能监控系统要求实现连续不问断的实时监控，自动分析、理解摄像机捕获 的场景与事件，当异常事件发生时，系统能准确及时地给出告警，从而避免盗窃、恐怖 等事件的发生。另外，人体运动分析还可用于公共场所的拥挤状态分析，商场内消费者 的流量统计，军事基地或重要政府部门等场合的出入控制( 如利用步态特征进行人的远 距离身份识别) 等。 ( 2 ) 虚拟现实 目前许多电脑游戏中虚拟人物的形体、动作行为模拟的逼真性都得益于基于视频的 人体运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等：流行的虚拟聊天 室，在通过文本交流的同时也可增加手势、面部表情动画，给聊天者提供更丰富的交互 信息。另外，人体运动分析在影视特技、广告、人物动画和虚拟工作室等虚拟现实应用 中也有广泛的应用。 ( 3 ) 运动分析 运动分析是指分割图像中的人体各部分，并在图像序列中跟踪分析感兴趣关节的运 动。它主要有三个方面的应用：在大量的体育运动视频数据库中进行基于内容的索引和 快速检索：分析体育运动视频，辅助运动员或舞蹈学习者的训练；分析病人的步态，判 断其腿部受伤情况或畸形程度，提供医疗诊断。 ( 4 ) 智能人机交互 2 l 绪论 博士论文 1 2 2 目标分类 目标分类是指从运动目标检测到的前景运动区域中提取感兴趣目标区域。复杂场景 下检测到的前景区域可能包含不同种类的目标，如行人、车辆、飞鸟、流云、摇动的树 枝等，在人体运动分析系统中，只对运动人体感兴趣，因此需要对运动目标的类别进行 分析识别，提取人体目标。但是，为了简化实验，在人体运动分析系统中通常假设场景 中只包含运动人体目标。 常用的目标分类方法有：( 1 ) 基于形状信息的分类，即根据运动区域的形状特征进 行分类。例如，k u i l o 与w 砒m a b e 等【2 6 j 使用简单的人体轮廓模式的形状参数检测运动人 体；c o l l i i l s 等【27 j 提取区域的分散度、面积、宽高比等特征，采用三层神经网络将前景目 标分类为人、人群、车辆和背景干扰；l i p t o n 等【l o 】利用分散度和面积信息区分人、车 辆及混乱扰动。( 2 ) 基于运动信息的分类，即利用人体运动的周期性进行分类。例如， c u t l e r 和d a v i s 【2 8 】根据人体运动的周期性特性，采用时频分析法判断运动轨迹是否存在 周期性，从而识别出运动人体；“p t o n l 2 9 j 通过计算运动区域的残余光流来分析运动目标 的刚性和周期性，与刚性车辆的运动相比，非刚性的人体运动具有较高的平均残余光流， 并且人体运动呈现周期性，因此可将人体区分出来。这两类目标分类方法也可结合使用， 以得到更准确的分类结果。 1 2 3 人体的跟踪 人体的跟踪就是通过分析摄像机拍摄到的动态图像序列，在连续的图像帧间构建基 于形状、位置、速度、色彩、纹理等特征的运动人体区域匹配问题。 1 2 3 1 视觉跟踪问题的处理思路 视觉跟踪问题的处理思路大致有两类【4 3 0 3 1 】：自底向上方法和自项向下方法。自底 向上方法，又叫数据驱动方法，它直接从图像序列中提取目标的运动信息进行跟踪；自 顶向下方法，又叫模型驱动方法，它依赖预先构建的模型或先验知识，通过在图像序列 中进行匹配或求解后验概率实现跟踪。 ( 1 ) 自底向上 自底向上视觉跟踪方法的思路来源于m a r r 的视觉计算理论【3 2 】，直接从图像序列中 提取运动目标的位置、速度、加速度、运动轨迹等运动信息实现跟踪。此思路的跟踪算 法能快速检测并跟踪运动目标，便于工程实现，典型算法如人脸跟踪的a d a b o o s t 方法1 3 3 】、 人脸肤色检测算法等。但是此方法模型的训练往往比较费时。 ( 2 )自顶向下 自顶向下视觉跟踪方法的典型代表是b 孙s h a l o m 【3 4 1 的目标跟踪与数据关联思想，在 贝叶斯理论框架下，将目标跟踪问题看作是“最优猜测 或“推理过程。已知目标状 6 图有像 从各成像角度的图像序列中获得人体形状和动力学参数，建有 效的模型。但是，多摄像机的准确安装、工作时摄像机的选择与协调，以及摄像间 的信息融合是多摄像机跟踪系统中比较关键且困难的。( 2 ) 根据摄像机是 根据摄像机是否运动可以将人体跟踪问题分为摄像机静止时的目标跟踪【16，46，525和 摄像机运动时的目标跟踪【555矾。目前的人体运动分析系统中多数是采用摄像机静方 法，这时背景是静止的，作为前景的运动目标是移动的，此时多采用背景减除法运 动目标。但是，在很多实际情况下摄像机是运动的，主要有两种运动形式，一种像 机支架固定，但摄像机的角度可以偏转，焦距可以调整；另一种是摄像机装载在可 以移动的载体上。当摄像机和目标都运动时，运动目标的检测与准确跟踪是一件的 事情，本文中只讨论摄像机静止时的运动目标。( 3 ) 根据被跟踪人 根据被跟踪人的数目可以将人体跟踪问题分为单人跟踪【45，55】和多人跟踪镐，57。5。 多人跟踪问题中，由于目标间会发生遮挡、合并、分离等问题，给目标的准确跟来更多的 另外，根据跟踪对象的不同，可以分为对人体部分的跟踪，如手【鲫、脸【6、头6、 蒯63】等，和对整个人体的跟踪；根据跟踪环境的不同，可以分为室内人体跟踪【删外 人体跟踪【6 5 舯。1 2 4 行为理解 行为理解与描述是指对人体的运动模式进行分析和识别，并用自然语言等描 述。其中，行为的语义描述采用自然语言，选择一组运动词语或短句来报告场景动 目标的行为。行为描述的两种主要的方法是138】：统计模型的方法【67彤】，典型的统型 是bayesi觚网络模型；形式化推理方法【70，711，使用符号系统表示行为模式，并使如 预测逻辑的推理方法来识别和分类事件。对图像序列中人的运动的描述是相当复， 行为、事件和状态都有着不同的概念，因此，如何选择有效充分的表达方式来传景 的内容是很困难的。目前人的行为描述还只局限于简单的语义解释，对复杂场景的行为的语义描述工作还相当 人体的行为分析与识别可简单地被认为是时变数据(即特征数据)的分类问首 先从训练样本中学习规律，然后对类别未知数据进行判别，这也是机器学习所要的 任务。在机器学习中，有两类学习算法【j翻：生成式学习和判别式学习方法。前括 f i s h e r 判别分析，隐马尔可夫模型( h m m ) ，n a v e b a y e s 等，后者包括近邻法，网络，支持向量机( s v m ) 等。生成式学习方法通常对每个类别单独训练模型，模 o训练模型，模 l 绪论 博士论文 相对简单；而判别式学习方法仅对类别边界或类别之间的关系建模，模型训练相对困难。 然而，判别式学习方法在训练样本较少时仍能建立相对准确的决策模型，而生成式学习 算法建立的模型往往不够准确。因此，可结合这两种学习方法，既使得分类器训练更简 便，也可提高小样本分类问题的分类性能。 a g g 删a l 和c a i 【7 3 】总结了当前在人的行为识别方面的两类主要方法：模板匹配法 和状态空间法。模板匹配法【4 4 ，7 4 】将从图像序列中提取的特征与预先存储的行为模式进行 匹配。其优点是计算复杂度低、实现简单，但是它对于噪声和行为持续时间的变化敏感。 状态空间法【7 5 - 7 8 】把每个静态姿势都定义为一个状态，然后用特定的概率连接这些状态。 因此，任一运动序列可看作是在某静态姿势集合中不同状态之间的一次遍历，这些遍历 的联合概率的最大值就将作为行为分类的标准。由于此时行为是状态的组合，因此识别 时不再对行为的持续时间的变化敏感。然而，此方法需要借助非线性模型来建模，而在 训练阶段，这些模型迭代搜索最优解时往往计算复杂度高，同时为了避免“欠拟合或 “过拟合，合适的状态数目和特征向量的维数的选择是困难之一。以下对两种方法分 别作阐述。 ( 1 ) 模板匹配法 模板匹配法首先从给定图像序列中提取特征向量，将图像序列转换为一组静态行为 模式，然后在识别过程中与预先存储的模式进行比较。p o l a l l a 和n e l s o n i 删结合二维网格 和人体运动的光流场特征描述人体运动，并采用最近邻算法进行的识别。b o b i c k 和 d a v 妒4 ，7 9 】提出了运动能量图像( m e i ) 和运动历史图像( m h i ) 两种运动特征，并基于 行为序列特征图像m e i 和m h i 的不变矩特征识别人的行为。可用的矩特征有h u 矩， z e m i k c 矩，小波矩。m h i 及其扩展被广泛地使用在人的行为识别中，如w e i l l l 觚d 掣则 在m h i 的基础上定义了高维空间中的运动历史卷( m h v ) ，x i 孤g 等i 嚣i j 组合m h i 和像 素信号能量( p s e ) 得到像素变化历史( p c h ) ，m e n g 和p e a r s i 冽针对m ：h 1 只能记录每 个像素位置处最近出现的运动信息的不足，提出了运动历史直方图( m h h ) 特征。 由于在监督学习问题中，判别式分类算法往往比生成式分类算法有效【8 3 1 ，因此，对 于训练样本类别已知的行为识别问题，可致力于开发更有效的行为模板，以期利用判别 式分类器如s v m ，b 0 0 s t i n g 等实现行为分类。 ( 2 ) 状态空间法 状态空间法被广泛地应用于时间序列的预测，估计和检测，也是行为识别的主要方 法之一。行为的每个静态姿势被定义为一个状态，状态之间通过概率联系，任何运动序 列可看作是在不同状态上的一次遍历，计算遍历的联合概率，其最大值即为行为分类的 依据。刻画每个状态的特征有点、线或团块区域。状态空间法充分考虑行为的动态过程， 用概率方法建模行为在时间和空间尺度上的微小变化，常用的概率模型有隐马尔可夫模 型【8 4 ，8 5 1 ( h m m ) 和贝叶斯网络【7 8 ，8 6 ，8 7 】( b n ) ，前者是后者的一种特殊形式，且h m m 及 l o i 绪论博士论文 d b n 等。( 2 ) 无监督的方法【9 7 ，9 8 ，1 0 7 1 ，依据异常行为很少发生的特性。z h o n g 等【9 8 】在解 决从大量视频中检测异常事件问题时，把小概率行为即几乎没有相似事件的行为视为异 常。因此，仅通过相似性度量实现了异常检测，但它仅适合于离线检测情况。b o i m 雒 等1 9 7 】在检测图像和视频数据中的不规则性问题时，设法使用当前视频库中的数据块表示 新的观察数据，不能用数据库中的大邻接块数据组成的新观察被视为异常。此方法也是 基于异常行为很少发生，无法由其它正常行为解释的特性，但它目前也只在简单图像和 视频上有效，对长期观测的真实世界场景不适合。 分析以上两种方法，第一类使用已标定的训练数据，模型通常是基于规则的，或可 用有监督的机器学习方法获得。因此，此类方法上的研究相对较多，它可以利用现有的 行为识别与分析中的正常行为建模方法，即前面提到的模板匹配法和状态空间法。但仍 存在两方面的困难，一是需要对大量训练数据进行标定，此时即使是采用聚类算法对行 为进行分类，还是需要手动验证；二是提取的特征数据对所有可能的正常行为不能都明 确表示，而且算法通常都局限于特定的应用，不具有通用性。第二类无监督方法的研究 尚属于起步阶段，它直接从观察数据中检测异常，无需建立明确的模型。但是，检测异 常时采用的特征数据不稳定，使得算法在处理复杂的真实场景时不够鲁棒，且不满足实 时性要求。 1 3 国内外的研究现状 1 9 9 4 年以来，很多学者从各个角度对人体运动分析的当前现状作了综述。a g g 钔砌 等分别在1 9 9 4 年i 1 0 8 】和1 9 9 9 年【7 3 】综述了人体运动分析，前者总结了1 9 9 4 年之前关节式 和弹性非刚体运动的分析方法，后者总结了1 9 9 8 年之前人体运动分析包含的各种工作， 并指出与人体运动解释相关的3 个领域：人体或身体部分的运动分析，单摄像机或多摄 像机运动人体跟踪，视频中的人体行为识别。c e d r 弱和s h a l l l l 咧总结了1 9 9 5 年前的运动 提取方法，将人体运动分析分为行为识别，人体部分的识别和人体结构估计。1 9 9 9 年， g a 诵l a 【3 】将运动分析方法分为2 d 方法或3 d 方法，并指出3 d 跟踪和行为识别是两个主 要的发展方向。2 0 0 0 年，p e n t l a l l d 【1 1o 】总结了关于人体运动分析的几个有趣的主题及其应 用，如身份识别，监控，智能房间，感知用户接口等。2 0 0 1 年，m o e s l u i l d 和g r 觚啪1 1 1 1 j 总结了1 9 8 0 年至2 0 0 0 年的工作，将运动分析系统按功能分类，如初始化，跟踪，姿态 估计和识别。2 0 0 3 年，w 抽g 和s i n g l l 1 2 】重点综述了跟踪和运动分析两方面的工作，尤 其是前者，包括整个人体，身体部分如脸、手、头和腿等的跟踪。2 0 0 4 年，中国科学院 自动化所的胡卫明掣3 8 】给出了视频监控系统的一般框架，并总结了框架中各个步骤的研 究现状和发展方向。2 0 0 7 年，p o p p e f 3 】将当前人体运动分析研究分为两类：基于模型的 方法和无模型的方法。在人体运动分析的相关研究上给出综述的国内学者还有：中科院 1 2 博士论文视频中的人体运动分析及其应用研究 公物等行为时，能通过分析人的行进模式、人群的聚合等特点检测异常，实现自 动报警；二是商业顾客行为分析，通过分析顾客光顾商品的顺序，在某一特定商 品前停留的时间等，了解顾客的兴趣，对商店的布局进行评估、改进。另外，欧 盟e u l l r ( e u r o p e 觚u i l i o nl o n gt e 册r e s e 甜c h ) 资助比利时k a t l l o l i e k e 大学工 程系、法国国家计算机科学和控制研究院( 玳剐队) 等欧洲著名大学和研究机构 研究基于图像处理的监控系统【l 圳，目标是利用视频处理和理解技术辅助司法机 关从现有监控系统的录像资料中获得更多有效犯罪证据。英国的爱丁堡大学负责 的b e h a v e 项目【l 了7 1 ，目的是滤除发生正常行为的视频部分及无任何行为的视频 部分，而只对感兴趣的异常行为进行分析。异常事件检测是安全监控系统的关键， 但由于它具有很少发生，难以描述，个体差异大的特性，目前异常事件的定义和 检测仍存在很多困难。 5 ) 使用多摄像机对场景的交互式监控，以确保整个区域的安全，如c m u 开发的多 相机融合监控系统【l 叭，能在复杂场景下完成多人的跟踪和长时间的行为监控。 在单目摄像机系统中，往往存在目标自遮挡或互遮挡现象，且要实现人体的三维 建模也很困难，因此可使用多摄像机进行融合监控，扩大监视的有效范围，提供 多个视角下的人体运动信息。但是，对多摄像机监控系统而言，相机间的选择和 信息融合目前尚是比较困难的问题。 m a 巧l a n d 大学开发的实时视觉监控系统w 4 【4 6 1 3 8 1 不仅能定位人和分割人的身体部 分，还能通过建立外观模型实现多人的跟踪，并检测和跟踪室外环境中的人，监控他们 之间的简单的交互行为。 近年来，我国也在不断地推广人体运动分析方面的研究，8 6 3 计划和9 7 3 计划都为 此开展了重大项目研究；公安部为此在全国开展城市报警与监控系统建设“3 1 1 l 试点 工程。国内的许多高等院校和研究机构在人体运动分析领域投入了相当的研究经历，如 中国科学院自动化研究所和计算技术研究所、清华大学、浙江大学、华中科技大学、北 京邮电大学、上海交通大学、北京大学、东南大学、南京理工大学、吉林大学、西北工 业大学、复旦大学、国防科技大学、北京航空航天大学等学校。其中，中科院自动化所 生物识别和安全技术中心( c s b r ) 在运动检测、人脸跟踪、人体跟踪、多摄像机融合 跟踪、步态识别和异常行为检测等方面开展了研究，建立了相关的演示系统，并申请了 基于步态识别身份的专利。中科院计算技术研究所在人面部信息检索与识别方面也取得 了重大进展，系统可在1 1 0 秒一1 2 0 秒内捕获人脸，并在1 秒内完成识别；其开发的“数 字化三维人体运动的计算机仿真系统，实现了计算机辅助体育训练，帮助蹦床、跳水 这两项运动在2 0 0 8 北京奥运会上取得了优异成绩。中国科学院上海微系统与信息研究 所正将智能监控技术应用在上海浦东机场和地铁候车室的监控中。清华大学电子工程系 智能图文信息处理研究室在身份认证和智能视频监控方面开展研究。西北工业大学自动 1 5 l 绪论 博上论文 化学院“长城工作室在复杂环境下的背景建模、人体跟踪、行为识别和轨迹分类等方 面开展了研究，并搭建了一个基于多摄像机的人体检测跟踪系统。浙江大学人工智能研 究所研发了“基于视频流的人体动画生成技术和系统 ，该系统可将电影等自然视频或 实验室内拍摄的视频中的人体运动和人脸表情，通过运动跟踪、三维重建、运动编辑等 技术，将动作或表情定向到卡通人物或动物上。 上述应用研究表明，世界各国政府已经将人的运动分析的研究上升到了战略高度， 从政策、法律、经济和应用等多方面进行了巨大的投入，推动技术的发展。美国、英国、 德国、日本等的多所大学和科研机构受到长期或多个方面的资助，从事人体运动分析的 研究，i e e e 也定期举办人体运动分析方面的专题会议。此外，国际上的一些权威期刊 ( 如i e e et r 锄s a c t i o 璐0 np a n e m 加l a l y s i s 锄dm a c l l i n ei l l t e l l i g e n c e ( p a m l ) ，i n t e m a t i o n a l j o 啪a 1o fc o m p u t e rv i s i o n ( i j c v ) ，c o m p u t e rv i s i o na n di i i l a g eu n d e r s t a n d i n g ( c v i u ) ， i m a g e 锄ds i o n c o m p u t i n g ( i v c ) ， i e e et i 彻s a c t i 0 1 l s0 n i m a g ep r o c e s s i n g ( t i p ) ， i n t e m a t i o n a lj o 啪a lo fpa ：吮mr e c o 鲈i t i o n 弛da 而f i c i a li n t e l l 谵e n c e ( i j p r a i ) ，m a c 嫩n e s i o n 锄d a p p l i c a t i o n s ( m v a ) 等) 和重大学术会议( i 熊釉a t i o n a lc o n f e r e n c eo nc o m p u t e r v i s i o n ( i c c v ) 、e u l d p e a i lc o n f e r e n c eo nc o m p u t e r s i o n ( e c c v ) 、i e e ec o i l f e r e n c eo n c o l n p u t e r s i o na n dp a n e mr e c o g i l i t i o n ( c v p r ) 、i e e ei n t e m a t i o n a lw b r k s h 叩o nv i s u a l s u r v e i l l a i l c e ( 1 w v s ) 等) 都将人体运动分析作为主题内容之一，从2 0 0 2 年起国内也开始 召开“全国智能视觉监控学术会议 ，为该领域的研究人员提供更多的交流机会。u c v 和p 删i 先后在2 0 0 0 年出版了视觉监控专刊，i c v 在2 0 0 2 年出版了“理解视觉行为” 的专刊，自动化学报在2 0 0 3 年出版了“动态场景下的视觉监控专刊 ，m v a 在2 0 0 7 年 出版了“下一代视频监控系统的新内容及挑战”专刊，中国图象图形学报在2 0 0 8 年出 版了“智能视觉监控技术及系统 专栏，p a t t e mr e c o g m t i o nl e t t e 瑙在2 0 0 9 年出版“基 于视频的物体和事件分析 专刊，u p r a i 在2 0 0 9 年出版“监控应用中的视频分析与理 解”专刊。 1 3 2 人体运动分析的通用数据库 人体运动分析是基于视频图像序列的研究，为了比较相关算法的性能，多个各有侧 重点的公共数据库应运而生。美国加利福尼亚大学伯克利分校的m m a l i k 教授等发起了 收集行为识别数据库的活动，目前已收集的数据库有：i n 对a 的m a s 多视角行为数 据库【8 0 ，1 3 9 1 ，由1 1 个人示范1 3 种日常生活中的运动，行为者的位置和方向是任意的；以 色列w r e i 硼锄n 科学院的人体运动数据库【l 彻，该数据库包含了l o 个人的9 种不同的日 常人体运动，如行走、慢跑，跳跃等；s c h n l d t 等1 1 4 1 j 的行为数据库，该数据库包含了六 类人的行为：行走、慢跑、跑、拳击、挥手和拍手，且在四个不同的场景下由2 5 个人 完成；由a b o b i c k 领导的计算感知实验室中建立了复杂行为序列数据库【1 4 2 】等。另外， 1 6 博士论文视频中的人体运动分析及其应用研究 以色列技术工程学院的智能系统中心【1 4 3 】建立了用于分析不同目标( 动物、行人和车辆 等) 的运动行为的数据库，包括室内场景和室外场景，也包括静止摄像机和运动摄像机 拍摄的视频。p e t s ( i e e ei n t e m a t i n a lw 6 r k s h o po np e r f o 珊觚c ee v a l u a t i o no ft r a c i ( i n g 锄d s u r v e i l l 锄c e ) 从2 0 0 0 年开始发布该年度的视频数据库，这些数据库中与人体运动分析 相关的视频多数是关注人的跟踪和计数，对于行为识别的视频较少，在2 0 0 4 年 p e t s e c c v 上，由c a 、，i a r 项目组提供了内容为单人或多人的运动场景，目的是对单 人的行为或多人之间的交谈、冲突斗殴及物品丢失等进行监控分析。虽然，目前已有一 些人体运动分析方面的数据库，但还远远不够，而且目前也没有对这些数据库按照一定 的原则进行分类。因此，建立人体运动分析的通用数据库仍然是一项艰巨的任务。 1 3 3 人体运动分析中存在的困难 虽然人体运动分析已经得到了广泛关注，但目前在人的行为识别和异常事件检测上 仍然有许多问题尚未解决，因为人的行为识别与理解中存在许多困难。 基于视频的人体运动分析研究中存在许多的困难：( 1 ) 人体是结构复杂的非刚体， 人体运动是一个复杂的运动系统。在对人体建立模型以分析其运动时，往往在所用模型 已包含太多自由度时，仍无法准确地表示真实的人体。( 2 ) 大部分的人体运动分析系统 都不能很好地解决目标之间的互遮挡和人体的自遮挡问题。真实场景中，自遮挡或互遮 挡普遍存在，有些人体部分往往不能被观测到，必须开发更好的模型处理人体部分被遮 挡时人体与特征之间的准确对应问题。( 3 ) 快速准确的运动分割是人体运动分析系统中 很重要又比较困难的问题。因为采集的动态视频受到多方面的影响，如视角的变化、光 照条件的变化、杂乱的背景、运动目标的阴影、人体外观造型和衣服的变化、人体或摄 像机的快速运动引起的运动模糊等。( 4 ) 人体运动的多样性。人体运动种类繁多，既有 单个人体运动，又有多人交互运动，而后者更是难以定义和理解：相似的人体运动在不 同的场景中可能表示不同的含义。如图1 2 所示，第一行的两幅图像都为人拿着水管喷 水，但在特定场景下，前者表示浇花，而后者则表示灭火；第二行的三幅图像中虽然手 中的动作较相似，但结合场景也都表现出不同的含义。显然，对计算机而言，理解视频 中的人体行为是一项非常具有挑战性的任务。 1 7 博上论女 图12 相似的人体运动具有不同的含义“1 1 4 本文的主要工作和结构安排 1 4 1 本文的主要工作 本文按照人体运动分析系统的一般框架，对其中的若干组成部分进行了研究，主要 完成以下工作： ( 1 )措建了人体运动分析实验平台，包括固定在墙体上的p a n 鹅o n 记彩色闭路监 控摄像机( w v c w 9 6 0 ) 及c p u 为28 g h z 的双核处理器的计算机。在此平台上拍摄井 建立了人体运动的数据库0 w n s d ，包括六种人体日常行为的3 0 0 个视频段用于后续 的人体行为识别系统及异常行为检测。 ( 2 ) 运动序列图像在粟集过程中或在格式转换和远程传送中经常会受到噪声污 染。为了不影响后续的运动分析结果，首先要对图像序列进行平滑域增强处理，恢复图 像质量。本文研究了尺度空间理论在图像处理中的应用，提出了一种基于视觉掩蔽效应 的各向异性扩散图像平滑算法，并与几种现有的平滑算法进行了比较。 ( 3 )人体运动轨迹特征常用来描述人体行为，从而识别行为，此时通常采用人体 跟踪算法提取轨迹特征，因此，稳健、有效的跟踪算法是后续行为识别的关键。本文研 究了基于视觉特征的尺度空f u j 信息量度量方法，并将其应用在目标跟踪中提出了跟踪 博士论文视频中的人体运动分析及其应用研究 窗自适应的目标跟踪系统，使改进的m e a n s h i f t 和粒子滤波算法在目标尺寸变化大时能 实现准确跟踪0 ( 4 )人体运动序列由一组连续的，属于不同行为模式的运动片段组成。目前多数 行为识别算法都是对仅包含单个行为模式的行为段进行识别，忽略了运动序列的分割。 本文研究了主成分分析( p c a ) 在视频行为分割中的应用，采用p c a 估计行为模式的 本征维数，并通过检测本征维数的突变实现视频行为序列的分割；分割出的行为段采用 h m m 进行识别。本文还提出了一种基于紧轮廓编码的点集特征描述人体轮廓。 ( 5 )由于目前多类人体行为识别与分类算法的准确率不高，本文提出了一个多类 人体行为识别系统，包括四个模块：视频采集、运动目标检测、特征提取和基于决策树 支持向量机分类器的行为分类。在特征提取阶段，分别提出了运动能量序列和运动能量 图像轮廓编码两种新特征。在行为识别阶段，分别提出了基于先验知识的决策树支持向 量机分类器和基于聚类的决策树支持向量机分类器，实现了多类人体行为的分类识别。 ( 6 )智能家居异常检测系统能辅助实现无人照看的老人、小孩和病人的智能看 护，是人体运动分析的重要应用之一。本文提出了两种跌倒行为检测算法，在六种日常 行为中检测出跌倒行为，分别是：基于组合分类器和解剖学中人体部分比例关系的异常 行为检测算法，和基于支持向量机的异常行为检测算法。 1 4 2 本文结构安排 第1 章主要介绍了人体运动分析研究背景、应用前景及国内外的研究现状，并介绍 了人体运动分析的一般性框架，对各个部分做了简要阐述。 第2 章研究了尺度空间理论在图像预处理中的应用，提出了基于人类掩蔽效应的多 尺度图像平滑算法；研究了m e a n s h i f t 跟踪和粒子滤波跟踪算法，并提出了基于尺度空 间信息量的跟踪窗自适应目标跟踪算法。 第3 章研究了人体运动序列分割和行为识别算法，提出了基于时间序列不连续性检 测的无监督行为分割算法，提出了一种采用网格点集合描述人体轮廓的特征提取方法， 并对分割出的行为段采用h m m 模型进行识别。 第4 章提出了一个多类人体行为识别系统，包括四个模块：视频采集、运动目标检 测、特征提取和基于决策树支持向量机分类器的行为分类。视频采集模块，在室内墙体 上安装p a n a s o n i c ( w v - c w 9 6 0 ) 摄像头，采集人体的各类行为视频，存储在计算机中备 用。在运动目标检测阶段，采用背景减除法分割运动人体，分别实现了基于混合高斯模 型的背景减除和基于非参数模型的背景减除。在特征提取模块，提出了运动能量序列和 运动能量图像轮廓编码两种新特征；在行为分类模块，设计了基于先验知识的决策树支 持向量机分类器和基于聚类的决策树支持向量机分类器，实现了多种行为的分类识别。 第5 章研究了智能家居监控中的异常事件检测，提出了两个跌倒行为检测算法。第 1 9 博士论文视频中的人体运动分析及其应用研究 2 图像预处理与目标跟踪 由于天气、光照的变化，目标运动造成运动模糊等因素，成像系统获取的原始图像 往往夹杂着各种类型的噪声，人体运动视频不能被直接使用，必须首先对原始图像进行 噪声滤除、图像增强等预处理。另外，远程监控系统中采集到的图像，在转换和传送中 也会产生噪声污染，降低图像质量，影响后续的人体目标检测、跟踪和行为识别的结果。 因此，本文研究了基于非线性偏微分方程的图像平滑算法，若待识别人体行为视频质量 较差，可首先采用本文算法对图像进行噪声滤除。 在人体运动分析中，人体运动轨迹特征常用来描述人体行为，从而识别行为，此时 需要采用人体跟踪算法提取轨迹特征，因此，稳健、有效的跟踪算法是后续行为识别的 关键。当前跟踪算法不能稳健地实时跟踪外观尺寸变化大的目标，因此，本文提出了跟 踪窗自适应目标跟踪算法。m e 觚s 1 1 i r 和粒子滤波算法是目前常用的两个跟踪算法，但 它们并不能准确跟踪尺寸变化大的目标，本文采用提出的跟踪窗自适应算法改进了这两 个跟踪算法，实现了有效的跟踪。 2 1 基于视觉掩蔽效应的多尺度图像平滑算法 图像平滑的目的是去除图像中的噪声或其他小的波动，在频域中噪声对应着高频部 分，而图像中的细节也对应着高频部分，也就是说在去除噪声的同时也会模糊图像的细 节这一重要信息。传统线性图像平滑方法的细节保持能力较差，常会模糊图像的边缘。 基于偏微分方程( p d e ) 的图像处理方法，能在去除噪声的同时较好地保持图像边缘， 平滑图像的质量较高，而且灵活多样的数值分析方法给算法实现带来了极大的方便。 1 9 9 0 年，p e r o m 和m a l i k 【】提出了各向异性扩散图像平滑方法，它通过求解非线性热 传导方程得到平滑图像，至此各向异性扩散图像处理方法引起了人们极大的兴趣。 各向异性扩散图像平滑算法的性能取决于扩散系数方程，本文比较了几种现有的 p m 扩散系数方程改进算法的优缺点，并提出了一种改进的基于视觉掩蔽效应的各向异 性扩散平滑算法。本文方法采用归一化局部方差和图像梯度信息联合度量空间细节，它 不仅能更有效地消除噪声，保持图像细节，而且本文采用的扩散系数方程中不包含需要 估计的参数，避免了以往算法的参数估计困难。 2 1 1 基于各向异性扩散的图像平滑算法 假设原始灰度图像为砌，定义在q c 足x r 上，逐渐平滑得到的图像序列为“ ，弘f ) ， 则”o ，弘，) 可以通过求解如下的非线性热传导方程得到【1 4 4 1 ， 2 l 2 图像预处理与目标跟踪 博士论文 詈= 加( c ( 1 v 材i ) v 甜) = c ( 1 v z ，i ) “+ v c v u ( 2 1 ) 研 初始条件为u ( x ，j ，0 = o ，其中c ( ) 是方程的热传导系数( 也称为扩散系数) ，是非负递减 函数，且有c ( 0 ) = l ，c 0 ) 0 ( j 斗o 。时等号成立) 。理想的扩散系数要使得式( 2 1 ) 在图像均 质区域内扩散剧烈，利于噪声消除；在边缘区域内扩散幅度小，利于保持边缘。为此， p e r o n a - m a l i k 提出了两类“) t y 程t 1 4 4 ，c ( j ) = 1 ( 1 + ( s k ) 2 ) 和c ( s ) = e x p ( - ( s k ) 2 ) ，其中参数 x 为常数，根据实际图像估计得到。 虽然各向异性扩散方法得到了广泛应用，但它仍然存在一些缺陷，比如平滑时有可 能保留梯度值较大的孤立噪声点；方程在迭代过程中会出现不适定情况，从而使得相近 图像在滤波后得到差异很大的结果。针对这些问题，很多学者提出了改进，如c a t t l e l l 4 5 1 ， c h e n l l 4 6 1 ，g i l b o a l l 4 7 】等对模型方程的改进，但它们存在一个共同的问题：估计扩散系数 参数k 的困难。另外，各向异性扩散图像平滑算法的性能很大程度上取决于扩散系数方 程，要求扩散系数能满足“分段平滑标准，即扩散系数在平滑区域较大( c 专1 ) ，以 利于噪声消除，扩散系数在细节丰富区域较小( h 0 ) ，以利于保持细节信息。因此， p e r o n a - m a l i k t l 4 4 1 ，f v o c i 1 4 8 】等提出了改进的参数k 估计法，但也都存在不同的缺陷。 余庆军等1 4 9 1 借鉴a n d e r s o n 和n e 脚a j i 【1 5 0 1 将噪声掩蔽函数作为空间细节度量的思想，提 出将噪声可见度函数修改后作为p e r o n a - m a l i k 方程的扩散系数，此方法可以避免估计参 数k 的困难，但是去噪效果不好，原因是其细节度量算子不能有效地度量加噪图像的空 间细节特征。 2 1 2 各向异性扩散系数的改进 2 1 2 1 改进的参数k 估计法 分析p e r o n a - m a l i k 方程的扩散系数可知，只有梯度幅值大于参数k 的像素才作为边 缘信息被保留：而梯度幅值较小的低对比度边缘将被滤除。因此，k 的取值直接影响到 各向异性扩散方法对图像的平滑去噪和细节保持能力。参数k 为常数时实验结果不佳， 原因在于：在对噪声图像平滑的各向异性扩散过程中，随着图像平滑程度的增加，相应 的梯度不断下降，因此参数k 递减才能有效地保持边缘。有些学者就从这一点入手，寻 求参数k 的最佳估计方法，改进各向异性扩散系数。 p e r o n a 和m a l i k 1 4 4 j 提出借鉴c a n n y 的“噪声估计法”自适应确定k ( 由于依赖于直 方图，以下称之为直方图估计法) 。用此方法估计k 能得到较好的实验结果，但同时又 带来了确定百分比的困难，不同图像的最佳滤波效果对应的直方图积分和百分比取值有 所差异。2 0 0 4 年，f v o c i 1 4 8 】等也给出了两种估计参数k 的方法：基于形态学的方法和 基于p 范数的方法。基于形态学的k 估计方法由于在每次迭代过程中要对整幅图像做 开、闭操作，计算成本较大。因为p 范数有单调下降这一特性，所以p 范数估计能保证 2 嘲像m n oj 目标跟踪 v e q ，= q h 叫