（计算机应用技术专业论文）运动人体二维特征点检测与三维重建.pdf

大连理工大学硕士学位论文 摘要 随着互联网带宽的提高以及计算机信息处理能力的不断提升，多媒体信息本身所包 含的海量的数据，使人们能够通过计算机处理多媒体中所包含的有用的信息。对视频信 息的处理更是近年来的研究热点。视频本身包含着大量的有用信息，其中人体运动的视 觉分析在计算机领域变得尤为突出。近年来，人体运动的视觉分析逐渐成为计算机视觉 领域备受关注的前沿方向，其相关的应用领域有虚拟现实、视觉监控、感知接口等。 人体运动的视觉分析是近年来计算机视觉领域最为活跃的研究主题之一，其主要是 针对包含运动人体的图像序列进行分析处理，通常涉及以下三个部分。第一部分是运动 人体的检测，本文指将运动人体区域从图像当中的静态背景区域分离出来。第二部分是 运动人体的跟踪，其中包括基于模型的跟踪和基于区域以及基于特征点的跟踪。第三部 分是运动人体的行为与理解。其中前两部分属于视觉分析的低级处理，而最后一部分是 视觉分析的高级处理。 本文主要实现了对视频序列中运动人体的检测、运动人体特征点的提取以及三维重 建。按其实现过程分为三步。第一步是运动人体分割。首先进行运动人体检测，利用帧 差法实现自适应背景模型的初始化创建及背景更新。针对光照的造成的阴影区域对运动 人体检测的影响，本文将r g b 彩色空间信息转变成h s v 伍u e 色度，s a ：t i l 均t i o n 饱和度， v a l u e 亮度) 彩色空间模型的色度和饱和度信息，以此实现对运动人体的精确检测。第二 步是运动人体特征点检测。本文采用的核心技术是利用a p a r 区域提取算法实现运动人 体特征点的检测与标定。首先利用a p a r 区域实现运动人体各个身体部位的标定与识 别，然后再利用每个a p a r ( 反向平行线) 区域中线的两个端点实现特征点的检测与跟踪。 第三步采用p i l l h o l e 原理实现运动人体的二维特征点到摄像机标定的三维空间的映射， 以最终实现运动人体特征点的三维重构。 关键词：运动人体检测；特征点；a p a r 区域；三维重建 运动人体二维特征点检测与三维重建 h u m a nm o t i o nd e t e c t i o no ft w o - d i m e n s i o n a l k e y p o i n t sa n d r e c o n s 乜r l l c t i o no n1 1 玳e d i m e n s i o n a lm o d e l i n g a b s t r a d 砧o n g 、) 1 7 i 也也ei i l l p r o v e m e n t0 fi n t e m e tb a n d 、 ，i d t l l a i l da d v a l l c 锄e n t0 fc o m p u t e r i i l f o r m a t i o np r o c e s s i i l g ，s i n c er n u l 劬e d i a 证f o m l a t i o ni n c l u d e sm a s s i v ed a t am a l ( e sb u m a i l r e l yo nc o l p m e rt 0p r o c e s sa v a i l a b l ed i g i t a li i 怕m l a t i o n v i d e oi t s e l f 证c l u 曲1 91 0 t so f a v a i l a b l e 谢e b 咖a t i o nc a l lb ep r o c e s s e db yc o m p u t e ri sp o s s i b l e ，i nw m c h 血eh u m a i lm o t i o n 、，i s i o n 糊l y s i si sb e c o m i n gp r o i i l i n e n t r e c e my e a r ，h 啪a nm o t i o nv i s i o na n a l y s i si st a k i n g 1 e a d i n g 血c o m p u t e rv i s i o na f e 墨a 1 1 dr e l a t 主v ea p p l i c a t i o na r e a s 血c l u d ev i m l a lr e 西i 锣，v i d e o m o i l i t o r ，p e r c e i v ei n t e r f h c ea n ds oo n h u m 趾m o t i o nv i s i o n 锄l y s i si st h eo n eo fm o s f ta c t i v cf e s e a r c ht o p i c si i lc o m p u t e r v i s i o na r e a n di ta i l n sa th 眦a nm o t i o ni i 玎a g es e q u e n c et oa r 谢y z ea n dp r o c e s s 。w h i c h l l s t i a l l yi r o l v e st l l r e ep a r t s t h ef i r s tp a r ti sh 1 如彻nm o t i o nd e t e c t i o n i tm e 趾sm a th 哪a n m o t i o na r e ai ss e g m e n t e d 丘d ms t a t i cb a c k 舀o m l da r e ai nt h i st c x t t h es e c o n dp a r ti sh u m a l l m 砸o nt r a c l 【i n 岛i n c l u d i i 玛b a s e d0 nm o d e l ，a r e a 锄dk e yp o 缸n e 伽mp 硪i sh u m a n m o t i o na c t i o na n du n d e r s t a i l d 吨a m o n gt h e m ，l ef i r s t 趿ds e c o n dp 龇sa r el o w - l e v e l p r o c e s s e da n dt l l el a s ti sh i 曲- l e v e lp r o c e s s e di nv i s i o n 趾甜y s i sa r e 巩 ，n l e 训c l er e a j i z e sh u m 锄m o t i o nd e t e c t i o n ，k e yp o 洫d e t e c t i o n 吼dh i i i l a nm o t i o n m r e e d i i l l e n s i o i l a lr e c o n s 仃删o no nv i d e os e q u e n c e s i ti n c l u d e s 也r e ep r o c e d u r e si np r o c e s s o fr e a l i z a t i o n t h e 矗随p r o c e d u r ei sh 1 朋a a nm o t i o ns e 磬n e n t a t i o n t h ew a ya d o p t e di st h a t u s i i l g 侬l n l e - d i 船r e n c et oc o 删ab a u c k g r o u l l dm o d e lt ob ei i l i t i a l 砌a i l du p d a t e d a sa r e 刚to fs l l a d o wp r o d u c e db yi i 出e 虢c t so nh 眦幽m o t i o nd e t e c t i 鸭缸l ep a p e rc h a i l g e s r g bc o l o rs p a c ei 锄i o ni n t oh s v ( h u e ，s a t u l m i o n ，v a l u e ) c 0 1 0 rs p a c ei i l f o r n l a t i o no f h u e a n ds a t u r a t i o nt 0r e m o v et h ee f r e c t so fs h 缸b w so nb u m a 玎m o t i o ns e 田：n e n t a t i o ns oa st o h u 匝a nm o t i o nd e t i e c t i o ne x a c t t h es e c o n dp r o c e d u r ei s k e yp o i n td e t e c t i o n t h ec o r e t e c m q u eu t i l i z e di sa p a r ( a m i p a r a l l l e ll i n e ) e x l r a c ta r e ai d e at 0d e t e c tt 【u m a nm o t i o nk e y p o i n ta n d 也el a b e l i n g t h em i i dp r o c e d u 舱i sb a s e do np m - h o l ep r i | 1 c i p l et 0 位m s f o n i lm e 铆。一d i m e 芏l s i o n 甜i i i l a g ei l l t o 也r e e d i i n e n s i o 枷s p a c eo fc 黝e r al a b e l i l l gm a p p i n g ，t 0c a r 巧o u t h 啪a nm o t i o nk e yp o 缸也r e e - 池e n s i o n a lr e c o n s t m c t i o na tl a s t k e yw o r d s ：h u m a ni b t j o nd e t e c t i o n ；k e yp o n t ；a p a ra r e a ；t h r e e - d 订n e n s j o n a 【 r e c o n s t r u c t i o n i i 大连理j l ：人学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 鋈边厶体三维挂堑惠检测量三丝重建 作者签名： 廑，! 查日期：旦年上三月上l 日 作者签名：笠! 望日期：翌! 年上三月上l 日 导师签名：弛狂一日期：里皇年也月旦日 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：鋈麴厶篮三丝挂挺点捡测量三维重建 作者签名：! 重! 主日期：22 垒壁年12 月匝日 大连理工大学硕士学位论文 1 绪论 1 1 人体运动的视觉分析概述 人体运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，其从包含人 的图像序列中检测、识别、跟踪人并对其行为进行理解和描述，属于图像分析和理解的 范畴l l j 。从技术角度而言，人的运动分析的研究内容相当丰富，主要涉及到模式识别、 图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、人 体的非刚性运动、人体自遮挡和目标之间的相互遮挡的处理等也为人体的运动分析研究 带来了一定的挑战。 人体运动的视觉分析研究具有广泛的应用领域，g 撕l a 【2 】总结了一些典型的应用主要 包括： ( 1 ) 智能监控： 智能监控系统【3 】的要求主要来自那些对安全要求比较敏感的场合，如银行、商店、 停车场等。目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其实时主动 的监督作用，因为它们通常是将摄像机的输出结果记录下来，但对于异常情况的发生并 没有进行主动性的警报措施。而人们需要的监控系统应该能够每天连续2 4 小时实时监 控，并自动分析摄像机拍摄到的图像数据，当盗窃发生或发现异常行为的可疑人时，系 统向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少了雇佣大批监视 人员的所需要的人力、物力、财力的投入。这里所说的智能包括两个方面的含义。一种 “智能”是指系统能够在一定的场景中检测是否有人的出现，防止只是简单的通过运动 目标检测所造成的错误报警。另外一种“智能 是指系统能够监视一定场所中人的活动， 并对其进行行为分析和识别，跟踪可疑的行为并采取响应的报警措施。通常把报警系统 置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的 智能监控。 ( 2 ) 虚拟现实 目前许多电脑游戏中人的形体、运动和行为交互的设计逼真性实际得益于物理空间 中入的运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等：基于互联网络 的交互式空间的开发刚刚起步，如虚拟聊天室，其在通过文本交流的同时可以通过二维 图标来导航用户，如果增加手势、头的姿势、面部表情等线索，将会给参与者们提供更 加丰富的交互形式；另外，人的运动分析在视频会议、人物动画、虚拟现实场合也有着 相当广泛的应用。 运动人体二维特征点检测与三维重建 ( 3 ) 高级用户接口 在高级用户接口应用领域中，人们往往希望未来的计算机能够与人一样和他人进行 便捷的交流，如手势驱动控制、手语翻译等。人与人之间的信息交流主要是依靠语言， 并适当结合手势、身体姿势和面部表情等，因此视觉信息可以作为语音和自然语言理解 的有效补充来完成更加智能的人机交互。这就要求未来的计算机必须具备感知外部环境 的能力，通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之 间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交 流。在机场等高噪声的场合，基于视觉的高级用户接口能够提供比语音识别更加准确的 信息输入。 ( 4 ) 运动分析 分割图像中的人体部分并在图像序列中跟踪感兴趣的区域，对于建立人体的几何模 型、解释人体的运动行为机制从而提高它的运动性能有着积极的推动作用，这可以应用 于体育运动、舞蹈等训练中；传统的步态分析是肌电图学、关节动力学的研究范畴，当 前的医学步态分析是一个旨在提供诊断和治疗支持的研究领域，其可以提供人体正常的 建模的线索，有助于开发生物反馈系统来分析病人的步态，判断其腿步受伤情况或者畸 形程度，从而做出有效的治疗。 人体运动分析还可以用于基于内容的视频检索领域。例如可以检索在运动会上单杠 比赛中运动员的杠上动作，这样可以节省用户大量的查询视频资料的时间和精力。另外 一种应用是用于各种体育项目中，提取运动员的各项技术参数，通过分析这些信息，可 以为运动员的训练提供指导和建议，有助于提高运动员的训练水平。 ( 5 ) 基于模型的视频编码 通过提取一定的静态场景中人物的形态特征参数和3 d 姿态参数，以较低的数据量 对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用于在因特网上展 开远程视频会议以及v o d 视频点播。 通过上述应用的介绍，可以看出运动人体的视觉分析技术已经深入到涉及日常生活 中的方方面面。从到计算机视觉、模式识别、视频图像处理等方面的理论问题和实际引 用问题，并且对跟踪系统的适时性、精度方面的要求也会越来越高，这也必将促进运 动人体视觉分析技术领域在理论上产生新的处理方法，并将对诸多应用领域产生潜在的 影响。 大连理工大学硕士学位论文 1 2 人体运动分析的主要内容 人体运动的视觉分析主要是针对包含人的运动的图像序列中进行分析与处理，通常 主要包括如下几个处理过程：( 1 ) 运动人体检测；( 2 ) 运动人体跟踪：( 3 ) 运动人 体的行为理解与描述。其中运动人体检测与跟踪属于低级处理，而行为理解属于高级处 理。下面针对这几个部分分别做简要的介绍。 ( 1 ) 运动人体检测 运动人体检测是指从背景当中提取运动人体，涉及对图像的分割和对人体区域的判 别两个问题。通常采用灰度阈值法、边缘检测算子法、差分法等技术实现对图像中人体 区域的提取。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动 区域的有效分割对于跟踪与行为理解后期处理是非常重要的，因为以后的处理过程仅仅 考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等影响，使得运动检测成为一项相当困难的工作。常用的检测方法有减 背景法、差分法、光流法。 减背景法。它是目前最为常用的一种运动分割方法，利用当前图像与背景图像 的差分来检测运动区域的一种技术。它能够提供最为完整的特征数据，但对于动态场景 的变化，如光照和外来无关事件的干扰特别敏感。例如h 撕协d 酉u 等1 4 j 利用最小最大强 度值和最大时间差分值为场景中的每个像素进行统计建模，并进行周期性的更新。 s t a f f a u f e r 与q 恤s o n 【5 】利用自适应的混合高斯背景模型，并且利用在线估计来更新模型， 从而可靠地处理了光照变化、背景混乱运动的干扰。 差分法。是在连续的图像序列中利用两个或三个相邻帧间采用基于像素的时间 差分并阈值化来提取图像中的运动区域。例如l i p t o n 等1 6 】利用两帧差分法从实际视频图 像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分代 替两帧差分，如v s a m 【_ 7 】开发了一种自适应背景减除与三帧差分相结合的混合运算，其 能够快速而有效地从背景中检测出运动目标。时间差分对于动态环境具有较强的自适应 性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 光流法。基于光流法的运动检测采用了运动目标随时间变化的光流特性，如 m e y e r 【8 】等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和 跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能够独立的检测出运动目 标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置 则不能被应用于全帧视频流的实时处理。 ( 2 ) 目标分类 运动人体二维特征点检测与三维重建 目标分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。不同的 运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉的序列图像中 可能包含行人、车辆及其它诸如飞鸟、流云、摇动的树枝等运动物体，为了便于进一步 对行人进行跟踪和行为分析，运动目标的正确分类完全是必要的。下面给出两种常用的 目标分类方法。 基于形状的信息的分类 基于形状信息的分类是利用检测出的运动区域的形状特征进行目标分类的方法。例 如v s 川【7 】采用区域的分散度、面积、宽高比等作为特征，利用三层神经网络的方法将 运动目标划分为人、人群、车和背景干扰；l i p t o n 掣6 】利用分散度和面积信息对二维运 动区域进行分类，主要是区分人、车及混乱扰动，时间一致性约束使其分类更加准确。 基于运动特性的分类 基于运动特性的分类是利用人体运动的周期性进行目标分类的方法。例如c u t l e r 与d a v i s 【9 】通过跟踪感兴趣的运动目标，计算出目标随着时间变化的自相关性，而人的 周期性运动使得其自相关性也是周期性的，因此通过时频化方法分析目标是否存在周期 性的运动特性而将人识别出来；l i p t o n 【1 0 】通过计算运动区域的残留光流来分析运动实体 的刚性和周期性，非刚体的人的运动相比于刚性的车辆运动而言具有较高的平均残余光 流，同时它也呈现了周期性的运动特征，据此可以将人区分出来。 上述两种常用的目标分类的方法有时可以结合起来使用，甚至可以考虑运动物体色 彩或速度等特征，以期得到更加准确的分类结果。另外，s 蛐r j 提出了利用时间共 生矩阵进行分类的方法，该方法不仅可以用来区分物体，还可以用来区分行为。 ( 2 ) 运动人体跟踪 运动人体跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等 有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波1 1 2 j 、c o n d e n s a t i o n 算法【1 3 j 及动 态贝叶斯网络【1 4 1 。就跟踪对象而言有跟踪手、脸、头、腿等身体部位，以及整身。就跟 踪视觉来说，由对应的单摄像机单一视角和对应于多摄像机的多视角。当然还有其它的 跟踪类型等常用的跟踪方法主要有三种：一种是基于区域的跟踪，另外一种是基于特征 点的跟踪，再一个是基于模型的跟踪。 基于区域的跟踪 基于区域的跟踪方法目前已经有较多的应用，例如w 托n 等i l5 】利用小区域特征进行 室内单人的跟踪，文中将人体看作由头、躯干四肢等身体部位所对应的小区域块所组成， 利用高斯分布建立人体和场景的模型，属于人体的像素被规划于不同的身体部位，通过 大连理工大学硕士学位论文 跟踪各个小区域块来完成整个人的跟踪。基于区域跟踪的难点是如何处理运动目标的影 子和遮挡，这或许可利用彩色信息建立自适应的背景模型，并且利用背景减除方法提取 运动区域，有效地消除了阴影的影响；然后，跟踪过程在区域、人、人群三个抽象级别 执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约速的条件下组成 的，同时人群又是由单个人组成的，因此利用区域跟踪器并结合人的表面颜色模型，在 遮挡情况下也能够较好地完成多人的跟踪。 基于特征的跟踪方法 基于特征的跟踪方法，使采用从图像序列中提取人体的典型特征并在图像序列间匹 配这些典型的特征跟踪方法。该方法以提取人体的特征开始，人体特征的选用标准是具 有抗噪声和合适的大小等特点。为了建立帧间的准确特征对应，通常都定义明确的约束 条件以减小无用的匹配区域提高匹配效率。 基于特征的跟踪包括特征提取和特征匹配两个过程。p o l a n a 与n e l s o n 【16 】将每个行人 用一个矩形框封闭起来，封闭框的质心被选作为跟踪的特征；在跟踪过程中若两人出现 互相遮挡时，只要质心的速度能被分离开来，跟踪仍能被成功地执行；该方法的优点是 实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅考虑了平移运动。如果结合 纹理，彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外，s e g e n 与p i n g a l i 【i 7 】的 跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的曲率值 的距离度量在连续帧间进行匹配。 基于模型的跟踪 传统的人体表达方法有如下三种。a ) 线图法：人运动的实质是骨骼的运动，因此 该表达方法将身体的各个部分以直线来近似。b ) 二维轮廓：该人体表达方法的使用直 接与人体在图像中的投影有关，如j u 等【1 8 】提出的纸板人模型，其将人的肢体用一组连 接的平面区域块所表达，该区域块的参数化运动受关节运动的约束，该模型被用于关节 运动的图像分析。c ) 立体模型：它是利用广义锥台、椭圆柱、球等三维模型来表述人体 结构：w a c h t e r 与n a g e “1 9 】利用椭圆锥台建立三维人体模型，通过在连续的图像帧间匹 配三维人体模型的投影来获得人体运动的定量描述，其中，它是利用了迭代的扩展卡尔 曼滤波方法，结合边缘、区域信息及身体解析约束确定的身体关节运动的自由度实现单 图像序列的跟踪。 ( 3 ) 运动人体的行为理解与描述 运动检测、目标分类与人的跟踪是人运动分析中研究较多的三个问题，而人的行为 理解与描述是近年来广泛关注的研究热点，它是指对人的运动模式进行分析和识别，并 用自然语言等加以描述。行为理解可以简单地被认为是时变数据的分类问题，即将测试 运动人体二维特征点检测与三维重建 序列与预先标定的代表典型行为的参考序列进行匹配。由此可见，行为理解的关键问题 是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相 似的运动模式类别空间和时间尺度上轻微的特征变化。 对于人的行为识别而言，目前主要有下述两种方法。 模板匹配方法 采用模板匹配技术的行为识别方法首先将图像序列转换为一组静态形状模式，然后 在识别过程中和预先存储的行为标本相比较。例如b o b i c k 与d a v i sf 2 0 j 采用运动能量图像 i 和运动历史图像m h i 来解释图像序列中人的运动。序列中的运动图像首先差分运 算并二值化；而后这些包含运动区域的二值化运动图像随着时间累加形成m e i ；最后 i 增强为m h i ，m h i 中每个像素的值与该位置的持续运动时间成比例。每个行为由 不同视角下的图像序列的汜i 和m h i 所组成，从中可以提取出基于矩的行为特征用于 识别阶段的模板匹配。 状态空间法 ： 基于状态空间的方法定义每个静态姿势作为一个状态，这些状态之间通过某种概率 联系起来。任何运动序列可以看作为这些静态姿势的不同状态之间的一个遍历过程，在 这些遍历期间计算联合概率，其最大值被选作为分类行为的标准。目前，状态空间模型 已经被广泛地应用于时间序列的预测、估计和检测。 人的行为的语义描述1 2 1 】近来得到了一定的研究，它是应用自然语言的概念，选择一 组运动词语或短语来报告场景中运动目标的行为。比如k o j i m a 等瞄】提出了_ 种新的方 法，用于产生实时视频图像中人的行为的自然语言描述：首先，从每帧图像中提取出代 表整个人体的头部区域，并利用基于模型的方法，估计其三维姿势和位置：然后，这些 参数轨迹被分解为单一的运动基元，评估每个基元的诸如姿势和位置的变化度与环境 中其它一些目标的相对距离等概念特征，并且选择最合适的词语和其他语义元素。 综上所述，可以把整个运动人体视觉分析的主要过程归纳为如图1 1 所示部分。 图1 1 人体运动视觉分析的主要过程 f i g 1 1 1 1 1 ep r o c e s s0 f h 啪锄m 硎佣v i s i o n 觚a l y s i s 大连理工大学硕士学位论文 1 3 国内外的研究现状及发展趋势 人体运动的视觉分析，已经成为计算机视觉领域中一个重要的研究领域，其在智能 监控、虚拟现实、用户接口等方面的具有广泛的应用前景引起了世界各地广大科研工作 者以及商家的极大兴趣，尤其在美国、英国等国家已经展开了大量相关项目的研究。例 如，1 9 9 7 年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高 校参与的视觉监控等重大项目v s 舢订，主要用于战场以及普通民用场景进行监控的自动 视频理解技术；英国的雷丁大学己开展了对车辆和行人的跟踪及其交互作用识别的相关 研究【2 3 】；m m 与m i c r o s o r 等公司也正逐步将基于视觉的手势识别接口应用用于商业领 域中【2 4 1 。 尽管人的运动分析研究已经取得了一定的成果，但下述几个方面仍然是今后研究的 难点问题。 ( 1 ) 运动分割 快速准确的运动分割是个相当重要但又比较困难的问题。这是由于动态环境中捕捉 的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动 目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些 都给准确分割带来了影响。如运动目标的影子为例，其可能与被检测的目标相连，也可 能与目标分离。在前者情况下，影子扭曲了目标的形状，从而使得以后基于形状的识别 方法不在可靠；目前图像分割主要的方法利用减背景法，但如何建立对于任何复杂环境 的动态变化均具有自适应性的背景模型仍是相当困难的问题。目前，研究者正利用时空 统计的方法构建自适应的背景模型，这也许对于不受限环境中的运动分割而言是个很好 的选择。 ( 2 ) 遮挡处理 目前，大部分的人运动分析系统都不能很好地解决目标之间互遮挡和人体自遮挡问 题，尤其是在拥挤状态下，多数人的检测和跟踪问题更是难于处理。遮挡，人体只有部 分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动分割的技 术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来 处理遮挡时特征与身体各部分之间的准确对应问题。利用统计的方法从可获得图像信息 中进行人体姿势、位置等的预测；不过，对于解决遮挡问题最有实际意义的潜在方法应 该是基于多摄像机的跟踪系统。 ( 3 ) 三维建模与跟踪 运动人体二维特征点检测与三维重建 二维方法在早期人的运动分析中证明是成功的，尤其是对于那些不需要精确的姿势 恢复或低图像分辨率的应用场合。二维跟踪的优点是快速，而主要却缺点是受摄像机角 度的限制。而三维方法在不受限的复杂的人的运动判断，更加准确的物理空间的表达 遮挡的准确预测和处理等方面的优点是二维方法不能比拟的，它能提供更加有意义的与 身体姿势直接相关的可视化特征用于行为识别，同时，三维恢复对于虚拟现实中的引用 也是必须的。目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少， 而且大部分系统由于鲁棒性的要求而引入了简化的约束条件。因此三维建模与跟踪应在 未来值得更多的关注。 ( 4 ) 摄像机的使用 使用单一摄像机的三维人的跟踪研究还不够，身体姿势和运动在单一视觉中由于遮 挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟踪和恢复的优点 是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个 不同方向视觉用于解决遮挡伺题。很明显，未来的人体运动分析系统将极大受益于多摄 像机的使用。 。 ( 5 ) 性能评估 ： 一般而言，鲁棒性、准确度、速度是人运动分析系统的三个基本要求。例如，系统 的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动连续地工作，因此这 些系统对于如噪声、光照等因素的影响不能太敏感；系统的准确度对于控制应用特别重 要，例如基于行为或姿势识别的接口控制场合；而系统的处理速度对于那些需要实时高 速的监控系统而言更是非常关键。因此，如何选择有效的工作方案来提高系统性能、降 低计算代价是个特别值得考虑的问题。同时，如何利用来自不同用户、环境、实验条件 的大量数据测试系统的实时性、鲁棒性亦相当重要。 目前展开人体运动分析研究的单位有浙江大学人工智能研究所、中国科学院计算 所、微软亚洲研究等。中科院主要涉及到人体运动分析，应用在国家队跳水运动训练中， 同时有一个专门的虚拟人实验室，研究人体建模、人体跟踪等；微软亚洲研究院多媒体 研究用于高级人机交互；而浙江大学主要用于基于视频序列的人体动画方向的研究。 1 4 本文的主要工作及各章内容安排 本文主要是实现了人体视觉分析的主要过程中的运动人体检测与特征点提取。通过 运动人体检测的减背景法、光流法、帧差法进行优缺点的对比，设计并实现了一种自适 应背景模型的建立与更新的运动人体区域的检测系统。由于光照造成的运动人体阴影区 大连理工大学硕士学位论文 域对运动人体分割的不正确影响，本文通过将需要检测的图像序列从r g b 空间模型转 变成h s v 彩色空间模型之后，利用色度和饱和度信息就可以将阴影区域消除，从而实 现运动人体区域的正确分割。对于特征点的提取本文主要运用a p a r 区域法实现人体特 征点的提取。对于将二维运动人体特征点映射到三维空间实现，本文采用计算机视觉中 的p i n - h 0 1 e 技术，实现二维关节点到三维空间的映射，从而实现了运动人体的三维特征 点的形成。 本文的主要章节安排如下： 第一章：概括介绍了人体运动视觉分析的定义、应用领域、人体运动视觉分析研究 的主要内容、国内外的发展现状以及发展趋势，最后简要的概述了本文的工作内容以及 各章的内容安排。 第二章：通过阐述运动人体检测的各种方法，比较各种运动检测的优缺点，实现了 一种运动人体检测系统。其中将创建一种自适应的背景模型实现运动人体检测，针对光 照造成的阴影区域c 勰t s h a d o w 对运动人体分割的影响，本文通过将r 疆图像转变成 h s v 图像实现阴影区域的消除，针对噪声的造成的运动人体区域分割的影响，本文通过 数字图像处理中的腐蚀与膨胀操作实现对运动人体区域的精确分割。 第三章：通过对梯度法、星形骨架法和a p a r 区域法实现对二维运动人体的特征点 的检测。主要思路是通过上一章检测到的运动人体二值化图像，借助轮廓提取算法实现 边缘轮廓的提取，求出边缘轮廓的重心坐标，计算边缘轮廓点与重心坐标的距离。比较 边缘点与重心之间的距离，求出极值点，与重心坐标相连便构成星型骨架。本章重点是 通过a p a r 区域法实现运动人体区域的特征点的检测，通过确定人体区域各个部位的 a p a r 区域，再经过连接每个a p a r 区域中线的端点，实现人体骨架的提取，同时中线 的端点便可近似看作运动人体的二维特征点。 第四章：通过计算机视觉的原理以及获得的运动人体图像二维图像，采用小孔成像 的原理，将二维图像转换到摄像机空间下对应的二维空间坐标，在摄像机三维空间坐标 系下，将摄像机二维坐标映射到三维空间中，从而实现三维点的重建，鉴于二维特征点 已经获得，通过摄相机的标定技术实现运动人体的三维空间的重构。 总结：对运动人体动作的捕捉所采取的方法主要包括两种，一种是有标记的运动人 体动作捕捉，比如在运动人体身上添加传感器；另外一种方法是无标记的运动人体捕捉， 较为常见的是通过摄像机的对运动人体进行拍摄得到运动人体的动作序列，无需在运动 人体的各部位添加标记。本文研究的出发点是通过对运动人体进行无标记的动作捕捉， 采取的方法是通过对静止固定的摄像机拍摄一段与运动人体相平行视频序列，根据上述 理论实现二维运动人体特征点的检测与三维重建工作。 运动人体二维特征点检测与三维重建 2 运动人体检测 人体运动的视觉分析是计算机视觉领域中最为活跃的研究课题之一，其核心是利用 计算机视觉技术从图像序列中进行检测、跟踪、识别、并对之进行行为理解。因此，运 动人体检测成为人体运动视觉分析的首要步骤。运动检测的目的是从序列图像中将变化 区域从背景图像中提取出来，运动区域的有效分割对于跟踪与行为理解等后期处理是非 常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。 2 1背景模型的构建 然而，由于背景图象的动态变化，如天气的影响，使得运动检测成为一项相当困难 的工作。因此，背景模型的构建的好与坏影响对运动人体检测起到决定性的作用。 下面介绍几种简单的背景提取方法，如统计直方图法【2 5 1 、统计中值法【2 6 】、多帧平均 i 法【2 7 】等，同时比较每种方法的优缺点2 8 1 。 统计直方图法。统计一段时间内n 帧中每个像素点上不同亮度出现的次数，其中如 现次数最多的，即直方图中最大值就取为背景本身的亮度值。n 帧的统计直方图可以表 示为： p ( 工，夕，七) = 材肌i ，若砌秽f ，y ) = 七，其中，= 1 ，2 ，尼= o ，1 ，2 5 5 ， 6 口础矿d 甜耐( x ，y ) = m a x 女 尸( z ，y ，七) 】o 其中：尸( x ，y ，七) = 肌。表示像素点( x ，y ) 处亮度值， 该方法抗干扰性好，在通常情况下提取出背景较好，但运算量大，提取背景速度慢是该 方法的主要缺点。并且随着统计帧数的增加，得到的背景图像较好；对于图像远景，一 些运动目标相连，会误把运动目标当成背景统计出来。 多帧图像平均法。考虑到运动目标的多样性，有的亮度值比背景高，有的比背景低， 有的与背景相当。所以从统计学角度看，有运动目标经过而引起的变化在长时间内可按 求平均值的方法来消除，多帧图像平均法是将运动目标看作为噪声，用累加平均的方法 消除之。利用运动目标运行一段时间的序列图像进行平均而得到背景图像，如公式2 1 所示。 占口c 堙，伽甩d ( x ，y ) = 专喜f 朋口g 啾x ，y ) ( 2 1 ) 其中召口c 七g ，d ”以d ( 工，y ) 表示背景图像，拥口班，( x ，y ) 表示第f 帧序列图像在像素点的亮 度值，表示帧数。该算法的特点是模型简单、计算方便。但是，在实际应用中，往往 大连理工大学硕士学位论文 是图像中的某些区域亮度高的目标区域，这样通过平均法得到的背景图像就会出现亮度 不均的现象。当然，随着帧数的增加，噪声消除后的结果会有所改善。 2 1 1减背景法 减背景法是目前运动分割中最为常用的一种方法，其是利用当前图像与背景图像的 差分来检测出运动区域的一种技术。其一般能够提供最为完全的特征数据，但对于动态 场景的变化，如光照和外来无关事件的干扰等特别敏感。 背景差分的基本思想是将当前帧图像与事先存储或者实时得到的背景图像相减，理 想情况下这样得到的差分后得结果是仅包含运动人体的图像，但是由于电子噪声光照 颜色的影响所造成的影响，所得到的差分结果除了运动人体轮廓区域，还有阴影和噪声 的区域。因此必须通过一定得阈值将运动人体区域的像素值从差分结果当中分离出来， 但是还有些差值大于某一阈值，则判此像素为运动对象上的，阈值操作后得到的结果直 接给出了对象的位置、大小、形状等信息。 在视频序列中f l 时刻与乞时刻的两帧包含有运动人体的图像厂( x ，y ，) 和厂( x ，少，乞) ， 是与其对应的背景图像肋c 姆d 姗d ( x ，少) 依次如图2 1 所示。按照公式2 2 求得运动人体 区域为形，通过阈值丁将电子噪声等因素造成的非运动人体区域去除，如果差分结果 大于提丁，则对应的是运动人体的图像，反之属于背景图像。这样得到取出运动人体的 二值图像，如图2 2 ( i ) 所示。 2 ：汐= ( 缈( 6 c 配是誉。加狮d ( x ，j ，) ) 一( 缈( 厂 ，夕，f ) ) ( 2 2 ) 其中g 叼，( 6 邪置矿d 材聆d ( x ，y ) ) 是对应背景的灰度图像，g ，叼，( ( x ，少，f ) ) 对应的是要提 取运动人体区域的运动人体区域，彤对应的是运动人体区域。 减背景法得到的运动到的是运动人体的灰度图像，同过设定的阈值丁按照公式2 2 来区分运动人体区域以及其他( 噪声、光照) ，并对运动人体区域进行二值化处理。 咖，= 嬲三； ， 其中厂( x ，少) 为通过减背景法得到的运动人体的灰度图像，g ( x ，y ) 是对应的运动人 体二值化图像。 减背景法的阈值丁的选择有多种方法。简单的方法是通过直方图法直观的获取。直 方图显示的灰度图像中背景像素数目与运动人体区域所对应的像素的比例，具有如下两 个特点：一是背景的像素数目大于运动人体所对应的像素数目，而且运动人体区域对应 运动人体二维特征点检测与三维重建 的像素值的要大于背景区域对应的像素值。如图23 所示对应的是灰度直方圈将运动人 体区域与背景区域相分离的，对应的阚值应该在5 0 左右。 图2 】 ，( r ，y ，f i ) 、，( z ，y ，f 2 ) 及肋c 幻”o 矾d ( i ，y ) f 1 9 21，( z ，y ，) 、“x ，y ，f 2 ) a 1 1 d 肋c 矿d 肼d ( z ，y ) 叼| ( i )( i i ) 图2 2 运动人体二值化图像 f 培2 2t h e b i n 州l m a g eo f h m o t l o n 其次较为著名的闽值提取方法是大津闽值法口。将直方图在某一阈值处分割成两 组，当被分成的两组间方差为最大时，决定闽值。现在，设一幅图像的灰度值为o 叫n - 1 级，灰度值f 的像素为此时得到像素总数： _ = _ ( 23 ) 各值的概率： 只= 专 ( 2 4 ) 大连理工大学硕士学位论文 l 口5 0 一 图23 ，( x ，) 对应的灰度直方图 f 嘻23t h e y h l “f o f ，( z ，y ) 然后用r 将其分成两组c o = o ，一1 j 和g = r 一l ，备组产生的概率如下： c 。产生的概率w o = p ，= w ( d ( 25 ) q 产生的概率= p ，= i w o ( 26 ) c d 的平均值鳓= 善鲁= 器 ( 27 ) q 的平均龇= 薯詈= 告等 ( 2 8 ) 其中，p = 咖，是整体图像的灰度平均值；p ( r ) = 孵是闽值为，时灰度平均值， 所以全部采样的灰度平均值为： = ”0 b + p l( 29 ) 两组间的方差用式求出： 6 2 ( r ) = w 0 ( p 。一p ) 2 + ( “一) 2 = w 0 ( “一一。) 2( 2 1 0 ) = = = 一。 运动人体二维特征点检测与三维重建 从1 m 1 之间改变，求上式艿2 ( 丁) 为最大值时的r ，即求m 强艿2 ( 丁) 时的丁值，此时， 丁r 便是阈值。艿2 ( 丁) 叫做阈值选择函数。实验证明，通过该方法得到的阈值丁相对 于直接通过直方图确定阈值丁所得到的分割结果更加准确，如图2 2 ( i i ) 所示。 减背景法能够提取运动人体的大部分信息，通过设定阈值来提取运动人体区域是实 现运动人体检测的常用方法。但是由于噪声或其他因素( 比如衣服的颜色、阴影区域的 影响) 而影响图像的分割，即使是通过设定的阈值，分割的效果也很难理想。因此考虑 实际环境的复杂，为满足实际环境的应用需要的算法往往比较复杂。 减背景法常遇到的困难是： ( 1 ) 影子的影响。由于光照的影响，伴随着运动区域一起运动，使得运动区域检 测得不精确。 ( 2 ) 运动区域的颜色与背景接近的情况，很容易将运动区域的某一部分当作是背 景的一部分进而造成运动区域出现空洞现象。 ( 3 ) 对于运动人体检测而言，运动人体的衣服宽大，对于运动人体的检测也会造 成影响，同时对运动人体的特征点的检测也会造成影响。 其实减背景的方法很简单，但是对于运动人体检测所需要