（模式识别与智能系统专业论文）基于量子免疫克隆的三维人体跟踪算法研究.pdf

摘要 摘要 基于计算机视觉的人体运动分析，是指如何从有人体运动存在的图像序列中， 萃取出不同场景中人体的位置、轮廓、纹理等二维运动信息，恢复出人体三维姿 态，它在姿态估计、场景监控、医学运动分析、人机交换接口、行为理解、语义 分析、基于内容的图像存储与检索等方面具有广泛的应用前景及经济价值。 近年来，基于视觉的三维人体运动分析，受到了国际国内很多学者的关注。 总的来说分为三部分：人体检测、运动跟踪与运动理解。其中三维人体运动跟踪 是其中最关键的环节之一。基于视频图像序列的人体三维运动估计是一个复杂的 高维非线性问题，而且对实时性要求较高。面对待估计的状态向量维数非常高的 问题，在高维空间里进行全局搜索或优化非常耗时，而使用确定性优化方法则很 容易陷入局部最优解，使用粒子滤波器等随机搜索方法也得不到满意的结果。为 了提高对复杂的高维状态空间的搜索效率，求得更优的跟踪结果，将量子计算的 并行性引入到免疫克隆优化算法之中，用于求解人体三维运动跟踪问题。因为量 子计算具有叠加性和并行性，因此在优化高维函数时有很大的优势，且具有良好 的搜索能力和搜索速度，适合于人体跟踪这一类高维非线性，且实时性要求比较 高的高维优化问题。 从目前基于视觉的人体运动跟踪的研究现状和特点出发，本论文主要完成了 下列工作： 1 使用大量的人体物理约束和先验信息，同时根据图像序列中人体区域的自身 特点，自动的找到头顶点、根结点以及四肢点的初始位置，改进了人体关节点自 动检测算法；在人体关键点检测算法的基础上，使用卡尔曼滤波器设计出了漏检 点和错检点预测机制，最后得到了稳定的人体关键点信息。 2 提出了一种基于量子进化算法的三维人体跟踪方法。与贝叶斯估计框架不 同，论文把人体跟踪问题当作非线性函数优化问题，结合量子进化算法的更新和 变异思想，设计出了全部使用概率表示的个体，使得算法可以满足人体跟踪要求 的高维度优化，最终快速地恢复了三维人体姿态。 3 提出了一种基于量子免疫克隆算法的三维人体跟踪方法。本论文中的算法框 架，跟使用粒子滤波器等确定性优化方法解决人体跟踪问题不同，本论文使用了 量子免疫克隆算法这种不确定性优化算法，根据量子的叠加性和并行性，去解决 单假设优化问题，其中利用混沌变异对量子种群进行变异，使用克隆操作对量子 种群进行扩展，使得搜索空间进一步加大，对于最优解的获得就更加有利，最终 获得了更准确的人体三维姿态。 基于关键点的三维人体跟踪算法 本论文的工作得到了国家自然科学基金( 6 0 7 0 3 1 0 8 ) ，和陕西省自然科学基金 ( 2 0 0 7f 3 2 ) 的资助。 关键词：单目图像序列，卡尔曼滤波，相似度函数，不确定性优化，量子免疫克 隆算法 a b s t r a c t a b s t r a c t c o m p u t e rv i s i o n 。b a s e d3 dh u m a nm o t i o na n a l y s i ss t u d i e sh o wt oe x t r a c tt h e2 d i n f o r m a t i o no fh u m a nm o t i o nf r o mi m a g es e q u e n c e sw h i c he x i s th u m a nm o t i o n ，s u c ha s l o c a t i o n s ，m o t i o n sa n dg e s t u r e s ，a n dh o wt or e c o v c tt h e3 dh u m a nb o d yp o s t u r e ，w h i c h p l a y sa ni m p o r t a n tr o l e s i nt h e 、析d ea p p l i c a t i o ns u c ha s p o s er e c o g n i t i o n , s c e n e s u r v e i l l a n c e ， m e d i c a lm o t i o n a n a l y s i s ，h u m a n c o m p u t e ri n t e r a c t i o n , b e h a v i o r u n d e r s t a n d i n ga n ds e m a n t i ca n a l y s i se t e i nr e c e n t y e a r s ，c o m p u t e rv i s i o n b a s e d3 dh u m a nm o t i o na n a l y s i sr e c e i v e d i n c r e a s i n ga t t e n t i o nf r o mm a n ys c h o l a r sd o m e s t i ca n di n t e r n a t i o n a l o v e r a l lc o m p u t e r v i s i o n - b a s e d3 dh u m a nm o t i o na n a l y s i si sd i v i d e di n t ot h r e ep a r t s ：t h eh u m a nb o d y d e t e c t i o n ，m o t i o nt r a c k i n ga n dm o t i o nu n d e r s t a n d i n g ，a n dt h em o t i o nt r a c k i n gi st h e m o s ti m p o r t a n tp a r t t h et h r e e d i m e n s i o n a lh u m a nm o t i o ne s t i m a t i o nb a s e do nv i d e o i m a g es e q u e n c e si s ac o m p l e xh i g h d i m e n s i o n a ln o n l i n e a rp r o b l e m ，a n da l s of o r r e a l - t i m ed e m a n d i n g f o rt h ee s t i m a t e ds t a t ev e c t o rt ob ev e r yh i 曲d i m e n s i o n a l p r o b l e m si nh i g h d i m e n s i o n a ls p a c et oc o n d u c tag l o b a ls e a r c ho ro p t i m i z a t i o ni sv e r y t i m e c o n s u m i n g ，b u tu s i n gt h ed e t e r m i n i s t i co p t i m i z a t i o nm e t h o di sv e r ye a s yt of a l l i n t ot h el o c a lo p t i m a ls o l u t i o n ，a n dt h eu s eo fp a r t i c l ef i l t e r sa n do t h e rr a n d o ms e a r c h i n g m e t h o d sa r ea l s en o tg i v e ns a t i s f a c t o r yr e s u l t s 。i no r d e rt o i m p r o v et h ec o m p l e x 1 1 i g h - d i m e n s i o n a ls t a t es p a c es e a r c he f f i c i e n c y , a n dt oo b t a i nb e t t e rt r a c k i n gr e s u l t s ，t h e p a r a l l e l i s m o fq u a n t u mc o m p u t i n gw i l lb ei n t r o d u c e dt ot h ei m m u n e c l o n i n g a l g o r i t h ma m o n gi s u s e dt os o l v et h et h r e e - d i m e n s i o n a lh u m a nm o t i o nt r a c k i n g p r o b l e m s b e c a u s eq u a n t u mc o m p u t i n gh a st h es u p e r p o s i t i o na n dp a r a l l e l i s m ，t h e r e f o r e o p t i m i z i n gt h eh i g h - d i m e n s i o n a lf u n c t i o n sh a v eag r e a ta d v a n t a g e ，a n dh a sg o o ds e a r c h c a p a b i l i t i e sa n ds e a r c hs p e e d ，s u i t a b l ef o rt h i st y p eo fh i g h d i m e n s i o n a ln o n - l i n e a r h u m a nt r a c k i n g a n dr e l a t i v e l yh i g hr e a l t i m er e q u i r e m e n t sn l el l i g h d i m e n s i o n a l o p t i m i z a t i o np r o b l e m o nt h eb a s i so fas u r v e yo ft h ep r e s e n tr e s e a r c hw o r ko fc o m p u t e rv i s i o n - b a s e d3 d h u m a nm o t i o nt r a c k i n g ，t h i st h e s i ss t u d i e s t h ei m a g e sf e a t u r es u b t r a c t i o n ，t h e r e c o n s t r u c t i o no fh u m a nm o d e l ，f i l t e r i n ga l g o r i t h ma n dq u a n t u m o p t i m i z a t i o na l g o r i t h m t h em a i nc o n t r i b u t i o n so ft h i st h e s i sa r ef o l l o w s ： 1 i m p r o v e da na u t o m a t i cm e t h o df o r i n i t i a l i z a t i o no fjo i n tp o i n t sa n du n d e t e c t e d p o i n t sp r e d i c t i o n a i m i n ga tt h ep r o b l e mt h a ts e t t i n gt h ei n i t i a lj o i n tp o i n t sm a n u a l l yi n t h ep r o p o s e dw o r k ，t h i st h e s i sp r e s e n t sa na u t o m a t i cm e t h o df o ri n i t i a l i z a t i o no fj o i n t p o i n t sa n dp r e d i c t i o no fu n d e t e c t e dp o i n t s t h e s ej o i n tp o i n t sl i eo nt h es k e l e t o nl i n eo f 基于关键点的三维人体跟踪算法 at h i n n e dr e g i o na n dp a r a m e t e r sa r ee s t i m a t e db ym i n i m i z i n gt h ed i s t a n c eb e t w e e nt h e d e t e c t e dj o i n tp o i n t sa n dt h ep r o j e c t i o no f3 dm o d e l 2 p r e s e n tat h r e e - d i m e n s i o n a lh u m a nm o t i o nt r a c k i n gm e t h o db a s e do nq u a n t u m e v o l u t i o na l g o r i t h m a c c o r d i n gt ot h eu p d a t e sa n dv a r i a t i o ni d e a so fe v o l u t i o n a r y a l g o r i t h m ，d e s i g n e dt h ec h r o m o s o m e sa n dp o p u l a t i o nt h a th a v eb e e nm p m s e n t e db y p r o b a b i l i t y ah i g h d i m e n s i o n a lo p t i m i z a t i o np r o b l e ml i k et h eh u m a nt r a c k i n ga l g o r i t h m c a nb es o l v e db yc h a n g i n gt h ep o p u l a t i o n so ft h ep r o b a b i l i t yb i t s ，a n dt h a tc a ng e tt h e g l o b a lo p t i m a ls o l u t i o nv e r yg o o di nt h es e a r c hs p a c e 3 。p r o p o s e d at h r e e d i m e n s i o n a lh u m a nm o t i o n t r a c k i n g m e t h o db a s e do n q u a n t u m i n s p i r e di m m u n ec l o n i n ga l g o r i t h m ( q i c a ) i t sm a i ni d e ai st os o l v eas i n g l e h y p o t h e t i c a lo p t i m i z a t i o np r o b l e mb a s e do nq u a n t u ms u p c r p o s i t i o na n dp a r a l l e l i s m ，i n w h i c hu s i n gt h ei m m u n es e l e c t i v eo p e r a t i o no b t a i nt h ev a r i a t i o no ft h eq u a n t u m p o p u l a t i o n s ，u s i n gc l o n e do p e r a t i o nt oe x t e n dt h eq u a n t u mp o p u l a t i o n s ，s ot h es e a r c h s p a c ei se n l a r g e df u r t h e r , a n dt h e ni tw i l lo b t a i nm o r ef a v o r a b l ef o rt h eo p t i m a ls o l u t i o n k e y w o r d ：m o n o c u l a ri m a g es e q u e n c e s ，k a l m a nf i l t e r , l i k e l i h o o df u n c t i o n ， u n c e r t a i n t yo p t i m i z a t i o n ，q u a n t u m - i n s p i r e di m m u n ec l o n i n ga l g o r i t h m 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：叁垄：丑 日期丝旦! ! ! ! 三 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表的论文与本论文工作成果有关时署名单位仍然为西安电子科技大 学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文 的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的 论文在解密后遵守此规定) 本人授权西安电子科技大学图书馆保存学位论文，并同意将论文在互联网上 发布。 本人签名： 导师签名：日期垫竺：! ! 竺 第一章绪论 第一章绪论 1 1 引言 计算机视觉是依托于计算机科学和人工智能形成的一个新兴的研究领域，它 主要是为计算机提供一种可以视觉量化的手段，使用人工智能系统来实现跟人类 视觉类似的功能，利用单目、多目相机进行视觉导航、场景监控、提取各种类型 的物体、人以及动物的结构或者运动特征等，其中心任务是对图像进行理解。它 研究的主要内容，是怎样利用各种成像系统代替视觉器官作为信号输入手段，由 计算机来代替大脑完成对信息的处理和理解【l j 。计算机视觉的最终研究目标，是使 计算机能像人那样通过视觉来观察和理解世界。其中，基于视频的人体运动姿态 分析是计算机视觉研究领域的重要课题之一，也是近年来备受研究者关注的前沿 方向。然而让计算机具有人的视觉能力是一件非常困难的事情，因为人类居住在 三维空间中，视觉传感器只能获取三维世界的投影信息，即两维图像序列( 最多是 2 5 维) ，这个过程导致大量的信息丢失，通过移动的视觉传感器所获取的动态场景 信息使计算机视觉任务变得更加复杂【2 】。 基于单目图像序列的三维人体运动跟踪是计算机视觉和计算机图形学相互融 合的一个受到广泛关注的研究方向，其研究核心是从单个或多个图像序列中检测、 获取二维人体运动数据和跟踪人体运动，并在此基础上重建人体的三维运动或描 述和解释人体运动【3 】。基于图像序列的三维人体运动跟踪研究涉及计算机视觉、计 算机图形学、图像处理、模式识别和人工智能等学科领域，是一个跨学科的挑战 性研究课题。 其中如电影、电视和录像等在内的图像序列是人体运动数据的重要来源，如 果有准确跟踪和重建这些图像序列中的人物运动姿态的能力，将会实现人工智能 领域的一次大的突破。如何才能实现这个突破，从中学习到人体运动和行为的模 型，以用于虚拟场景及其它计算机艺术创作中，这也正是本文尝试要解决的问题 和追求的目标。真实世界中的人体运动非常复杂，包括人体关节的转动、人体肌 肉的变形和扭曲、脸部表情的变化以及手和脚的细微动作等。本文所要展示的是 包括人体四肢和躯干在内的整个人体关节的运动，其有着明确目的和完成特定功 能的目标。本文将针对单目图像序列中的人体运动跟踪和运动姿态恢复问题展开 研究。 在现实场景中，大多数的计算机视觉任务都与人类的活动有关，比如智能监 控，虚拟场景以及智能人机接口等。人体运动跟踪是计算机视觉领域一个重要的 研究方向，它旨在对图像序列进行分析，从而获得人体姿态和运动参数，并进一 步进行姿态识别、语义分析及行为理解。它覆盖了人体识别、手势识别、人体跟 2 基于关键点的三维人体跟踪算法 踪、语义分析等研究领域【l 】【2 】，需要使用运动分割、跟踪、识别、语义表示与推理 等技术，涉及到模式识别、图像处理、计算机视觉、人工智能、图形学等学科领 域，这是一个具有挑战性的、跨学科的研究方向。本论文将对人体运动的视觉分 析中的人体建模与跟踪进行研究，主要运用的方法是不确定优化方法，其中包括 改进过的量子进化算法和量子免疫克隆算法等成熟算法。 1 2 研究背景与现状 随着计算机硬件技术的飞速发展，特别是图形处理器( g p u ) 的不断更新换代， 普通计算机的计算性能有了巨大的提升，其图形处理能力得到了前所未有的提高。 近年来，数字图形处理技术得到了很大发展。现在，图形设计师们已经可以在配 置了高端图形处理器的计算机上，创造出逼真的虚拟人物、虚拟环境乃至他们所 能想象到的任何虚拟环境。数字图形处理技术在影视特效、动画制作、游戏生成 等应用中获得了巨大的成功。在制作虚拟人物时，使人物具有逼真的运动十分重 要。通常情况下，制作仿真人物动画需要专业的设计师进行精心地设计和不断地 调整，这将耗费大量的人力和物力【4 】。 近年来，运动捕捉技术作为一种获取人体运动数据的有效方法己经被越来越 广泛地应用到人体动画和游戏制作中。借助各类运动捕捉系统，专业人员得到了 大量的人体运动数据，经过一些后期处理和编辑等工作，己经积累了丰富的人体 运动数据库。然而，绝大多数运动捕捉系统都需要特殊的、昂贵的器件，有的要 求人体关键关节部位佩戴标记，甚至是与计算机连接的传感器，对人的运动额外 附加了诸多妨碍和限制，且往往只能在固定的工作室环境下应用。目前，我们还 无法将这样的运动捕捉技术用于诸如体育运动、舞蹈表演等室外或更复杂的环境 下的人体运动数据获取。 随着视觉领域基于视频的人体运动姿态分析研究的进展，计算机图形和视觉 研究人员都对基于视频的人体运动捕捉表示出极大兴趣和希望。研究人员希望从 普通视频源中获取人体运动数据，重建其中的人体三维姿态，用于生成逼真的人 体动画。近年来，结合视觉研究的成果，在计算机图形领域也发展了一种称为视 频人体动画的方法。这种方法首先从视频中恢复人体的运动信息，然后将这些运 动信息赋给新角色，使其产生与原始视频中的人体运动相似的人体动画。基于视 频的人体运动姿态分析，尤其是人体关节运动的准确跟踪和获取，是视频人体动 画的基础。研究视频中人体关节运动的跟踪和获取方法，是有着广阔应用前景和 实用意义的研究课题。 人体运动姿态分析，就是指跟踪或提取人体的运动姿态，并对它进行分析、 识别和理解。它是近年来计算机视觉领域中备受关注的前沿方向，受到了越来越 第一章绪论 多的学者关注和重视。传统的人体运动姿态分析方法一般分为两种：一种就是利用 运动捕获技术，它在人体的各个关节部位分别加上传感器，在人体运动过程中， 传感器会不断地将各关节在空间中的位置返回给计算机，这样计算机就可以精确 地获得人体在各个时刻的运动姿态。另一种方式则是针对包含人体运动的图像序 列进行分析。图像序列可以是单摄像机拍摄，也可以是多个摄像机同时从各个视 角拍摄的p j 。 本文所说的人体运动跟踪主要是指第二种，即从图像序列中获取二维的人体 运动信息，并对它进行分析、识别和跟踪等工作。由于这一研究具有极大的研究 价值，日前成为数字图像处理和计算机视觉研究中的热点问题，从技术角度而言， 它包含人在图像序列中的检测、识别、跟踪并对其行为进行理解和描述，属于图 像分析和理解的范畴。人体运动姿态分析研究涉及的领域非常丰富，主要包含有 模式识别、图像处理、计算机视觉、人工智能等学科知识。它具有相当广阔的应 用前景，被广泛地应用在智能监视系统、虚拟现实、视频编码、人机接口、人机 交互、运动员动作分析、医学分析以及动画制作等各种领域。 1 3 人体运动跟踪的应用 计算机视觉领域以人的运动为研究对象的动机主要源于三个方面【1 】【2 】：一是计 算机视觉理论和智能算法的发展；二是高性能的视觉传感器的普遍应用；三是以 人为中心的视觉分析有着广泛的应用前景和潜在的经济价值。根据相关文献【1 5 】， 本论文将以人为中心的视觉分析的应用背景做如下介绍： 1 ) 智能监控 智能监控主要是针对那些对安全要求比较高的场合，如军事重地、银行、商 场超市、停车场、小区和自动取款机等，采用由计算机控制的若干摄像机进行安 全监控。自“美国9 1 1 恐怖袭击”发生以来，安全监控在各个领域凸显出其重要 地位，世界各国都投入大量人力物力，研究和实施智能监控系统。目前监控摄像 机在商业应用中已经普遍存在，但并没有充分发挥其实时和主动的监控作用。多 数场合尽管装有摄像机，但还是需要专门的工作人员监视显示器以便及时发现异 常事件。或者往往只是将摄像机拍摄的视频记录下来，当异常情况发生之后，人 们才通过记录的视频信息来察看当时事件发生的实际情况，但往往造成不可挽回 的损失，无法有效防止此类事件的发生。而且由于存储设备的容量有限，能保存 的视频信息也是有限的，不能保留长时间的记录。因此对于智能监控系统的智能 化要求就提高了很多，需要设计出能更实时的智能系统，来完善监控系统。 2 ) 虚拟场景 4 基于关键点的三维人体跟踪算法 虚拟环境中的三维交互和虚拟人物角色的动作模拟，将直接得益于基于视觉 的人体运动跟踪的研究成果，可以给参与者提供更加丰富的交互形式。从图像序 列巾获取的人体运动数据，使得我们可以用新的虚拟人物或具有类似关节模型的 物体替换原始视频中的人物，得到意想不到的特殊效果。此外，人体运动姿态分 析在影视特技和广告、虚拟工作室等其它虚拟现实场合也有着相当广泛的应用前 华大学硕士研究生学位论文绪论景。 3 ) 智能人机交互 在人们的日常生活中，除了口头语言以外，手语、姿势等肢体语言是最常见 的交流方式一智能人机交互就是要让目前的计算机尽量摆脱键盘、鼠标等传统交 互设备的局限，通过语音、手语、运动等人们习惯的自然交流方式直接与人交互， 使计算机能像常人那样与我们更加自然便捷地交流。这就要求计算机具备感知外 部环境的能力，独立获取周围环境的重要信息，如跟踪人体部分和整体的运动等。 更进一步的能力是进行人的识别和行为理解，结合面部表情、身体运动和手势等 的分析来与人进行相应的交流，也可以进行相应的控制。对于机场、工厂等喧闹 环境，基于手势、运动等视觉分析的智能高级人机交互技术能够提供比语音识别 更加准确的信息输入。 4 ) 运动姿态分析 运动姿态分析是指分割图像中的人体部分并在图像序列中跟踪分析感兴趣的 关节运动，对于建立人体的几何模型、解释人体的运动行为机制从而提高它的运 动性能有着积极的推动作用。它主要是在三个方面的应用：一是从体育运动的数据 库中进行基于内容的图像搜索；二是在舞蹈、运动等训练中，用视觉的方法建立人 体的几何模型，通过关节的运动分析来指导、纠正训练者的动作，可以达到非常 直观的效果；三是在医学步态分析中的运用，目前的医学步态分析是一个旨在提供 诊断和治疗支持的研究领域。 5 ) 动画和游戏 目前计算机动画和游戏中人物角色的形体、运动和行为交互的设计逼真性归 功于运动捕捉设备的使用，而基于视频的人体运动获取，包括人体模型和关节运 动数据的获取及三维重建等，将给人体动画和游戏等提供更加丰富且真实的运动 数据。特别是从单目视频中获取人体运动的成功解决，将使从体育运动、经典影 视、历史记录资料等视频源中获取丰富的人体运动数据成为可能，从而为计算机 动画和游戏应用开启一个大型的人体运动数据的宝库。 6 ) 辅助临床诊断 目前的医学步态分析通过获取患者的行走等动作的视频，利用计算机来分析 其运动数据，与正常步态进行一系列的比较。步态分析研究旨在提供医疗诊断和 第一章绪论 治疗支持，它可以辅助整形外科病人的临床诊断，有助于判断身体某部分受伤情 况或者畸形程度，从而帮助做出积极的整形补偿或提供有效的辅助治疗手段。 7 ) 身份鉴别 在访问控制场合，可以借助视频人体运动姿态分析技术，利用人的姿势、步 态等生物特征，来进行人的远距离的身份鉴别。在安全性要求特别严格的场合， 往往还需要融合虹膜识别、指纹识别、人脸识别等多种生物特征识别技术来确定 目标身份，并判断其是否有进入该安全领域的权利。 1 4 基于模型的人体运动跟踪综述 基于模型的人体运动跟踪主要分为两个重要部分：1 ) 人体模型建立，2 ) 运动姿 态估计。通过人体模型的建立，才能最终理解并掌握怎样构建似然度函数，这涉 及到人体模型设计，摄像机模型的采用，运动模型的选择以及图像特征的描述； 似然度函数的设计必须考虑到待估计的参数空间的维数以及人体模型的物理约 束。给定一个高效的似然函数，运动估计其实就是一个代价比较低的搜索过程。 然而，单目图像中的人体运动的似然函数通常是多模的，所以研究人员多采用鲁棒 的多假设方法以获得较好的解。从运动估计的角度看，人体运动跟踪问题可以分 成初始化和跟踪两部分，其实两者间没有本质的区别，初始化注重对参数空间的 全局搜索，而跟踪问题注重的利用时序的上下文关系，致力于求解帧间的变化。 1 4 1 三维人体模型 在人体跟踪中根据应用范围的不同，研究人员提出了各种各样的两维和三维 人体模型。常用的人体模型分为三种，从简单到复杂可分为：一维的杆状模型， 二维的纸板模型和三维的立体模型，以及可变形模型。k s h o j i 【6 j 把人体建模为一 个由1 1 根杆组成的平面杆状模型，利用侧影轮廓信息以及遗传算法技术求得人体 的姿势。在智能监控领域，为了有效的进行2 维跟踪，m i s a r d 和c p a p a g e o r g i u 【7 儿s j 使用了两维的堆团模型。s j u 、d m o r r i s 和t c h a m 9 - 1 1 j 使用平面连接体模型，严 格的说仍然属于2 维模型，由于估计时会造成深度信息丢失，故设计人的四肢应 该考虑到四肢的长度变化。j d e u t s c h e r 【1 2 】用含2 9 个自由度的1 7 圆锥表示人体， 并利用退火粒子滤波器搜索人体的这一高维结构空间。p i a n k e r s l l 3 j 使用分层的结构 化的模型，它分为四层：骨架、椭球块表示的肌肉、多边形表示的皮肤、以及最 后渲染的结果，这个模型与人体真实的生理结构较为接近，他采用2 3 0 多个球元 建立了逼真的人体模型，该模型虽然可以根据图像信息变形，但模型参数多、计 算量巨大。p s a n d 1 4 】给出一种逼真的模型，在人体骨架上建立针状模型，针的一 端附在骨架上，另一端用于皮肤的重建，该模型反映出人体皮肤的连续变形，但 6基于关键点的三维人体跟踪算法 是该模型需要在通过标志点来进行关节定位，并且要使用昂贵的获取设备。值得 注意的是k m c h e u n g ”18 】教授领导的计算机视觉研究组在从侧影中恢复形状的 研究中取得了很大的成果i m i k i c ( 1 9 j 给出一种多相机获取人体运动的系统，首先通 过侧影信息得到人体的v o x e l 数据，然后通过扩展卡尔曼滤波器进行运动估计。 l e o n i d s i g a l 2 0 - 2 2 提出的一种模型，与传统的基于连接体运动学的人体模型不同， 该模型身体各部分的连接是不固定的，而是根据一定概率连接的，各关节的连接 概率是从运动捕获的数据中学习得到的。最近几年的人体运动研究多转向离散模 型，通常利用商业软件去重建运动估计的结果，这样做出来的人体模型更加逼真。 1 4 2 三维人体运动跟踪 在本节，我们将对基于模型的人体运动跟踪做比较详细的综述。根据跟踪策 略的不同，我们把前人的研究分为单假设和多假设两大类。 单假设方法：g a v r i l a 【l 】使用圆锥二次曲面构建三维人体模型，并且提出分层 的跟踪方案，使用四个相机同步获取人的运动序列，其相似度模型是利用基于边 缘的距离变换，被跟踪的人使用颜色标记，身穿紧身衣，衣袖和裤子都用不同颜 色来标记，在参数空间的搜索沿着从上到下从根节点到树枝点的顺序；b r e g l e r t 2 3 1 用旋转模型来描述人体运动链，用圆柱体来对人体各部位进行建模。关节点的运 动与图像的关系是基于运动链方程的线性化，这种线性化是通过对旋转模型的泰 勒展开实现的。作者还使用一种基于高斯牛顿伪逆逼近的光流法来提取图像特征， 构建相似度模型。在他们的工作中，作者使用三个相机和弱透视投影摄像机模型 来跟踪人的行走；w a c h t e r 2 4 1 使用连接体人体模型，各肢体形状模型由短锥体构成， 用单目视觉来估计人体运动，通过扩展卡尔曼滤波来实现关节角度的估计； d e l a m a r r e 2 5 】采用多摄像机跟踪人体运动，每个摄像机采集的图像的轮廓分别与模 型投影的轮廓匹配，误差用一个力表示，力的大小表示误差的大小，力的方向表 示模型应该移动的方向，这些力合成三维空间中的合力，它正比于模型姿态在三 维空间应该变化的增量；s h e ns h u h a ne ta 1 1 2 6 j 提出一种概率进化算法的人体跟踪框 架，使用概率构造个体，通过旋转门实现变异，其中实验结果比较好； s m i n c h i s e s c u l 2 7 3 1 】采用单目序列图像进行人体运动估计，人体模型采用超二次曲面 加变形参数，模型有3 0 个关节点，选择边缘和灰度特征设计似然函数。图像先进 行高斯平滑，用s o b e l 算子提取边缘，然后用多尺度光流分析法去提取光流区域， 它传达了运动边界的信息和物体边缘的权重，最后来自光流分析的灰度信息也被 加入到似然函数之中。 多假设方法：d e u t s c h e re ta 1 【l2 j 使用三维连接截锥形构造人体模型，似然函数 利用边缘和侧影特征来构造。在他们的实验中，总共使用了3 个相机，背景简单 第一章绪论7 便于提取特征，在跟踪中首次提出退火的粒子滤波器，与传统的c o n d e n s a t i o n 不 同，他在跟踪中设计了退火层，每一个退火过程都进行粒子的重要性重采样，作 者在文中给出良好的实验结果；s i d e n b l a d he ta 1 【3 2 。3 3 】使用单目相机跟踪人体运动， 人体模型为连接体模型，外形用圆柱体来描述，相似度函数用光流、边缘和r i d g e 联合构造，跟踪算法用c o n d e n s a t i o n 算法，并给出一个上肢跟踪的试验；c h o o 3 4 j 使用杆状模型来构造人体，他提出一种基于混合蒙特卡罗的人体跟踪策略，在给出 良好的初始值的情况下，可以得到很好的跟踪结果；s m i n c h i s e s c u 3 1 给出多尺度方 差采样方法，以及超动态重要性采样方法来提高采样效率，降低采样方差，文中 给出良好的试验结果；a b a l a n 和m j b l a c k 3 5 j 提出一种基于w s l 自适应的四相 机跟踪框架，使用模拟退火的粒子滤波器来跟踪人体运动，并且将实验结果与真 实场景做比较。 1 4 3 量子优化算法用于人体跟踪的必要性 量子算法是相对于经典算法而言的，它最本质的特征就是利用了量子态的叠 加性和相干性，以及量子比特之间的纠缠性，是量子力学直接进入算法领域的产 物，它和其他经典算法最本质的区别就在于它具有量子并行性。根据量子算法的 并行性我们设计出了一种使用概率幅作为观察和更新个体的进化算法，使得量子 进化算法通过一点变异便可以适用于人体运动这种高维度优化问题。它不仅继承 了量子进化算法的优点，还使得量子进化算法的编码不拘泥于二值编码，可以在 其他领域或者问题中有更强的实用性。 采用量子免疫克隆算法主要是，它采用混沌变异使得算法能够根据个体中变 量的具体情况自适应调节变异尺度的大小。搜索时，替取出各个体的分布情况， 利用分布情况确定混沌因子，指导序列的产生。这样就保证了，如果个体相对紧 凑，则尺度较小，反之，则尺度较大。以此尽量避免各个体之间的重复搜索。而 且它利用个体质量，进化代数和个体的分布情况自适应控制变异尺度，从而能够 充分利用先验知识指导变异，避免了搜索的盲目性。这样就大大降低了在人体运 动跟踪中变异的盲目性和重复性，使得搜索朝着一个比较明朗的方向。 总之，把量子优化算法这种不确定优化算法引入人体运动跟踪，是利用量子 的并行性和叠加性带来的好处，使得人体运动大大降低高维性，采用混沌变异使 得空间搜索的目标更明确，避免个体之间重复搜索，产生不必要的时间复杂度。 1 5 本论文的研究工作与创新 本文关注于基于单目图像序列的人体运动姿态分析中的运动跟踪和三维姿态 估计两个问题，研究人体运动捕获中的人体运动跟踪和姿态重建两大关键技术。 8 基于关键点的三维人体跟踪算法 本文基于计算机视觉技术来研究从一般的单目视频中跟踪和重建人体的运动姿 态。必须指出的是，本文并不研究包括人脸表情和手势等这一类细微运动的分析， 而是研究人体四肢或包括躯干在内的整个人体的运动跟踪和姿态重建。本文考虑 的基于单目视频的人体运动跟踪和运动姿态重建问题可以概括为：给定包含人体运 动的单目视频，跟踪视频中的人体运动，获取人体的相对三维运动姿态，进行人 体运动姿态重建。 在充分了解并掌握己有研究工作的基础上，本文对单目视频中的人体运动跟 踪和姿态重建进行了独特研究，构造并实现了一个基于单目视频的人体运动姿态 分析的原型系统。本文完成的工作及主要贡献包括以下三个方面： 1 ) 提出一种基于经验的利用检测关键关节点的人体关节点检测算法。利用人体 先验信息和人体几何骨架模型，对输入的二维图像序列进行处理，首先利用背景 建模和前景提取萃取人体运动区域；再运用数字形态学知识，取得运动人体的轮 廓线图；利用s o b e l 算子使得人体运动区域，细化成单像素的人体骨架线：利用前 人总结经验和对于人体运动的进一步研究，检测出包括根结点和头节点在内的1 5 个人体运动关键节点；最后使用卡尔曼滤波器，对检测到的二维关键点进行一步 预测，使得漏检点和错检点得到补充和改正。本算法能够实现全自动人体关键点 检测，使得人体跟踪必须手工标注人体关键节点的缺点得到进一步改善，使得基 于关键点的人体运动跟踪更容易系统化。 2 ) 提出一种基于改良了的量子进化算法的三维人体跟踪算法。在量子进化算法 中量子位的观测值只有0 、l 两种状态，故其只适用于2 进制编码问题，虽然可以 使用多量子位实现多进制观测值，但这需要设计高维量子门，而高维量子门的设 计是相当困难的，因此我们需要对量子进化算法做一下改进，使得量子进化算法 能够使用于像人体跟踪这样的高维度优化问题。其中最重要的是利用量子进化算 法对于更新和变异的特性，设计出基于概率的染色体和种群，使得进化算法的更 新和变异特性更适合于人体运动的高维性，从而使得人体运动跟踪很好的和量子 进化算法结合在一起。 3 ) 提出一种利用新的优化算法去解决基于模型的人体运动跟踪问题，首先，根 据人体先验信息建立三维人体模型，把人体运动约束加入人体模型，使得人体运 动在搜索空间可以在合理范围；第二，检测关键点人体关键点，使用滤波器对检 测出的二维点进行滤波，使得二维信息更加准确；第三，设计出二维信息和三维 姿态的相似度函数，跟在贝叶斯框架下使用粒子滤波器不同，本文中人体跟踪被 认为是一个函数优化问题，并且跟踪通过在模型和观测之间优化匹配函数来实现。 函数优化在基因算法中是一个典型应用，但是由于人体模型的高维性和计算速度 的要求，传统的优化算法在这里很难使用。由于量子具有叠加性和并行性，因此 第一章绪论9 在优化高维函数时体现出了很大优势，在本文中q i c a 被用来优化距离相似度函 数，q i c a 有很好的搜索能力和搜索速度，它适合于人体跟踪和其他实时优化问题。 本文实现的系统，一般用户就能选择合适的视频来得到丰富的三维人体运动 数据，用来生成人体动画等。本文方法是一种方便实用的人体运动姿态分析方法， 初步实现了从视频监控录像等在内的视频源中跟踪获取人体运动姿态的目标。本 文研究是单目视频人体运动姿态分析的探索，也取得了一些初步的研究成果。 1 6 本论文结构 本论文各章节安排如下： 第一章介绍论文的研究背景和意义、目前国际国内的研究现状，并分析了当 前研究所遇到的困难和挑战，同时提出本论文的研究思路和内容。 第二章主要介绍了量子进化算法和量子免疫克隆算法的整个思路，通过介绍 两个算法的搜索能力和收敛性，主要说明这两个算法在人体运动跟踪中的优势。 第三章人体关键点全自动检测算法，主要介绍了从图像序列输入系统到得到 鲁棒的人体二维检测信息的过程，其中有运用数字形态学的数字图像处理，有基 于经验的人体关键点检测，有错检点和漏检点的预测。 第四章基于量子进化算法的三维人体跟踪，主要是为了适应人体跟踪的优化 问题，对量子进化算法做了一些改进，通过对于染色体和种群的改进，使得量子 进化算法的适用范围更大，更适合于人体运动这样的高维度优化问题的求解。 第五章基于量子免疫克隆算法的三维人体跟踪，主要是根据量子的叠加性和 并行性，去解决单假设优化问题，其中利用免疫选择对量子种群进行变异，使用 克隆算法对量子种群进行扩展，使得搜索空间进一步加大，因此对于最优解的获 得就更加有利。 第六章对整个论文的研究工作进行了总结，并提出了进一步的研究方向。 第二章量子优化算法介绍 第二章量子智能计算 量子计算( q u a n t u mc o m p u t a t i o n - - q c ) 的研究开始于1 9 8 2 年计算首先被诺贝 尔物理学奖获得