（通信与信息系统专业论文）基于视频的人体运动跟踪技术研究.pdf

硕士学位论文 摘要 近年来，人体运动的视觉分析在图像处理与计算机视觉领域引起了广大学者的关 注。这一课题在虚拟现实、智能监控、高级用户接口、运动分析、视频压缩等领域具有 广阔的应用前景。本文研究基于视频的人体运动跟踪技术，在归纳和总结国内外这一领 域的研究现状，对比各种方法的优势和劣势，分析人体运动跟踪的技术难点的基础之上， 针对现有的基于模型的人体运动跟踪方法大多需要人工干预，从而不能满足实时性要求 这一局限，以及步行运动跟踪研究中双腿自遮挡造成跟踪准确度不高的问题，提出了 种基于单目视觉的人体步行腿部骨架的自动检测和跟踪算法。算法分析人体步行运动的 特征，跟踪下肢的五个关节点，获得了步行的各个参数，重建了人体步行运动的过程。 主要研究成果如下： 1 ) 提出了无标志的腿部骨架自动提取算法。首先将视频分解成许多连续的静态图 像帧经过背景去除，把感兴趣的人体区域提取出来，通过二值化，中值滤波等 预处理方法得到只有人体的一个单连通区域，然后用s o b e l 算子检测出 b o u n d i n g b o x 最宽帧中人体下半身的轮廓，根据运动规律及特征找到后腿踝关节 点，结合从b o u n d i n g b o x 最窄帧中所获取的腿长依次得到后腿膝关节，跨部关节， 前腿踝关节，前腿膝关节四点，从而构建出腿部骨架模型。 2 ) 实现了人体步行腿部骨架的跟踪算法。在完成对腿部骨架模型的自动初始化之 后，本文对跨关节、膝关节及踝关节分别采用运动建模、圆周相交定点算法、运 动预测及预测点周围搜索r g b 相似矩形块三种方法确定每一帧中其实际坐标，从 而重构出腿部骨架的运动过程。 论文以中国科学院自动化研究所下载的步态图像序列库及实验小组自己拍摄的视 频为实验素材，用本文提出的算法实现了对步行人体腿部骨架的自动检测及跟踪。实验 结果表明，本文算法对骨架的提取及跟踪准确度较高，不仅摆脱了手工标注的约束，还 有效解决了双腿自遮挡造成跟踪准确度降低的问题。论文最后给出了全文的总结及对未 来工作的展望。 关键词：图像序列；人体运动；运动预测；匹配；腿部骨架 基于视频的人体运动跟踪技术研究 a b s t r a c t v i s u a la n a l y s i so fh u m a nm o t i o nh a sb e e nr e c e i v i n g i n c r e a s i n g a t t e n t i o nf r o m r e s e a r c h e r si nt h ef i e l d so fi m a g ep r o c e s s i n ga n dc o m p u t e rv i s i o nd u r i n gt h ep a s tf e wy e a r s i t h a sal o to f a p p l i c a t i o n s i nv i r t u a lr e a l i t y , s m a r ts u r v e i l l a n c e s y s t e m ，a d v a n c e d u s e r i n t e r f a c e ，m o t i o na n a l y s i sa n dv i d e oc o m p r e s s i n g ，e t c t l l i sp a p e rf o c u s e so nt h et e c h n o l o g yo f h u m a nm o t i o nt r a c k i n gb a s e do nv i d e o ，f i r s t ，w em a k eas u m m a r i z a t i o no ft h ed o m e s t i ca n d o v e r s e a ss t a t u so ft h er e s e a r c hi n t h i sf i e l d o nt h eb a s i so ft h i s ，w ea n a l y s et h et e c h n i c a l d i f f i c u l t i e so f h u m a nm o t i o nt r a c k i n g a sm o s to f t h ee x i s t i n gm o d e l - b a s e dm e t h o d so f h u m a n m o t i o nt r a c k i n gp e r f o r mn o ts og o o di ns o m es i t u a t i o na st h e yn e e dm a n n u a li n t e r v e n t i o n ，a n d a l s ot h ep r e c i s i o no ft r a c k i n gi sn o ts os a t i s f y i n gd u r i n gt h er e s e a r c ho ft r a c k i n go fw a l k i n g p e o p l eb e c a u s eo ft h es e l f - o c c l u s i o no fl e g s ，t h i sp a p e rp r o p o s e sa l la l g o r i t h mo fa u t o m a t i c d e t e c t i o na n dt r a c k i n go fl e g so ft h ew a l k i n gp e o p l eb a s e do nm o n o c u l a ri m a g es e q u e n c e s , i n w h i c hw ea n a l y s et h ef e a t u r e so fw a l k i n gp e o p l e ，t r a c kt h ef i v ej o i n t so fl o w e rl i m b s ，g e t v a r i o u sp a r a m e t e r s ，a n dt h e nr e c o n s t r u c tt h ew a l k i n gp r o c e s s t h em a i nr e s e a r c ha c h i e v e m e n t i sa sf o l l o w s ： 1 1w ep r o p o s ea na l g o r i t h mo f m a r k e r l e s sa u t o m a t i ce x t r a c t i o no f l e gs k e l e t o n f i r s tw ed i v i d e t h ev i d e oi n t oc o n t i n u o u si m a g es e q u e n c e s ，a f t e rb a c k g r o u n ds u b t r a c t i o n ，t h es a t i s f y i n g h u m a nr e g i o nc o u l db ee x t r a c t e d ，t h e nw eg e tas i n g l e - c o n n e c t e dr e g i o nb yc o n v e r t i n gt h e r g bi m a g et ob i n a r yi m a g ea n dm e d i a nf i l t e r i n g a f t e r w a r d s ，t h ec o n t o u ro fl o w e rl i m b si n t h ef r a m ew i t haw i d e s tb o u n d i n g b o xi sd e t e c t e d ，u s i n gs o b e lo p e r a t o r , t of i n dt h ea n k l e j o i n to fl e gb e h i n da c c o r d i n gt ot h ef e a t u r e sa n dr u l e so fw a l k i n g ，t h e n ，t h ej o i n to f k n e eo f l e gb e h i n d ，h i p ，a n k l eo fl e gi nf r o n t ，k n e eo fl e gi nf r o n tc o u l db eg o ti nt u r n s o ，m o d e lo fl e g s k e l e t o ni sc o n s t r u c t e d 2 、w c o m p l e m e n tt h ea l g o r i t h mo ft r a c k i n go fh u m a nl e gs k e l e t o n a f t e rt h ea u t o m a t i c i n i t i a l i z a t i o no ft h em o d e lo fl e gs k e l e t o n ，w ef i n do u tt h ec o o r d i n a t e so fe a c hj o i n ti ne a c h f r a m eb ym o t i o nm o d e l i n g ，p o i n t i n gb yc i r c l ei n t e r s e t ，m o t i o np r e d e e t i o na n dr e t a n g u l a r r e g i o nm a t c h i n ga c c o r d i n gt oi t sc o l o u r s ot h em o t i o no fl e g sc o u l db er e - c o n s t r u c t e d 1 1 1 ee x p e r i m e n tm a t e r i a l si n c l u d et w op a r t s ，o n ei st h eg a i td a t a b a s ed o w n l o a d e df r o m c a s l aa n dt h eo t h e ra r es e v e r a lv i d e o sw es h o o to u r s e l v e s w ea c h i e v eo na u t o m a t i c d e t e c t i o na n dt r a c k i n go fl e go fw a l k i n gp e o p l e ，u s i n gt h ea r i t h m e t i cp r o p o s e di n t h i s p a p e r t h ee x p e r i m e n tr e s u l t si n d i c a t et h a tt h ep r e c i s i o no ft h et r a c k i n go fl e gs k e l e t o ni s s a t i s f y i n g ，u s i n go u ra l g o r i t h m i tg e t sr i do ft h er e s t r i c t i o no fm a n n u a li n t e r v e n t i o n ，a n da l s o t h ep r o b l e mo fs e l f - o c c l u s i o nc o u l db es o l v e de f f e c t i v e l y ac o n c l u s i o no ft h ew h o l et e x ta n d “ 硕士学位论文 a ne x p e t a t i o no f f u t u r ew o r ka r eg i v e na tt h ef i n a lp a r to f t h i sp a p e r k e yw o r d s ：v i d e os e q u e n c e s ；h u m a nm o t o n ：m o t i o np r e d i c t i o n ；m a t c h i n g ：l e g s k e l e t o n i i l 基于视频的人体运动跟踪技术研究 插图索引 图1 1 人体运动分析流程3 图2 1d b n 结构示意图1 3 图2 2 前向三层a n n 拓扑结构1 4 图2 3 人体树型模型1 5 图2 4 棒状人体模型 2 1 l 16 图2 52 一d 人体模型 2 7 , 2 f q l6 图2 6d a v i dkw a g g 提出的刚体模型及可变形轮廓模型f 2 9 1 1 7 图2 7r o h r 的3 d 实体模型【3 3 】1 9 图3 1 背景减除2 5 图3 2 原图及处理后的图2 6 图3 ，3 手部区域原图及中值滤波处理后的图一2 6 图3 4 腿部骨架模型初始化思路结构图一2 7 图3 5 提取出的人体区域一2 7 图3 6b o u n d i n g b o x 最窄及最宽帧2 8 图3 7s o b e l 边缘检测2 8 图3 8 原始图片，c a n n y 算子边缘检测图，s o b e l 算子边缘检测图2 9 图3 9s o b e l 算子检测腿部轮廓2 9 图3 1 0 腿部骨架构建3 0 图3 i l 腿部骨架跟踪算法思路结构图3 0 图3 1 2 圆周相交定点算法示意图3 2 图3 1 3 踝关节预测示意图3 2 图3 1 4 基于边界的模板匹配3 4 图3 1 5 基于区域象素的模板匹配3 4 图3 ，1 6 小腿矩形块3 5 图3 1 7 矩形块搜索示意图3 5 i v 硕士学位论文 图4 1 目标s 1 、s 2 手工标示关节点与自动提取骨架对比3 8 图4 2 人体正面运动的尺度骨架模型初始化算法实验结果1 5 2 】3 8 图4 3 处理后的骨架【5 2 】3 9 图4 4 运动目标1 跟踪结果一4 0 图4 5 运动目标2 跟踪结果一4 1 图4 6 运动目标4 ( 自己拍摄视频) 跟踪结果4 l 图4 7 运动目标3 跟踪结果4 2 图4 8 踝关节跟踪准确度较低一4 2 图4 , 9 踝关节及膝关节运动轨迹图4 3 v 基丁视频的人体运动跟踪技术研究 附表索弓 表4 1 日标s l 手工标示数据与自动提取数据对比3 7 表4 2 目标s 2 手工标示数据与自动提取数据对比 表4 3 运动目标s 1 手工标示数据与算法跟踪数据对比 3 8 4 0 湖南大学 学位论文原创- 陛声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：碣屯日期：2 - 4 年铲月够日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密 囹 ( 请在以上相应方框内打“4 ”) 鬟主y l z 巧7 三；墨 导师签名；缪 日期：驷年牛月绣日 日期：彳留蟛年妒月谚日 硕士学位论文 ! ! = = | = = - - | = ! ! = = ! = ! ! ! ! ! ! o = = = = j | _ h i 0 1 = ! ! = = ! ，t - _ _ = = = e = = = = e = ! ! = = ! ! ! = ! ! e _ _ _ _ 呻 1 1 人体运动分析概述 第1 章绪论 1 1 1 研究背景 人类依靠视觉来观察世界和认识世界。可以说，视觉是人类获取外界信息的 主要手段。让计算机具有视觉是人类多年以来的梦想。虽然，目前还不能让计算 机具有生物那样高效，灵活的视觉，但这种希望正在逐步实现。人类是通过眼睛 和大脑来获取、处理与理解视觉信息的，这里的视觉，不仅指对光信号的感受， 它包括了对视觉信息的获取、传输、处理与理解的全过程。信号处理理论与计算 机出现以后，人们试图用摄像机获取环境图像并将其转换成数字信号，用机器( 计 算机) 实现对视觉信息处理的全过程，这就是计算机视觉。计算机视觉的最终研究 目标，就是使计算机能像人那样通过视觉观察和理解世界。 在人们不懈的努力下，计算机视觉和图像处理技术不断得到发展，这一领域 已经有大量的科研成果投入到实际的应用当中。曾几何时，你曾幻想不必再用钥 匙，不必再刷门卡，只凭借对人脸的认证就可以通行进门，而现在这些概念早已 不再新鲜，人脸、指纹、虹膜、步态等等的识别技术已得到广泛的应用。利用生 物识别技术来准确鉴定一个人的身份，保护信息安全已经成为当今信息社会的一 个关键问题，特别是美国“9 l l 事件”以后，反恐安全成为关系社会和平建设和发 展的首要问题，机场、银行、政府部门等重要安全场所的监控再一次成为人们关 注的焦点，受到各国安全部门和研究机构的重视，很多大学和研究所都投入了相 关的研究。此外，伴随着计算机技术的飞速发展，人们对商效率计算机动画制作 手段的需求也变得越来越强烈，运动捕获作为一种新的、极其强大的计算机动画 制作手段，目前已经充分地运用到影视广告和游戏制作等相关行业中去，它具有 高速度、高质量、极具真实性等特点，不仅极大地提高动画制作的水平和效率， 降低了成本，而且使动画制作过程更为直观，效果更为生动。随着计算机处理速 度的加快和三维制作软件性能的提高，运动捕获技术己有取代传统的全人工调整 关键帧的动画制作方法的趋势。很多著名的电影如泰坦尼克、角斗士、 星球大战、木乃伊、哈里波特等都采用了运动捕获设备和技术。越 来越多的游戏也采用了运动捕获设备和技术来增加游戏的真实性。 随着计算机视觉和图像处理技术的不断发展，在视频图像中对人体运动进行 跟踪和分析成为计算机学科中一个具有挑战性的研究课题之一。人运动的视觉分 析包含人的图像序列中检测、识别、跟踪人并对其行为进行理解和描述，属于图像 分析和理解的范畴。从技术角度雨言，人的运动分析的研究内容相当丰富，主要涉 基于视频的人体运动跟踪技术研究 及到模式识别、图像处理、计算机视觉、人工智能等学科知识：同时，动态场景中 运动的快速分割、人体的非刚性运动、人体自遮挡和目标之间互遮挡的处理等也 为人的运动分析研究带来了一定的挑战。 1 1 2 历史发展 由于人的运动分析在高级人机交互、安全监控、视频会议、医疗诊断及基于 内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发 了国内外广大科研工作者及相关商家的浓厚兴趣。最早进行人体运动分析的工作 可追溯到1 9 7 3 年心理学家j o h a n s s o n 对人类运动感知所做的实验。他在实验中， 在人的关节点位置处附着亮点，使人处于黑暗的环境中，做不同的动作来产生运 动，关节点处因附有亮点而可见。对于静态的光点集合，人的视觉感知系统无法 得出任何有意义的信息，但对于运动中产生的光点集合序列，人们不仅可以辨别 出运动的形态如走路、跑步等等，甚至可以判断出运动者的性别。在此之后，人 体运动分析就吸引了越来越多的研究人员的目光，尤其是在美国、英国等发达国 家，它们已经开展了大量相关项目的研究。例如，英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 己开展了对车辆和行人的跟踪及其交互作用识别的相关研究，i b m 与 m i c r o s o f t 等公司也正逐步将基于视觉的手势识别应用于商业领域。实时视觉监 控系统”1 不仅能够定位人和分割出人的身体部分，而且通过建立外观模型柬实现 多人的跟踪，并可以检测人是否携带物体等简单行为。当前国际上一些权威期刊 和重要学术会议等将人的运动分析研究作为主题内容之一，为该领域的研究人员 提供了更多的交流机会。i e e e 也定期举办人体运动分析的专题会议，可见国际上 对该项研究的高度重视。人体运动分析在国外起步很早，而且研究也已经比较深 入，其应用也逐步发展到商业领域。 紧跟国际的发展，国内也于2 0 世纪9 0 年代开展了这方面的研究。目前开展这 方面研究的单位主要有中国科学院计算所、北京航空航天大学和浙江大学等，其 中中国科学院计算所的研究主要用于手语识别，它是给被测人手上带数据手套， 是一种基于传感器的方法。其自动化研究所主要开展了人运动的视觉分析技术研 究，在跟踪人体运动中使用了运动模型和关节体模型。北航研究的是航天活动中 的人体运动，它利用了现场录像资料；浙江大学生物医学工程学院则是主要研究 人体的手势及步态运动分析在临床诊断和物理治疗上的应用。该校的人工智能研 究所采用单目视频图像序列对人体没有出现被遮挡部位的动作进行了跟踪，首帧 采用手工标注人体的特征点，该方法基于单目视觉，无法准确估计被遮挡部位的 位置，手工干预较多。国内也经常举办图形图像方面的各种会议，如计算机图形 图像和视觉会议等，会议邀请一些有突出贡献的研究者报告自己的工作内容，国 家“8 6 3 ”计划、“9 7 3 ”项目、国家自然科学基金等都对人体运动跟踪技术的研究 2 硕士学位论文 提供了项目资助，这些都将极大地推动我国在人体运动跟踪研究方面的进一步深 入。 但是，和国外相比，国内的研究还只能说是刚刚起步，和美国、日本等发达 国家差距还比较大，这需要我国研究者们的进一步努力。 1 1 3 人体运动分析研究内容 人运动的视觉分析”1 主要是针对包含人的运动图像序列进行分析处理，它通 常涉及到运动检测、目标分类、人的跟踪及行为理解与描述几个过程，其一般性处 理框架如下图所示。其中，运动检测、目标分类、人的跟踪属于视觉中低级和中级 处理部分，而行为理解和描述则属于高级处理。当然，它们之间也可能存在交叉( 比 如有时跟踪过程中运动检测的使用) 。 、一、- - - - - - - - - - - - - - _ ，。、- - 一、- - - - - - - - - - - - - - 一 图1 1 人体运动分析流程 1 ) 运动检测 运动检测的目的是从视频图像序列中将运动区域从背景中提取出来，运动区 域的有效分割对于目标分类、目标跟踪和行为理解等后期处理是非常重要的，因 为以后的处理过程仅仅考虑图像中对应于运动区域的象素。然而，由于背景图像 的动态变化，使得运动检测成为一项相当困难的工作。对运动目标的检测，主要 有三种实现方法：背景减除法“3 ，时间差分法“1 和光流法”1 。 2 ) 目标分类 目标分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。 不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉 的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇动的树枝等运动物 体，为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是完全必要 的。注意，这个步骤在一些情况下可能是不必要的( 比如已经知道场景中仅仅存在 人的运动时) 。目标分类最常用的有两种，一种是基于形状信息的分类，它利用检 测出的运动区域的形状特征进行目标分类。第二种是基于运动特征的分类。上述 两种常用的目标分类方法有时可以结合起来使用，以期得到更好的分类结果。 3 ) 人体跟踪 跟踪就是在连续的图像帧间创建基于位置、速度、形状、色彩等有关特征的 对应匹配问题。人体的跟踪有两层含义，一种是在二维图像坐标系下的跟踪，一 种是在三维空间坐标系下的跟踪。前者的实质是指在二维图像中，建立运动区域 和运动人体的对应关系，并在一个连续的图像序列中维持这个对应关系。对于人 体跟踪来说，常用的数学工具有卡尔曼滤波器、粒子滤波器”1 及动态贝叶斯网络 基于视频的人体运动跟踪技术研究 ”3 等。卡尔曼滤波是基于高斯分布的状态预测方法，不能有效的处理多峰模式分 布情况。粒子滤波器，即c o n d e n s a t i o n 算法是以因子抽样为基础的条件密度传播 方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。从运动检测得到的一般 是人的投影，要进行跟踪就要给要跟踪的对象建立一个模型。之后，将运动检测 到的投影匹配到这个模型上去。一旦匹配完成，跟踪过程也就完成了。就跟踪对 象而言，有对手、脸、头等身体部分进行建模跟踪的，也有对人体整个进行建模 的跟踪。就跟踪角度而言，有基于单摄像机的主动跟踪，也有根据多摄像机的数 据融合进行跟踪的。跟踪的主要方法主要有如下几种：( 】) 基于模型的跟踪；f 2 ) 基于区域的跟踪：( 3 ) 基于活动轮廓的跟踪；( 4 ) 基于特征的跟踪。 4 ) 行为理解与描述 运动检测、目标分类与人体跟踪属于人体运动视觉分析中的底层视觉部分， 它的处理效果对高层视觉的影响很大，一直以来受到较多研究。而人的行为理解 与描述属于高层视觉部分，能提供更好的用户接口，是近几年来被广泛关注的研 究热点。人的行为理解与描述就是指对人的运动模式进行分析和识别，并用自然 语言等加以描述。 行为理解可以简单地被认为是时变数据的分类问题，即将测试序列与预先标 定的代表典型行为的参考序列进行匹配。由此可见，行为理解的关键问题是如何 从学习样本中获取参考行为序列。对于人的行为识别而言，目前主要有两种方法： 模板匹配方法和状态空间方法。人的行为的语义描述近来得到丁一定的研究，它是 应用自然语言的概念，选择一组运动词语或短句来报告场景中运动目标的行为。比 如k o j i m a 等。1 提出了一种新的方法，用于产生实时视频图像中人的行为的自然语 言描述：首先，从每帧图像中提取出代表整个人体的头部区域，并利用基于模型的 方法，估计其三维姿势和位置；然后，这些参数轨迹被分解为单一运动的基元，评估 每个基元的诸如姿势和位置的变化度、与环境中其它一些目标的相对距离等概念 特征，并且选择最合适的词语和其它语义元素：最后，利用枫器翻译技术，产生人行 为描述的自然语言文本。r e m a g n i n o 等“”提出了一个包含行人与车辆的基于事件 的视觉监控系统，该系统提供了三维场景中目标动态活动的文字性描述。相比于车 辆运动而言，图像序列中人的运动描述是更加复杂的，而且，关于行为、事件、状 态有着不同的概念，因此如何选择有效充分的表达方式来传达场景的内容是很困 难的。另外，运动理解和描述的实现，是建立在运动检测、人体跟踪等步骤的结 果的基础上的，各个步骤的结果误差都会直接影响运动理解和描述。目前人的行 为描述还只局限于简单的语义懈释，对复杂场景中人行为的语义描述工作还相当 艰巨。 硕十学位论文 1 2 人体运动分析的应用现状 1 2 1 应用领域 研究人体运动跟踪具有较高的学术价值和理论意义。其意义在于人体运动跟 踪问题涉及到目前比较热点的数字图像处理理论和数字视频处理理论，涉及到人 工智能和模式识别理论，因此深入研究人体运动跟踪问题必将带动和促进相关 学科的发展。人运动的视觉分析研究具有广泛的应用前景，主要表现在以下几个方 面： 1 ) 智能监控 传统的视频监控系统是由一个或多个摄像机及与之相连的一套电视监视器组 成，它需要入员连续监视屏幕，工作十分枯燥，并且随着监控区域的增大，极容 易造成漏警。而智能监控“1 。”3 则可以部分解决这一问题。这里所指的“智能”包 含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的 出现( 如通过检测人脸的方法) ，防止只是简单的通过运动目标检测所造成的错误 报警( 例如因为动物活动或者刮风摇动树枝等等而造成误报) 。另外一种“智能” 是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑 行为( 如经常在重要地点徘徊等等行为) 从而采取相应的报警措施。智能监控系统 的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等。目前监 控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时主动的监督作用， 因为他们通常是将摄像机的输出结果记录下来，当异常情况发生后，保安人员才 通过记录的结果观察发生的事实，但往往为时已晚。而实际需要的监控系统应该 能够连续2 4 小时实时监控，并能自动分析摄像机捕获的图像数据，当异常行为发 生时，系统能向保安人员准确及时的发出警报，从而避免犯罪的发生，同时也可 减少雇佣大批监视人员所需的人力，物力和财力投入。同时，在一些要求访问控 制的场合，也可利用人脸或步态的跟踪识别技术以便确定来人是否有权进入该安 全领域的权利。另外，人的运动分析在自动售货机、a t m 、交通管理、公共场所 行人的拥挤状态分析及商店中消费者流量统计等监控方面也有着相应的应用。 2 ) 人机交互 在高级用户接口应用领域中，希望未来的机器能像人一样与我们更加容易和 便捷地交流，将视觉信息作为语音和自然语言的有效补充来完成更加智能化的人 机交互。这就需要计算机除了传统的键盘鼠标之外，还具备独立感知外部坏境的 能力，提取环境中的有效信息，并进一步进行人体姿势的识别和行为理解，结合 面部表情、身体姿势和手势“”删等来与人进行高层次的人机交互。目前人机交互 技术主要通过对语音信息进行识别完成交互任务，应用人体跟踪技术，人体姿态 将作为语音识别的补充，实现人机之间智能对话。人体姿态在人机对话中所起的 基于视频的人体运动跟踪技术研究 辅助作用有时是必要的，比如在噪声较大的条件下，人体视觉效果并不受影响， 此时将主要通过人体姿态向计算机传递信息。 3 ) 运动分析 分割图像中人体部分并在图像序列中跟踪分析感兴趣的关节运动，这对建立 人体的几何模型、解释人体的运动行为机制都有着积极的推动作用。运动分析主 要有五方面的应用。一是从体育运动的数据库中进行基于内容的图像检索。二是 在体育运动、舞蹈等训练中，运动捕获技术可以捕捉运动员的动作，便于进行量 化分析，结合人体生理学、物理学原理，研究改进的方法，使体育训练摆脱纯粹 的依靠经验的状态，进入理论化、数字化的时代，通过具体的关节运动数据来指 导、纠正训练者的动作，可以达到非常直观的效果。还可以把成绩差的运动员的 动作捕捉下来，将其与优秀运动员的动作进行对比分析，从而帮助其训练。三是 在医学步态分析“”中的运用，医生就可以根据人体各个关节的运动轨迹珍断病人 肢体的疾病所在，这是一个旨在提供诊断和治疗支持的研究领域。四是在机器人 遥控中，机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作， 运动捕获技术将动作捕捉下来，实时传送给机器入并控制其完成同样的动作。与 传统的遥控方式相比，这种系统可以实现更为直观、细致、复杂、灵活而快速的 动作控制，大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未 成熟的情况下，这一技术有着特别重要的意义。五是可利用运动捕获技术捕捉游 戏者的各种动作，用以驱动游戏环境中角色的动作，给游戏者以种全新的参与 感受，加强游戏的真实感和互动性。 4 ) 虚拟现实 虚拟现实是一种可以创建和体验虚拟世界的计算机系统，它的目的就是为人 们提供一个虚拟的交互世界。在这个虚拟世界中，人的形体、运动和行为交互设 计的逼真性实际上是得益于现实生活中人的运动分析。计算机可以通过对人体运 动的跟踪，获得人体运动参数，从而重建人体模型。这样就可以把人体放到计算 机所创建的虚拟空问中。这种重建人体模型的方法，区别于传统的运动捕捉技术。 传统方法是在人体上安装位置传感器，这将使人体感郅不舒适和不自由。基于人 体运动跟踪的虚拟现实技术将更方便，更自然，使得使用者更充分体验虚拟现实 带来的乐趣。基于互联网的交互式虚拟空间的开发也以随着互联网的普及而得到 了大力的发展，它为人们通过网络进行交流提供了更加逼真的形式。 5 ) 视频压缩 人体运动跟踪还可以应用于基于模型的图像压缩。在视频会议中，人体运动 分析可以把一个场景的前景区域从背景区域中分割出来，只传递前景区域及其状 态信息，甚至只传递脸部区域，这样可以大大减小数据传输量。 6 硕士学位论文 1 2 2 人体运动分析的难点 尽管人的运动分析研究已经取得了定的成绩，但由文献 3 可知，下述几个 方面仍是今后研究的难点问题，迫切要引起广大科研工作者的高度关注。 1 ) 运动分割 快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环 境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混 乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄 像机的运动等，这些都给准确有效的运动分割带来了挑战。就以运动目标的影子为 例，它可能与被检测的目标相连，也可能与目标分离。在前者情况下，影子扭曲了目 标的形状，从而使得以后基于形状的识别方法不再可靠；在后者情况下，影子有可 能被误认为场景中一个完全错误的目标。尽管目前图像分割主要利用背景减除方 法，但如何建立对于任何复杂环境的动态变化均具有自适应性的背景模型仍是相 当困难的问题。 2 ) 遮挡处理 目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自 遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时， 人体只有部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进 行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必 须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。另外， 一般系统也不能完成何时停止和重新开始身体部分的跟踪，即遮挡前后的跟踪初 始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信息中进行 人体姿势、位置等的预测：不过，对于解决遮挡问题最有实际意义的潜在方法应该 是基于多摄像机的跟踪系统。 3 ) 三维建模与跟踪 目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少，且大 部分系统由于要求鲁棒性而引入了简化的约束条件。三维跟踪也导致了从图像中 人体模型的获取、遮挡处理、人体参数化建模、摄像机的标定等一系列难题。以 建模为例，人体模型通常使用许多形状参数来表达。然而，目前的模型很少利用关 节的角度约束和人体部分的动态特性；而且过去的一些工作几乎都假设3 一d 模型 依据先验条件而提前被指定，实际上这些形状参数应当从图像中估计出来。总 之，3 d 建模与跟踪在未来工作中应值得更多的关注。 4 ) 多摄像机的使用 使用单一摄像机的三维人的跟踪研究还很缺乏，身体姿势和运动在单一视角 下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟 基于视频的人体运动跟踪技术研究 踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范围 而且可以提供多个不同的方向视角以用于解决遮挡问题。很明显，未来的人运动分 析系统将极大受益于多摄像机的使用。对于多摄像机跟踪系统而言，我们需要确定 在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信 息融合是一个比较关键的问题。 5 ) 性能评估 一般而占，鲁棒性、准确度、速度是人运动分析系统的三个基本要求。例如， 系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地工 作，因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感：系统的准确 度对于控制应用特别重要，例如，基于行为或姿势识别的接口控制场合；而系统的 处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何选择有 效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的问题。同时， 如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的实时性、 鲁棒性亦相当重要。 1 ，3 本文所做的工作 1 3 1 本文的主要研究内容 人体运动分析因其广泛的应用前景而受到国内外的高度重视，人们在这一领 域投入了大量的研究。本文首先在综合了解前述整个人体运动分析流程的基础之 上，重点研究人体运动跟踪，总结了国内外各种跟踪方法，分析每一种方法的优 势与劣势，挖掘阻碍人体运动跟踪发展的主要问题，在此基础上提出新的方法， 并对传统的跟踪方法予以改进，从而提高人体运动跟踪的准确度和实时性。 主要研究内容归纳如下： 1 ) 对计算机视觉关于人体运动分析的研究内容做了详尽的归纳和总结，并对不同 的方法进行了优劣性对比，同时，对涉及的相关学科人体解剖学、模式识别等 进行了一定的了解。 2 ) 深入研究了目前人体运动跟踪方法存在的种种弊端，发现传统的方法大多需要 进行人工干预，或手工标示初始帧图片的关节点，或在关节点处附着标志物， 这些约束条件使得人体运动跟踪的实时性得不到提高，大大阻碍了人体运动跟 踪进一步的反展与应用。故本文提出一种自动获取人体腿部骨架的方法，该方 法无需任何人工干预，可完全由电脑自动完成，且提取出的骨架准确度高。 3 ) 由于人体步行运动中，两腿的自遮挡频率高，传统的跟踪方法通常在自遮挡时 跟踪准确度降低，有时甚至会出现双腿混淆的情况，针对这一问题，本文在传 统的运动建模及矩形块r g b 颜色匹配的基础上，提出一种圆周相交定点算法， 硕士学位论文 结合踝关节的运动预测对获取的腿部骨架进行跟踪，有效的解决了两腿的自遮 挡问题。 1 3 2 本文的组织结构 全文分为四个章节，内容如下： 第一章为绪论，介绍了人体运动分析的研究背景及历史发展状况，对人体运 动分析的整个流程进行了粗略的概述，并描述了其应用前景及研究面临的难点问 题，最后对本文所做的工作做了一下归纳。 第二章主要对人体运动分析中人体运动跟踪的研究情况做了一个详细的总结 和分析，对各种跟踪方法进行了归类并对其优劣性进行了对比，指出了在技术层 面上遇到的难题。 第三章是本文的研究重点。首先针对跟踪方法不能完全脱离手工干预这一问 题，提出一种简单有效的人体腿部骨架模型自动初始化的方法，之后，为了解决 由双腿自遮挡造成跟踪准确度降低的问题，在传统的跟踪方法基础上，提出一种 圆周相交定点算法，结合踝关节的运动预测，运用矩形块r g b 相似性的图像匹配 方法实现了腿部骨架的跟踪。 第四章介绍了算法的实验设计，给出了大量的实验结果，分剐分析了骨架自 动提取算法及跟踪算法的准确性和有效性，并与相关的算法进行了比较。 最后对全文进行总结，并对下一步的工作做了展望。 量圭堡塑塑垒篁兰塑! ! 堡些奎塑塞 2 1 引言 第2 章人体运动跟踪技术研究现状 我们在绪论中介绍了人体运动分析的内容，包括运动目标检测、日标分类、 人体运动跟踪、行为理解与描述，其巾，人体运动跟踪足本文研究的重点内容。 运动目标检测及目标分类都是为了进行人的跟踪而进行的预处理_ _ ：i 二作，而行为理 解与描述这一高级处理过程也必须建立在人体跟踪的基础之上，必须从人体跟踪 过程中状取人体运动的各个参数才能进行进一步的分析。因此，人体运动跟踪的 目的也是为了得到各个时刻反映人体运动的参数( 如关节点轨迹) ，由此以骨架或 柱体模型再现和分析人体运动的过程。 人体运动跟踪就是在帧与帧之间建立人体运动目标的某些特征如位置、速度、 形状、纹理、颜色等之间的联系。对人体运动的观察均可采用单目视觉”8 1 和多目 视觉”。单目视觉只用一台摄象机摄象，定标简单，计算量小，但对人体复杂动 作和长时间的部位重叠不能准确估计；而多日视觉利用设置在不同观测点的多台 摄象机摄取图象，实现信息融台，理论上能较好地解决因出现重叠与身体自遮挡 时单目视觉估计小准的问题，但多个摄象机的标定复杂，信息冗余，标定误差在 定程度上制约了跟踪目标的精度。就跟踪对象而言，有对手、脸、头等身体部 分进行建模跟踪的，有划人体整个进行建模的跟踪，也有仅刘人的整体位置、方 向进行跟踪的，这主要取决于实际的应用场合。如在手语识别或运动员训练中就 只需要对人体的手或者腿进行跟踪，而在视频监控领域中，其研究对象往往是复 杂的自然场景，所关注的一般是人的整体行为与位置，因此不需要人体各个肢体 部分的详尽信息，所以一般只需在图象序列中确定人体的位置以及判断人体的运 动方向