（计算机应用技术专业论文）复杂背景下移动人体实时分割与动作捕获方法研究.pdf

独创性声明 删川i f f f 删| f y 18 2 4 717 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得重庆由g 电太堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示谢意。 学位论文作者签名：惫习为 签字日期： e 声伊z 饵 学位论文版权使用授权书 本学位论文作者完全了解重麽邮鱼太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。本人授权重麽鱼g 鱼盔堂可以将学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：缸刁南 导师签名： 签字日期： 。罗年珀z 铂 签字日期： 口夕年岁月泪 重庆邮电大学硕士论文 摘要 摘要 移动人体分割、轮廓提取与运动捕获技术是计算机视觉领域的研究热点，在人 体动画、虚拟现实、增强现实、人机交互、视频监控、体育运动分析、辅助临床医 疗诊断等领域均有着广阔的应用前景。高斯背景建模法是目前较常用的移动目标分 割方法，但是分割后容易在目标内部产生空洞，尽管可以利用形态学进行处理，但 是提取的人体轮廓不够精确。此外当光线变化以及人体与背景颜色接近时，运动目 标的分割也无法获得较好的结果。在运动捕获方面，一种实时的简单快速的人体运 动状态获取算法仍有待于研究。 本文结合虚拟现实游戏系统的研发，主要针对室内单目俯视视频序列中的人体 运动进行轮廓提取与运动捕获。通过在游戏场景上方设置的摄像头实时捕获人体运 动图像序列，再利用轮廓提取算法提取人体运动序列中的轮廓，然后分析这些轮廓 的形状，找出轮廓的关键点，分析关键点的位置关系与时间序列关系，推断出人体 运动的状态。最后由人体运动状态驱动虚拟人物的行为与虚拟环境的改变。 主要完成的工作：1 ) 结合运动人体的特点，根据背景差分法与c a i l i l y 梯度计算 方法，提出一种具有自适应背景图象更新的功能的运动人体检测及提取精确轮廓的 算法。实验证明该算法能有效利用图像中人体梯度信息，对光照变化有较好的适应 能力。提出具有自适应灰度阈值选取功能的两步轮廓提取方法，在光照不均匀及 人体与背景颜色相近似的情况下具有较好的处理效果。3 ) 提出实时运动捕获算法， 实验表明该算法能对简单人体行为进行快速反应，能有效的支持虚拟现实的交互系 统。4 ) 与小组人员合作构造了一个虚拟现实游戏系统，以人体运动捕获结果为输入， 为使用者提供逼真的游戏氛围。 关键词：移动人体分割，轮廓提取，虚拟现实，运动捕获 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t m o v 证gb o d ys e g m e n t a t i o n ，c o u n t e re x t m c t i o na n dm o t i o nc a p 佃r ea r et l l eh o t p o i n t so fc o m p u t e rv i s i o n t h e yl 拾_ v e v a r i o u sa p p l i c a t i o n si nh l l m a na l l i m a t i o l l ， c o m p u t e rg 锄e ，v i 删r e a l i t y i u 趾da u g m e n t e dr e a l i t ) r i na d d i t i o n ，m e ya l s oc a l lb e u s e di nh l i i l a i l - c o m p u t e ri i i t e r a i ：t i o nv i d e os u r v e i l l 锄c e ，s p o n sv i d e o 觚a l y s i s 觚d c o m p u t e r a i d e d c l i i l i c a ld i a g n o s i s b u t ，t l l e r ea r es t i l ls o r n ed r a v 泊a c l ( si nm o v i i l g o b j e c t ss e g m e n t a t i o nw h e n l el i g h tc h a n g e s 觚dt h ec o l o ro fh 啪a ni ss i m i l a rt 0t l l e b a c k g r o u n da i l d觚 a c c u r a t ec o l l i 】t e rc a n tb e椭 b ym o s to ft 1 1 e m e t l l o d s f 咖1 e m o r ear e a l - t i m eh u m a i lm o t i o nc a p t u r em e m o ds h o u l db er e s e a r c h e d w i t hm ec o n t e x to fv r g a m es y s t e m ，l i sp a p e rm a i l l l ya i m sa tc o u m e re x t r a c t i o n 觚dm o t i o nc a p t u r eo f h u m 觚b o d y 舶mi n d 0 0 rm o n o c u l a rp l a l l f o 姗s e q u e n c e s f i r s t ， c a p n 鹏m em o v i i l gb o d ys e q u e n c e sb ys e t t i n g av i d e oc 锄e r ao nc e i l i n g s e c o n d ， e x t r a c tt h ec o u l l t e ro ft l l ei n o v i n gb o d y t h i r d ，a i l a l y z et l l es h 印eo fm ee ) m - a c t e d c o u n t e ra n df i n dt l l ek e yp o i n t st l l e ng e n e r a l i z et h eh l l i i l 孤r n o v i n gs | t a t e sa c c o r d i n gt 0 t l l e p o s i t i o no ft h ek e yp o i n t s a tl a s t ，“v et l l e v i r t u a lc h a r a c t e r 觚dc h a j l g et l l e e n v i r o 姗e n ta c c o r d i n gt 0t l l em o v i n gs t a t e s 1 1 1 i sp 印e rm 撕n 】yi i l c l u d e s ：1 ) a c c o r d i l l gt o 也ec h a r a c t e ro ft l l em o t i o nh u m 孤 b o d y ，廿l i sp a p e rp r 0 v i d e s 锄a l g o r i t l l m 砌c hc o u l dd e t e c tt l l em o t i o nh u m a i lb o d ya i l d e x t m c tt l l es i l h o u e 舵s ，b a s e d0 nm eb a c k g r 0 吼ds u b t r a c t i o n 锄dt h ec a i l n yo p e r a ：t o r 谢t ha d a p tb a c k g r o 眦du p d a t i n g e x p 甜m e n t ss h o wt l l a tt l l i sa l g o r i t l l mc o u l du s et 1 1 e g r a d i e n ti n f 0 肌a t i o nw e u 孤da d 印tt 0t l l ec h a n g eo fl i 出2 ) p r o 、，i d e sa 铆os t e p s m o t i o nb o d y m 铆m o na l g o r i m mu s i n ga d 印t i v et l l r e s h o l da i l dg r a d i e i i t sa c c o r d i i l gt o 也e d i 嘶b l l t i o no f 也eb a c k g r o u n dp i ) 【e lo fo n e 妇n e 孤dm es 0 b e l0 p e r a t o r i tc 锄b eu s e d i i li 玎e g u l a rl i g h tc o n d i t i o n ；i i la d d i t i o n ，i tc 趾b cu s e dw h e nt l l ec o l o ro ft 1 1 ec l o m e si s i n u c hs i i l l i l a rt 0t h eb a c k f o u i l d 3 ) p r o v i d e sar e a l 缸em o t i o nc a p t u r ea l g o r i t h m 7 1 1 l e s t a ：t eo f 廿1 eh u i n a nn l o t i o ni st h e ng e n e r a t e db y l ep o s i t i o no ft l l e s el yp o i n t s t m s a l g o r i 也mr e a c t sq m c l 【l yt 0n l eh l u n 飙m o t i o na n dc a ns u p p o r t 廿l e 、，i 删r e a l i t ) rs y s 伧m e f ! f i c i e n t l y 4 ) b u i l da v r g 锄es y s t 锄c 0 0 p e r 眦d 诵t l lo t l l e rt e 锄m 锄b e r s i t u s e sm e s t a r t e sc 锄e 舶ml a s ts t 印t 0 “v et l l ev i n u a lc h a r a c t e r 锄dc h a l l g em e 3 de n v i r o n r n e n t k e yw o r d s ：m o v i n gb o d ys e g m e n t a t i o i l ，c o u m e r 咖t i o i l ，v i n i 试r c a l 姆，m o t i o n c 珥舭 i i 重庆邮电大学硕士论文目录 目录 摘要l a b s 仃a c t “ 目录i i i 第一章绪论”1 1 1 引言l 1 1 1 运动目标分割与运动捕获技术背景2 1 1 2 运动目标分割与运动捕获的应用现状6 1 1 3 研究课题来源及系统介绍8 1 2 本文主要工作和目标。8 1 3 论文章节组织1 0 第二章运动目标分割与人体运动捕获基础1 2 2 1 引言1 2 2 2 运动目标分割技术基础13 2 2 1 背景差分法“13 2 2 2 单高斯背景建模1 4 2 2 3 混合高斯背景建模l5 2 2 40 t s u 阈值选取法1 6 2 2 5 卡尔曼滤波算法”1 7 2 3 人体运动捕获技术基础l8 2 3 1 人体运动捕获的先验知识1 8 2 3 2 人体运动捕获的优化算法1 9 2 4 本章小结2 1 第三章改进的室内运动人体检测与轮廓提取算法2 2 3 1 引言2 2 3 2 改进的室内运动人体轮廓提取方案2 2 3 3 改进算法的具体描述2 3 3 3 1 背景建模2 3 3 3 2 运动区域的提取2 3 3 3 3 精确轮廓的提取2 4 3 3 4 背景的更新2 5 3 4 实验结果和分析2 5 i n 重庆邮电大学硕士论文目录 3 5 本章小结2 7 第四章一种移动人体轮廓的两步提取法2 8 4 1 引言2 8 4 2 算法思想2 8 4 3 算法内容3 0 4 3 1 自适应阈值选取”3 0 4 3 2 卡尔曼滤波”3 0 4 3 3 梯度信息获取”3l 4 3 4 算法流程3 2 4 4 实验结果及分析3 3 4 4 本章小结3 5 第五章单目俯视运动捕获方法3 6 5 1 引言3 6 5 2 运动捕获系统说明3 6 5 3 单目俯视运动捕获原理3 8 5 4 实验分析4 0 5 4 1 多边形人体轮廓拟合4 0 5 4 2 人体手足关键点标记4 0 5 4 3 单目俯视运动捕获过程4 l 5 5 本章小结4 3 第六章总结与展望4 4 6 1 本文总结4 4 6 2 展望4 4 致谢“4 5 攻硕期间从事的科研工作及取得的研究成果“4 6 参考文献4 7 重庆邮电大学硕士论文 第一章绪论 第一章绪论 1 1 引言 运动捕获( m 0 t i o nc 印t u r e ，另译为动作捕获) 是目前一项在计算机视觉相关领 域广泛应用的高新技术。 运动捕获是指获取头、四肢、躯干，等人体轮廓的运动数据，基本不涉及人脸 识别及手语等。其基本任务是识别并跟踪一些关键点( 关节) 或部分，获得人体关 键点的空间描述，然后合并恢复人体的结构参数，并对人的行为进行识别、判断、 跟踪与理解，进而实现计算机的智能监控、身份识别、虚拟现实应用等。事实上， 捕获的可以是运动的任何实体，包括车辆、人体、机器人等。而对人体的捕获是最 富挑战性的，比照对其它物体的跟踪：人的捕获必须是高精度、实时性、鲁棒性的； 必须记录全自由度的人体各部分的运动：对不同角度的摄像机的定标及所得的数据 要进行融合和遮挡的处理；必须分析与处理人运动( 包括单人及多人) 的不确定性 和复杂性等i l j 。 根据其组成材料的不同，可分为机械式、光学式和电磁式三种。具体操作过程 是给表演者身上的各个相应关节上安置传感器，当表演者做出动作时，通过捕获设 备实时检测、记录表演者各个关节在三维空间的运动轨迹，并将其转化为数字化“抽 象运动”。然后利用辅助的动画软件，将这些运动数据做后期处理，用于驱动不同 的角色模型，从而在计算机上实现了运动的再现，并生成最终所见的动画序列。 但是现有运动捕获系统造价昂贵，相对而言光学式运动捕获系统由于设备简单 成本低廉有很强的应用优势，受到领域内的广泛关注。针对以视频输入为基础的运 动捕获研究成为计算机视觉的热点。 基于视频的人体运动捕获涉及到运动目标的分割技术。运动目标分割本身作为 图像处理与计算机视觉领域一个重要的研究分支，在军事、民用领域有着非常广泛 的应用与潜在的商业价值【2 l 。它是进行行为分析的第一步，在计算机视觉中，运动 图像的分割决定了后续分析与识别的结果。它的分割依据主要有同一区域具有相同 的性质或者在不同的区域性质差异显著，并且分割时应尽量保证区域边界的完整性。 但是从技术角度而言目标检测，尤其在复杂背景下进行目标检测是一个棘手的问题， 主要体现在对于不同的复杂背景和不同的目标类型，尚无法找到通用的，适于各种 情况的算法，只能是对特定问题采用最适合的方法。有时，由于无法完整地提取出 目标，也会造成对目标检测的困难，甚至，在有的情况下，目标提取得支离破碎， 使检测与跟踪难于进行，借助于单一特征来解决复杂背景下目标检测与跟踪的问题 重庆邮电大学硕士论文第一章绪论 局限性很大，结合目标的多个特征进行识别是有希望的途径。此外，这个问题的最 终解决还应依赖于机器视觉理论的完善。 作为一种新的、强大的计算机动画制作手段，运动捕获技术目前己经充分地运 用到影视广告和游戏制作等相关行业中去，它具有高速度、高质量、极具真实性等 特点，不仅极大地提高动画制作的水平和效率，降低了成本，而且使动画制作过程 更为直观，效果更为生动。目前，随着计算机处理速度的加快和三维制作软件性能 的提高，运动捕获技术已有取代传统的人工调整关键帧的动画制作方法的趋势【2 j 。 1 1 1 运动目标分割与运动捕获技术背景 基于投影仪和虚拟现实技术的互动游戏是全球数字媒体产业中的新亮点，迪斯 尼、索尼等大公司纷纷开发了引入虚拟现实技术的真人互动游戏。这些游戏有丰富 的声像效果，能进行人机交互操作，提供了一种全新的教学和娱乐手段，比计算机 游戏具有更强的参与感和趣味性。其核心技术包括移动人体检测与轮廓提取问题， 它是计算机视频处理的基础，属于动态目标检测范畴。 ( 1 )在运动目标检测方面，目前主要应用的算法有相邻帧差法、光流算法和 背景差分法等。相邻帧差法对动态变化环境中的运动目标检测有较强的适应性，但 是总体来说不能完全提取所有相关象素点，检测结果不是很精确。光流法可以支持 摄像机运动，可以得到完整的运动信息，能够较好从背景中检测到前景目标，但是 计算量过大，对噪声敏感，抗噪性能差。而背景差法算法简单，在背景已知的情况 下能够提供最完整的目标信息【4 j 。 尽管背景差法有很大的优势，但是对于背景模型的建立却有以下弱点【5 】： 首先，背景模型没有充分利用图像中相邻像素点之间的相关性信息，这会使检 测出的运动前景掩模中产生随机分布的漏检与虚警区域，通常用形态学滤波和判断 连通区域大小的方法来消除孤立的小区域及合并相邻的不连通前景区域。 其次，背景模型的更新速度不能和运动目标的运动速度很好地匹配。如果背景 模型的更新速度比所监控场景的变化速度慢，则容易产生虚影( g h o s t ) ，由于虚影 区域没有真实运动存在，故计算运动前景掩模虚影区域的光流场可以消除虚影，相 反，如果背景模型的更新速度太快，也容易出现运动目标的漏检。为改善运动目标 检测效果，研究人员使用多个具有不同更新速度的背景模型，并在不同条件下选择 不同的背景模型作为当前场景的背景。此外，在多摄像机从不同角度对同一场景进 行监控的场合，摄像机之间的视差( d i s p a r i t ) r ) 信息可以用来估计场景深度( d e p t l l ) ， 由于运动目标比场景背景离摄像机更近，故有效利用深度信息也有助于运动目标的 检测。 2 重庆邮电大学硕士论文 第一章绪论 再次，复杂场景中摇动的树叶与运动阴影也会被检测为运动前景。由摇动树叶 所产生的运动前景混乱问题，可以用混合高斯背景模型与数学形态学滤波加以抑制， 而消除阴影对运动目标检测的干扰是非常困难的问题，特别是处理灰度序列图像中 的阴影。 因此很多研究者纷纷提出了改进算法。j 舢怔s 提出了一种人体运动检测的算法 网，用背景差分方法来得到感兴趣区域，然后利用梯度信息和彳搜索算法进行轮廓 的提取与填充。h o n 黔吼z h a i l g 通过对背景建模来减少场景中树枝摇摆等微动现象 对前景目标提取的影响i 。d a rs h y a n gl e e 在背景差法的基础上建立了自适应高斯 混合模型，从而提高了模型的收敛速度和精确度【8 j 。 ( 2 )对运动目标的分割方面：运动目标的分割方法大致可分为：检测变化区域 的分割方法【9 1 2 1 、基于估计的运动分割方法【1 3 1 4 】、基于参数模型的运动分割方法 【1 5 2 、基于分类的分割方法瞄之3 1 、基于形态学的方法【2 4 2 5 】以及其他一些结合了模糊 理论f 2 6 】、遗传算法理论叨、分形理论渊和小波理论【2 9 ，3 0 】等的分割方法。 基于变化区域检测的目标分割方法的理论基础是，经过全局运动估计和补偿后， 认为背景是静止的。通过两帧间的差分运算就可以得到运动区域，背景差分法就属 于这类方法。 基于估计的分割方法主要包括块运动估计的分割方法和贝叶斯法。前者属于非 参数模型的分割方法。块运动模型的分割精度由块的大小决定。由于运动估计运算 量大，基于运动的对象分割和跟踪要求有准确的运动估计，因此常采用一种金字塔 式的由粗到细的快速估计方法【1 3 】。贝叶斯法是在给定光流数据的条件下，搜索分割 标记的最大后验概率，使得当前分割与期望分割符合的程度最大并利用随机平滑度 的约束条件，采用g i b b s 分布估计位移场。由于贝叶斯法能同时进行分割和运动估 计，分割效果较好但运算量大。 基于模型的分割包括网络模型和参数模型两种方法。网格模型分为三类：规则网 格、自适应网格和基于内容的网格。比较常用的是采用规则网格得到对象的粗边界 【1 5 】。通常假设运动场是连续的，但是事实并非如此，因此为了提高运动估计准确度， 提出了基于网格的自适应内插技术来实现运动补偿f 1 6 】。基于非参数的运动目标分割 算法仅仅依靠了序列图像之间的运动信息。因此对噪声极为敏感，而且精度受限于 遮挡和孔径问题，得不到准确的目标边界。 基于多个特征的聚类分割算法是普遍应用的一种分割方法。一般首先从图像中 抽取出一些特征，如坐标、线条、拐点、轮廓、纹理、形状、颜色、运动、时间一 致性等，对象通常被认为是根据特定的条件具有一致性的一组区域，且根据多个特 征能够区分这些不同的区域田j 。再利用时间信息，在欧式空间内考虑动态数据点的持 续聚类问题l 。但是，由于对象或对象间的遮挡会影响某些特征的出现或隐藏，这 3 重庆邮电大学硕士论文第一章绪论 使得分割算法变得更复杂；而且由于算法的迭代性质，使得计算量较大，不利于实 时处理。另外，由于某些特征的提取受到噪声影响较大，因此该类方法也对噪声比 较敏感，这种方法仅适用于比较简单的图像背景。 采用形态学分水岭的分割算法已被广泛使用。其中分水岭算法由图像的简化、 标记提取、决策和后处理四步构成。由于采用彩色信息进行区域合并时，容易消除 弱的边沿，而对象的提取需要边沿信息，针对此问题提出基于边沿噪声模型的统计 方法，认为对于弱边沿，标记的最优位置对称位于边沿两边，且尽可能靠近边缘圜j 。 虽然该方法运算简单，能较好地提取运动对象的轮廓，但由于要依靠梯度信息，因 此对噪声比较敏感。 进入2 0 世纪8 0 年代，越来越多的算法、理论被应用于图像分割领域的研究， 如模糊理论、遗传算法理论、分形理论和小波理论等，都被应用于图像分割领域并 且取得了很大进展。篇幅关系，这里不再详述。 ( 3 )在移动轮廓提取方面，常用的轮廓提取算法主要有边缘检测【2 0 引皿j 和阈 值分割【1 1 ，1 筇3 3 4 】两大类。前者利用局部梯度信息进行分割，后者利用灰度频率信息 对图像进行分割。由于简单和稳定，阈值分割成为图像分割的典型算法。选取阈值 的常用方法有：o t s u 法【姗，直方图双峰发、最大墒法、矩量保持法、梯度统计法 以及这些方法在二维上的推广方法m j 。 y a 双l a k is a k a i 、何卫华等都各自利用序列中后续图像信息提取活动目标轮廓， 取得一定的效果，但是实时性不强，得到一个清晰轮廓需要前后帧图像。唐勇等通 过建立彩色图像模型然后进行背景差分， 息，但是算法采用固定阈值，抗噪不强。 力。 提取移动物体轮廓，有效的利用了彩色信 因此势必要提高算法的实时性和自适应能 ( 4 )在人体运动捕获方面，李豪杰将其分为自顶向下的捕捉方法与自底向上 的捕捉方法【3 6 】。自顶向下的方法( 直接模型法) 主要利用借助人体几何结构、运动 模型等先验知识构造的人体模型来获得人体的姿态参数，从而克服深度信息丢失、 自遮挡以及底层特征提取不可靠等困难。其主要采用“分析合成”的方式，在 “预测匹配修正 的循环中实现跟踪。而自底向上的捕捉方法( 无模型法) 是一类非模板匹配的运动捕获方法，通过标记人体关节点的特征信息，从视频序列 中搜索特征信息并与人体关节相对应，从而恢复人体的运动姿态。 无模型即系统中没有一个预设的模型，对姿态的描述采用点、简单图形、线图 等方式。例如对于线图法，由于人运动实质是骨骼的运动，因此采用直线可近似表 达人的各部分，并且其含有的结构信息在研究步态时十分有用。 罗忠祥等p 7 j 要求被跟踪者穿上特制的紧身衣，其各关节点处为不同的色块，通 过对色块的跟踪得到2 d 关节点位置序列；p f i n d e r 系统【3 8 l 通过特定的姿势分析出头、 4 重庆邮电大学硕士论文 第一章绪论 手、脚的位置，对每个区域用空间位置和颜色建模，然后用颜色对这些区域进行跟 踪，从而获得各帧的姿态。m o r i 等以边缘为特征，用形状关联匹配从模板库中找到 最相似样例，从该样例获得输入图像的2 d 关节点位置1 3 9 j ，再用t a y l o r 法恢复出3 d 人体姿态。对复杂人体运动，不同姿态的图像投影特征可能非常接近，即特征与姿 态的对应是1 n 关系。为此，h o w e 从模板库中检索出相近的多个样例，对候选样 例序列用时域相似性约束选出每帧的最佳匹配【4 0 。除静态图像外，还可对运动序列 进行匹配，如e 舶s 等用光流作为描述子，从运动库中检索出最相近的动作姿态序 列作为输出【4 1 1 。王晓光等提出了至少存在一个点深度值已知的约束条件下，基于单 目视觉系统恢复人体三维姿态的方法。该算法简化了c c d 相机的标定过程，实现 了人体三维姿态的恢复。避免了多目视觉系统在实际应用中对空间和光照等的限制， 以及在对应特征点匹配上的弱点【4 2 j 。 对于直接模型则使用一个欲设的模型来直接描述人的运动，这个模型根据观察 数据不断更新，大概有4 0 的论文都采用此模式，其优点是较易处理遮挡，并且系 统可兼容许多不同的轮廓模型。模型通常由关节和线条骨架组成，用轴来表示状态 空间中的关节自由度，用状态空间来描述姿态，通常的方法是在预测、匹配、更新 过程中使用分析与合成技术。其原理是先预测下一图像的姿态，再将这一预测模型 分析、合成、抽象，然后与真实图像数据比较。直至找到最佳匹配的模型，然后更 新系统模型【4 3 】。主要模型如下： 1 ) 棍图模型是最简单的人体结构表示方法，它由如图1 1 a 所示点和线段组成， 分别表示关节点和骨骼。棍图模型可用来指导对图像特征的拟合，以获得人体姿态， 也可作为运动捕捉的一种结果输出形式。2 ) 2 d 模型用于单目视频的跟踪，对人体 朝向或拍摄角度进行了限定，如要求被跟踪者平行于摄像机平面或面向摄像机运动 等。最常用的是如图1 1 b 所示的c 批a r d 模型【1 l 和如图1 1 c 所示的s p m ( s c a l e d p r i s m 撕cm o d e l ) m 】。3 ) 3 d 模型包含深度信息，能有效地解决自遮挡和自碰撞问题， 一般用在多摄像机跟踪中。该类模型包括骨架模型和形状模型2 个部分。骨架模型 用棍图表示，定义各骨骼长度及关节间连接关系；形状模型表示附着在骨架上的人 体外围组织，一般用基本体素( 如圆台1 4 5 1 、超二次曲面i 舶j 等) 的组合表示。 臻籀鬟疆 bc | 棚嘛h 撬裂霉濑lt 撵蠹援鬟 图1 1 人体运动模型 龠鞲疆 豫萨 灸豪萎；： o ；薛_ 舒，何 重庆邮电大学硕士论文第一章绪论 上述模型除c 批a r d 模型外，都属分层的树型结构。一般将骨盆或躯干定义 为树的根，整个人体运动可视为由根节点的全局运动和子节点绕其父节点的旋转运 动组成，因此，人体姿态可用根节点的位置、方向参数和关节角参数组成的状态向 量表示。基于模型的人体运动跟踪就是在由状态向量张成的状态空间中搜索合适的 点，使该点对应姿态的投影与图像特征最为匹配。 1 1 2 运动目标分割与运动捕获的应用现状 ( 1 ) 运动目标分割的应用 视频编码：国际标准化组织制定了视频图像编码和传输的若干标准，大大促进 了多媒体通信的发展，在世界范围内推动了数字电视、h d t v 以及“三网”合一的发 展。但是传统的视频编码标准m p e g - 1 小位e g 2 和h 2 6 l h 2 6 3 ，都缺乏视频内容的 高层次信息描述。而m p e g _ 4 视频编码标准引进了视频对象v 0 ( v i d e oo b j e c t ) 的概 念，具有基于内容的编码功能。它要求在编码前把视频序列分割成多个与不同视频 对象相对于的视频对象平面v o p ( v i d e oo b j e c tp 1 a n e ) ，然后对视频对象进行编码。 这样的一个优点是不仅可以对不同视频内容进行编码，还可以灵活的重构或在译码 端对内容进行任何所需的操作。因此，在视频编码时，如何将视频序列中的每帧图 像分解成具有一定语义的视频对象和背景，将是m p e ( “和m p e g - 7 的关键所在。 交通安全：针对日益严重的交通安全问题，首先，结合科学的交通行政管理和 先进的交通技术管理，利用运动目标分割技术构建起智能交通系统( i n t e l l i g e n c e 1 h n s p o r ts y s t e r n ，i ，r s ) 以维护交通秩序、保障道路通畅。其次，机动车辆的智能 化已经成为可能，可以通过提高机动车辆的智能化提高交通安全性，这就涉及到辅 助安全驾驶。汽车辅助安全驾驶属于全新的交叉学科领域，内容含盖计算机视觉、 通信、人工智能、信号处理等各个方面。 ( 2 ) 运动捕获的应用 目前常见的运动捕获系统有： x s e i l sn 1 0 v e n 惯性动作捕捉系统【4 7 1 。 m o v e n 它以独特的微型惯性传感器和无线x b u s 系统为基础，结合生物原理开 发而成。能实时捕捉人体6 自由度的动作数据，并可以通过无线网络传输到计算机 中，以专用的软件m o v e ns t u d i o 实时几率数据、查看动态捕捉效果。它的特点在于 不需要假设光学镜头或发射器，避免了多余的传输线或电源线造成的运动限制。即 使将m o v e n 穿在一般的衣服里面，也丝毫不影响动作捕捉的效果。 e n d o 础i n 是游戏动画界里第一套自动化3 d 角色动作仿真生成软件【4 羽。 其运行原理是根据牛津大学在人工智能、人体生物力学的研究基础下赋予虚拟 角色最真实的生物动作模拟。运用基因算法，把重力和人体的肌肉结构都设定好关 6 重庆邮电大学硕士论文 第一章绪论 联后，通过神经网络来控制肌肉的运动，自动运算出人物角色的逼真反映，能完全 模仿人体在浮力、风力作用下的自然反映，并支持多种主流动画软件的文件格式。 此外某些及其危险的动作不可能由m o t i o nc a 呻鹏的演员来做，而e n d o 印h i i l 的演员 是虚拟的，能模拟高空跳楼、撞击等任何危险情况下的动画，完成真人所不能完成 的人物。 g y p s yg y r o 机械式动作捕获系统一j 。 它只需要5 分钟的学习，只需要进行极少量的校准，并且输出非常干净的数据。 它使用1 8 个小电晶体惯性传感器在实时动作捕获应用中精确地记录表演者的骨骼 旋转。系统可以允许演员在穿着平常服饰的情况下穿戴系统。g y p s yg y r 0 也可以与 光学动作捕获系统混用。 目前运动捕获技术的应用领域有： 智能监控： 在对安全要求敏感的军事区域、国界、机场、停车场、银行等地方都需要智能 监控设施。而基于计算机视觉的人运动捕获技术则可以实现2 4 小时实时监控，并且 能自动对摄像机捕捉的数据进行分析，若发现可疑人可以及时发出警报，同时也 减少了雇用大批监控人员的费用；而用于交通管理、公共场所、超市等则可以自动 监控以实现流量控制等。 运动分析： 在运动捕获中所做的步态分析、关节运动模型研究可应用于个性化的体育运 动和舞蹈训练，也可用于基于内容的快速搜索；而在医学领域，则可以分析病人的 行为和步态，判断其疾病或受伤情况，以便做出有效的治疗另外人运动分析与生物 特征识别相结合的视觉监控，特别是非接触式远距离的身份识别可以实现远距离情 况下人的检测、分类和识别，从而增强国防、民用等场合的保护能力。 虚拟现实： 虚拟现实( v i r t u a lr e a l 畸，v r ) 技术是二十世纪末才兴起的一门崭新的综合 性信息技术，原本是美国军方开发研究出来的一项计算机技术。它融合了数字图像 处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支，从而大大推 进了计算机技术的发展。通过2 0 多年的研究探索，v r 技术于2 0 世纪8 0 年代末走 出实验室，开始进入实用化阶段。对人运动捕获的研究所获得三维物理模型及其综 合与再现技术可以用来产生逼真的人体形象，配合面部表情、头手动作等可以用 于视频游戏、动画制作、远程控制虚拟聊天室、模拟训练、远程会议系统等。目前， 世界上少数发达国家在经济、艺术乃至军事等领域，已开始广泛应用这种高新技术， 并取得了显著的综合效益。目前，国外有公司开发了许多虚拟现实的游戏产品，如 投影类型的虚拟现实游戏，可提供小的互动游戏，支持多人身体同时参与，一般用 7 重庆邮电大学硕士论文 第一章绪论 于大厅展示，如科技馆。国内的晋江科技馆也引进了这样的虚拟现实产品供游客互 动娱乐。 1 1 3 研究课题来源及系统介绍 随着科技的发展，尤其是互联网的迅猛发展，宽带时代的到来。人们已经不能 满足电影、电视、多媒体、三维动画等传统形式的内容。更加逼真，自身能够参与 互动，多人参与，并在情节化的氛围内体验等要素，已经成为新一代互动娱乐内容 的主要特征。虚拟游戏引擎平台几乎是所有发达国家都在大力研究的前沿领域，它 被广泛应用于互动娱乐、教育培训、军事模拟训练等重要行业，h e l s e l 与d o h e 啊 前不久对全世界范围内已经进行的8 0 5 项v r 研究项目作了统计，结果表明：目前 在娱乐、教育及艺术方面的应用占据主流，达2 1 4 。 重庆市科委为了推动重庆数字媒体产业的发展，提供数字媒体产业发展的技术 支撑，即将建立重庆市数字媒体公共技术服务平台，其中一项内容是给创意团队、 中小型企业提供虚拟游戏公共引擎，解决企业对公共通用引擎的需求，避免企业自 行研发引擎周期长、投资大，产品推出周期长等问题，节约正在成长的企业研发费 用和时间，让更多的资金用于产品的创意设计。 本课题来源于重庆市科委资助的虚拟现实游戏的引擎平台及系统研发项目。项 目致力于解决虚拟投影游戏中图像和视频处理技术、游戏引擎技术、系统集成技术 等三类核心技术；在此基础上开发套基于自主知识产权的虚拟投影游戏引擎和平 台，完成软硬件系统集成；构建一个虚拟现实技术实验室；为重庆数字媒体公共技 术服务平台提供虚拟现实游戏引擎平台。 1 2 本文主要工作和目标 本课题的研究目标是在当前已经进行的知识准备以及虚拟现实游戏应用项目框 架的基础上，采用背景建模的方法，对人体色彩、亮度、梯度等信息进行多方面挖 掘，对移动人体的检测与分割进行研究，提出一种或多种具有较强实时性与鲁棒性 的移动人体分割方法，并对移动人体的行为进行描述。从而为项目的引擎平台提供 重要的技术支持。此外在以上研究的基础上，提出一种实时的运动捕获方法以捕捉 游戏者的游戏动作，从而驱动游戏环境中的3 d 虚拟人物，给游戏者全新的感受， 加强游戏的真实性与互动性。 本文的主要工作分为两大类，如图1 2 所示。 首先对前人算法进行研究。研究背景建模方法：混合高斯背景模型作为复杂背 景建模的方法，有着很广泛的应用混合高斯模型已经广泛应用于鲁棒的复杂场景 8 重庆邮电大学硕士论文 第一章绪论 背景建模，特别是在有微小重复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、 海面波涛、雨雪天气、光线反射等。 图1 2 研究工作示意图 研究移动人体分割阈值的选取方法：m 叭在1 9 7 9 年提出的最大类间方差法( 也 称为大津方法) 一直被认为是阈值自动选取方法中的最优方法，吼s u 方法简单，在 9 重庆邮电大学硕士论文第一章绪论 一定条件下不受图像对比度与亮度变化的影响，因而在一些实时图像处理系统中得 到了很广泛的应用。 研究卡尔曼滤波算法：卡尔曼滤波法广泛运用于高斯噪声条件下线性动态系统 的跟踪，它的应用基于这样的假设，系统状态信息是从一个估计中获得的，这个估 计明确考虑了噪声在系统量测值上的影响。 研究人体运动捕获与描述方法：人体运动捕获与描述是虚拟现实参数获取的基 础，也是连接底层图像处理与高层行为理解的纽带，在现有条件下，提出简单而有 效的人体运动捕获算法，将运动描述作为输出，有很重要的意义。 其次在研究前人算法的基础上提出实时的移动人体分割与运动捕获算法。 在上述研究的基础上提出两种实时运动人体分割与轮廓提取的算法，并提出一 种进行实时人体运动捕获的有效方法。 最后，在以上研究的基础上集成虚拟现实的游戏系统。系统框架如1 3 所示。 图1 3 系统框架图 1 3 论文章节组织 第一章：首先引出论文课题的意义，然后介绍了人体实时分割与运动捕获技术 的背景与现状，其次点明本文的课题来源与研究的内容，最后介绍本文的章节安排。 第二章：在运动目标分割部分，首先介绍运动目标分割的一般过程，然后讨论 背景建模技术以及运动目标分割的阈值选取技术o t s u 法，最后介绍卡尔曼滤波 算法。在运动人体捕获部分主要通过有模型、间接模型、无模型三个方面介绍人体 运动捕获方法，并给出相关的优化算法。 1 0 重庆邮电大学硕士论文第一章绪论 第三章：针对一般的人体运动检测和轮廓提取算法中仍存在的很多问题，提出 了背景差与c a i l n y 边缘检测算法结合的自适应动态背景更新的算法，并给出实验分 析。 第四章：针对实时系统中轮廓提取的应用环境提出一种人体轮廓提取的两步算 法。即在背景差分的基础上，利用背景的分布与人体的梯度信息，将背景差分法未 分割出来的背景区域( 即灰度与人体灰度重合的背景) 与人体区域隔离开来。最后 给出实验分析。 第五章：首先介绍本论文研究课题所集成的虚拟现实游戏系统，并结合课题情 况提出一种实时的人体运动捕获方法以快速驱动3 d 虚拟人的运动。最后给出演示 结果。 第六章：对研究工作进行总结，并提出存在问题以及今后的展望。 文章结构如1 4 所示。 图1 4 文章结构示意图 重庆邮电大学硕士论文 第二章运动目标分割与人体运动捕获基础 第二章运动目标分割与人体运动捕获基础 2 1 引言 运动对象的分割和跟踪技术一直是图像处理和计算机视觉领域的重要研究课 题。近年来，随着多媒体技术的迅猛发展及计算机性能的不断提高，各种视频图像 的应用越来越广泛。视频图像序列中运动对象的分割技术也日益受到人们的青睐， 得到了广泛的应用。例如，在人工智能系统中，要对运动对象进行判断与跟踪；在 国防安全系统中，需要对军事目标进行跟踪与识别；以及在生物医学领域的应用等 等。 在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分 常称为对象或前景，它们一般对应于图像中特定的、具有独特性质的区域。为了辨 识和分析目标，需要将它们分别提取出来，在此基础上才有可能对目标进一步利用。 图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程。这 里特性可以是像素的灰度、颜色、纹理等，预先定义的目标可以对应单个或多个区 域。图像分割是由图像处理到图像分析的关键步骤，在图像