（模式识别与智能系统专业论文）视频中的人体运动捕捉及三维骨架重建.pdf

武汉理工大学硕士学位论文 摘要 人体运动捕捉仿真技术在动画制作，机器人控制，医学分析，体育运动分 析等领域都有广泛的应用。但是人体运动捕捉仿真技术又是计算机图像中最难 处理的问题之一。被测试者身上的服装，被测试者与被测试者之间骨架结构的 不同都会影响测试结果。为了避免以上的问题，现在较为普遍运用的人体运动 捕捉方法需要被检测者穿上单色的紧身衣，在人体运动过程中，传感器会定时 将各个部位的空间定位数据反馈给计算机。但是，这种方法成本相当昂贵，而 且很大程度上限制了被测试者的运动。 本文现在研究的视频中的人体运动捕捉( h u m a nm o t i o nc a p t u r e ) ，与上述 方法相比起来成本便宜很多。比起其他大型的人体行为捕捉仪器来，视频人体 行为捕捉只需要一台或多台摄像机，或者一段已有的视频片段，就可以进行 h m c 。但是现在的h m c 技术，通常只能解决简单的举重，行走之类的人体运 动捕捉问题。运用模板图像匹配的方法，将模板中的人体关节位置与视频中的 位置进行对比，剔除明显有错误的捕捉参数。显然这种方法不能运用于比较复 杂剧烈的人体运动或摄像机拍摄角度不固定的情况。 本文以2 0 0 7 年东亚运动会体操女子团体决赛的几段视频片段为例进行人体 运动的捕捉，将虚拟人体模型与视频图像匹配的问题颠倒过来，即为反推法 ( b o t t o m u p ) 。首先分析视频图像，再根据捕捉结果重建人体模型。在图像分析 中，寻找人体各个部分的问题，可以简化为寻找图像中平行区域的问题。然后 根据人体物理约束系统判断关节的位置，判断出这些平行区域是否为人体部分。 由于复杂的人体运动视频图像中，存在大量人体部分被遮挡和人体关节不符合 人体物理约束系统的情况。本文设计了一套新的捕捉方法二元参数法，将 传统的模板图像匹配法中参数量化，转换成人体关节的约束条件。这个方法很 大程度上减少了不符合人体物理约束系统的关节对于最终捕捉结果的影响。 捕捉实验结果显示，二元约束函数可以很有效的捕捉较为复杂的人体运动。 相比现在普遍运用的动态树形结构，二元参数法可以捕捉到更为详细的信息； 而相比模板图像匹配法，二元参数法可以捕捉的视频范围更广。 关键词：h m c ，反推法，人体约束物理系统，二元参数法，三维骨架 武汉理工大学硕士学位论文 a b s t r a c t h u m a nm o t i o nc a p t u r en o wi sw i d e l yu s e di nt h ef i e l d so fs i m u l a t i o nt e c h n o l o g y , r o b o tc o n t r o l ，m e d i c a la n a l y s i s ，s p o r t sa n a l y s i s ，a n ds o m eo t h e ra p p l i c a t i o n s h o w e v e r , h u m a nm o t i o nc a p t u r es i m u l a t i o nt e c h n o l o g ya n dc o m p u t e ri m a g ei so n eo f t h em o s td i f f i c u l ti s s u e sa d d r e s s e d t h i si sav e r yd i f f i c u l tp r o b l e m ，p a r t l yb e c a u s e h u m a nb o d i e sa r ev e r s a t i l e ，p r e s e n t i n gaw i d er a n g eo fp o s ea n da s p e c t s ，m a n y i n c l u d i n gs e l f - o c c l u s i o n a n dp a r t l yb e c a u s ev a r i a t i o n si nc l o t h i n ga n db a c k g r o u n d c l u t t e rd e n yas i m p l ea p p e a r a n c em o d e l g i v e nt h es e e m i n g l yi n s u r m o u n t a b l ed i f f i c u l t i e s m a n ye x i s t i n ga p p r o a c h e st o t h i sp r o b l e mm a k es i m p l i f i c a t i o n so fo n es o r to ra n o t h e r , e i t h e ra s s u m i n gk n o w l e d g e o fs c a l ea n da p p e a r a n c e c o l o r , o ru s i n gm o t i o ni n f o r m a t i o nf r o mv i d e os e q u e n c e sf o r b a c k g r o u n ds u b t r a c t i o n ，o rl i m i t i n ge v a l u a t i o nt or e s t r i c t e dd o m a i n ss u c ha sw a l k i n g f i g u r e s i nt h e s ec a s e s ac a n o n i c a lt r e e - b a s e dm o d e li st y p i c a l l yu s e dt om o d e lb o d y p a r t s ，w h e r ed y n a m i cp r o g r a m m i n g c a nb ea p p l i e d w et a c k l et h ep r o b l e mi nam o r eg e n e r a ls e t t i n g w eu s et h ev i d e os e q u e n c e s f r o m 狮e a s ta s i a ng a m e sw o m e n sg y m n a s t i c s w i t h o u tr e s t r i c t i o n si np o s e ， a d p e a r a n c e 0 rb a c k g r o u n dc l u t t e r , at r e e b a s e dm o d e ln ol o n g e rs u f f i c e s a d d i t i o n a l s o u r c e so fi n f o r m a t i o n ，n o tp r o v i d e db yt r e eb a s e dm o d e l s ，a r er e q u i r e dt os u c c e e d f o re x a m p l e ，t h es y m m e t r yo fc l o t h i n gi sap o w e r f u lc u et oc o n s t r a i nl i m ba p p e a r a n c e w h a tr e v e a l st h eb o d yp o s i t i o nt ou sa r et h ec o n n e c t i o nb e t w e e nt h et w ou p p e rl e g s a n dt h er e l a t i v eg e o m e t r i cr e l a t i o n s h i pb e t w e e na r m sa n dl e g s ，b o t ho fw h i c ha r en o t i nt h et r a d i t i o n a lt r e e - b a s e dm o d e l i ti sa no p e nq u e s t i o nw h a tm o d e l sc a l le x p r e s ss u f f i c i e n tc o n s t r a i n t sa n da r e c o m p u t a t i o n a l l yf e a s i b l e i nt h i sw o r k , w ed e v e l o pas t r a t e g yt h a te x p l o i t sar i c hs e to f o l e s ，d e f i n e do na r b i t r a r yp a i r so fp a r t s ，t oc o n s t r a i nb o d yc o n f i g u r a t i o n s w el e a r n t h e s ec o n s t r a i n t sf r o me m p i r i c a ld a t aa n du s eb i n a r yq u a d r a t i cp r o g r a m m i n gt of i n d t h em o s tp r o b a b l ec o n f i g u r a t i o n s o u rp r o g r a mi saw e l l - s t u d i e dc o m p u t a t i o n a l f r a m e w o r k ，w h e r ee f f i c i e n ta p p r o x i m a t i o n se x i s t m a n yc u e sf o re s t i m a t i n gh u m a n b o d yc o n f i g u r a t i o nc a nb ce x p r e s s e da sp a i r - w i s ec o n s t r a i n t s i no u re x p e r i m e n t sw e h a v ef o u n dt h a tt h i sp r o g r a mw o r k sw e l lf o rt h i sp r o b l e m w eh a v et e s t e do u ra l g o r i t h mo nav a r i e t yo fi m a g e s w i t hr e c o v e r e db o d y c o n f i g u r a t i o n sa n dt h ea s s o c i a t e ds e g m e n t a t i o nm a s k s a sc o m p a r e dt oab r u t e f o r c e s e a r c ha p p r o a c h ，w ea r ea b l et oh a n d l eam u c hl a r g e rs e to fc a n d i d a t ep a r t sa n dd on o t r e l yo nt h ea v a i l a b i l i t yo faf e wb e i n gv e r ys a l i e n t w eh a v ef o u n dt h a tat w o - s t e p s t r a t e g yu s i n gt h el i n e a ra p p r o x i m a t i o no fo u rw o r k sw e l lf o ro u ra s s i g n m e n tp r o b l e m ， p r o d u c e ss a t i s f a c t o r yr e s u l t so nav a r i e t yo fi m a g e sw i t h o u tr e l y i n go ne x t e n s i v e l o w 1 e v e lp r o c e s s i n g a n di sc o m p u t a t i o n a l l ye f f i c i e n t w eb e l i e v et h a tt h ep r o g r a m f o r m u l a t i o nw i l lf i n dm o r ea n dm o r eu s ei nd e t e c t i n ga r t i c u l a t e do b j e c t s k e yw o r d s ：h m c ，b o t t o m u p ，b i o m e c h a n i c sc o n s t r a i n t s ，b i n a r yq u a d r a t i c p r o g r a m m i n g ，m o t i o ns k e l e t o n 武汉理工大学硕士学位论文 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写的研究成果，也不包含为获得武汉理工大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了感谢。 签名：日期： 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅学校；可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名： 武汉理工大学硕士学位论文 1 1 课题概述 第1 章绪论 1 1 1 课题的题目 课题的题目：视频中的人体运动捕捉及三维骨架重建 1 1 2 课题研究的背景 人体运动跟踪( h u m a nm o t i o nc a p t u r e ) 是利用仪器记录人体运动的过程， 它在娱乐、运动测量分析以及人机交互等许多领域有着重要的应用。市场上比较 成熟的人体运动捕捉系统有基于电动机械的、电磁的和特殊光学标记【1 1 等类型相 对于这些商业系统，基于视频的人体运动跟踪技术是一种不需要标记或者传感器 的被动跟踪，由于其适用范围广、对跟踪环境要求较低、价格便宜，近年来成为 机器视觉领域的研究热点。 根据应用的不同，基于视频的人体运动跟踪分为视频监控【2 1 、人机交互【3 】、 运动分析和动画制作等几类。本文的研究背景即为这类应用，利用基于视频的运 动捕捉技术对运动员的运动参数进行自动采集和准确计量，从而提高训练效果。 很多研究者从不同角度讨论了h m c 跟踪问题。b r e g l e r 等 4 1 采用类似 l u c a s & k a n a d e 光流估计的方法来跟踪身体各个部分。d e u t s c h e r 等 5 1 采用退火粒 子滤波算法在多摄像机下实现对人体三维全身运动的跟踪g a v r i l a 等【6 1 使用基于距 离图的图像和模型的匹配技术，采用搜索空间分解的方法找到最优姿态。 当前流行的方法大多采用基于人体骨架模型的匹配技术。这种方法的目标是 在状态空间中找到一组姿态参数，使得对应这个参数的人体姿态与从图像中提取 的底层特征最为符合。 基于人体骨架模型的匹配技术通常使用产生并测试的方法，其基本思想是根 据历史跟踪结果预测当前时刻的姿态参数，然后根据预测的参数值生成人体姿态 的某种表示，并用之去匹配图像特征，根据匹配结果对当前时刻姿态参数进行估 计。这种预测一匹配一更新的跟踪框架也适用与一般意义的物体跟踪。 武汉理工大学硕士学位论文 1 1 3 课题研究的目的及意义 经过2 0 多年的研究，h m c 技术虽已取得很大进展，但仍处于实验室研究阶 段，现有系统一般都限于简单场景，且仅能捕捉单人或几个人的简单动作，其适 用性、精确性和速度离实用还有很大距离。 本文研究的主要目的就是设计一种新的捕捉方案可以很有效的捕捉较为复 杂的人体运动，特别是能运用到较为普遍的视频文件中( 背景图像较为复杂，拍 摄的摄像机角度并不固定的情况) 。相比特地录制的视频文件，范围更广的h m c 还存在很多难题有待解决：例如摄像机拍摄的画面很多时候不能够完整的显示出人体 的6 4 部分，有些部分被挡住了。有时候视频画面中的背景比较复杂，很难区分人体 和背景。本文的重点放在现在较为通用的人体物理约束系统的基础上，增加另一 个约束系统，来应付以上所提到的问题。 这项课题的研究，有助于降低捕捉成本，使捕捉更容易实施。比起其他大型 的人体行为捕捉仪器来，视频中的人物行为捕捉只需要一台或多台摄像机，或者 一段已有的视频片段。 1 2 课题研究的现状 随着计算机技术的发展，计算机能够承受的计算量大幅度提高。h m c 的方 法逐渐分化多样，以适应各种不同的人体运动视频。h m c 近5 年来的研究主要 是分成两个大方向，一种是顺推法( t o p d o w n ) ，一种是反推法( b o t t o m u p ) 7 1 。 这两种方法的的实施步骤正好相反。顺推法是先根据初始图像建立人体骨骼模 型，再用计算机捕捉其他视频图像中人物的运动影像。反推法则是先捕捉画面中 的人体行为，再根据捕捉结果建立人体骨架模型。 ( 1 ) 顺推视频捕捉法( t o p d o w n ) 顺推法是国内外较为常用的h m c 方法。相比反推法，它的优势是运算量较 小。不需要大型计算机长时间的模拟计算，一般情况普通的p c 机就能完成捕捉、 仿真等步骤。并且在如走路，举重等较为模板化的人体运动案例中，捕捉结果较 为精确。 h m c 是从2 d 投影图像或图像序列中恢复场景中的人体运动信息，其过程中 常常会遇到以下一些难点： 2 武汉理工大学硕士学位论文 a 投影过程中会失掉深度信息，使恢复成为一个病态过程； b 人体是一个高自由度的关节连接结构，其运动复杂且存在自遮挡现象； c 图像噪声、摄像机运动等因素使得无法提取可靠的底层特征。 顺推的捕捉方法通常称为基于模型的方法，该方法是先建立人体的骨架模 型，再根据投影成像的方法与图像匹配，以获得人体姿态参数借助人体模型， 可利用人体几何结构、运动模型等先验知识，有效地克服上述困难。 顺推的捕捉方法采用“分析合成”的方式，捕捉是在“预测一匹配修正一 的循环中实现的，其一般处理框架如图1 - 1 所示捕捉时，根据上一帧捕捉结果 和运动模型预测当前状态，将预测的人体几何模型投影到图像平面，计算模型投 影特征与图像特征的匹配误差，结合运动学约束，根据误差修正预测的状态，从 而得到当前帧的人体姿态。 图1 - 1 顺推法基于模型的人体运动捕捉处理流程图 研究人员提出了各种人体结构和几何形状的表示方法，主要人体模型有棍图 模型、c a r d b o a r d 模型和s p m 模型8 】等，如图1 2 所示。 3 武汉理 ：大学硕十学位论文 a 原始图像b 棍幽模型cc a r d b o a r d 模犁ds p m 图1 2 人体仿剽莫型 a棍图模型是最简单的人体结构表示方法，它由如图1 2 a 所示点和线段组 成，分别表示关节点和骨骼棍图模型可用来指导对图像特征的拟合，以获得人 体姿态，也可作为运动捕捉的一种结果输出形式： b 2 d 模型用于单目视频的捕捉，对人体朝向或拍摄角度进行了限定，如 要求被捕捉者平行于摄像机平面或面向摄像机运动等最常用的是如图1 - 2 c 所示 的c a r d b o a r d 模型和如图1 2 d 所示的s p m ( s c a l e dp r i s m a t i cm o d e l ) 。 上述模型除c a r d b o a r d 模型外，都属分层的树型结构一般将骨赫或躯干定义 为树的根，整个人体运动可视为山根节点的全局运动和子节点绕其父节点的旋转 运动组成，因此，人体姿态可用根节点的位置、方向参数和关节角参数组成的状 态向量表示基于模型的人体运动捕捉就是在山状态向量张成的状态空州中搜索 合适的点，使该点对应姿态的投影与图像特征最为匹配。 然后根据运动复杂程度，运动模型分成单层模型和分层模型。单层运动模型 适合简单运动模式，如行走等，主要建模方法有主元分析法( p r i n c i p l ec o m p o n e n t a n a l y s i s ，p c a ) 、高斯法等。s i d e n b l a d h 等用商业运动捕捉系统获得行走的3 d 运 动数据，将其按运动周期手工剖分对齐后用多元p c a 降维，得到一个主元表示 的、紧凑的行走运动模型来指导捕捉。由于人的运动本质上是复杂的非线性过程， 更多的学者使用分层的运动模型在分层模型中，底层表示为线性过程，高层表示 为这些线性过程问的转移概率，常用工具有隐马尔科夫模型、可交换线形动态模 型、有限状忐机等。为对高维非线性状杏空剧进行建模，一般要进行降维聚类分 析，主要有分层主成分分析、最小描述长度法等。 基于单目视频的3 d 运动捕捉对某些应用( 如视觉监控及对已存档视频的运 动分析) 卜分有用，而从单日视频恢复3 d 姿态，运动模型具有重要意义。 武汉理工大学硕士学位论文 在顺推法的捕捉中，优化是通过对状态空间的搜索来完成的，即在姿态参数 空间中寻找合适的点，使该点所对应模型投影的表面形状与图像中的人体形状最 为相似。然而，对由几十个自由度构成的高维状态空间搜索非常困难，除使用各 种先验知识对状态空间进行剪枝外，还必须采取适当的优化算法进行搜索，这也 是运动捕捉的核心内容。主要优化算法如下： a 微分法是一种常用的优化方法，首先建立一个可微的目标函数，一般是 模型投影特征与图像特征的差值函数，通过雅可比矩阵建立模型参数微分和图像 坐标微分的联系；然后沿负梯度方向迭代地对模型参数修正，直到满足优化条 件。该方法收敛速度快，但无法保证收敛到全局最优点，不适合捕捉大幅度运动。 b 动力学法是在预测模型投影与图像数据 ( 如人体边缘) 间生成一种物 理力，类似弹簧弹力。力的方向由模型指向图像，当二者偏离时，该力使二者趋 于重合，根据该力不断地修正模型参数，直至二者匹配为止。该方法可以捕捉大 幅度运动，但无法保证其收敛性。 c 局部搜索法是一种传统人工智能的方法，通过生成测试的方式，在预测 位置附近进行启发式搜索，寻找与模型最匹配的位置。为有效地搜索高维空间， 一般要对状态空间进行分解，然后采用分层搜索方式。该方法速度较慢，且易陷 入局部最优点。 d k a l m a n 滤波【9 l 是一种常用的捕捉算法，首先用前一时刻状态进行预测； 然后根据预测状态和误差协方差确定搜索范围，在该范围内查找特征进行匹配得 到测量值，用测量值差和增益矩阵对预测状态修正，得到状态参数的后验估计 k a l m a n 滤波由于用概率来描述捕捉过程中的不确定信息( 如噪声、杂乱背景等) ， 同时保留了尽可能多的历史信息，因此捕捉更加鲁棒。但k a l m a n 滤波是线性滤 波器，要求系统状态和噪声都是单峰分布，这在实际中很难满足。 e 粒子滤波是在人体运动捕捉中，因噪声、杂乱背景及非线性动态系统的 影响，状态分布呈多峰形式。此时k a l m a n 滤波不再适用，而粒子滤波提供了一 种方便、有效的计算多高斯后验概率的方法，在目标捕捉中获得广泛应用。 粒子滤波是一种非参数的方法，用离散的带权重的样本( 即粒子，一个粒子 对应状态的一个假设) 集合表示后验概率分布，利用概率传播采样点来模拟状态 分布随时间的演化。将粒子滤波算法用于人体运动捕捉是近年来一个重要进展。 但在捕捉高自由度的人体运动时，该算法所需样本数随自由度增加呈指数增长， 致使其效率极低。因此，目前基于粒子滤波的人体运动捕捉研究都集中在对算法 效率的改进上，主要方法有：1 改进重采样方式，提高重采样样本的有效性；或 武汉理工大学硕士学位论文 用局部优化获得的协方差指导采样以提高采样效率；2 与局部优化相结合。在前 一时刻只保留少量局部最优假设，当前时刻仅从这些假设出发用梯度下降法优 化，从而降低所需样本数目；3 分解状态空间，降低搜索维数，如将整个人体分 成头躯干和四肢，先对头躯干采样，再对四肢部分采样。4 使用辅助信息，如用 底层特征检测获取人体姿态的一部分参数，以降低搜索维数；或将底层信息融入 重要性函数，提高采样效率。粒子滤波具有全局搜索的性质，能避免局部极值点， 且允许底层特征提取有噪声；缺点是计算量太大，且捕捉结果不如前4 种方法精 确。 顺推法的捕捉方法，通过人体模型可方便地使用先验知识，解决遮挡问题， 且捕捉结果较精确，适合运动分析方面的应用，但缺点也很明显：1 ) 目前文献【7 吼1 5 j 中大多采取手工标定方式进行人体模型的初始化，很难自动初始化；2 ) 捕捉 过程中会因误差累积、噪声等影响致使捕捉失败，难以自动恢复；3 ) 优化速度 慢，难以达到实时要求；4 ) 对于较为复杂的动作，特别是不太符合物理约束系 统的动作，捕捉效果不佳。 ( 2 ) 反推视频捕捉法( b o t t o m - u p ) 反推的捕捉方法是一类非模型匹配的姿态估计方法，通过对一些琐碎的表面 化的特征的捕捉、分析。反推将这些特征抽象化，寻找他们之间的联系，最终获 取人体姿态信息。由于反推法打破了顺推法无法自动初始化的局限，近两年来被 广泛的运用。反推法的主要有特征捕捉法、形状分析标记法、识别法和推理法。 特征捕捉法的捕捉原理是对输入图像序列，首帧标注或检测出人体关键点位 置，后续帧中通过捕捉建立起帧间特征的对应关系，即可获得各时刻人体的姿态 参数。该方法一般要求有明显的特征，如罗忠祥等要求被捕捉者穿上特制的紧身 衣，其各关节点处为不同的色块，通过对色块的捕捉得到2 d 关节点位置序列； p f i n d e r 系统通过特定的姿势分析出头、手、脚的位置，对每个区域用空间位置和 颜色建模，然后用颜色对这些区域进行捕捉，从而获得各帧的姿态。与基于模型 的捕捉不同，在基于特征的捕捉中，各特征点间独立进行匹配，不考虑全局结构 约束，因此处理简单、速度快，但人体不规则运动常使特征点出现重叠、自遮挡 等现象，致使捕捉很不可靠。一 形状分析标记，意指人体模型不直接用来匹配图像数据，而是作为启发式知 识指导对图像特征( 人体剪影或边缘) 进行分析和标记，以获得姿态信息。主要 步骤为：1 ) 获取利用边缘检测人体剪影或边缘：2 ) 对边缘进行分析，找出边缘 6 武汉理工大学硕士学位论文 上的特征点，如凸凹点( 对应肢体末端，如头、手、脚、肘、膝等) ；或将边缘 分解成不同的部分( 对应肢体及躯干) ；3 ) 对分析出的特征点或部分进行标记或 识别。 识别法需要训练数据，对事先标注的运动库建立索引或从中学习特征与姿态 的对应关系，通过最近邻检索或函数映射获得人体姿态参数，从而将姿态估计问 题转换为模式识别问题。识别法可分为模板匹配法和映射法2 类。 a 模板匹配 先建立模板库，模板包括特征及相应的姿态。对测试图像提取特征后，用某 种度量与模板库中的样例比较，用最相似样例的姿态作为估计结果。m o i l 等以边 缘为特征，用形状关联匹配从模板库中找到最相似样例，从该样例获得输入图像 的2 d 关节点位置，再用t a y l o r l 2 7 1 法恢复出3 d 人体姿态。 对复杂人体运动，不同姿态的图像投影特征可能非常接近，即特征与姿态的 对应是i ：n 关系。为此，h o w e 2 7 】从模板库中检索出相近的多个样例，对候选样例 序列用时域相似性约束选出每帧的最佳匹配。除静态图像外，还可对运动序列进 行匹配，如e f r o s 2 7 1 等用光流作为描述子，从运动库中检索出最相近的动作姿态序 列作为输出。 b 映射 通过监督学习获得映射函数，建立底层特征与姿态间的映射关系。该方法直 接将底层特征映射为相应的姿态参数，无需保留样本库。常用映射工具有：神经 网络、相关向量机、贝叶斯估计等。 a g a r w a l 2 6 ) 等用人体边缘的形状关联作特征，用r e l e v a n c ev e c t o rm a c h i n e 2 7 1 作回归器，对输入特征直接输出相应的3 d 姿态参数；e l g m m a l 1 7 1 等用局部现行嵌 入式技术对高维边缘特征空间降维后，用广义径向基函数来学习映射关系。 识别法无需人体模型和对高维空间的搜索，速度快、鲁棒性好，可获得3 d 姿态。但也存在如下缺陷：1 只能识别已知动作，且所得结果可能不精确：2 对 于复杂运动，其训练样本集的覆盖性和代表性很难保证。 在顺推法的捕捉方法中使用的是全耦合的树型结构，树结构的缺点是难以融 入底层信息，如人脸或身体其他部分的检测结果等，因此不易做到自动初始化和 失败恢复；且树结构的状态空间很难分解，导致计算量大为克服这一困难，近 年来很多学者用松耦合的图模型表示人体结构，采取反推方式，先独立检测或预 测身体各部分位置，再通过概率推理获得满足人体几何结构约束的姿态配置。该 类方法也可看作是对前面2 1 3 中提到的粒子滤波算法的改进。 7 武汉理工大学硕士学位论文 运用反推法可以实现完全自动的进行h m c ，并能捕捉较为复杂的人体运动， 是今后h m c 的主要发展方向。但是，从短期来看，反推法很难取代顺推法在h m c 运用中的地位。主要原因是反推法运算数据量普遍较大。虽然运算的数据量主要 取决于视频画面的复杂度，但是由于每次捕捉都要重新计算，运算量就远远超出 了顺推法。一般需要大型机或者工作站才能进行h m c 中数据量的计算和处理。 1 3 本课题研究的内容 本文的h m c 及三维骨架重建的方案主要建立在m o r i 等人【”1 提出的视频人体 运动骨架重组方案的基础上，该模型运用人体物理约束系统作为判定人体关节位 置的主要依据。但仅仅使用物理约束系统对于一般的视频文件，很难避免以下问 题：1 ) 不加约束的人与背景的自动分离问题，在动态环境中，因受摄像机运动、 光照变化、杂乱背景及人与背景颜色相近等影响，该问题一直未得到很好解决； 2 ) 遮挡问题，在遮挡情况下，特别是当上肢与躯干服饰的颜色纹理相近时，很 难从图像中将它们区分开来；3 ) 人体建模问题，不同个体间的体结构、外形、 衣着等差异使得人体形状的精确建模非常困难，而身体模型直接影响跟踪的精确 性；4 ) 人体模型的自动获取和失败恢复问题，目前算法多用手工初始化，因误 差累积等原因无法对长序列跟踪，因此算法的自动实施是实际应用时必须解决的 难题：5 ) 处理速度问题，体姿态包含几十个自由度，如何对这一高维空间快速 搜索以达到实时要求，也是亟待解决的。 事实上，不符合一般物理约束系统的关节依然具有一定规律性。本文的重点 将放在设计出一套新的约束系统二元参数法，来对人体关节位置进行判定。 以避免以上问题对于最终捕捉结果的影响。本文以2 0 0 7 年东亚运动会体操女子 团体决赛的几段视频片段为例，来测试该约束模型运用在较为普遍的视频文件中 的捕捉情况。 8 武汉理l 人学硕十学位论文 第2 章捕捉方法设定 2 1 视频序列图像分析 这次实验截取的视频文件并不是随机的，虽然实验的目的是希望尽可能地扩 大捕捉视频的范围，但实际实施过程中存在解决下列几种情况的视频文件没有办 法进行h m c ：i ) 被测试者某些身体部分不在视频图像中；2 ) 视频中的除被测 试者以外，背景图像变化较大，3 ) 画面中有多于一个的被测试者。所以如图2 - 1 所示，这次截取的画面必须画面中只有一个主要被测试者，且身体部分都在画面 中；视频中的除被测试者以外，背景图像几乎是静态的。 图2 - 1 体操运动员视频序列图像 通过仔细研究这次实验的视频影像，这次研究的视频图像还具有以下几个显 著特征： ( 1 )视频图像是从真实的体操比赛咀( 2 0 0 7 年东亚运动会体操女子团体决 赛) 中节选的，每段视频画面中的被测试者的身体骨架都是不同的。也就是说如 果一丌始就建立人体三维骨架模型，会增大很多计算量，导致捕捉结果的不准确； f 2 )体操比赛运动员身体各个部位的运动自由度变换较大。与行走、跑步、 举重、棒球之类的运动不同，体操运动的h m c 很难运用到模板图像匹配的方法 将捕捉结果与现有的人体运动样本库进行对照。 r 3 )体操比赛中有些项目被测试者与摄像机之间的角度是不固定的，但是有 些项目，例如鞍马、高低杠、平衡木，摄像机一般安放在被测试者的侧面。 ( 4 )体操比赛中很多动作，上臂与下臂，大腿与小腿是成一直线的，如图 2 - 2 所示。这个时候人体不符合树状结构，要确定手肘与膝盖的位置就变得非常 武汉理j 人学硕士学位论文 困难。 图2 - 2 人体不符合树状结构的情况 2 2h m c 设计方案 人体是个树形结构的模型，是由头部，左右大腿，左右小腿，左右上臂 左右前臂等部分组成的m i ，如图2 - 3 所示： 武汉理工大学硕士学位论文 图2 3 人体树状结构 视频图像数据只是一组像素点的集合，无法直接与三维模型进行匹配，因此 需要提取合适的特征来建立图像和人体模型之间的对应关系。本文选择了边缘边 缘、形状、明暗度、运动关注和关节作为匹配特征： ( 1 ) 边缘边缘：提取人体的边缘边缘将人体与背景分离。无论在视频图像中 这些身体部分是否完整( 有可能被身体其他部分挡住) ，这些不分都应当在人体 的边缘线以内。 ( 2 ) 形状：将人体的各个部分看成为矩形的刚体，去寻找他们的大概位置。 再根据所得到的矩形，估计出人体各个部分的原始大小和形状。另外，在估计人 体各个部分连接点( 关节) 位置的时候，也起着重要的作用。 ( 3 )明暗度：人体各个部分可以粗略的看着为多个圆柱形，那么这些部分必 然有其阴暗的部分，也有明亮的部分。另外人体是一个整体，人体各个部分的明 暗关系之间具有一定的规律。 ( 4 ) 运动关注：大部分的视频序列图像中，被测试者总是反馈高频的运动信 息，而相比较而言，背景图像几乎是静态的。人眼观看视频的时候，往往会忽略 掉图像中的视频。只关注画面中运动的部分。 ( 5 ) 关节：为了简化模型，本文一开始只是估计出人体各个部分的粗略位置。 为了保证反馈结果的精准度。必须通过捕捉人体关节的所在位置，来反证人体各 武汉理工大学硕士学位论文 个部分捕捉的精准度。 图2 4 显示了以上几个元素对捕捉结果影响的权重。可以看到人体的边缘边 缘提取在寻找人体各个部分的过程中是最为有效的。相对来说，人体各个部分的 形状估计，和运动关注对于确定这些部分的位置影响较小。主要原因是很多情况 下在视频图像中并不能看到完整的人体部分，有时候它们只有一部分可以被看 到，有时候它们被身体其他部分完全的挡住了。 图2 4 匹配特征对人体捕捉结果的影响 由于体操运动中人体运动较为复杂，并且大量存在不符合一般物理约束系统 的动作，本文决定使用反推法来进行人体行为捕捉。即先分析视频图像，寻找出 图像中人体的各个部分，在通过判定人体关节的位置判定人体各个部分的适用 性，最终提取出人体三维骨架模型。 反推法数据运算量极大，必须想办法在捕捉和骨骼重建的过程中尽可能的简 化模型。最终能依靠普通的计算机就能完成整个实验，并且保证反馈的数据尽量 精确。根据以上匹配特征对捕捉结果影响的分析，设计本次捕捉的具体方案： ( 1 )提高视频图像清晰度：使用较为广泛应用的奇偶场分离法，将视频文 件的清晰度提高。 ( 2 )提取边缘边缘：利用边缘检测的方法，提取视频图像中的边缘线条， 并利用光流过滤掉被测试者之外的多余线条。最终将人体与背景图像分离开来。 1 2 武汉理工大学硕士学位论文 ( 3 )简化模型：可以把人体各个部分看成矩形刚体，将寻找人体各个部分 的过程简化成寻找画面中的平行区域。 ( 4 )预测关节位置：人体各个部分是有关节连接，通过预测关节点位置进 而对各个部分的捕捉过程进行约束。 2 3 本章小结 本章主要通过分析本次实验的视频序列图像特征来确定h m c 的方案。考虑 到图像中人体运动的较为复杂，本文将捕捉的初步方案定为反推法( b o t t o m u p ) 。 然后，通过分析到图像中各个匹配特征对捕捉结果的影响，来确定出具体的捕捉 方案。 1 3 武汉理工大学硕士学位论文 第3 章人体各部分的捕捉识别 3 1 人体边缘识别 3 1 1 奇偶场分离 人体各个部位的捕捉识别是一个图像识别的过程，首先运用奇偶场分离的办 法，将视频文件的清晰度提高，加大捕捉的精准度。在本文中，输入数据是2 0 0 7 年东亚运动会体操女子团体决赛的几段视频片段文件。现在中国国内的电视台拍 摄的视频图像扫描一般是p a l 格式，也就是每秒2 5 帧和5 0 场的帧频和场频【1 6 1 ， 2 5 h z 的帧频能以最少的信号容量满足人眼的视觉残留特性，5 0 i - i z 的场频隔行扫 描，把一帧分成奇、偶两场。 但是摄像机在工作的时候并非一帧一帧静止地拍摄，它所摄下的每一帧已经 包含了1 2 5 s 以内的所有视觉信息，包括人体的位移。再加上拍摄的是运动场景， 体操运动中人体各个部位的运动速度非常得快，所以采集到的图像文件中的每一 帧并不是一幅清晰的静止画面，而是一张模糊的图像，称为运动模糊。为了使图 像能够变得清晰，首先对输入的视频图像进行奇偶场分离，将同一帧图像分奇偶 场交替显示，去除因奇偶场差异在图像上产生的交织干扰。这样每秒2 5 帧的文 件就会变为每秒5 0 帧，图像的清晰度得到了一定的增强。 在得到较为清晰的序列图像以后，如图3 - 1 所示，需要通过减掉背景和去除 阴影来提取出运动人体边缘。 1 4 a 分离前的视频画面 b 分离后的视频画面 图3 - 1 奇偶场分离 武汉理工大学硕士学位论文 3 1 2 边缘检测 为使提取出的边缘具有较高的可信度，系统采用了s o b e l 算子边缘检测算子 提取图像边缘。s o b e l 算子【7 】边缘检测算法是相对较佳的边缘检测算法。它具有以 下良好的特性：能检测出所有的真正边缘，并能保证检测出的边缘与实际边缘间 的距离误差最小，同时对每一边缘仅响应一次，提取出的边缘。 本文是在v i s u a lc + + 环境下s o b e l 算子边缘检测算法实现的代码。所谓边缘 就是指图像局部亮度变化最显著的部分，它是检测图像局部变化显著变化的最基 本的运算。对于数字图像，图像灰度值的显著变化可以用梯度来表示： 对于数字图像，可以用一阶差分代替一阶微分； 埘 ，y ) 一厂 ，y ) - 厂o - 1 ，y ) a y f o ，y ) 一厂o ，y ) - ，o ，y 一1 ) 求梯度时对于平方和运算及开方运算，可以用两个分量的绝对值之和表示， g f ( ) c y ) 1 = f 厶) 巧k y ) 1 + f 厶y 低y ) 1 a x f ( 五y ) l + 厶嫩y ) - s o b e l 梯度算子是先做成加权平均，再微分，然后求梯度，即： a v ( x , y ) = f ( x 1 , y + i ) + 2 f ( x , y + 1 ) + f ( x + l , y + 1 ) - f ( x 1 y - 1 一2 f ( x , y 1 ) - f ( x + l , y 一1 ) ； a y f ( x , y ) = f ( x - 1 , y - 1 ) + 2 f ( x - 1 ，y ) + f ( x - 1 , y + 1 ) - f ( x + l , y - 1 ) - 2 f ( x + 1 ，y ) - f 【x + 1 y + 1 ) ； g f f ( x , y ) = ia x f ( 五y ) l + ia y f ( x , y ) l ； 上述各式中的像素之间的关系见表3 - 1 ： 表3 - 1s o b e l 梯度算子方程式中像素之间的关系 f ( x l 。y 一1 )f ( x y - 1 )f ( x + 1 y 1 ) f ( x 1 y )f ( x y ) f ( x + 1 y ) f ( x 1 y + 1 )f t x y + 1 )f ( x + 1 y + 1 ) 我在视图类中定义了响应菜单命令的边缘检测s o b e l 算子实现灰度图像边缘 检测的函数，具体程序代码见附录1 。 如图3 3 ，利用s o b e l 算子边缘检测算法对运动员身体的边缘提取，接下来通 过图像二值化与取反，使结果显示更为清晰。 1 6 罔3 - 3 捕捉边缘的最终结果 但是从图2 4 b 也可以发现杂乱边缘太多，而比较时只需要运动员人体的边 武汉理丁大学硕十学位论文 缘，过多杂乱边缘的存在将会影响寻找人体各部分位置的准确性。为了过滤掉多 余的边缘，采用l u c a s k a n a d e 算法m 1 计算所选帧图像的光流，具体程序代码见附 录2 。 ff 计算得到的光流矢量场( o p t i c a l f l o wv e c t o r f i e l d ) f 被分为两个标量场r 、1 ， 分别对应当前帧的向前1 0 帧的运动光流和向后1 0 帧的运动光流。由于视频中被 测试者接下来的运动幅度，大于前1 0 帧的运动幅度，由图3 - 4 可以看出，中运 动区域比。r 明显。 图3 - 4f ( 左图) 和p ( 右图) 于是使用f 与图3 3 做“与，操作，就可以滤掉图3 - 3 中大部分的杂乱 边缘。结果如图3 5 所示。可以看出绝大部分的杂乱边缘都已经过滤掉了。 图3 - 5 过滤后的边缘图 黔 方u卜 武汉理工大学硕士学位论文 3 2 寻找图像中的平行区域 3 2 1d e l a u n a y 三角剖分 接下来要做的是将图3 5 ，过滤后的边缘图进行剖分，这里选用d e l a u n a y 三