（模式识别与智能系统专业论文）基于序列图像的人体运动分析.pdf

范斌 中国科学技术大学硕士学位论文 致谢 值此论文完成之际，我谨向我的导师汪增福教授表示由衷的感谢。汪老师严 谨的治学之风、执著进取的敬业精神、活跃的学术思想、开拓的思路、敏锐的洞 察力以及深厚的理论功底，都给予我良好的熏陶，令我受益匪浅，为我今后的学 习和工作树立了榜样。生活上，他平易近人，令我倍感亲切。在我进入视听觉信 息处理与模式识别实验室四年多的时间里，汪老师的教导和关怀是我不断前进的 保障，在此我向他致以衷心的感谢。 感谢实验室郑志刚老师给予我的教导和帮助。感谢实验室的研究生王龚、董 志峰、文沁、胡元奎同学在学习和工作中给予我的帮助和启发，同他们的合作是 愉快和令人难忘的，感谢其他所有实验室成员，同他们在一起让我感到快乐a 我还要感谢中国科学技术大学自动化系的所有老师。他们不但传授给我知 识，还教会我许多做人的道理。 感谢9 6 1 0 的全体同学，感谢他们在八年中给予我的关心、帮助和爱护，使 我度过了一个充实进取的大学生活，我将终生难忘。 最后，感谢养育我的父母和关心爱护我的亲人朋友们。无论什么时候，他们 都是我最坚强的后盾。 范斌中圜科学技术太学硕士擘住论文 摘要 本文是作者于攻读硕士学位期间在人体运动分析方面所做研究工作的总结。 人体运动分析是指从图像序列或视频中提取与人体结构相关的特征信息，并 据此完成包括人体姿态识别、运动跟踪等工作。它在机器人、人机交互、安全保 卫、视频检索等领域都有很广阔的应用前景，正受到越来越多的关注，是近几年 计算机视觉领域的研究热点。人体结构底层特征的提取是人体运动分析的基础和 关键，直接影响到结果的精确性和算法的复杂度。在这些特征中，人体关节的位 置及其随时间的变化确定了人体的姿态和运动。 本文提出一种基于人体轮廓二值图像的确定关节位置的方法。首先，对输入 的连续两帧图像进行差分运算，得到图像中的人体运动区域，依据运动区域的灰 度信息，快速有效地从原图像中提取出人体的轮廓。然后，根据人体骨架结构的 特点，利用能量函数从轮廓图像中抽取一个与真实骨架近似的虚拟骨架，并采用 人体解剖学的先验知识，确定图像中人体各个关节的位置。 确定人体关节位置后，利用透视投影的几何特性和人体各个部位的比例关 系，恢复人体在空间中的三维姿态。首先，确定锁骨的位置，作为扩展起点。然 后，根据人体骨骼长度的比例由起点向四肢扩展，确定所有关节的三维空间位置。 但由于单个摄像头在立体视觉方面本身固有的病态性，在求取相邻关节的三维位 置时存在两种满足要求的结果。我们利用人体生理学中关节自由度的限制和运动 连续性消除这种二义性，恢复二维图像对应的人体三维姿态。 实验结果表明，该算法是一种行之有效的方法。它无需对研究对象附加限制 条件，对噪声具有较好的抑制作用，在复杂背景下能准确的确定目标人体各个关 节的位置并恢复出对应的三维姿态。 关键词：序列图像；人体运动分析；轮廓：虚拟骨架；关节位置 薹_ 堕一 里苎兰垫查苎兰型主兰竺堕墨 a b s t r a c t t h i st h e s i si n c l u d e st h em a i nr e s e a r c hw o r ko f t h ea u t h o rf o rh i sm a s t e ro f e n g i n e e r i n gd e g r e e h u m a nm o t i o na n a l y s i s h u m a nm o t i o na n a l y s i si sa l li m p o r t a n tl s e a r c hs u b j e c t i ti s r e c e i v i n gi n c r e a s i n ga r e n t i o nf o r aw i d es p e c t r u mo fa p p l i c a t i o n s ，s u c ha sr o b o t ，m a n - m a c h i n ei n t e r f a c e ，s e c u r i t y s u r v e i l l a n c e ， i m a g er e t r i e v a la n dv i d e oi n d e x i n g h u m a nm o t i o na n a l y s i sc o n c e r n sw i t hs o m ek e yt e c h n i q u e s i n c l u d i n gp o s er e c o g n i t i o na n dm o t i o nt r a c k i n g i no r d e rt op e r f o r mt h et a s k s ，t h ef e a t u r e e x t r a c t i o no fh u r a a nb o d yf r o mi m a g es e q u e n c e sp l a y sa n i m p o r t a n tr o l e ，i tw i l l a f f e c tt h e p e r f o r m a n c eo f t h es y s t e ma n dt h ec o m p l e x i t yo ft h ea l g o r i t h m e s p e c i a l l y , t h ef e a t u r e so fb o t h p o s i t i o na n dm o t i o no q o i n t sc a nh e l pu st od e t e r m i n et h ep o s ea n dm o t i o no f t h eh u m a nb o d y i nt h i st h e s i s ，w ep r o p o s eam e t h o df o ra r t i c u l a t e d - p o s ee s t i m a t i o nf r o mt h eh u m a ns i l h o u e t t e f i r s t ，t h ed i f f e r e n c eb e t w e e ne a c hp i x e li nt h et w os u c c e s s i v ei m a g e si sc a l c u l a t e dt oo b t a i nt h e m o v i n gp a r t so f t h eh u m a nb o d yi nt h ei m a g e s s e c o n d l y , t h ei n t e n s i t yi n f o r m a t i o no f p i x e l si nt h e m o v i n gp a r t si su s e dt oe x t r a c t t h eh u m a ns i l h o u e t t ef r o mt h ei m a g e s a n dt h e na n e n e r g y f u n c t i o n b a s e dm e t h o di se m p l o y e dt oe x t r a c tad u m m ys k e l e t o no fah u m a n b o d yf r o mt h es i l h o u e t t e a t t h es a m et i m e ，t h ep o s i t i o n so ft h ej o i n t sa r ee s t i m a t e db yt h ek n o w l e d g eo f a n t h r o p o t o m ya n d t h r e er u l e sd e r i v e df r o mt h es t a n d a r dh u m a ns k e l e t o nm o d e l ， u s i n gt h ep o s i t i o ni n f o r m a t i o no ft h ej o i n t so b t a i n e d ，t h e3 ds t r u c t u r eo ft h eh u m a nb o d yc a n b er e c o v e r e da c c o r d i n gt ot h er e l a t i o no fp e r s p e c t i v ep r o j e c t i o na n dt h es c a l e so ft h es t a n d a r d h u m a ns k e l e t o nm o d e l f i r s t , t h ep o s i t i o no ft h ec o l l a r b o n ei se s t i m a t e da st h es t a r tp o i n t a n d t h e nt h e3 dc o o r d i n a t eo ft h ej o i n t si sc o m p u t e di nt h eo r d e rf r o mt h es t a r tp o i n tt ot h el i m b sb y u s i n gt h el e n g t hs c a l e so ft h es t a n d a r dm o d e l t h e r ea r ed u a l i s t i cr e s u l t si nc o m p u t i n gt h e3 d c o o r d i n a t eo ft h ea d j a c e n tj o i n tb e c a u s em o n o c u l a ri m a g eh a sc o n n a t u r a l m o r b i d i t yi ns t e r e o v i s i o n w et a k eo u tt h ew r o n gr e s u l tb yu s i n gt h ek n o w l e d g eo f t h e j o i n tm o t i o ni np h y s i o l o g ya n d t h ec o n t i n u i t yo f t h eh u m a n b o d ym o t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o di se f f e c t i v e i tr e q u i r e sn oa n ya d d i t i o n a lr e s t r i c t i o n s o nt h em o t i o na n dc o l o ro f ah u m a nb o d y m e a n t i m et h em e t h o di sr o b u s ta g a i n s tt h en o i s ei nt h e s i l h o u e t t e e s p e c i a l l yi th a sg o o dp e r f o r m a n c ei nt h ec a s eo f c o m p l i c a t e db a c k g r o t m d k e y w o r d s ：i m a g es e q u e n c e ，h u m a n m o t i o n a n a l y s i s ，s i l h o u e t t e ，d u m m ys k e l e t o n ，j o i n tp o s i t i o n 3 范斌 中国科学技术走学硕士学位论交 第一章前言 1 1 人体运动分析的研究背景 运动分析在计算机视觉中占有非常重要的地位。其中，人体运动分析 ( h u m a nm o t i o na n a l y s i s ) 又是运动分析的一个重要方面和目前的研究热点。对 人体运动的研究可追溯到二十世纪七十年代，其典型的应用领域包括：三维人体 结构的恢复与重构、运动员动作分析、安全保卫、医学、机器人、人机交互和视 频检索等。由于人体运动分析具有相当广泛的应用前景，因此受到了越来越多的 关注 1 ，3 。 如图1 1 所示，一个完整的人体运动分析系统主要包括两个技术环节：第一 步是特征提取，即从图像中提取目标人体的特征，如轮廓、关节位置等；第二步 是运动分析，即根据第一步得到的特征和特征间的对应关系，利用计算机视觉和 人体生理学的知识，对目标人体的运动趋势和姿态进行分析。 或图像序列底层特征 特征提取运动分析 图1 1 人体运动分析系统 为了提取人体结构的底层特征，传统上多采用以下两种方法：( 1 ) 在对象人 体的关节等部位安装传感器来获取对象的运动信息。这些传感器会在人体运动过 程中不断地将人体各部位的位置等相关信息发送给计算机，这样计算机可以根据 发送回来的信息精确获得人体在各个时刻的运动参数。( 2 ) 用摄像机获取运动人 体的序列图像，并利用人体生理学方面的知识，通过图像处理直接从对象人体的 输入图像中提取包括各个关节的位置等信息在内的低层特征( 这些特征可以是被 测物体所固有的，也可以是通过人为地在人体各部位贴布彩色标记而得到的) 。 4 - 范斌 中国科学技术走学硕士学位论夏 得到人体结构的底层特征后，可据此在相应图像帧的特征之间建立对应关 系，并从特征的帧间对应出发恢复三维人体的结构与运动信息，从而建立一个合 适的人体三维模型；将该模型的二维投影与真实图像进行比较，可以完成包括人 体姿态识别和三维重构等在内的运动分析工作。也可以采用基于多摄像头拍摄图 像之间的特征匹配、模板匹配、状态空间法等方法，完成人体运动分析工作。 1 2 人体运动分析综述 1 9 7 5 年，j o h a n s s o n 2 首先开始了人体运动分析的研究工作。经过近四十 年的发展，人体运动分析在体育、机器人等很多领域得到了研究和应用。这些研 究工作主要包括三个方面的内容：人体结构运动分析、人体跟踪和人体姿念识别。 人体结构运动分析是人体跟踪和姿态识别的基础。 1 2 1 人体结构运动分析 人体结构运动分析是指：从单幅图像或者图像序列中提取目标人体的底层特 征，确定人体关节的位置或者进行人体部位的分割，然后对人体各个部位的运动 进行分析。根据采用人体模型的不同，可以分为以下三类：骨架模型( s t i c k m o d e l ) 、二维轮廓模型( 2 dc o n t o u r m o d e l ) 和三维模型( 3 1 ) m o d e l ) 。 1 基于骨架模型的方法 该方法提取的人体结构底层特征为各个关节的位置和它们之涮的连接关系。 人体的运动和姿态具有多样性，但人体的骨架结构是相似的。人体骨骼分为两种： 长条形的骨骼和连接这些骨骼的关节。长条形的骨骼可看成为刚体，任何时刻都 不发生形变，这样就可以把人体骨架看成一个由关节点连接的刚体的集合 4 。 人体解剖学的研究成果表明，不同个体的各个部位之间的比例大致相等。因此， 可以定义如图1 2 ( a ) 所示的标准人体骨架模型。易知，人体的姿态和运动主要 由关节点的位置及其随时间的变化所确定。因此从提取的各个关节的位置和它 们之间的连接关系出发，与标准人体骨架模型进行比较，可以对人体各个部位的 运动进行分析。 在文献 5 中，z c h e n 和h j 。l e e 采用了一个由1 7 个条状骨骼和1 4 个 范斌 中国科学技术大学硕士学位论文 关节组成的骨架模型。他们计算该模型各种姿态的投影，建立一个模型库，然后 将待处理图像与模型库中的各个模型进行匹配，在此基础上对目标人体的运动趋 势和姿态进行分析。c b a r r o n 和i a k a k a d i a r i s 进行的研究继承了浚方法 的思想，同时改进了该模型。他们的模型由2 2 个骨髂和1 7 个关节组成 6 ，7 。 在匹配算法上，他们引入了一些新的限制机制，以提高匹配速度。 ( a )( b ) 图1 2 三种人体模型，其中( a ) 为骨架模刑 ( b ) 为二维轮廓模型，( c ) 为三维模型 2 基于二维轮廓模型的方法 ( c ) 为了辨识体操运动员的动作，晡k l e u n g 和y h y a n g 提出了一种基于 人体轮廓的二维带状模型 8 ，见图1 2 ( b ) 所示。他们研究的对象为体操运动员 的图像序列。算法由两部分组成：一、利用边缘检测的方法，从序列图像中提取 出运动员的轮廓；二、通过抽取的轮廓图像建立二维模型，与模型库中的各个模 型比较，对研究对象的运动进行分析。与此同时，一些研究人员利用图像分割和 边缘检测的方法，进行了人体部位分割和关节位置确定的工作 9 ，1 0 。 3 基于三维模型的方法 三维模型是近年来出现的一种新的人体模型。目前国际上普遍采用圆柱体来 构造三维人体模型。h o g g 和r o h r 提出了一种由1 4 个圆柱体组成的三维人体模 型w a l k e r ，见图1 2 ( c ) 所示，每个圆柱体的形状由三个变量确定：轴的长 ! ! 堕 璺盐芏苎查苎兰婴主兰堡堕墨 度、截面长轴的长度和短轴的长度 1 1 。这是最早的三维人体模型。g o n c l a v e s 利用三维模型分析人体手臂的动作，在他采用的模型中，上臂和前臂用截面为椭 圆的圆台表示，肘关节和肩膀用球形关节代替。利用校准后的摄像机获取手臂的 图像，然后与三维模型的透视投影进行比较，计算两者之间的误差。根据误差对 模型的姿态和大小进行动态调整。当误差小于阈值时，就可以根据模型的姿念对 研究目标手臂的姿态和运动趋势进行分析 1 2 。 在以上提到的三种典型的人体结构运动分析方法中，都需要在采用的模型与 真实的二维图像间建立对应关系，利用对应关系对研究目标的姿态和运动进行分 析。采用的模型特征量越多，相对来说更能体现目标的细节。但随着特征量的增 多，真实图像与模型之间的匹配也随之变得复杂。比如：人体骨架模型相比二维 轮廓模型能更好的表现出目标人体的姿态，但计算量更大。同时对同一种模型， 采用的特征量越多，结果相对越精确，但同时算法必然更复杂。分析结果的精确 性与匹配算法的复杂性之间存在一定的矛盾。在保证结果精确性的前提下，引进 一些限制机制以加快算法的速度，已成为该领域的发展趋势。 1 2 2 人体跟踪 人体跟踪的基本思想是通过位置、速度、形状、纹理和颜色等特征，在相邻 的图像帧之间建立图像结构的对应关系。舆型的方法一般包括两个步骤：一、通 过位置、形状和颜色等视觉信息，提取图像中用于匹配的特征，比如像素、特征 点、线条和区域等；二、匹配相邻图像中的特征，建立对应关系。 是否对噪声具有良好的鲁棒性是进行特征选择所应遵循的一个准则。此外， 选取的特征应该便于从图像中提取。匹配算法的作用是定义一些约束条件，去除 错误的匹配结果，得到相邻图像中特征之间唯一f 确的对应关系。特征的复杂度 和匹配算法的效率之间存在互相约束的关系。与线条、区域等特征比较，点特征 显然更容易提取，但由于点特征包含的信息较少，对应的匹配算法相对更复杂。 人体跟踪方法可以分为两种类型：基于单摄像头( s i n g l ec a m e r a ) 的和基于多 摄像头( m u l t i p l ec a m e r a ) 的。 范斌 中田科学技术大学硕士学住论丈 1 基于单摄像头的方法 该方法中的输入图像序列由单摄像头获得，用于匹配的特征一般为点或者运 动区域。p o l a n a 和n e l s o n 认为人体四肢的运动依附于人体躯干的运动。在他 们的方法中，首先确定每帧图像中哪些部分属于人体，然后将人体限制在一个矩 形内，将矩形的中心作为用于跟踪的特征 1 3 ，根据前一帧图像中特征点的位置 预测相邻图像帧中的特征点。但是，判断图像中哪些部分属于人体时受图像背景 的干扰较大，因此结果不够理想。同时，有研究者利用图像恢复和运动补偿的方 法构造背景图像，减小背景的干扰，得到了较好的跟踪结果 1 4 。s e g e n 和 p i n g a l i 提出了一种针对运动幅度较小的人体跟踪方法，他们利用人体部位具有 刚体特征的性质，将人体轮廓中的拐点作为特征点，利用相邻图像中特征点的距 离和曲率变化构造匹配函数，得到了很好的实验结果 1 5 。 2 基于多摄像头的方法 上述基于单摄像头的人体跟踪方法的缺陷是：由于一个摄像头所能拍摄的 范围有限，因此基于单摄像头的人体跟踪方法的监视范围有限。为了扩大监视面 积，一种方法是采用多个摄像头。顺便指出，采用多个摄像头还具有可以帮助我 们解决特征匹配中的匹配模糊问题的附带好处。近年来，基于多摄像头的人体跟 踪方法得到了越来越多的重视。与基于单摄像头的方法相比，采用多摄像头时图 像间的特征匹配问题更富于挑战性，这是由于每个摄像头拍摄的图像中的特征处 于不同的坐标系。因此在匹配之前必须把这些不同的坐标系校准为个统一的标 准坐标系，然后在标准坐标系下进行特征匹配。 k s a t o 等提出了一种基于多个摄像头的人体跟踪系统 1 6 。他们把人体表 示为一个由很多二维板块组成的联合体，同时系统中所有摄像机都被校准为一个 统一的现实世界三维坐标系。二维板块的面积、灰度和在统一坐标系中的三维坐 标作为匹配的特征。k e l y 等采用了相似的策略进行多摄像头的人体跟踪的研究 工作 1 7 ，1 8 。他们采用一种称为“三维像素”的特征该特征为一个立体结 构，其中包含以下信息：像素与物体的对应关系、相邻帧间像素的对应关系和该 点处的深度信息。在他们构建的包含三个摄像头的人体跟踪系统中，利用这种特 征很好的跟踪了目标人体的运动。 范斌 中国科学技术大学硕士学位论文 不论采用单个摄像头还是多个摄像头进行人体跟踪，其基本思想都是在相邻 图像问建立特征的对应关系。因此，抽取一个合适的特征和找到一个f 确的特征 匹配算法尤为重要。两种方法的区别在于：采用单个摄像头时，直接匹配两幅图 像中的特征；采用多个摄像头时，一般首先要把每个摄像头都校准到个统一的 坐标系下，然后进行匹配。 1 , 2 3 人体姿态识别 人体姿态识别是指在正确跟踪人体运动的基础上，对目标人体的动作、姿态 等进行识别和分类。典型的方法有模板匹配法( a p p r o a c h e su s i n gt e m p l a t em a t c h i n g ) 和状态空阳j 法( s t a t e s p a c ea p p r o a c h e s ) 。 1 模板匹配法 顾名思义，该方法的主要思想是建立一些人体姿态和动作的模板，然后将待 处理图像中人体的姿态与模板进行匹配。p o l a a a 和n e l s o n 在f 确跟踪目标人体 的运动后，计算图像帧之间的光流场 1 3 ，根据x 轴和y 轴方向的光流分量， 建立一个高维的特征向量。然后根据预先构建的人体模型和姿态模板库( s e t so f d o s et e m p l a t e s ) ，利用计算得出的高维特征向量对目标人体的姿态进行分类。 b o b i c k 和d a v i s 的方法沿用了这种思想，但在计算特征量时采用了不同的 方法 1 9 。他们提出了运动能量图像( m o t i o n e n e r g yi m a g e ) 永1 运动历史图像 ( m o t i o n h i s t o r yi m a g e ) 的概念。运动能量图像是一幅包含了运动部分的二值图像 ( 将待处理图像与标准参考图像差分，然后进行二值化处理，就得到运动能量图 像) ，它能够表征动作的范围和剧烈程度。运动历史图像是由运动能量图像序列 计算得出，它的每个像素的值与该位鹭的运动持续时间成比例，因此能用来表征 动作的持续时间。根据待处理的图像序列，计算出对应的运动能量图像序列和运 动历史图像，就能得出目标人体的运动剧烈程度和持续时间，然后根据预先构建 的模板库，对其姿态和运动进行分析。 2 状态空间法 近年来，随机过程理论中的隐马尔科夫模型h m m ( t h e h i d d e nm a r k o vm o d e l ) 也被用于人体姿态识别的研究 2 0 。其主要思想是：用一个隐马尔科夫链表示人 范斌 中国科学技术大学硕士学位论文 体姿态的变化。如图1 3 所示，每个状态表示一个人体姿态，状态转移概率表示 从一个姿态变化到另外一个姿态的可能性，此外，每个状态对应有一个观测值。 这里的观测值就是用来进行分析的特征向量，一般为特征点、线条或者二维板块。 对图像序列中的每幅图像，找到h m m 中对应的状态，然后根据两帧间特征的变 化，在h m m 中寻找对应的状态序列 2 1 。为了得到个与模型对应的隐马尔科 夫链，必须利用很多的图像对其进行训练，得到每个状态之涮的转移概率和观测 值，然后才能利用它对目标的动作和姿态进行分析。 图1 3 隐马尔科夫模型不意图 上面详细列举了近年来人体运动分析方面的研究工作。可以看出，不管使用 哪种方法，最关键的一点是要抽取一种合适的特征并建立f 确的帧削特征的对应 关系。匹配算法的计算量和结果的精确性之间存在一定的矛盾。采用的特征越多， 分析结果相对越精确，但同时匹配算法的计算量必然更大。寻找更合适的特征和 利用一些限制条件( 比如人体关节的自由度等) 降低匹配算法的复杂度是该领域 近年来的两个发展方向。 经过近三十年的发展，人体运动分析的研究取得了许多成果，但许多方法都 有很大的局限性，例如一些算法要求：( 1 ) 人体所穿着的衣服的颜色随部位的不 同而不同；( 2 ) 人体运动方向与投影方向平行；( 3 ) 背景为单一背景；( 4 ) 各个关节 的位置可在图像中由手工进行标定等等。这些要求在实际工作中有些是无法满足 的，有些即使可以满足，也在算法的实时性和自动化程度方面和实际需求有较大 差距。人体运动具有多样性和复杂性。很多问题亟待解决，特别是人体姿态识别 的研究仍处于起步阶段，还有很多工作需要完成。 i o - 范斌 中国科学技术大学硕士学位论文 1 3 本研究的目标和意义 本研究是中国科技大学自动化系视听觉信息处理与模式识别实验室所进行 的人体运动分析研究工作的一部分。该研究工作的核心问题是自动寻找序列图像 中目标人体的关节点位置，并对目标人体的三维姿态进行分析。如图i 4 所示， 主要包括三个方面的工作：从背景中提取人体轮廓，在轮廓图像中确定人体关节 点的位置，然后对目标人体的姿态进行分析。 人体运动具有多样性和复杂性，但人体的姿态和运动主要出人体关节的位置 及其随时间的变化所确定，而人体关节的位嚣相对人体轮廓又具有定的几何特 性。基于上述想法，本文提出一种基于轮廓的人体运动分析的算法。该算法通过 运动检测和图像分割，从背景中提取出目标人体的轮廓：然后利用能量函数，从 轮廓二值图像中抽取一个虚拟骨架：利用人体生理学和解剖学的知识，在虚拟骨 架的基础上确定相关关节点的位置；把关节作为匹配特征，对目标的三维姿态进 行分析。该方法有如下优点：无须限制研究对象的运动和颜色信息自动化程度 较高；同时，由于采用的能量函数对噪声有很好的抑制作用，对人体轮廓提取的 精度要求较低，算法在复杂的背景下具有较好的性能。 图像序列 图1 4 基于序列幽像的人体运动分析示意图 本文是这样安排的。首先，第二章讲述了如何从背景中提取目标人体的轮廓。 第三章利用人体解剖学的先验知识，构造一个能量函数，在轮廓中抽取一个与人 体真实骨架近似的虚拟骨架。第四章讲述如何确定关节点的位置。在第五章中对 目标的三维姿态进行分析。第六章对实验结果进行了讨论，并给出总结。 范斌 中国科学技术大学硕士学位论走 第二章人体轮廓提取 如前所述，本文中提出的算法的基本思想是从人体轮廓出发，抽取人体虚拟 骨架，然后确定关节点位置，重建人体三维姿态。因此，首先必须从图像序列中 得到人体的轮廓图像。由于研究对象人体保持运动状态，利用人体运动信息， 可以简单有效地把人体运动部分从复杂背景中提取出来，然后利用运动部分的位 置和灰度信息，获得人体轮廓的二值图像。本章详细阐述了如何从图像序列中快 速有效地提取人体的轮廓，获得其对应的二值图像。 2 1 图像分割 在对图像的研究和应用中，人们往往仅对各幅图像中的某些部分感兴趣。比 如本文中图像中的人体轮廓。这些部分常称为目标或前景( 其它部分称为背景) ， 它们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析目标，需要 将这些相关的区域分离出来在此基础上才有可能对目标进一步利用，如进行特 征提取和测量。图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标 的技术和过程。这里特性可以是狄度、颜色、纹理等，目标可以对应单个区域， 也可以对应多个区域 2 1 。 图像分割可借助集合概念用如下方法定义： 令集合月代表整个图像区域，对r 的分割可看作将分成若干个满足以下5 个条件的非空的子集( 子区域) r ，r ：，r 。： 月 ( 1 ) u r = r ： l = l ( 2 ) 对所有的f 和，i ，有rn r ，= g ( 3 ) 对i = 1 , 2 ，月，有j p ( r ) = t u r e ( 4 ) 对f _ ，有p ( r u r j ) = f a l s e ： ( 5 ) 对i = 1 , 2 ，n ，r ，是连通的区域。 范斌 中国科学技术大学硕士擘位论文 上述条件( 1 ) 指出分割所得到的全部子区域的总和应能包括图像中所有像 素，或者说分割应将图像中的每个像素都分进某一个子区域中。条件( 2 ) 指出各 个子区域是互不重叠的，或者说一个像素不能同时属于两个区域。条件( 3 ) 指出 在分割后得到的属于同一个区域的像素应该具有某些相同特性。条件( 4 ) 指出在 分割后得到的属于不同区域的像素应该具有一些不同的特性。条件( 5 ) 要求同一 个子区域的像素应当是连通的。 轮廓提取是指从图像中提取目标物体的轮廓，将图像分割为目标和背景 两个互不相交的区域。当人观察景物时，在视觉系统中对景物进行分割的过程是 必不可少的。这个过程非常有效，以至于使人所看到的并不是一个复杂的景物， 而是感兴趣的物体或者一个物体的集合体。但是，对数字图像处理而言，必须设 法分离图像中的物体，把图像分裂为像素集合，每个集合代表一个物体的图像 2 2 。尽管数字图像分割的任务在人类视觉感受中很难找到对照，在数字图像分 析中它却是一个并非轻而易举的任务。 我们知道对灰度图像的分割常可基于像素灰度值的两个性质：不连续性和相 似性。区域内部的像素一般具有灰度相似性，而在区域之间的边界上一般具有狄 度不连续性。所以分割算法可据此分为利用区域问灰度不连续性的基于边缘的算 法和利用区域内灰度相似性的基于区域的算法。在边缘方法中，只需确定存在于 区域间的边缘并把它们连接在一起，以构成所需的区域边界。在利用区域的方法 时，把各像素划归到各个物体或区域中 2 3 。 2 1 。1 基于边缘的图像分割 图像的边缘总是出现在灰度、彩色、纹理结构等发生突变的地方。在灰度图 像的情况下，所谓的边缘检测可以看成是基于图像像素灰度值在空间的不连续性 对图像作出的一种分割。边缘可以用方向和幅度两个特性来描述。一般而言，沿 边缘走向方向其幅度值变化比较平缓，而沿垂直于边缘走向方向其幅度值变化较 剧烈。因此一般常采用一阶和二阶导数来检测边缘。对边缘处图像的一阶导数的 幅度值较大，并在其附近形成一个峰值。幅度峰值一般对应边缘位置。图像的二 阶导数在边缘处取零，并且，在该零值的左右两侧分别存在极性相反的两个波峰a 在这两个波峰之间有一个过零点，它的位置正对应原图像中边缘的位置。所以可 1 3 范斌 中固科学技术大学硕士学位论文 用二阶导数的过零点检测边缘位置，而用二阶导数在过零点附近的符号确定边缘 像素在图像边缘的暗区或明区。实际应用中在数字图像中求导数是利用差分近似 微分来进行的。 1 梯度算子 梯度对应一阶导数，梯度算子是一阶导数算子。梯度定义为：给定一个标量 函数f ( x ，y ) 和一个x 轴方向的单位向量为i ，y 轴方向的单位向量为- ，的坐标系 统，则梯度是向量函数： w ( w ) ：f 掣攀+ j o f 譬_ y ) “ c y 其中，v 表示向量梯度算子。向量可( z ，y ) 指向最大的斜率的方向，其幅度 ( 长度) 等于斜率值的大小。在斜率较陡之处，如物体边缘，梯度量值较大。偏 导数需对每个像素位置计算，在实际中常用小区域模板卷积来近似计算。根据模 板的大小，其中元素( 系数) 值的不同，人们已提出了许多不同的算子。最常用 的梯度算子是r o b e r t s 算子，它的两个2 2 模板见图2 1 ( a ) 。比较常用的还有 p r e w i t t 算予和s o b e l 算子，它们都用两个2 3 模板，分别见图2 1 ( b ) 和图2 ，1 ( c ) ， 其中s o b e l 算子是效果比较好的一种。算子运算时是采取类似卷积的方式，将模 板在图像上移动并在每个位置计算对应中心像素的梯度值。在边缘坎度值过渡比 较尖锐且图像中噪声较小时，梯度算子工作效果较好。 口田田圈田圈 ( a ) r o b e r t s( b ) p r 帆 图2 1 几种常用梯度算子的模板 ( c ) s o b e l 2 拉普拉斯算子 拉普拉斯算子是对二维函数进行运算的二阶导数标量算子，其定义为 范斌 中国科学技术戈学硕士学位论文 v 加筹似川+ 导似川 在图像处理中常数字化表示为卷积核，如图2 2 所示。 01o | 一14 ，l o1o i l ， 11 1 。 81 i 。 1一l 图2 2拉普拉斯卷积核 由于拉普拉斯算子是一个二阶导数，它将在边缘处产生一个陡峭的零交叉， 一个经拉普拉斯滤波过的图像具有零平均灰度。如果一个无嗓声图像具有陡峭的 边缘，可用拉普拉斯算子将它们找出来。对经拉普拉斯算子滤波的图像用零狄度 值进行二值化会产生闭合的、连通的轮廓并消除了所有的内部点。但是由于噪声 的存在，在实际图像边缘处常常没有所期望的零值出现。虽然可以利用边缘点的 过零特性，通过检测其两侧的f 负峰值来定出实际的边缘位置，但是处理起来显 得比较繁琐。实际中，常采用将v2 厂的绝对值同给定阂值7 1 进行比较的方法来定 出图像中的边缘点，即把f v 2 卅2 ：- t 的像素看作是边缘点。但是，这样做所付出 的代价是显而易见的。为此，我们不得不经常接受双像素宽度的边缘。拉普拉斯 算子对高频噪声特别敏感，在运用拉普拉斯算子之前需要先进行低通滤波。 一幅边缘图通常用边缘点勾画出物体的轮廓，但在噪声的影响下，用各种算 子得到的边缘像素常是孤立的或分小段连续的，很少能形成图像分割所需要的闭 合且连通的边界。因此需要另一个步骤才能完成物体的检测过程。边缘点连接就 是将邻近的边缘点连接起来从而产生一条闭合的连通边界 2 4 。边界连接的方法 在这里就不详细介绍，具体可参考文献 2 9 。 2 1 2 使用阈值进行图像分割 使用闽值是一种区域分割技术，它在物体与背景有较强对比的情况下特别有 用。该方法计算简单，而且总能用封闭而且连通的边界定义不交叠的区域。当使 范斌 中国科学技术大学硕士学位论文 用阈值规则进行图像分割时，所有灰度值大于或等于某闽值的像素都被判属于物 体，所有灰度值小于该阈值的像素被排除在物体之外。这样就可以将图像分割为 物体和背景两个部分。如果物体同背景的差别在于某些性质而不是狄度值( 如纹 理等) ，那么可以首先把这个性质转化为灰度，然后利用狄度阈值化技术分割待 处理图像。在闽值化图像分割中，经常利用直方图技术来选择最佳阈值。 2 2 灰度直方图 灰度直方图是灰度级的函数，它给出了图像中各灰度级的统计特性：其横坐 标是灰度级，纵坐标是相应灰度级在图像中出现的频率( 像素的个数) 。狄度直 方图概括了一幅图像的灰度级内容。 前面已经提到，在闽值化图形分割中，可以利用直方图来选择闽值。其基本 原理为：假定一幅图像背景是浅色的，其中有一个深色的物体。图2 3 为这类图 像的直方图。物体中的深色像素产生了直方图上的左峰，而背景中大量的灰度级 产生了直方图上的右峰。物体边界附近具有两个峰值之问狄度级的像素数目相对 较少，从而产生了两峰之间的谷。选择谷作为灰度阈值就可以把原图像分割为物 体和背景两个部分。 频率 0 t2 5 5灰度 图2 3 双峰直方图 对于简单的( 比如背景和物体灰度差别较大) 的图像，将两峰之间的最低点 作为阂值进行图像分割，可以得到比较好的效果。但实际图像的灰度直方图中存 范斌 中国科学技术太学硕士学位论支 在的峰值一般都多于两个。如果图像中有多个灰度值不同的区域，那么选择一系 列的阈值以将每个像素分到合适的类别中去，才能得到比较好的分割效果。 2 3 差分运算 我们研究工作的目的是对目标人体的运动进行分析。研究对象在图像序列中 保持运动状态。因此，可以利用运动信息把人体运动部分从复杂背景下分离出来。 图像差分是把运动物体从复杂背景下分离出来的一种快速有效的途径。考虑一个 图像序列：在图像中要检测的人体处于运动状态，而背景保持不变。那么，通过 对相邻两帧图像进行差分运算，可以舍弃图像中保持不变的部分( 例如，大部分 背景) ，而保留发生变化的部分( 例如，人体运动的部位) 。这样可以有效地保留 人体运动部分，去除大部分的背景区域。 具体处理过程如下：将相邻两帧图像中各相应像素的狄度值进行差分运算， 珊= l g 川( x ，y ) 一g ，( 工，y ) l 其中，g 。( x ，y ) 与( x ，y ) 分别是当前图像和与之相邻的上一帧图像中对应 像素的灰度值。为了得到图像中发生变化的区域，把当前像素的脚值同事先给定 的闽值t 进行比较。当m t 时，认为该像素点属于变化的区域，给予保留：反 之，当m 时，则认为该像素点属于未变化的区域，将其去除。这样，将人体 运动部分快速有效地从复杂背景中分离出来。 在实际中，使用差分方法计算的差分图像经常会含有许多噪声。一个简单的 噪声消除方法是使用尺度滤波器，滤掉小于某一尺度的连通成分，因为这些像素 常常是由噪声产生的，留下大于某一尺度阈值的4 连通或8 连通成分，以便作进 一步的分析。对于运动检测，这个滤波非常有效，但也会将一些有用的信号滤掉， 比如那些来自于缓慢运动或微小运动物体的差分信号。人体运动相对幅度较大， 用尺度滤波器可以得到很好的结果。 2 4 二值图像 一幅数字图像是一个二维阵列，阵列元素值称为灰度值或亮度值。实际上， 图像在量化成数字图像前是一个连续量度函数的集合，场景信息就包含在这些亮 1 7 范斌 中国科学技术大学硕士学位论丈 度值中。在数字图像中图像亮度被量化成2 5 6 个不同灰度级。对某些应用来说， 也常有3 2 、6 4 、1 2 8 或5 1 2 个灰度级的情况。显然，灰度级的数目越多，图像质 量越好，但所需的存储量也越大，计算也更复杂。 二值图像指仅包含两个灰度级的图像。在计算机视觉研究的早期，由于内存 和计算能力有限，因此研究人员把精力主要集中在二值图像的研究上。随着计算 机技术的发展和计算成本的下降，人们普遍丌始研究基于多狄度级图像、彩色图 像和深度图像的视觉系统。尽管如此，二值图像仍然有其自身的价值：计算二值 图像特性的算法非常简单，容易理解和实现，同时计算速度很快。而且，在一些 特定的研究背景下，二值图像与多灰度级图像相比较而言更具有优势。本文的目 的是在提取人体轮廓基础上利用能量函数抽取一个虚拟骨架，对单个像素点而言 我们关心的是这个像素是否在人体轮廓之内，二值图像能很好的表现出这种特 性。如果采用多灰度级的图像，不但不能提供更多有用的信息，而且使得计算更 复杂。 在灰度图像中，用二值图像表示目标的简单方法就是：0 表示目标上的点， 1 表示其它点。本文中，我们用二值图像表示人体轮廓提取的结果：0 表示人体 轮廓，1 表示背景。 2 5 区域连通性 在一幅图像中找出连通成分是计算机视觉中最常见的运算之一。在数字图像 中，一个像素在空间上可能非常接近其它一些像素。在用网格表示的数字图像中， 一个像素与其它四个像素有公共边界，并与另外四个像素共享顶角。如果两个像 素有公共边界，则称它们互为4 邻点( 4 n e i g h b o r s ) 。同样，如果两个像素至少 共享一个顶角，则称它们互为8 邻点。例如，位于 ，刀的像素有四个邻点： 卜1 ，门，【f + 1 ，】， f ，j 一1 】) 【f ，j + 1 】。它的8 邻点包括这四个邻点再加上【卜l 一1 ， f + 1 ，一1 】， 一1 ，- ，+ i 】， + l ，- ，+ l 卜如图2 3 所示。个像素被认为与它的4 邻 点是4 连通( 4 c o n n e c t e d ) 关系，与它的8 邻点是8 连通关系。 连通性：已知像素p ，q s ，如果存在一条从p 到q 的路径，且路径上的全部像 素都包含在s 中，则称p 与口是连通的。 t 8 范斌中国科学技术走学硕士学位论置 注意：连通性( c o n n e c t i v i t y ) 是等价关系。对属于s 的任意三个像素p 、q 和 ，有下列性质： 像素p 与q 本身连通( 自反性) 如果p 与q 连通，则q 与p 连通( 互换性) 如果p 与q 连通且q 与，连通，则p 与r 连通( 传递性) 。 连通成分：一个像素集合，如果集合内的每一个像素与集合内的其它像素连通 则称该集合为一个连通成分( c o n n e c t e dc o m p o n e n t ) 。 i 一1 ，川 i , j - 1 i ，刀 i ，j4 - 1 【i + 1 ，