（电路与系统专业论文）基于视频序列的人体肢体标定研究[电路与系统专业优秀论文].pdf

摘要 摘要 近十年来，人运动的视觉分析在计算机视觉研究领域引起许多学者关注，成 为计算机视觉领域新兴发展起来的研究方向。它可应用于智能监控、感知接口、 虚拟现实和运动分析等诸多领域，其广阔的应用前景极大地激发了人们的研究热 情。因此人运动的视觉分析具有较高的学术价值和理论意义，已经成为近年来国 内外研究的热点问题之一。 本文主要研究了单目视频图像序列中运动人体肢体的划分和定位。通过人体 头部定位、人体肢体划分和人体肢体识别的研究，最终获得图像中人体的各部分 肢体和相关参数，为进一步的人运动的视觉分析奠定了基础。 本文的主要工作与特色如下： 第一，研究了经典的凸型模板人体头部定位方法，并针对其存在的问题提出 了一种多自由度躯体模型，并提出了相应的算法。考虑躯干倾斜，引入了躯干倾 斜角度因子；对于头部偏离人体躯干中线情形，引入了头部偏离角度因子。同时， 为了适应不同人体颈部的长度而引入了颈部长度参数。实验结果表明所提多自由 度模型和算法在头部定位准确性、算法效率以及鲁棒性方面具有较好的表现。 第二，本文所提人体头部定位算法中涉及大量的前景非零像素统计，且为任 意旋转角度的矩形区域。如果按照图像遍历计算前景非零像素的个数，算法速度 较慢。为了快速统计图像区域中的前景非零像素个数，提出了列积分图像方法， 提高了算法的运算速度。 第三，针对经典的基于人体轮廓等间隔点的三角化技术不能适应人体不同姿 态和图像中人体大小变化的问题，提出了基于人体轮廓线角点的约束d e l a u n a y 三角化方法，并实现人体骨架提取和人体肢体划分，增强了算法的鲁棒性。同时， 在人体肢体识别算法中，提出了一种新的s i x s e g m e n t 模型参数获取方法，并进 一步研究了正视和侧视两种视角下更加有效的人体模型。 本文也进一步研究了多个直立人体的头部定位，简单讨论了人的行为分析方 法。最后，分析总结了本文所做的相关工作。 关键词：人体肢体划分，头部定位，肢体标定，凸型模板，d e l a 眦a y 三角化， 人体骨架，积分图像 a b s t r a c t 一_ _ ，- _ - _ - _ - 一 a b s t r a c t o v e r 廿1 ep a u s td e c a d e ，t 1 1 ev i s u a la i l a l y s i so fh u m a nm 0 v e m e mi sc o n c e m e db y m a n yr e s e a r c h e r si nt h ef i e l do fc o m p u t e rv i s i o n nb e c o m e san e wr c s e a r c ho f c o m p u t e rv i s i o n i tc a nb eu s e di nm a n ya p p l i c a t i o n ss u c h 嬲s m a ns u l v e i l l a l l c e ， p e r c e p t u a l i n t e r f a c e ，v i r t u a lr e a l i 劬m o t i o na i l a l y s i sa n d s oo n i t sb r o a d 印p l i c a t i o n p r o s p e c tg r e a t l ys t i m u l a t e st h ep e o p l e se n 血u s i a s m s o ，i th a sh i 曲a c a d e m i cv a l u e a n dt h e o r “c a ls i g n i 6 c a n c e ，a n dh a sb e c o m eo n eo ft h eh o ti s s u e si nr e c e m r e s e a r c h 1 1 1 i sp a p e rm a i n l ys t u d i e st l l es e g m e n t a t i o na n dl o c a t i o no fm o t i o nh u m a i lb o d y p a j t s 吼d e rt 1 1 ec i r c u m s 切n c e so fs m g l ec 锄e r ai i i l a g es e q u e n c e s a tf i r s t ，仳sp a p e r s t u d i e sh o wt ol a b e l i n gt h eh e a d ，h o wt 0s e g m e n tt h eh u m a nb o d yp a n sa 1 1 dh o w t o i d e n t i 母e a c hp a r to f h 啪a nb o d y a tl a s t ，s o m es i g n i f i c a mp a r a m e t e r s ，w h i c ha r e 、，e r y u s e 如lt ot _ h e6 m h e rr e s e a r c ho fv i s u a ia n a l y s i so fh u r n a nm o v e m e n t ，a r eo b t a i n e d i nt h i sp a p e r ，t 1 1 em a i n w o r ka i l dc h a r a c t e r i s t i c sa r ea sf 0 1 l o w s ： f i r s t l y ，c 1 2 l s s i ch e a dl a b e l i n gb a s e do nt h et o r s o - m a s kf i r s t l yi sg i v e n 赴r i l i n ga t i t sd i s a d v a l l t a g e s ，an e wm u l t i d e g r e eo f 仔e e d o mp h y s i c a li n o d e l i sp r o p o s e d ，a n da c o 仃e s p o n d i n ga l g o d t l m li ss t u d i e d mw h i c hi n 仃o d u c e st h e a n g l ef a c t o r ，h e a d d e v i a t i o na n g l ef a c t o r ，a n dt h en e c kl e n 舀hp a r a m e t e r t og e tb e t t e rm o d e lp e o r m a n c e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm u l t i d e g r e eo f f r e e d o mm o d e la i l di t s c o n e s p o n d i n ga j g o r i t h m h a sg o o dp e r l o n n a n c ei nt e m so ft h eh e a dp o s i t i o n i n g a c c u r a c y ，t i m e - c o n s 啪i n g ，a n dt h er o b u s t n e s s s e c o n d l y ，t h e r ea r el a r g em m b e r so fn o n - z e r op i x e l ss t a t i s t i c si nt h ef 如n t g r o u n d o fa i li m a g e a n dt h es q u a r er e g i o nh a sa i l 曲i t r a d ，r o t a t i o na i l g l e ，s ot h es t a t i s t i c si s s l o wi fw et r a v e r s et h ei m a g et oc o u n tt l l e m t h e r e f o rt 1 1 e l i n ei n t e g r a li m a g ei s p r o p o s e d ，a n da p p l i e dt oa c c e l e r a t et l l eh e a dp o s i t i o i l i n ga l g o r i t l l i l l t l l i r d l y ，c l a s s i ct r i a n g u l a t i o nb a s e do n i m e a lp o i n to f h 啪a 1 1b o d yc o n t o u rc a l l n o ta d 叩tt om en i i n a i lb o d yi nd i l j f e r e n tp o s t u r e sa 1 1 dt h ec h a n g e so fh u m a i ls i z ei n i m a g e an e wc 0 n s t r a i n td e l a u n a yt r i a i l g u l a t i o nb a s e do nt h eb o d yc o n t o u rc o m e rl s p r o p o s e d i tc a nr e a l i z et h ee x t r a c t i o no ft h eh 啪a n s k e l e t o na n dt h ep a r t i t i o no fe a c h p a no f h u m a nb o d y ，s oi te n h a j l c e st h er o b u s t n e s so ft h ea l g o r i t m e a n w h i l e ，a n e w p a r 锄e t e r e x t r a c t i o nm e t h o df o rs i x - s e g m e n tm o d e l i sp r o p o s e di i l t l l ep r o c e s so f i d e n t 田i n ge a c hp a r to 仆u i n a nl i m b s f u r m e r am o r ee 舔c t i v eh u m a nb o d y m o d e l i s s 似d i e di n 研od i 肫r e n tv i e w ，i e ，舶n tv i e wa 1 1 ds i d ev i e w i i a b s t r a c t f i n a l l y ，s u mu pt h ew o r ko ft h i sp 印e r a n df h n h e r h e a dl o c a t i o ni nt h ec a s eo f m a n yu 研g h tp e r s o n si ss t u d i e d ，a n ds o m es i m p l eh u m a i lb e h a v i o ra n a l y s e sa r e d i s c u s s e d k e yw o r d s ：h u m a nb o d yp a r t s ，h e a dl o c a t i o n ，b o d yp 矾sl a b e l i n g ，t o r s om a s k ， d e l a u n a y 嘶a j l g u l a t i o n ，h u n l a ns k e l e t o n ，i n t e g r a l i m a g e i i i 图目录 图目录 图1 1w 4 系统识别结果3 图1 2p f i n d e r 系统处理结果3 图1 3 文献【1 4 】所提系统的识别结果，两个不同面向的起手式和揽鹊尾4 图1 4 文献【1 5 】人异常行为识别结果4 图2 1 相邻帧间差分法提取运动人体前景1 4 图2 2 背景差分法提取运动人体前景15 图2 3 正态概率分布图1 7 图2 4 基于高斯背景模型的运动人体前景提取1 7 图2 5 点( x ，_ ) ，) 处的积分图像l8 图2 6 矩形特征快速算法l8 图2 7v o r o n o i 区域及不同情况下的v o r o n o i 图解1 9 图2 8 三点( a ，儿，p 3 ) 的、，0 r o n o i 图解1 9 图2 9 点集s 所生成的v o r o n o i 图1 9 图2 1 0 点集s 所生成的d e l a u n a v 图2 0 图2 1 l 点集s 所生成的d e l a u n a y 图与v r o r o n o i 图对比2 0 图3 1 文献 2 l 】提出的“凸”型模板2 4 图3 2 文献【2 l 】模板匹配效果图2 4 图3 3 文献 2 l 】算法头部定位失败效果图2 5 图3 4 多自由度躯体模型2 6 图3 5 本文提取人体躯干中线效果图2 9 图3 6 区域d 列积分图像示意2 9 图3 7 人体左右移步运动的定位效果3 0 图3 8 人体行走伴随手臂摆动时头部定位效果3 l 图3 9 文献【2 l 】、文献【4 0 】及本文方法对比实验定位效果图3 2 图3 1 0 起始帧不满足人体直立假设情形时头部定位3 2 图3 1 l 手臂接近头部情况下的定位3 2 图3 1 2 多个直立人体头部定位效果图3 3 图4 1 人体肢体定位系统框架3 6 图4 2 提取的人体轮廓图像3 6 图4 3 人体轮廓上点集y 中的点排列顺序3 8 图4 4 人体图像三角化结果3 8 图4 5 不同点集间隔下的同一人体图像三角化结果3 9 图4 6 亚像素角点检测原理4 0 图4 7 基于轮廓角点的人体图像三角化结果4 l 图4 8 基于三角化提取的人体骨架图4 4 图4 9 基于非边界边中点的人体骨架提取4 5 v i i 图目录 图4 1 0 人体骨架的端点与分支点的定义4 6 图4 1l 基于骨架的肢体划分结果。4 6 图4 12 基于三角网的肢体划分结果。4 7 图4 13 “星形”骨架模型。4 8 图4 14s i x s e g m e n t 模型4 8 图4 1 5 基于头部和躯干模板获取肩与胯示意图。4 9 图4 1 6 本文方法获取的人体s i x s e g m e n t 模型5 0 图4 17 人体头部定位5 0 图4 1 8 基于s i x - s e g m e n t 模型的人体肢体识别5 l 图4 1 9 骨架线对应肢体识别标注5 2 图4 2 0 人体模型。5 2 图4 2 1 肘关节的提取图示。5 5 图4 2 2 基于人体s i x s e g m e n t 模型的实验结果5 6 图4 2 3 基于正视人体模型的实验结果一5 7 图4 2 4 基于侧视人体模型的实验结果一5 8 图42 5 模型获取火败图示5 9 图4 2 6 行走与奔跑时头、肩与胯关节的运动轨迹比较6 0 v i i i 表目录 表目录 表4 1 端点仃对应肢体识别条件5 1 表4 2 人体骨架分支点分析与预测规则5 3 表4 3 人体骨架肢体端点分析与缺失规则5 4 i x 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期：立；声盟 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 日公开口保密( 年) 作者签名：淋传乏 作者签名： 妊：! ! 羔 签字日期：p 聊躲盟 签字日期：丝翌：( ：馏 第l 章绪论 第1 章绪论 1 1 引言 人运动的视觉分析【l 】是近年来计算机视觉领域中备受关注的前沿方向，它从 包含人的图像序列中检测、识别、跟踪人并对其行为进行理解和描述，属于图像 分析和理解的范畴。从技术角度而言，近年来就人的运动分析的研究十分丰富， 主要涉及到图像处理、模式识别、人工智能、计算机视觉等学科的知识【2 l ；同时， 动态场景中人体运动的快速分割、人体的非刚性运动、人体自遮挡和目标人体之 间相互遮挡的处理等，也为人的运动分析研究带来了一定的挑战【3 】。 人运动的视觉分析研究具有广泛的应用前景，文献【l 】总结了它的一些主要 应用领域，主要包括以下几个领域： 1 智能监控( s m a ns u r v e i l l a j l c e ) 智能监控系统【4 5 】的需求主要来自那些对安全要求敏感的场合，如商店、停 车场、银行等。目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥 实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，在异常情 况( 如停车场中的车辆被盗) 发生后，保安人员才通过记录的结果观察发生的事 实，但往往为时已晚。而我们需要的监控系统应能够每天连续2 4 小时的实时监 控，并自动分析摄像机捕捉的图像数据，当盗窃发生或发现到具有异常行为的可 疑的人时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时 也减少了大批的人力、物力和财力的投入：在访问控制( a c c e s sc o n t r 0 1 ) 场合，可 以利用人脸或者步态的跟踪识别技术【6 ，7 j 以便确定来人是否有进入安全领域的权 利；另外，人的运动分析在自动售货机、a t m 、交通管理、公共场所行人的拥挤 状态分析【8 9 l 以及商场中消费者人流量统计等监控方面也有着相应的应用。 2 感知接口( p e r c e p t u a li n t e 血c e ) 在高级用户接口应用领域中，我们希望未来的机器能像人一样与我们更加容 易和便捷地交流，如手势驱动控制、手语翻译等。人与人之间的信息交流主要是 依靠语言，并适当结合手势、身体姿势和面部表情等，因此视觉信息可以作为语 音和自然语言理解的有效补充来完成更加智能的人机交互。这就要求未来的计算 机必须具备感知外部环境的能力，即代替传统的键盘或鼠标输入模式、独立地提 取周围环境的重要信息( 如检测到人的存在等) ；更进一步的能力是进行人的识别 和行为理解，结合面部表情、身体姿势和手势等【lo 】的分析来与人进行相应的交 流。对于机场等高噪声的场合，基于视觉的高级用户接口能够提供比语音识别更 加准确的信息输入。 第一章绪论 3 虚拟现实( r r t u a lr e a l i 啪 目前，在许多电脑游戏或动漫中人的形体、运动和行为交互的设计逼真性实 际得益于物理空间中人的运动分析，包括人体模型和关节运动机制的获取及姿势 的恢复等；基于互联网络的交互式空间的开发，如虚拟聊天室，它在通过文本交 流的同时可以通过二维图标来导航用户，如果增加手势、头的姿势、面部表情等 线索，将会给参与者们提供更加丰富的交互形式：另外，人的运动分析在视频会 议、人物动画、虚拟工作室等其它虚拟现实场合也有着相关广泛的应用。 4 运动分析( m o t i o na n a l y s i s ) 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于建 立人体的几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极的 推动作用，这可以应用于体育运动、舞蹈等训练中：传统的步态分析是肌电图学、 关节动力学的研究范畴，而目前的医学步态分析是一个旨在提供诊断和治疗支持 的研究领域，它可以提供人体正常步态建模的线索，有助于开发生物反馈系统来 分析病人的步态，判断其腿部受伤情况或者畸形程度，从而做出积极的整形补偿 或有效的治疗；当然，步态分析也可以作为独特的生物特征用于远距离的身份识 别：另外，人的运动分析和行为识别也可以用于从体育活动数据库中进行基于内 容的快速搜索等。 由于人的运动分析在高级人机交互、安全监控、视频会议、医疗诊断以及基 于内容的图像存储、检索和分析理解等方面具有广泛的应用前景和潜在的经济价 值，从而激发了国内外广大科研工作者及相关商家的浓厚兴趣。上述这些应用领 域中，都离不开一个非常重要的技术，即图像序列中运动人体的分析和识别。 1 2 国内外相关领域的研究现状与研究趋势 1 2 1 研究现状 近几十年来，人的运动分析在国内外得到了很多研究人员的关注，取得了一 定的进展。各种各样的新算法不断涌现。本文总结了国内外一些具有代表性的应 用系统： 1 w 4 【忆j 系统 系统是美国马里兰大学于1 9 9 8 年设计研制。这里的妒是指：干什么 ( w h a t ) 、在哪里( w h e r e ) 、什么时候( w h e n ) 以及谁( w h o ) 。w 4 系统是一个实时的 人体跟踪和分析系统，它能在户外实时的识别和跟踪人的运动。它采用了模板匹 配的方法：首先对背景进行建模，然后，通过用阈值去噪、形态滤波和目标跟踪 的方法，分割出人体前景区域，利用预知的背景知识和序列图像的信息，用动力 学模板匹配的方法去修正人体各部分的位置。最后完成人体建模，确定人体肢体 2 第l 章绪论 各个部分的位置。当出现双人或人与物体的相互遮挡时，它首先用局部相关的方 法计算出非完全遮挡时的重叠部分，而把所有这些重叠部分的物体的跟踪区域作 为下一帧匹配的候选区域；完全重叠时，作为一个前景区域来进行e 踪，当上述 重合区域稍有分丌时，再利用时域纹理模板相关的方法分离出不同的目标，该系 统不仅能跟踪单人、而且能跟踪多人，同时能处理一些遮挡的情况。w 4 系统中 昂新加入的一项新工作是从人身上分离背着的物体，并进行识别。 一系统实现的平台是p c 机，具有双3 0 0 m l l zp e n t i u m 处理器，对于3 2 0 2 4 0 分辨率的图像序列，发系统可以运行在帧率2 5 h z 的速度上。图1 1 显示了 该系统的人体识别跟踪以及人体肢体部位的定位结果。 m 图l1 旷系统识别结果 2 p 6 r 山d ”1 ( p e m o nf i n d e 订系统 该系统是由美国麻省理工大学在1 9 9 7 年开发研制的。它在摄像机固定的情 况下，能实时地发现和跟踪单人的任意运动。首先建立无人时场景的模型，当有 人进入该场景时，机器开始自动建立人的模型：得到前景区域具有相似图像特性 的不同的两维带状或者小区域( b l o b ) ，当人的某一部分被遮挡时，代表这一部分 的小区域将会被删除，最后利用最大后验概率的方法去检测和跟踪人的行为。该 系统一个很大的特点是其建立人体模型用的不同b l o b ，不仅利用了位置信息， 同时还使用了颜色信息( y ，l v ) 以及先验知识( 例如人体皮肤的颜色) ，因此其对人 体身体部分b l o b 块的划分更加准确了，但是由于其采用了颜色特征，因而对外 境的光照和衣服的颜色很敏感。 ( 曲输入图像。从恻像提取 基下“驾鬃韵人体2 。 图12p f i n d e r 系统处理结果 p f i n d e r 系统运行在s g i 结构上。其使用2 0 0 m h zr 4 4 0 0 处理器。对于1 6 0 1 2 0 分辨率的图像，其处理速度是帧率1 0 h 厶图1 2 是酸系统进行人体识别、人体肢 体分析一个实例。 第l 章绪论 3 基于主元分析法的行为识别系统”】 文献1 4 1 所提系统是中国科学院自动化所模式识别国家重点实验室与2 0 0 0 年研制的。他们通过在h 、s 、i 颜色空问对皮肤颜色建立高斯模型结合运动限 制和区域连续性，系统地分割并跟踪人脸和双手。然后，在p c a 框架下，表示 脸和手的运动参数曲线，并和范例进行匹配，通过这种通过对行为在时空域变化 的建模方法，能在行为主体和成像条件有变化的情况下识别行为。该系统用太极 拳为例，见图l3 ，验证了算法和系统效果，其可被用于建立基于运动语义识别 的视频检索、高效视频编码、自动教练等场合。 谶2 堑蹦2 图 篱2 豳醚翮 羹圈毋 【；17麓 第1 章绪论 4 其它 图像序列中运动人体的肢体划分和定位是人的运动分析的重要组成部分。近 年来，运动人体的肢体划分和定位得到了广大科研工作者的青睐。文献 1 6 】实现 了一个基于单目摄像机下的实时的人体姿态和肢体部分检测系统：g h o s t 系统。 并建立了基于人体轮廓的肢体模型以及通过肢体模型识别人体的姿态。文献【1 7 】 提出了人体肢体定位方法，采用b a r s 描述了图像序列中一系列的人体肢体部分， 实现人体肢体的划分和定位。文献 1 8 】提出了基于d e l a u n a y 三角剖分技术的人体 肢体划分方法。首先，获得图像人体的三角网表述；然后，在利用深度优先搜索 方法，从三角化后的人体图像中，搜索出具有人体骨架特征的生成树；接着通过 在生成树中去除所有分支点的方法，可以粗略的提取出不同的肢体；最后，提出 驱动模型方法识别出人体各部分肢体。文献【1 9 】提出了图匹配的方法实现人体肢 体的标定。文献【2 0 】利用对人体肢体划分的主观意识，提出最小负曲率点分析法， 搜索分割手臂和腿部的最小负曲率点，确定肢体关节点，完成人体肢体的提取。 另外，也有一些学者分别研究了人体肢体中的一部分。文献 2 l 】提出一种凸型模 板，利用头部与躯干形成一个”凸”字形的特点来定位头部。文献 2 2 】提出了人体 上肢端点固定的关节模型及其对应的方程组，用于估计各个关节点的3 d 坐标， 分析方程组解的最大可能数目，以此来估计上肢3 d 姿态。 总之，人的运动分析的种类非常的繁多，应用也十分的广泛。对其进行深入 的研究将有着十分深远的意义。 1 2 2 研究趋势 尽管人的运动分析研究已经取得了一定的成果，随着研究的不断深入，未来 人体运动分析研究的关键问题为1 2 j ： 1 运动分割( m o t i o ns e g m e n t a t i o n ) 快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环 境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的 混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至 摄像机的运动等，这些都给准确有效的运动分割带来了困难。就以运动目标的影 子为例，它可能与被检测的目标相连，也可能与目标分离。尽管目前图像运动分 割主要利用背景减除方法，但如何建立对于任何复杂环境的动态变化均具有自适 应性的背景模型仍是相当困难的问题。一个可喜的发展是，一些研究者们正利用 时空统计的方法构建自适应的背景模型，这也许对于不受限环境中的运动分割而 言是个更好的选择。 2 遮挡处理( o c c i u s i o nh a n d l i n g ) 目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自 5 第1 章绪论 遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时， 人体只有部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除 进行运动分割的技术此时将不再可靠，为了减少遮挡所带来的歧义性问题，必须 开发更好的模型来处理遮挡时肢体特征与身体各部分之白j 的准确对应问题。另 外，一般系统也不能完成何时停止和重新开始身体部分的跟踪，即遮挡前后的跟 踪初始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信息 中进行人体姿势、位置等的预测：不过，对于解决遮挡问题最有实际意义的潜在 方法应该是基于多摄像机的跟踪系统。 3 三维建模与跟踪( 3 dm o d e l i n ga n dt r a c k i n g ) 二维( 2 d ) 方法在早期人的运动分析中证明是很成功的，尤其对于那些不需要 精确的姿势恢复或低图像分辨率的应用场合( 如交通监控中的行人跟踪) 。二维跟 踪有着简单快速的优点，主要的缺点是受摄像机角度的限制。而三维方法在不受 限的复杂的人的运动判断( 如人的徘徊、握手与跳舞等) 、更加准确的物理空间的 表达、遮挡的准确预测和处理等方面的优点是二维方法所不能比拟的；它能提供 更加有意义的与身体姿势直接相关的可视化特征用于行为识别；同时，三维恢复 对于虚拟现实中的应用也是必需的。目前基于视觉的三维跟踪研究仍相当有限， 三维姿势恢复的实例亦很少，且大部分系统由于要求鲁棒性而引入了简化的约束 条件。三维跟踪也导致了从图像中人体模型的获取、遮挡处理、人体参数化建模、 摄像机的标定等一系列难题。 4 多摄像机的使用( u s eo f m u l t i p l ec 锄e r a s ) 使用单一摄像机的三维人体跟踪研究还很缺乏，身体姿势和运动在单一视角 下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟 踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范 围，而且可以提供多个不同的方向视角以用于解决遮挡问题。很明显，未来的人 运动分析系统将极大受益于多摄像机的使用。对于多摄像机跟踪系统而言，我们 需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间 的选择和信息融合是一个比较关键的问题。 5 性能评估( p e r f o n n a n c ee v a l u a t i o n ) 一般而言，鲁棒性、准确度、速度是人运动分析系统的三个基本要求。例如， 系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地 工作，因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感；系统的 准确度对于控制应用特别重要，例如基于行为或姿势识别的接口控制场合；而系 统的处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何 选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的问题。 6 第1 章绪论 同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的 实时性、鲁棒性亦相当重要。 1 3 本文主要工作与特色 本文主要致力于图像序列中运动人体的肢体分析和识别的研究，考虑算法鲁 棒性的同时提高算法的运行速度。人体肢体分析和识别实质是将图像序列中运动 中的人体的肢体( 包括：头部、手臂、腿和躯干) 分别从人体中划分出来，并加以 标定。本文将利用凸型模板来识别运动人体的头部和利用d e l a u n a y 三角剖分技 术划分出人体肢体，进而完成人体各肢体的定位和识别。之后，根据人体模型， 获得相关人体运动数据，可为识别人的行为提供一定的信息。 本文的主要工作具体包括： 1 为了能够适应躯干倾斜、头部偏离人体躯干中线以及不同人体颈部的长 度，分别引入了躯干倾斜角度因子、头部偏离角度因子、颈部长度参数， 从而提出了一种多自由度躯体模型，并提出了相应的算法。实验结果表 明该模型具有较好的性能。 2 针对人体头部定位算法中涉及了大量的前景非零像素统计的问题，提出 了列积分图像方法，适应了任意放置的矩形区域的前景非零像素的统计， 提高了算法的运算速度。 3 约束d e l 猢a y 三角剖分技术在人体肢体划分上具有重要作用，针对其在 人体轮廓线上等间隔点三角化方法不能适应人体不同姿态和图像中人体 大小变化的问题，提出了基于人体轮廓线角点的约束d e l a u n a y 三角剖分 方法，并完成人体骨架提取和人体肢体划分，增强了算法的鲁棒性。 4 研究了基于s i x s e g m e n t 模型人体肢体定位和识别算法。提出了一种新 的s i x s e g m e n t 人体模型参数获取方法。最后依据s i x s e g m e n t 人体模型 自身存在的局限性，考虑了正视和侧视下的人体，建立了更加完善的人 体模型。 1 4 本文的组织结构 第一章是绪论，介绍了人体肢体的识别的应用领域、背景知识和国内外研究 现状，阐述了本论文的研究意义以及内容。 第二章对本文中人体肢体划分和标定中涉及的相关知识、基本理论与方法进 行了介绍，包括o p e n c v 简介、系统约束假设、运动人体检测与前景提取、积分 图像和d e l a u n a y 三角网的生成算法。 第3 章对人体肢体划分和标定系统中的运动人体头部定位算法进行了研究， 7 第1 章绪论 包括人体头部定位算法的原理、凸型模板头部定位算法分析与改进，并进行了实 验仿真和对实验结果进行了分析。 第四章对人体肢体划分和标定系统中的运动人体肢体的划分和定位算法进 行了研究，包括人体肢体划分和标定算法原理、基于d e l a u n a y 三角化的人体肢 体划分算法分析与改进、人体肢体识别算法分析，并进行了实验仿真和对实验结 果进行分析。 第五章对人体肢体划分和标定技术进行总结，并就人体肢体划分和标定技术 的发展趋势进行了展望。 8 第2 章预备知识 第2 章预备知识 本章对视频序列中人体肢体划分和标定涉及的相关知识、基本理论与方法进 行了介绍。内容包括o p e n c v 简介、系统约束假设、运动人体检测与前景提取、 积分图像和d e l a u n a y 三角网的生成算法。 2 10 p e n c v 简介 在过去的十年，随着处理器速度和内存容量以摩尔定律增长，计算机视觉的 研究和应用也得到了迅速的发展。以往传统的开发方法要求工程人员在完成的硬 件设计的同时，自己编码实现所有底层的算法，所有的图像处理函数都要从头编 写，既造成时间和精力上的浪费，又难以保证稳定性、实用性和通用性，越来越 难以满足现实的需求。为了解决理论到应用的难题，出现了众多的计算机视觉和 图像处理软件包。大多数软件包是用c c + + 编写的。例如，t 2 u r g e t j r 及其后续版本 v x l 【2 4 1 ( t h ev i s i o ns o m e t h i n gl i b r 面e s ) 就是这样一个c h 库的集合，在满足的小 型、快速和稳固的系统的开发要求的同时提供了多平台移植性。g a l l d a l 艉供了 计算机视觉和数值计算库，适合于可移植平台的视觉应用软件的开发。d e l r 科学 图像处理库d i p l i b 是另一个科学图像处理c 程序库，包含了许多图像数据多维分 析和处理函数。同时许多商用图像处理和计算机视觉软件包也得到相应开发。 m v t e c 公司开发的h a l c o n 是其中之一，它包含了c c + + 代码的图像处理库。 l a b v i e w 在n i 图像处理硬件的支持下能加速图像处理。由微软公司开发的s d k 是 一个底层的图像操作分析的c + + 库。在m a t l a b 中的图像处理工具包以及在 m a t h e m a t i c a 中的数字图像处理软件包都是较为强大的图像处理工具，同时这两 个软件包兼有许多高级数学计算功能。由a u r o r a 公司开发的l e a d t o o l s 是一套 商用化计算机视觉包，它包括了图像处理服务器开发工具。允许用户创建各种基 于网络的图像处理服务程序。 这些软件包为计算机图像分析和机器视觉提供了极大的便利。但也存在不足 之处： 1 ) 大多数软件包没有高级数学计算函数。并且这些软件包都不包括如目标 跟踪、摄像机标定、姿态识别、脸谱识别和三维重建等高层函数。 2 ) m a t l a b 是功能较为强大的科学计算和分析平台，它提供了图像处理工具 包，也提供了较为丰富的数学计算函数，但在m a t l a b 环境下的运行速度 令人担忧。虽然m a t l a b 可以通过编译器将m 文件转化为c 代码。但是 转换后的c 代码的执行效率和可读性存在较大问题。 9 第2 章预备知识 3 ) 除m a t l a b 和l e a d t o o l s 。大部分软件包不支持网络服务器结构的应用 程序的开发；m a t l a b 的网络接口机制较为复杂，且同样存在运行效率的 问题。绝大多数软件包不支持可嵌人性。 o p e n c v 是i n t e l 开源计算机视觉库【2 3 1 。它由一系列c 函数和少量c + + 类构 成，实现了图像处理和计算机视觉方面的很多通用算法。 o p e n c v 重要特性包括：拥有包括3 0 0 多个c 函数的跨平台的中、高层a p i 。 它不依赖于其它的外部库，尽管也可以使用某些外部库。对非商业应用和商业应 用都是免费的。另外，0 p e n c v 也为i n t e l 公司的i n t e g r a t e dp e r f o m a j l c ep r i m i t i v e s ( i p p ) 提供了透明接口。这意味着如果有为特定处理器优化的i p p 库，o p e n c v 将 在运行时自动加载这些库。 本文选取o p e n c v 进行视频序列图像中人体运动分析，与上述软件包相比， o p e n c v 的优势在于： 1 ) c 代码，源代码开放 开放源代码( o p e ns o u r c e ) 是信息技术界从2 0 世纪8 0 年代开始兴起的新名词。 源代码是由软件命令电脑执行指定动作的程序语句，是一个软件的核心所在，最 著名的丌源软件当属芬兰人林努斯托尔瓦兹提出的l i n u x 。开源软件之所以能 够风靡世界，首先是其丌源的免费特性；此外，由于有全球众多编程者的参与， 开源软件一般具有简约精炼、资源占用少、功能集中和安全性好的优点。不同于 以往由业余爱好者凭兴趣或是根据自己的项目要求而制作的各种源代码开发包， o p e n c v 是由i n t e l 资助的开源项目，其代码规范而且具备良好的后继开发和改进 能力。 2 ) 丰富的函数功能，强大的图像和矩阵运算能力 o p e n c v 提供了数组、序列、矩阵、树等基本结构，也包含了差分方程求解、 傅立叶分析、积分运算、特殊函数等众多高级数学计算函数，以及各种图像处理 操作和目标跟踪、摄像机校准、三维重建等高级视觉函数。 3 ) o p e n c v 具有平台无关性 基于o p e n c v 开发的程序可以直接在w i n d o w s 、u n i x 、l i n 似、m a c o sx 、 s o l a r i s 、h p 等平台之间相互移植，无需对代码进行任何修改。 4 ) 具有程序运行的实时性 完成调试的代码可以编译连接成二进制可执行文件。从而得到较快的运算速 度，满足实时性运算的要求。 5 ) 方便灵活的用户接口 o p e n c v 作为一个开放的计算机视觉函数库在使用上必然没有m a t l a b 那样解 释执行来得方便，而s o f l i n t e g r a t i o n 将c h 和o p e n c v 绑定起来推出的c h 1 0 第2 章预备知识 o p e n c v 【2 5 1 ，解决了这一使用上的瓶颈。 可见，作为一个基本的图像处理、计算机视觉和模式识别的开源项目， o p e n c