（通信与信息系统专业论文）基于视频的人体上肢运动分析技术研究.pdf

基于视频的人体上肢运动分析技术研究 摘要 基于视频的人体运动分析是计算机视觉领域的一个重要研究方向，它是从视频序列 中检测出运动物体，提取人体的关键部位，获得人体运动的有用信息，实现对人体动作、 姿态等的进一步识别和分析。基于视频的人体运动分析技术作为生物力学同数字图像处 理技术相结合的一项重要技术，在人机交互、智能监控、体育运动分析、医疗诊断、虚 拟现实等领域都有着广阔的应用前景。本文以高尔夫球辅助练习系统为背景，对基于视 频的人体上肢运动分析技术进行了深入的研究。 本文对c a n n y 边缘检测的阈值选取方法进行了改进，用于视频序列的边缘检测；在 帧差法基础上，提出了动态区域边缘点保留法来获取运动区域的边缘点集；根据人体先 验知识总结出一种边缘点整合的算法，对运动区域的边缘点集进一步处理，用于得到人 体运动肢体较为完整的轮廓。 本文根据视频人体检测技术和体育运动领域的知识和经验，设计并实现了高尔夫球 辅助练习系统。该系统通过对运动员挥杆视频进行处理，实时地判断出运动员上杆过程 中手臂动作正确与否，同时还可以定量的显示出待测动作与标准动作之间手臂姿态的差 异。 实验结果表明，本文较好地解决了视频人体运动分析中背景干扰和人体及服饰的非 刚性问题，可以比较准确地检测出人体运动肢体的轮廓。高尔夫球辅助练习系统完成了 对运动员上杆过程中手臂动作的检测和分析，达到了辅助训练的目的。 关键词：人体运动分析；边缘检测；人体检测；运动目标提取；高尔夫球辅助练习系统 基于视频的人体e 肢运动分析技术研究 a b s t r a c t v i d e o - b a s e dh u m a nm o t i o na n a l y s i si sav e r yi m p o r t a n tb r a n c ho fc o m p u t e rv i s i o n t e r r i t o r y t h i ss y s t e mc a nd e t e c tt h em o v i n go b j e c t sf r o mv i d e os e q u e n c e s ，a n dc a l lg e tt h e i n f o r m a t i o nf r o mt h ec r i t i c a lm o v i n gb o d y t h r o u g ht h ei n f o r m a t i o n ，a n a l y s i ss y s t e mc a l l r e c o g n i z et h eh u m a nb o d yp o s t u r ea n dd of u r t h e ra n a l y s i s a sa ni m p o r t a n tt e c h n o l o g ya b o u t b i o m e c h a n i c sa n dd i g 黼i m a g ep r o c e s s i n gt e c h n o l o g y , t h ev i d e o - b a s e dh u m a nm o t i o n a n a l y s i st e c h n i q u e h a sb r o a d a p p l i c a t i o n i n h u m a n - c o m p u t e ri n t e r a c t i o n ，i n t e l l i g e n t s u r v e i l l a n c e ，s p o r t sa n a l y s i s ，m e d i c a ld i a g n o s i s ，v i r t u a lr e a l i t ya n dm a n yo t h e rf i e l d s f u r t h e r r e s e a r c hi sc a r r i e db a s e do nt h eb a c k g r o u n do ft h eg o l f a u x i l i a r yt r a i n i n gs y s t e m i nt h i sp a p e r , t h et h r e s h o l ds e l e c t i o nm e t h o do fc a n n y e d g ed e t e c t i o nh a sb e e ni m p r o v e d ， t h i sn e wm e t h o dc a nb eu s e dt os e l e c tt h et h r e s h o l do fv i d e os e q u e n c e s b a s e do nf r a m e d i f f e r e n t i a lm e t h o d ，t h em e t h o do fs a v i n gt h ee d g ep i x e l si nt h ed y n a m i cr e g i o nh a sb e e n p r o p o s e dt oo b t a i nt h ee d g ep o i n t so fm o v e m e n t a c c o r d i n gt ot h ep r i o rk n o w l e d g eo fh u m a n b o d y , a n o t h e ra l g o r i t h mi sa l s op r o p o s e dt om a k eaf u r t h e rp r o c e s so ft h ei n t e g r a t e de d g e p o i n t s a f t e rt h a tt h em o v i n gb o d yc a nb ed e t e c t e dm o r ec o m p l e t e l y a c c o r d i n gt ot h ev i d e o - b a s e dh u m a nm o t i o nd e t e c t i o nt e c h n i q u e sa n dt h ek n o w l e d g e a n de x p e r i e n c eo fs p o r t s ，g o l fa u x i l i a r yt r a i n i n gs y s t e mh a sb e e nd e s i g n e da n di m p l e m e n t e d t op r o c e s st h ev i d e oo ft h es p o r t s m a nl i f t i n gu pt h eg o l fc l u b ，t h ea c t i o nc a l lb e j u d g e dr i g h t o rw r o n gt h r o u g ht h i ss y s t e mi nt h er e a l t i m e f u r t h e rm o r e ，i tc a na l s os h o wt h ed i f f e r e n c e s o ft h ea r m sp o s t u r e sb e t w e e nt h em e a s u r e da c t i o na n ds t a n d a r da c t i o nq u a n t i t a t i v e l y s i m u l a t i o nr e s u l t ss h o wt h a tt h e s ep r o p o s e dm e t h o d sc a nn o to n l ya c h i e v em o r ea c c u r a t e a n dc o m p l e t ed e t e c t i o nr e s u l t sb u ta l s ob em o r es u i t a b l e f o rt h ev i d e o sa n a l y s i s ，w h i c h c o n t a i n sb a c k g r o u n di n t e r f e r e n c ea n dn o n - r i g i dp r o b l e m so fh u m a na n dc l o t h e s w h e nt h e a t h l e t e sl i f t i n gu pt h eg o l fc l u b ，t h em o t i o no ft h ea l m sc a l lb ed e t e c t e da n da n a l y z e d c o m p l e t e l yt h r o u g ht h eg o l fa u x i l i a r yt r a i n i n gs y s t e m ，t h ea u x i l i a r yt r a i n i n gf u n c t i o nc a nb e a c h i e v e d k e yw o r d s ：h u m a nm o t i o na n a l y s i s ；e d g ed e t e c t i o n ；h u m a nd e t e c t i o n ；m o v i n go b j e c t s d e t e c t i o n ；g o l fa u x i l i a r yt r a i n i n gs y s t e m 第1 章绪论 第1 章绪论 1 1 课题研究背景及意义 随着计算机性能的提高和数字图像处理技术的发展，计算机视觉越来越受到人们的 关注。人们可以利用计算机对视频图像进行处理，非接触地获取人类的运动信息，实现 智能人体姿态识别和动作分析等功能【1 1 1 2 1 。基于视频的人体运动分析是计算机视觉领域 的一个重要研究方向，它是从视频序列中检测出运动物体，提取人体的关键部位，获得 人体运动的有用信息，实现对人体动作、姿态等的进一步识别和分析。人体运动分析技 术涉及了计算机视觉、数字图像处理、生物力学、运动学、人工智能等多领域的理论知 识和研究方法，是个多学科交叉的研究方向【3 】o 本课题是以实际应用项目高尔夫球辅助练习系统为背景。该系统应用视频人体 运动分析技术对高尔夫运动员的挥杆动作视频进行处理，实现对运动员挥杆动作非接 触、无妨碍的测量与识别，最终将运动参数实时地报告给使用者，并可将测试动作与标 准动作进行对比，使练习人员即使在没有专业教练指导的时候也可以发现并纠正运动动 作，达到辅助练习的目的。同时该系统还可以为专业教练指导练习人员的动作提供平台 和科学的参考数据。 基于视频的人体运动分析技术作为生物力学同数字图像处理技术相结合的一项重 要技术，在人机交互、智能监控、体育运动分析、医疗诊断、虚拟现实等领域都有着广 阔的应用前景【4 】【5 1 ： ( 1 ) 人机交互中可以自动地捕获并识别人的动作，将这些运动信息作为计算机指 令来代替鼠标、键盘等传统的交互方式，使人类可以使用表情、手势、身体姿态等自然 的交流方式与机器进行交互，这将大大提高计算机操作的友好性，在游戏控制、残疾人 专用设备和一些高噪声、高危险的作业环境下都会有广泛的应用。 ( 2 ) 智能监控就是通过计算机视觉的方法，通过监控录像在没有人员干预的条件 下可以智能的检测出视频中目标的准确位置并跟踪其运动，判别出目标的行为意图，以 便在有突发事件发生时及时准确地做出反应，可以实现诸如交通管理、大型超市、机场、 车站等人员密集的公共场所的有效监控。 ( 3 ) 体育运动分析在竞技体育和技巧性运动领域有着重要的作用。基于视频的运 动分析技术可以在不对运动员产生任何干扰的情况下通过视频图像获取运动人员准确、 全面、即时的运动参数，分析运动员的动作，帮助教练员和运动员发现错误动作，提高 哈尔滨工程大学硕：e 学位论文 训练效果，改进运动技术，达到辅助训练的功能。准确的运动参数获取和分析技术必将 在舞蹈、体操、举重、排球、高尔夫等竞技项目的训练中发挥重要的作用。 ( 4 ) 在生物医学方面可以通过对病人步态分析评价诊断病情，帮助病人尽快恢复。 同时还可用于医疗器械的测试和评估。 ( 5 ) 虚拟现实是人们通过科技手段虚拟出特殊的场景和现实的角色行为。在一些 游戏和电影中，有很多奇幻的场景和人物流畅的动作实现了完美的结合，这些都是通过 人体运动分析技术采集到人类真实的运动信息，并利用这些信息将角色的动作在场景中 重现了出来。 1 2 国内外研究现状及面临的困难 对于人体运动的研究工作最早可以追溯到1 9 7 3 年心理家j o h a n s s o n 所做的关于人类 感知的研究工作【6 】。在实验中，他将亮点附着在人的关节点处，通过运动的亮点序列人 们可以辨别出被测人员的运动。从此，人们开始认识到运动分析技术的重要性和应用价 值，越来越多的大学、研究院和商业机构陆续投入到该领域的研究工作中。国际上一些 权威期刊和学术会议也将运动分析作为一个重要的研究内容，例如：u c v , p a m i ，i c c v , c v p r 等【7 1 。通过近年来的研究和努力科学家们已经取得了一定的成果：1 9 9 7 年，由美 国国防高级研究项目署领导的，美国卡耐基梅隆大学和麻省理工学院主要参与的视频监 控项目v s a m ，是针对军用和民用场景研制的智能监控系统，它可以将分布于不同位置 的视频信号集中到指挥中心，自主地监测视频中的异常情况，当出现异常时给工作人员 发出报警信号，这就大大降低了工作人员的劳动强度，而且只需要很少的人员就可以完 成大范围的监控任务 8 1 ；美国c m u 和s a m o f f 公司共同研制了实时视频运动目标分类与 跟踪系统，可以通过多个摄像机相互协作，在复杂的场景中识别人和车辆并实现连续跟 踪【9 1 ；清华大学人体运动信息监测研究室研制出了适合测量小偏移量的系统用于测量射 箭运动员肩部、肘部的微小晃动；文献 1 0 】实现了一套人体运动分析系统，采用手工方 法标注人体关节点，利用卡尔曼滤波的方法跟踪跳远运动员的动作；文献【1 1 提出了无 需目标提取的3 d 活动轮廓运动捕捉算法，借助人体模型将运动捕捉同三维重建结合起 来，在理论上实现了无标记人体的运动捕捉。 目前，科研人员对于刚体的运动研究工作已经取得了一系列的成果，形成了相对完 善的理论架构，但对于人体运动这种典型的非刚性结构的非刚体运动的研究还处于初级 阶段，至今仍没有一套系统可以完全鲁棒的从视频中检测出完整的人体运动信息。经过 十几年的努力，虽然对于人体运动的检测与分析的研究在理论上取得了很大的进展，也 2 第1 荦绪论 有一些成型的初级系统投入了使用，但是，由于人体运动的复杂性使得该领域的研究仍 存在很多困难，大量问题还没有得到很好的解决，主要表现在： ( 1 ) 检测方法对环境复杂度和光线变化的适应能力。复杂的背景和光线变化会对目标 的检测产生干扰，致使目标检测的准确性降低，如果检测算法没有很好的鲁棒性，在应 对非理想的被测场景时很容易导致检测失败。 ( 2 ) 人体的非刚体特性导致的自遮挡和物体间的互遮挡问题。在视频图像中被测目标 经常会被其他物体遮挡，而且由于人体关节的高灵活度在人体的正常运动过程中难免会 产生自遮挡现象，这些遮挡问题都会大大降低检测出的目标的完整性，进而对后期动作 的识别和分析带来巨大的困难。由于这些遮挡很多是难以预料的，而且情况也很复杂， 加之应用环境的限制，虽然在研究过程中可以采用多摄像机的方式降低遮挡带来的干扰 但仍无法完全避免。 ( 3 ) 人体的运动是一个复杂的非刚性系统，存在很高的自由度和极大的非线性特征， 这使得人体运动建模非常困难，也就很难实现运动的跟踪和重建。在实际系统中经常可 以采用训练的方法从大量的运动数据中得到一个比较合适的运动模型，但这种方法只适 用于那些已知的高度重复动作的检测，因此要真正实现对感兴趣动作的准确跟踪和分析 还需要寻找更好的方法。 ( 4 ) 外观和服饰的复杂性和多样性。人体服饰的复杂性加剧了其非刚体特性，服装的 褶皱和颜色的变化使得现有的图像处理技术很难得到其完整的边缘轮廓，因此获取人体 运动肢体的局部细节信息就变得十分困难，这也对后期的动作识别和分析带来了很大干 扰。人体外形及服饰的多样性又使得在运动分析系统中难于得到一个通用的运动检测和 分析模型来适应不同的被测人群。 ( 5 ) 运动学的歧义性。当一个三维物体投射到一个二维平面图像上时，其深度信息已 经丢失，这将导致从视频中检测出的运动状态与现实之间存在偏差，不同的人体动作可 能得到相同的二维信息，这种歧义性会直接导致对动作分析判断的错误。 由于基于视频的人体运动分析技术存在诸多难于解决的困难，目前的研究都对问题 进行了不同程度的简化，对环境和人的运动等进行了不同的约束和假设，利用不同的先 验知识来辅助解决问题【1 2 1 。通常采取的简化条件有： ( 1 ) 关于外界环境的假设 要求背景单一，光线无变化，通常选用室内环境，只有一个被测人体，不存在外来 物的遮挡问题。 ( 2 ) 关于拍摄条件的假设 3 哈尔滨工程大学硕十字位论文 通常假定摄像机参数已知，拍摄过程中摄像机固定或匀速运动，人体的运动总是平 行于成像平面。 ( 3 ) 关于被测人体的假设 人体参数和初始状态己知，穿着紧身衣或固定颜色的服装，人体运动模式已知，动 作缓慢单一。也可以在关节点处放置标志，。 这些假设不同程度地简化了问题，使得在特定情况下的问题研究成为可能，但同时 它们也限定了方法本身的适用范围，而且在实际应用中很难完全满足这些假设条件，当 有某个条件无法满足时就可能导致方法失效。当然，也正是这些困难激发了越来越多的 人致力于人体运动分析技术的研究，不断有新的技术理论被提出，各种更加贴近实际应 用的视频人体运动分析系统正在逐渐涌现出来。 1 3 视频人体运动分析系统简介 基于视频的人体运动分析系统是对包含运动人体的视频序列进行处理，从中检测出 运动部位，提取运动参数，对检测结果进行分析，实现动作跟踪、识别等功能。该系统 主要包括五个阶段：视频采集，图像预处理，运动目标检测与分割，运动参数提取，动 作分析。视频采集的过程主要是根据实际应用的需要，通过摄像机来获取视频源。理想 的、适于分析的视频源可以使运动分析系统得到更加准确的分析结果，但它通常会受到 现实条件的限制，而且其最终还是要服从于实际应用的需求，所以视频采集的过程一般 不作为视频人体运动分析技术的研究重点。相对于静态图像处理过程，在视频处理中图 像的预处理( 滤波、去噪、增强、灰度变换等) 需要更高的计算复杂度，在人体运动分 析中图像预处理的主要目的是调高后续处理的精度，但由于后续模块对预处理的要求不 尽相同，所以在实际工作中预处理的工作通常会放到后续模块中去考虑【l o 】。综合以上， 目前视频人体运动分析技术研究的重点主要在运动目标检测与分割、运动参数提取、动 作分析，其中运动目标检测与分割是后续动作识别和分析的基础，人体运动部位的有效 分割对人体运动的跟踪、识别、重建等后期处理起着至关重要的作用，直接影响其最终 的效果，而且对于不同的视频序列检测的方法也不尽相同，所以运动目标检测与分割技 术又是人体运动分析技术研究的重中之重。 视频采集卜叫图像预处理 运动目标 检测与分割 运蓍霎数l 一动作分析 提取r “ 图1 1 视频人体运动分析的五个阶段 4 第1 章绪论 1 3 1 前景目标分割 前景目标分割的目的是从视频图像中将人体或人体的部分肢体区域从背景中分割 出来，它一般依赖于底层特征的提取，主要利用颜色信息，几何信息，运动信息等。颜 色信息是指人体的皮肤、服装、标记点的颜色及分布情况。几何信息主要包括人体各部 位的轮廓，形状及相对位置信息。运动信息是指人体相对于背景的运动轨迹及人体各部 位之间的运动相关性等。此外还可利用图像的区域信息、梯度特征和纹理特征等。前景 目标分割是视频人体运动分析系统后期进行运动参数提取及动作分析的基础，但许多特 征的提取需要人工进行初始化。 1 3 2 运动目标检测 运动目标检测是对视频序列进行处理，将有运动产生的区域从背景中提取出来，它 是基于底层视频信息的检测技术【1 3 】。目前运动目标检测的主要方法有背景差分法，帧间 差分法和光流法等。背景差分法是将图像序列与参考背景模型做差分，实现运动目标的 检测。帧间差分法是基于时间序列图像之间做差分，通过帧间图像变化检测出运动物体。 光流法是通过计算图像中的光流矢量，将相似矢量合并来实现运动物体检测的。除以上 三种较为成熟完善的检测方法外还有人提出了最小能量函数法和基于学习的方法等，另 外还可以将多种传统方法相结合来实现运动目标的检测【1 4 1 。 1 3 3 动作分析 动作分析是指根据系统需要实现目标跟踪、姿态估计、动作识别等功能。 目标跟踪主要是在不完全了解目标运动信息的前提下，利用来自信息源的实时数据 估计出目标的运动状态来实现目标跟踪，所以目标跟踪实质上是一个复杂的估计问题。 实现运动目标跟踪通常会基于图像匹配的思想，事先确定一个参考目标模板，然后在每 帧图像的搜索区域内寻找使得当前待定模板与目标模板最相似的位置，从而识别待定目 标并确定其相对位置，最终把连续帧的目标匹配结果连起来就实现了跟踪。一般可以采 用区域匹配、特征匹配、模型匹配和频率域匹配等匹配方法【1 辄1 6 1 。目前常用的跟踪算法 有均值漂移法，马尔科夫随机场法，卡尔曼滤波法和粒子滤波法等。 姿态估计一般指用数学的思想将人体姿态表达出来。姿态的表达通常包括两方面内 容，一方面将人体的整体作为一个目标，其姿态包括人体在世界坐标系中的方向和位置， 另一方面把人体的局部肢体或个别关节作为目标，姿态包括人体各关节的角度和肢体间 的相对位置。目前较为常见的姿态估计方法分为基于模型的姿态估计和无模型的姿态估 哈尔滨t 程大学硕十学位论文 i l l 计两类【1 7 1 。基于模型的姿态估计是在估计过程中首先建立一个先验的人体模型( 如棍棒 模型、几何模型、三角网络模型等) ，模型参数可随时间不断更新，从模型参数和观测 视频中分别提取固定的底层特征，将两个特征参量作对比，定义误差测度，通过合适的 搜索策略或优化算法寻找最小误差模型姿态，认为误差最小时的模型姿态准确地表达了 当前的人体姿态。无模型的姿态估计方法是采用基于学习或基于样本的方法，事先训练 数据，对运动库建立索引或从中学习特征与姿态的对应关系，通过最邻近检索或函数映 射的方法获得人体姿态参数，从而将姿态估计问题转换为模式识别问题【1 1 1 。 动作识别是指根据系统的实际需要提取人体关键部位的运动参数( 肢体位置、关节 角度等) ，与先验参数作对比，找出动作间的细微差别，结合相关领域知识判定动作类 型。例如在体育运动分析领域可以通过分析不同动作之间的差别判断运动员技术动作中 存在的错误；在视频监控领域通过人类行为动作的先验知识辨别被测人员的行为意图。 动作识别是通过计算机视觉技术同人体运动分析系统实际应用领域知识相结合来实现 的，是人体运动分析系统的核心和高层处理过程。 1 4 本文的主要研究内容和结构安排 1 4 1 本文的主要研究内容 本文通过对静态图像边缘检测算法的研究，改进了c a n n y 边缘检测的阈值选取方 法，使c a n n y 检测算法可以更好地适应被处理图像的细微变化。在视频序列的处理过程 中，不同的图像帧内目标物体和场景中光线都有可能发生变化，改进后的c a n n y 边缘检 测算法可以应用于视频图像处理中，对每帧图像都将取得较好的处理效果。 本文将图像的帧间灰度信息同图像的梯度信息相结合，提出了动态区域边缘点保留 法来实现运动目标提取并获得前景目标的轮廓信息。在人体运动视频的处理过程中，此 方法可以消除背景中的物体，最大程度地保留人体运动肢体的边缘，消除人体内部的部 分伪轮廓。 由于光照不均、背景干扰、服装褶皱、人体的非刚性结构等问题，经过动态区域边 缘点保留法处理后得到的人体运动肢体边缘图中存在噪点和断点，不利于后期动作分析 的处理，因此本文根据人体的先验知识提出了一套边缘点整合算法，对边缘点进行整合， 去除伪轮廓，填充边缘断裂带，以获取更加完整、准确的人体运动肢体的轮廓。 本文最终将图像处理技术和高尔夫运动的先验知识相结合，设计了一套高尔夫球辅 助练习系统。首先将以上提出的算法应用于俯视拍摄的高尔夫运动员的挥杆动作视频的 6 第l 章绪论 i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i 置i l l ii i r- i i i i i i i i i i i 宣i i i i 宣 处理中，可以检测到运动员的上肢轮廓，根据高尔夫球辅助练习系统的需求，提取运动 员上杆过程中关键帧的右臂外部轮廓的位置信息，并根据标准动作和被测动作的右臂纵 向位置差信息判定动作是否正确，将判定结果反馈给使用者。 1 4 2 文章的结构安排 本文共分六章，各章内容安排如下： 第1 章：绪论，阐述了课题研究的背景和意义，以及人体运动分析的研究现状及存 在的困难，简单介绍了视频人体运动分析系统的组成和本文的主要研究内容。 第2 章：介绍了几种主要的边缘检测算法及图像分割技术中常用的阈值选取方法， 对c m ：m y 边缘检测算法的阈值选取方式进行改进。 第3 章：介绍运动物体检测的主要方法；提出动态区域边缘点保留法来提取人体运 动肢体轮廓信息； 第4 章：提出边缘点整合算法处理运动肢体边缘图，得到较为完整的运动肢体轮廓 图。 第5 章：介绍高尔夫球辅助练习系统的设计与实现方法。 7 哈尔滨工程大学硕士学位论文 u l 第2 章基于边缘检测的灰度图像分割算法 图像的边缘信息包含了图像中物体结构的重要信息，是计算机视觉领域常用的图像 底层特征，它可以用来获取前景目标的轮廓信息，因此在运动物体检测、图像配准，图 像增强等方面有着广泛的应用【1 8 1 。 灰度图像的边缘位置表现为亮度的突变，边缘检测正是要寻找这些亮度变化不连续 的位置，基于梯度信息来实现特征提取。梯度信息是表现人体非刚性轮廓的重要信息， 它关注于亮度的变化而不是亮度本身，这使得梯度图像对衣着服饰、光线照射等的变化 比灰度图像更加鲁棒 1 9 j 。本文要进行人体的运动分析工作，首先要检测到人体的运动肢 体，因此人体的边缘图是实现人体检测的基础。 目前，研究人员已经针对静止的图像提出了一些边缘检测的算法，如s o b e l 算子、 l o g 算子和c a n n y 算子等方法。对于单独的一幅图像，可以通过设定一个合适的阈值 来取得较好的检测结果，但在视频图像的处理过程中，每帧图像的前景目标不尽相同， 随着时间的推移光照也会发生变化，这些都将导致各帧图像的结构发生改变，传统的静 态图像边缘检测算法无法自动设定合适的阈值，因此无法对每帧图像都取得较好的检测 结果。本文所针对的是体育运动领域的人体运动视频，我们只希望得到人体的边缘点集， 但此类视频图像往往背景都比较复杂，人体服饰的褶皱也使得人体内部的亮度变化较为 复杂，传统边缘检测算法得到的结果中必然存在许多背景的边缘和人体内部的伪轮廓。 针对以上问题，本文将提出改进阈值的c a n n y 边缘检测算法，它可以自动的获取适合被 测图像的阈值用于视频图像的处理，并且能够更好适用于复杂背景中人体边缘点的提取 问题。 2 1 边缘检测算子 图像的边缘信息主要表现为图像中局部灰度变化的不连续性，根据灰度变化的剧烈 程度可以将边缘分为阶跃型和屋顶型两类。阶跃边缘两边的灰度值变化比较明显，屋顶边 缘是位于灰度值增加与减少的交界处的点，因此，对阶跃边缘和屋顶边缘分别求取一阶 导数和二阶导数就可以表示边缘点的变化。对于一个阶跃型的边缘点，其灰度变化曲线的 一阶导数在该点达到极大值，二阶导数在该点与零交叉；对于一个屋顶型的边缘点，其 灰度变化曲线的一阶导数在该点与零交叉；二阶导数在该点达到极大值。根据边缘点的 以上特点，边缘检测算法主要是基于图像灰度的一阶导数和二阶导数来实现的，即利用 8 局部图像的微分技术来获得边缘检测算子【2 0 】【2 1 1 。 传统的边缘检测算子大致可以分为基础边缘检测算子( 如r o b e r t 算子，l a p l a c e 算子， p r e w i t t 算子，s o b e l 算子等) ，二阶导数过零点算子( 如l o g 算子和d o g 算子等) ，最 优化算子( c a n n y 算子) 等。下面本文将具体介绍下：s o b e l 算子、l o g 算子和c a n n y 算子，并对其性能做简单的分析。 2 1 1 索贝尔( s o b e l ) 算子 s o b e l 微分算子属于传统微分算子的边缘检测方法，是一种奇数大d ( 3 x 3 ) 模板下的 全方向微分算子，对每个像素四邻域采用带权的方法计算差分。假设图像中( x , y ) 点的像 素值为s ( x ，y ) ，s o b e l 微分算子的定义如下： 最= 厂( x + 1 ，y 1 ) + 2 f ( x + l ，j ，) + 厂( 工+ 1 ，y + 1 ) 一 辫”w-1)+州2f-v(x1 黜髋器) ) - ， s一，y + 1 ) + 2 厂( 毛y + 1 ) + 厂( 工+ 1 ，y + 1 ) ) - 、 ( x 一1 ，y 1 ) + 2 厂( 而y ) + ( z + l ，y - 1 ) ) s o b e l 算子模板如图2 1 所示： 1o1 2o2 - lo1 121 o oo 12l 图2 1s o b e l 算子模板 s o b e l 算子的两个模板，通常一个对垂直边缘影响较大，而另一个对水平边缘影响 较大，利用两个模板做卷积，两个卷积的最大值都作为像素点的输出值r 仃，运算结 果就是一幅边缘图像。取适当的门限t - , 如果尺亿砂t h 则为阶跃边缘点。 s o b e l 算子利用像素的四邻域灰度加权法计算差分，根据梯度在边缘点处达到极值 这一原理进行边缘检测。该方法可以提供较为精确的边缘方向信息，能够产生较好的检 测效果，而且对噪声具有一定的抑制作用。但同时增加了计算量，而且也会检测到伪边 缘，定位精度不高，检测到的边缘较宽。 2 1 2 高斯一拉普拉斯( l o g ) 算子 l o g 算子是根据图像的信噪比来检测边缘的最优滤波器，在拉普拉斯算子基础上， 9 哈尔滨工程大学硕十学位论文 综合考虑噪声抑制和边缘检测两个方面来设计的检测方法。即先利用高斯函数作平滑滤 波，然后再作二次微分。对于阶跃边缘，其二阶导数在边缘点出现零交叉。 拉普拉斯算子是二阶导数，它是一个标量，具有各向同性的性质，对于数字图像， 用差分的方法可以近似表示为： v 2 f ( x , y ) = ( x + 1 ，少) + 厂( x 一1 ，少) + 厂( 而少+ 1 ) 一v ( 而，) ( 2 - 2 ) 实际计算也是借助模板卷积实现的，常用的拉普拉斯算子如图2 2 所示： 01o 141 o10 i ll 18l lll 图2 2 常用的拉普拉斯算子模板 由于拉普拉斯算子没有方向性，因此它不像前面s o b e l 算子那样需要两个模板来分 别计算两个方向导数，它只需要一个模板就可以了。但由于拉普拉斯算子为二阶导数算 子，它对噪声比较敏感，所以要在微分之前用高斯函数对图像进行滤波。高斯函数表达 式为： 1 x 2 + ， 似j ，) = 2 1 r a 二 p 幻2 ( 2 - 3 ) 其中6 为高斯分布的标准方差，决定了高斯滤波器的宽度。 其平滑和微分合并后的算子为： m = 专 等一- p 等 ( 2 川 称为高斯拉普拉斯( l o g ) 算子。 高斯滤波可以使图像变得平滑，减少噪声，计算拉普拉斯算子以便产生双边缘图形， 然后找到两个边缘的零交叉便可以定位边缘点。这种检测方法的特点是各向同性，对细 线和孤立点的检测效果比较好，因此可以检测到大部分边缘，而且基本不会出现伪边缘， 定位精度较高。 2 1 3 坎 琶( c a n n y ) 算子 c a n n y 曾经提出7 厍1 - - 条准则来评价边缘检测算子的性能陋1 ： ( 1 ) 好的检测结果，对边缘点的错检率和丢失率要低，也就是说要最大程度地检出真 l o 边缘，同时要避免虚假边缘的产生； ( 2 ) 好的边缘定位精度，就是希望检测出的边缘点要尽可能地在实际边缘的中心； ( 3 ) 对一个边缘点最好只有唯一的响应，即希望得到的边界为单象素宽，以便尽可能 地抑制虚假边缘。 下面给出以上三条准则的数学表达式： ( 1 ) 信噪比准则： 由信号检测理论可知，输出信噪比越大，错误概率越小。信噪比的表达式为： 册：l 塑， 万c 矗2 ( x ) d x 其中，g ( x ) 代表边缘函数，i | l ( 工) 代表带宽为w 的滤波器的脉冲响应，6 为高斯噪声的均 方差。c a n n y 的第一条准则就是要寻求滤波器函数| i l ( x ) ，使信噪比s n r 尽量大。 ( 2 ) 定位精度准则： 边缘的定位精度定义为： k ：! 坐型， 万c 旷( x ) d 石 其中g ( x ) 和 ( z ) 分别代表g ( 工) 和 ( 工) 的导数，l o c 越大表明定位精度越高。c a n n y 的 第二条准则就是要寻求滤波器函数而( 工) ，使l o c 尽量大。 ( 3 ) 单边缘响应准则： 定义检测算子对边缘响应极大值之间的平均距离为： 可牒卜咖 ， 因此在2 w 宽度内，极大值的数目为： ：髦：=2(2-8)n= 竺= 一 显然，只要固定了k 就固定了长区域内出现最大值的个数，这就是c a n n y 的第三条 准则。 在图像的边缘检测中，抑制噪声和精确定位边缘无法同时满足，检测算法在通过平 滑滤波去除噪声的同时也增加了边缘定位的不确定性；另一方面，算法在提高对边缘的 敏感性的同时也提高了对噪声的敏感性。c a n n y 算子根据以上三条准则，力求在精确定 哈尔滨工程大学硕士学位论文 位和抗噪声干扰之间寻求最佳的检测方案【2 3 1 。c a n n y 边缘检测算法主要包含以下步骤： 第一步：用高斯滤波器平滑原始图像，以消除噪声。 第二步：利用导数算子找到图像灰度沿着两个方向的导数g 。和g 一求出梯度幅值 i g i = 蕊和梯度方向目= a r c t a n i 导1 。 ”j 第三步：对梯度幅值进行非极大值抑制。遍历图像，如果一个像素的梯度幅度大于 在该点梯度方向上的两个相邻点的梯度幅度，称其为局部最大值点，它有可能成为边缘 点，反之，则不可能成为边缘点，该像素将被舍弃。 第四步：用双阈值算法检测和连接边缘。双阈值算法是指对非极大值抑制图像作用 两个阈值 和乞，其中矗 - i y ：一m i 时，从左向右进行连线，对于每 个离散的直线段像素点坐标( 薯，乃) ，五“，x 2 ) ，y l 通过如下方式确定： 儿2卜石y 2 - y , 唯吲l 髁删5 卜石y 2 - y , 沁训l + - 蜾刎5 ( 4 - 2 ) 其中占为y l 取整后的余数的值。 当a 、b 两点间横向距离小于纵向距离时，a l l x = 一五i i 耽- y , i 时，从上向下进行连 线，对于每个离散的直线段像素点坐标如，乃) ，乃，咒) ，薯通过如下方式确定： 而2 其中为蕾取整后的余数的值。 o 5 5 仉 m l 私 黝 如 如 m 月 五一乃 五一m 印一 即一 第4 幸边缘f f 打线处理 将计算得到的坐标为( 薯，乃) 的像素点的像素值设为l ，即将其设为目标像素，就完 成了直线段拟合方式的边缘图像断裂点填充。经过断裂带填充后，一些临近非连通的边 缘曲线将组成连通段，形成更高层的图像特征，为后期动作分析提供良好的基础。 4 4 边缘点整合算法 本文结合边缘点组织和断裂带填充技术提出了一种边缘点整合算法来对人体运动 肢体的边缘曲线进行处理，用于消除边缘图像中的伪轮廓，并根据人体结构的先验知识 对边缘曲线断裂带进行填充，以得到更加完整的边缘图，同时顺序组织边缘曲线中的连 通段，提取到更高层次的图像特征，为后期的动作识别和分析提供基础。边缘点整合的 过程就是反复滤除边缘点集中小连通，填充断裂带的循环处理过程，算法流程如图4 2 所示： 图4 2 边缘点整合算法流程图 边缘点整合算法的具体实现过程如下： 第一步：组织边缘点，去除像素点数量小于一定阈值的连通段； 第二步：计算相邻连通段端点间的距离，选取距离最短的两个端点，计算通过两点 的直线段，根据临近原则找出拟合线段的连通像素点，记为一组待填充像素点； 第三步：再设定一个阈值，将待填充像素点数量小于该阈值的组中个像素值设为1 ； 第四步：逐渐增大两个阈值，重复以上各步骤，直到阈值达到允许范围上限，并且 哈尔滨工程入学坝二l 学位论文 图像稳定为止。 经过以上方法处理后的边缘点集，减少了断裂带和噪点，可以形成目标物体较为完 整的轮廓。 4 5 实验结果及分析 在m a t l a b7 0 平台上编写程序实现边缘点整合算法，对第三章得到的视频序列中 第1 2 帧图像的人体运动肢体边缘曲线图( 图3 4 ( d ) ) 进行处理，处理前后对比结果如图 4 3 所示： ( a ) 处理前( b ) 处理后 图4 3 边缘点整合前后的运动肢体边缘图对比 图4 3 ( a ) 是经过动态区域边缘点保留法处理后得到的运动肢体边缘图，图4 3 ( b ) 是图 4 3 ( a ) 经过上述边缘点整合算法处理后的运动肢体轮廓图，部分有明显改进的地方已用 椭圆形标出并放大显示。从实验结果可以看出头部下方的噪点被滤除了，手部和大臂内 侧的伪边缘减少了，右臂外侧和肩部的断点得到了填充。 ( a ) 处理前处理后 图4 4 边缘点整合前后的手臂外轮廓图对比 仍以第12 帧为例，如果只提取人体手臂的外轮廓，再利用边缘点整合算法进行处 理，得到的结果如图4 4 所示，其中图4 4 ( a ) 是对图3 4 ( d ) 的运动肢体边缘图只提取其外 3 2 第4 章边缘f m 线处理 iii ill 萱 边缘点集而得到的人体手臂外边缘图，图4 4 ( b ) 是图4 4 ( a ) 经过边缘点整合算法处理后 得到的人体手臂外轮廓图。 由图4 4 可以看出初始的手臂外边缘图中存在许多的噪点和断裂带，经过边缘点整 合处理后，得到了一条完整的连通曲线，这将为后期对轮廓曲线进行进一步分析，实现 动作的识别和分析带来极大的便利。 4 6 本章小结 本章首先介绍了知觉组织及其在数字图像处理领域的应用，然后总结了一套组织边 缘点的方法，并阐述了曲线连接法实现边缘曲线断裂带填充的过程，最后，将边缘点组 织同断裂带填充相结合，提出了边缘点整合算法来完成边缘点的处理。边缘点整合算法 去除了初始边缘图中的噪点和伪轮廓，填充了边缘点集中的细小断裂带，得到了更高的 图像特征，尤其是对人体手臂的外边缘图进行处理后，可以得到一条连通的外轮廓曲线， 为后期对动作的识别和分析提供了良好的基础。 3 3 哈尔滨t 程大学硕十学位论文 第5 章高尔夫球辅助练习系统的设计与实现 人体运动分析是体育运动训练和教学过程中一项非常重要的工作，完整的运动分析 过程一般由观察一分析决策三部分组成。传统的体育运动分析过程是由教练员观 察运动员的动作，然后结合个人的经验对动作过程进行分析和判断。这种简单的运动分 析方式存在着诸多的不足之处，例如教练员光凭肉眼观察，难免存在误差，不够准确； 光凭一个人经验进行判断，存在主观性和片面性；要求运动和训练过程中必须有专业教 练实时在场指导，限制了训练的时间和场合。 为了促进体育运动技术的进一步发展，要求运动分析系统对运动过程的测量和分析 可以更加定量化和科学化；随着各项体育运动的普及，越来越多的普通人在工作学习之 余也进行着丰富多彩的体育运动，大家同样也希望得到专业的技术指导来纠正自己的技 术动作，提高运动水平。综合以上，人们希望有更加科学、智能的体育运动分析系统来 辅助运动训练和帮助体育教学。 将基于视频的人体运动分析技术应用于体育运动训练和教学领域，可以完成对运动 动作做定量、客观、科学的分析，帮助运动员和教练员收集运动数据，改进动作技术， 提高训练效果。同时，还可以让普通的运动爱好者共享体育技术的发展成果，即使在没 有专业教练指导的情况下也可以利用计算机进行智能动作分析和教学指导。本文作者基 于前几章介绍视频人体运动分析领域的相关知识，针对高尔夫球运动，研究了一套高尔 夫球辅助练习系统。该系统可以对运动人员上杆时的手臂动作出分析，将其与标准动作 对比，判定动作是否正确，同时可以将运动数据存储起来，给出定量的动作对比结果， 供专业教练员参考和分析。 5 1系统的总体结构及功能 在高尔夫球的运动中，挥杆动作正确与否直接决定着击球时杆头的角度、击球点的 位置和击球的力度，进而影响着球的飞行轨迹。运动员如果要在上杆过程中保证动作正 确要尽量做到两点：( 1 ) 手臂尽量伸直；( 2 ) 身体要随着手臂扭转。结合人体结构的先验 知识和人体各个肢体和关节的关联性，可以认为在上杆过程中如果右臂肘部弯曲程度小 于标准动作的肘部弯曲程度时待测动作是正确的，反之待测动作是错误的。本系统正是 基于这样的标准来实现动作的分析和判别的。 整个高尔夫球辅助练习系统主要由三个部分组成：视频采集，视频序列处理，判定 第5 章高尔夫球辅助练习系统的设计与实现 结果输出。 【。一1j i一 图5 1 系统总体组成 ( 1 ) 视频采集部分 视频的采集主要通过c c d 工业数码摄像机固定位置拍摄运动人员挥杆过程中的视 频序列，采用俯视角度从人体上方垂直拍摄。视频序列分辨率为6 4 0 * 4 8 0 ，帧速率2 5 帧 秒。 ( 2 ) 视频序列处理部分 在该部分主要通