（计算机应用技术专业论文）基于人体运动跟踪技术的步态分析系统的设计与实现.pdf

摘要 随着计算机的普及和数字图像处理的快速发展，步态分析系统通 常采用图像处理技术实现人体步态运动的跟踪与定位，从而获得运动 步态参数。近年来，步态分析系统已在临床医学、康复治疗、体育科 学、智能人工腿设计等领域得到了广泛应用。但是，随着这些应用的 广泛深入，现有步态分析存在的系统开发成本高、测试精度不高、系 统运行自动化程度低等缺陷越来越明显。 。 针对现有步态分析系统存在的问题与不足，本文基于人体运动跟 踪技术对步态分析系统的三个主要组成模块，即视频图像处理模块、 人体步态运动跟踪与定位模块、运动步态参数提取模块进行了详细的 设计。通过对无标志点的人体步态运动图像序列进行预处理，获得了 运动人体目标的二值图像序列；采用基于人体模型的粒子滤波算法跟 踪人体步态运动，并结合人体下肢外观模型的相似度计算精确定位人 体下肢关节点；利用基于最d , - - 乘的曲线拟合方法获得下肢关节点的 连续运动轨迹，通过数学数运算提取运动步态参数。这些设计方法解 决了原有步态分析系统在步态检测过程中存在的肢体遮挡、标志点变 形等问题，使得基于人体运动跟踪技术的步态分析系统的应用性更 广、稳定性更强、精确性更高。 本文最后对全文的工作进行了总结，并阐述了对人体步态分析系 统做进一步扩充与完善的相关工作。 关键词步态分析，步态分析系统，人体模型，人体运动跟踪，步态 参数 a bs t r a c t w i t ht h ee x t e n s i o no fc o m p u t e ra n dt h e d e v e l o p m e n to fd i g i t a l i m a g ep r o c e s s i n g ，g a i ta n a l y s i ss y s t e mo f t e nu s et e c h n o l o g yo fi m a g e p r o c e s s i n gt oa c c o m p l i s ht h et r a c k i n ga n dl o c a t i n go fh u m a ng a i tm o t i o n ， t h e no b t a i n e dk i n e m a t i c sg a i tp a r a m e t e r s i nr e c e n ty e a r s ，g a i ta n a l y s i s s y s t e mh a su s e di ns om a n yf i e l d sw i d e l y , s u c ha sc l i n i c a ld i a g n o s e s ， r e h a b i l i t a t i o n ，p h y s i c a ls c i e n c ea n di n t e l l i g e n ta r t i f i c i a ll i m bd e s i g n b u t ， w i t ht h e d e e p l yu s eo ft h e s ea p p l i c a t i o n s ，s om a n yp r o b l e m sw h i c h e x i s t e di ng a i ta n a l y s i ss y s t e mb e c o m em o r ea n dm o r eo b v i o u s ，s u c ha s h i g hc o s t ，l o wa c c u r a c ya n dl o wa u t o m a t i o n f a c e dw i t ht h e s ep r o b l e m sa n dd e f i c i e n c i e s ，w ec a r r yo u tad e t a i l e d d e s i g nt oh u m a ng a i ta n a l y s i ss y s t e mb a s e do nt h et e c h n o l o g yo fh u m a n m o t i o nt r a c k i n g ，w h i c hc o n s i s t so ft h e r ep a r t ss u c ha sv i d e oi m a g e p r o c e s s i n g ，h u m a ng a i tm o t i o nt r a c k i n ga n dl o c a t i n ga n dk i n e m a t i c sg a i t p a r a m e t e r se x t r a c t i n g f i r s t l y , o b t a i n i n gb i n a r yi m a g es e q u e n c e sa b o u t h u m a nm o t i o n o b j e c tt h o u g hp r e p r o c e s s i n g h u m a nm o t i o n i m a g e s e q u e n c e sw i t h o u tm a k e r s e c o n d l y , u s i n gp a r t i c l ef i l t e ra l g o r i t h mb a s e d o nh u m a nm o d e lt ot r a c kh u m a ng a i tm o t i o n ，a n dc o m b i n i n gl i k e l i h o o d c o m p u t i n gw i t ht h ea p p e a r a n c em o d e lt ol o c a t el o w e rl i m b e rj o i n t so f h u m a nb o d y t h i r d l y , u s i n gm e t h o do fc u r v ef i t t i n gb a s e do nl e a s ts q u a r e s t o g e tc o n t i n u o u st r a j e c t o r y o fl o w e rl i m b e rj o i n t s ，a n de x t r a c t i n g k i n e m a t i c sg a i tp a r a m e t e r st h r o u g hd e r i v a t i v ec o m p u t i n g t h e s em e t h o d s c a ns o l v es o m ep r o b l e m so fl i m b e ro c c l u s i o na n dm a k e rd e f o r m a t i o n w h i c he x i s t e di nh u m a ng a i ta n a l y s i ss y s t e m ，a n dc a nm a k et h es y s t e m m o r es u i t a b l e ，r o b u s ta n d p o w e r f u l f i n a l l y , t h ep a p e r s u m su po u rw o r kd u r i n gt h e d e s i g na n d d e v e l o p m e n t ，a n dd i s c u s s e sh o wt oi m p r o v et h eh u m a ng a i ts y s t e mi n f u t u r e k e yw o r d s g a i ta n a l y s i s ，g a i ta n a l y s i ss y s t e m ，h u m a nm o d e l ，h u m a n m o t i o n t r a c k i n g ，g a i tp a r a m e t e r s h 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均己在论文中作了明确的说明。 作者签名： 控壹 日期：年一月一日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：垃导师签藿叁壁垒塑日期：兰蜉五月j - 日 硕士学位论文第一章绪论 1 1 课题研究背景 第一章绪论 步行是人类最基本的运动之，在人的行走过程中，整个身体的运动姿态即 是步态。步态由一组复杂的运动组成，人体的生理、病理甚至精神状态的各种变 化都会不同程度地影响到步态。要全面弄清楚步行过程中产生的问题需要多方面 的手段，涉及多学科的知识和技术。随着科学技术的发展，步态分析【1 1 作为一门 新兴的综合性技术，已经引起越来多的研究人员关注和兴趣，步态分析系统的研 制也在临床医学1 2 1 、康复治疗、体育运动分析、智能人工腿设计、步态识别【3 】等 领域均有重要的科学意义及应用价值。 随着计算机的普及和计算机处理能力的提高，利用计算机分析人体步态运动 获取行走的运动学、动力学等参数成为可能，这为步态分析系统的研制带来了极 大的机遇和挑战。较为先进的步态分析系统具有的直观性、实时性、稳定性等特 征越来越显著，逐步成为医院、康复、体育训练中心等部门必不缺少的工具，这 都表明通过目测来研究分析人体步态运动的时代已经成为过去。 目前大多步态分析系统主要使用带标记点1 4 j 方法来获取运动步态参数。一般 情况下，要在受试者的身上( 测试关节部位) 贴上一些发光或反光的标记点，各 标记点的位置由红外摄像系统或传感器设备来确定。另外，为使采集的步态运动 图像中各标记点容易被检测，受试者应穿黑色紧身衣裤，相应的拍摄环境也受到 了严格的限制。由此可见，使用带标记点的步态分析系统不仅需要昂贵的特殊化 硬件设备，还需要与受试者之间进行交互。 现有的步态分析系统在体系结构及应用上存在的缺陷，通常会对人体步态运 动形成一定限制，影响测试结果。近年来，随着高速图像处理设备的出现以及图 像处理、计算机视觉、模式识别等技术的快速发展，步态分析系统正逐步向多特 征值、高速、高分辨率、高精度、高自动化程度、高性能价格比、小体积、少标 记点的方向发展。 针对上述特点，本文基于人体运动跟踪技术来研究步态分析系统设计与实现 这个课题。将无标记点思剁5 】【6 】【7 】1 8 1 引入步态分析系统必将步态分析系统的研制 带入一个崭新的发展阶段。 1 2 课题研究现状 国外步态分析系统研究于6 0 年代开始兴起，国内则于8 0 年代开始起步。步 硕士学位论文 第一章绪论 态分析系统发展到今天，已得到越来越广泛的应用。随着步态分析系统在医疗、 体育、康复、人类学、航空和工业等方面有着重要的应用价值，因此越来越多的 步态分析系统被研制出来。 在国外，早期的研究有b r e s e rb ( 1 9 5 0 ) 、b e c k e t tr ( 1 9 6 8 ) 等。而到了8 0 年代，步态分析系统的主要研究工作集中在建立一种适合于计算机计算的人体步 行模型【9 1 以及对人体步行的在线测量，其中大多数工作都是利用红外摄像系统i l o l 完成的。这些研究的目的在于建立一套完善的步态分析系统，满足临床诊断和康 复评定的需要。当今比较成熟的步态分析系统【i j l 有c o d am p x 3 0 系统( 英国 m o v e m e n tt e c h n i q u e sl t d 产品) 、s e l s p o t - i i 系统( 瑞典s e l e c t i v ee l e c t r o n i c 公 司产品) 、k i s t l e r 三维测力板( 瑞士生产) 和v i c o n 系统( 英国o x f o r dm e t r i c s 公司产品) 等，它们都由测力板、红外摄像系统和专用数据处理机以及计算机组 成。测力板主要用于测量人体行走时地面的反作用力，而各个关节的运动及人体 位置均由红外摄像系统来确定，将红外标记点贴在人体的待测部位上，通过摄像 机接受由它发出并被红外标记点反射回来的红外线信号，再由专用的数据处理机 生成人体的运动位置坐标，最后将这些地面反作用力、人体运动位置等信息输入 计算机，计算出步行时人体的质心运动、能量变化、消耗的功率、运动位置、关 节受力和肌肉力矩等。 我国在步态分析领域的研究起步较晚，大多偏重于动力学研究，而运动学的 研究还处于二维运动特性。从8 0 年代起也开展了各种简易步态分析系统的研究， 主要采用两种思想方法来设计。一种方法是直接法，其基本思想是在试验走道上 铺设电阻网格和测足开关，且需要在受试者的关节部位安装测角仪和测速器，通 过使用这些设备可记录运动过程中足部的受力情况和关节的角度变化；另一种方 法是间接法，其主要是指图像处理技术，这种方法是基于机器视觉、数字图像处 理和模式识别技术的综合。较有代表性的工作如下： 1 ) 上海交通大学的林良明、陈大跃、丁洪、周新宇【1 2 l 等学者研制了一种由 计算机、测角仪及测力板组成的步态分析系统。该系统利用与测力板及安装在步 行道上的压力开关相连的光电装置，控制着整个步态测试中的同步周期采样，并 将其关节角度采样数据记录在随身携带的单片机上。在测试完毕后，用串行通讯 方式将数据传送到计算机中处理。他们提出的用着地脚的积分方程解决以往用这 些测试手段不能确定人体位置的缺陷，再配以用多刚体力学建立的人体步行的运 动学及动力学程序，使它能像那些先进的红外摄像步态分析系统样，计算出步 行时各种能量的变化、人体行走的姿态以及广义关节力等。 2 ) 中国科技大学的杨衍明、林方、袁波、李政i l3 j 等学者以超声三点定位法 为基础研制了一套人体下肢关节点运动轨迹仪，用于测量分析人体行走过程中的 2 硕士学位论文 第一章绪论 下肢步态。该系统采用分时循环发射的超声脉冲作为被检测关节点的定位信号， 以选频高的增益放大器和时钟按需展宽技术对超声信号进行精确定位并消除反 射波的干扰，使定位精度达0 1 5 。整套仪器以微机控制信号采集及处理，并通 过曲线拟合技术重建受试者下肢步态，可在屏幕上以多个视角直观形象地重现下 肢步态的彩色棒图和各关节点的运动轨迹，并对提高该超声步态仪的精度做了进 一步的研究工作。 3 ) 近年来，计算机技术和数字影象技术的飞速发展为研制成本低廉、建造 和使用方便，且具有较高精度，基于摄像技术的人体运动信息检测系统提供了可 能。清华大学的王人成、黄昌华、金德闻【1 4 】【”j 等学者在这方面做了很多工作。 他们首先研制了一种基于普通摄像技术的人体运动信息检测系统。探讨了运用图 像处理技术快速准确识别与跟踪关节位置标志点的方法，解决了影响系统检测精 度和运行速度的关键问题。该系统用普通摄像机取代专用设备，降低了系统成本， 使用操作方便，具有较高的精度。 1 3 步态分析系统存在的问题 多年来，经过步态分析研究人员的不懈努力，步态分析系统的设计由最初的 试探性开发阶段逐步发展起来，并取得了颇有成效的结果，但是从步态分析系统 的实际应用来看，还没有达到人们所预期的水平。目前步态分析系统对运动学参 数的测量主要是通过摄像技术记录人体在二维平面上的运动，人体在步行过程中 要求在人体关键部位上附贴标记点，自动检测这些标记点的坐标位置后，通过计 算机处理获得下肢主要关节的运动变化轨迹，从而进一步分析获取运动步态参 数。由于研究者在标记点定位过程中采用的诸多不同的定位方法以及不同的标记 点的选用，使得步态分析系统的成本、测量精度、自动化程度等方面都呈现出很 大的不同，这也是目前步态分析系统存在问题的主要原因之一。在步态分析系统 的实际应用过程中，主要存在以下几个问题： 1 ) 系统开发成本高 由于国产设备技术指标低，可靠性差，目前设计的步态分析系统都是基于专 用摄像设备通过摄取标记点发出或返回的红外线得到关节位置。如c o d a 系统 将红外发光二极管作为标记点安装在待测部位，利用摄像机记录有源标记点发出 的红外光得到人体各环节运动信息；v i c o n 系统则利用红外线非常敏感的反光 材料作为标记点，工作时镜头周围特殊装置发出的红外线使人体上的无源标记点 成为非常明显的亮点。使用这些进口专用设备，不仅降低了系统的通用性和可升 级性，还使得步态分析系统存在成本高且使用和维护复杂等问题。 2 ) 测试精度低 3 硕士学位论文 第一章绪论 为了精确跟踪人体的步态运动，获取运动步态参数基本上是通过对标记点的 定位得到的。标记点的定位方法主要分为两类：一类是通过传感器设备获取标记 点位置及运动数据；另一类是利用数字图像处理技术识别、跟踪标记点。上述方 法，通过仪器定位标记点通常会对人体运动形成一定限制，存在精度不高、无法 消除电磁干扰等缺点。对标记点进行识别与跟踪，由于这些标记点有时被遮挡或 变形，存在容易产生错位导致定位不精确，影响测试结果的问题。 3 ) 系统运行自动化程度低 最初人们采用摄影胶片摄取运动图像后，需要逐张胶片进行手工关节部位标 定。虽然采用此方法具有对人体运动无妨碍的优点，但整个分析过程存在处理复 杂、周期长等问题。随着基于图像处理技术及标记点的共同使用，研究者们提出 了许多关节定位的算法。为了从图像序列中分析人体步态运动，如何从给定的图 像信息中确定人体关节位置是关键问题。但是现有的标记点识别及定位算法仍存 在很大的局限性，这些限制使得关节点定位方法在实际应用中无法满足要求，有 些即使可以满足，也使得算法的实时性和自动化程度方面和实际需求有交大的差 距。 1 4 基于人体运动跟踪技术的步态分析系统的提出 现有步态分析系统利用带标志点设计步态分析系统实际上并不能自动有效、 准确地捕捉人体的步态运动特性，也就是说，标记点对于方便地捕获人体步态运 动是个明显的障碍，而且这种监测模式及对其所得数据进行计算机处理需要大量 的时间，极大的约束了步态分析及步态分析系统的实际应用。基于此出发点，提 出了基于利用运动跟踪技术来构建人体步态分析系统的方案。 现有步态分析系统在长期的应用过程中取得了较好的成果，但是在系统开发 成本、测量准确度、系统运行自动化程度等方面还存在诸多问题与不足，如用户 在检测人体步态运动过程中，需要使用专用设备跟踪与定位标识点的坐标位置； 标记点的遮挡与变形影响跟踪与定位的效果，从而影响测试结果；标记点的处理 过程需要人工干预进行处理，系统运行周期长、处理数据量大。上述缺点在开发 和使用步态分析系统过程中长期存在。 针对上述步态分析系统存在的问题与不足，利用人体运动跟踪技术1 1 6 9 1 1 孤1 3 1 设计并实现了步态分析系统。在不采用标记点的情况下，通过采用图像处理可以 提取出人体运动目标：使用运动跟踪技术可以提高系统运行速度、降低系统开发 成本、增加系统灵活性等。步态分析系统对人体步态运动进行实时检测，能够有 效地提供运动步态参数，满足了临床医学、康复治疗、体育运动分析等的应用， 推动了步态分析领域的发展。 4 硕士学位论文第一章绪论 1 5 论文的组织结构 论文全文共分六章： 第一章绪论，主要介绍了研究课题的研究背景及研究现状。分析e l 前步态分 析系统存在的问题，针对存在的问题阐述了基于运动跟踪技术的人体步态分析系 统的必要性及其重要意义。 第二章系统总体设计，针对系统需求，提出了系统的结构框架。详细介绍了 系统在实现过程中使用的关键技术，包括图像处理技术和运动跟踪技术。最后描 述了系统的运行环境和主要开发工具。 第三章运动人体目标提取模块设计，详细介绍了该模块的设计思路，采用基 于图像处理的技术方法提取运动人体目标。模块的详细设计中主要介绍了如何提 取出运动人体目标的整个过程。 第四章人体步态运动跟踪与定位模块设计，主要介绍了两种人体步态运动跟 踪与定位的方法，即带标记点和无标记点两种。模块详细设计中针对无标记点方 法的设计思路，跟踪与定位整个人体步态运动过程。 第五章运动步态参数提取模块设计，主要介绍了运动步态参数提取的方法。 通过采用曲线拟合方法确定下肢各关节点的运动轨迹曲线，进一步计算提取出运 动步态参数。 第六章总结与展望，主要是针对本文的工作进行了全面的总结，并对未来进 一步的工作进行了展望。 硕士学位论文第二章系统总体设计与实现 2 1 系统设计需求分析 第二章系统总体设计 目前，大多步态分析系统主要应用于医疗、康复和体育等领域。在临床医学 中，步态分析系统是重要的定量检查和分析手段，能够辅助医生拟定手术方案， 进行疗效评定等方面的一个有力工具；在康复工程中，可为假肢和人工关节设计 提供所需依据，以及指导患者术后的行走训练，是设计智能化假肢的支持技术； 在体育运动训练中，步态分析系统还极其适合体育运动中的训练记录分析和评 价，是分析动作、提高成绩的定量依据。随着这些应用的广泛深入，现有步态分 析存在的系统开发成本高、标记点影响测试精度、系统运行自动化程度低等缺陷 越来越明显。因此，根据用户的实际需求对现有步态分析系统进行改善，从而解 决步态分析系统在应用过程中出现的问题与不足。 需求分析要求详细、准确地分析清楚系统必须“做什么 ，它是关系到系统 开发成败的一个不可或缺的阶段。针对用户在使用步态分析系统进行人体步态检 测后发现的问题，本文设计的人体步态分析系统在具备现有系统相应功能的基础 上，通过使用图像处理技术对人体步态运动图像进行预处理，从而进一步提取出 感兴趣的人体运动目标作为信息处理对象；通过采用运动跟踪技术，在对人体关 节部位不采用标记点的情况下，有效地跟踪与定位人体下肢关节点。依据这个修 改方案，使得本文设计的人体步态分析系统应用性更广、稳定性更强、精确性更 高。由于医院、体育训练等环境与实验环境有很大的不同，因此，设计的人体步 态分析系统要从研究领域进入应用领域，需要达到一定的设计目标： 1 ) 低成本：系统的成本包括系统设计成本和系统使用成本两个部分，达到 低成本的目标是指系统在设计过程中选择的设备是通用的设备，使用起来易操作 和易维护； 2 ) 可靠性：步态分析系统在检测完人体步态运动之后，能够得到有效的、 精确的数据，如在智能假肢设计中，需要得到准确的关节点位置及相关的关节角 度等数据： 3 ) 自动化程度高：步态分析系统在接收到要处理的信息之后，能够有较快 的响应时间，信息处理执行时间也要快，以缩短数据检查、分析的时间； 4 ) 操作简单：步态分析系统不能只局限于专业人员使用，即使是非步态分 析系统设计的研究人员在培训之后都能使用。步态分析系统应该具有操作简便， 易学易用的特性： 5 ) 直观性：步态分析系统能够提供较多的相关信息，如各类步态参数，输 6 硕士学位论文第二章系统总体设计与实现 出的结果也要直观并易于理解、存储，即输出的数据能够进行同步显示，处理的 历史数据能够被存档和归类； 6 ) 灵活性：步态运动检测设备安装方便简单，对受试者的行动障碍少，步 行接近自然运动状态。 2 2 系统的结构框架 根据对目前步态分析系统存在的问题，本文将无标志点思想引入到步态分析 系统的设计中，通过对无标记点的步态视频图像序列运用图像处理技术来实现步 态分析系统将有助于解决步态分析系统存在的诸多问题与不足。本文主要针对无 标记点情况下进行步态运动参数提取的研究工作，最终完成对目前步态分析系统 人体步态运动检测部分的改进。 人体步态分析系统主要由三个功能模块组成：视频图像处理模块、人体步态 运动跟踪与定位模块、运动步态参数提取模块。系统整体结构框架如下图2 1 所 示： 摄像机 i 亲羹庠万【卜j l 二p 芯，r 7 u广j l t 一一j 0 初始化1r 视频文件多关节人体l 。l 先验模型l ( a v i 格式) 骨架模型i7 f ( 初始化姿态) 广 上预测 重 下肢关节角 预测模型 采 运动步态参数提月 视频切分 度预测 ( 预测姿态) 样 ( 。p n g 格式) 艰涮 h 运动妻态参 1 l 一1 人观模型外i7 l ( 匹配计算) 广 运动人体目 上 1 r 标提取 跟踪与定位 应用 图2 1 人体步态分析系统结构框架 本文系统结构框架的三个组成模块，图2 1 的左边部分是采集视频图像并对 图像序列进行运动人体目标提取的过程；中间部分是对视频图像序列中的人体步 态运动进行跟踪与定位的过程，也是本文系统的核心；右边部分是对运动步态参 数计算的过程。针对本文系统框架的三个组成模块，各模块实现的功能分析如下： 1 ) 视频图像处理模块，其主要功能是利用图像处理技术提取视频图像序列 中的运动人体目标，原图像数据经处理后变为二值化的图像序列，这些二值化的 7 硕士学位论文第二章系统总体设计与实现 图像序列就是跟踪与定位模块的原始数据； 2 ) 人体步态运动跟踪与定位模块，其主要功能是利用跟踪技术对二值化的 图像序列中的人体步态运动进行跟踪与定位，最终获得人体下肢关节点的坐标和 关节角度的离散数据集； 3 ) 运动步态参数提取模块，其主要功能是利用最小二乘曲线拟合方法对上 述模块得到的结果进行平滑处理，通过得到关节点和关节角度的连续变化轨迹， 从而可以计算得到各类运动步态参数。 2 3 系统的主要开发工具与运行环境 系统设计、分析和开发主要使用到m a t l a b 7 0 【1 9 】的编程语言以及相应的开 发工具和软件包。m a t l a b 开始作为一种矩阵运算工具而设计，主要为了解决 常用的计算机高级语言如c ，f o r t r a n 等对矩阵运算支持不足的问题。随着功能 的不断增强，成为目前世界上最为流行的计算工具软件，提供了传统的交互式编 程语言、丰富可靠的矩阵运算、图形绘制、数据处理、图像处理、方便的w i n d o w s 编程等便利工具以及各种以m a t l a b 为基础的实用工具箱广泛地应用于自动控 制、图像信号处理、生物医学工程、语音处理、信号分析、时序分析与建模、优 化设计等领域，表现出一般高级语言难以比拟的优势。 人体步态分析系统采用m a t l a b 7 0 进行开发，具有m a t l a b 语言内在的 与平台无关的特点，能在当前所有流行的操作系统上运行。操作系统如微软的 w i n d o w s 系列，如w i n d o w sm e 、w i n d o w s n t 、w i n d o w s2 0 0 0 、w i n d 6 w sx p 等。除操作系统之外，为了使系统能够快速运行，配置一台p e n t i u m ( r ) 4 c p u l 7 0 g h z ，内存5 1 2 m b ，硬盘大小为8 0 g 的p c 机供系统运作。 2 4 系统实现的关键技术 2 4 1 利用m a t l a b 中m 文件编程实现模块功能 m a t l a b 作为一种高级计算语言，可以以一种人机交互式的命令行方式工 作，还可以像b a s i c 、f o r t r a n 、c 等其他高级计算机语言一样进行控制流程 的程序设计，即编制一种以m 为扩展名的文本文件，简称m 文件。m 文件其实 是一个像命令集样的a s c i i ( 纯文本) 码文件，由于商用的m a t l a b 软件是 用c c h 语言编写而成，因此，m 文件的语法与c 语言十分相似，具有语法简 单、调试容易、人机交互性强等特点。 m 文件有两种形式：命令式( s c r i p t ) 和函数式( f u n c t i o n ) 。 8 硕士学位论文 第二章系统总体设计与实现 1 ) 命令式文件就是命令行的简单叠加，m a t l a b 会自动按顺序执行文件中 的命令。由于命令式文件的运行相当于在命令窗口中逐行输入并运行命令，因此， 用户在编制此类文件时只需要把所要执行的命令按行编辑到指定的文件中，且变 量不需要预先定义，也不存在文件名对应问题。 2 ) 函数式文件主要用以解决参数传递和函数调用的问题，它的第一旬以 f u n c t i o n 语句引导。函数式文件可以有返回值，也可以只执行语句操作而无返回 值。函数式文件在实际应用中十分广泛，m a t l a b 所提供的绝大多数功能函数 都是由函数式文件实现的。使用函数式文件进行编程时，要注意文件名与函数名 一一对应，这样才能保证调用成功。 m 文件的程序结构分为顺序结构、循环结构和分支结构3 种。 1 ) 顺序结构就是依次顺序地执行程序的各条语句。顺序结构一般不包含其 他子结构和控制语句，批处理文件就是典型的顺序结构的文件。 2 ) 在编程过程中经常会碰到许多有规律的重复计算，此时就需要对某些语 句重复执行。一组被重复执行的语句称为循环体，每个循环语句都要有循环条件， 以判断循环是否要继续进行下去。m a t l a b 中的循环语句包括f o r 循环和w h i l e 循环。 3 ) 在程序设计中，要根据一定的条件来执行不同的语句。当某些条件满足 时，只要执行其中的某个语句或某条语句。在这种情况下，分支结构能很好地满 足要求。在m a t l a b 中，分支结构语句包括i f - e l s e e n d 语句来进行判断的选择 和s w i t c h - c a s e o t h e r w i s e 语句来实现在多种情况下的开关控制，以执行分支结构。 通过使用m a t l a b 中的m 文件以及程序控制结构来进行程序设计，从而可 以实现系统各模块的功能。 2 4 2 利用图像处理工具箱实现图像预处理 m a t l a b 中图像对象的表达采用一组有序的灰度或彩色数据元素构成的实 值数组。一幅图像可能包含一个数据矩阵，也可能包含一个颜色映射表矩阵。图 像类型包括索引图像、灰度图像、r g b 图像和二值图像。 随着数字化时代的来临，图像处理知识显得越来越重要。m a t l a b 的图像 处理工具箱( i m a g ep r o c e s s i n gt o o l b o x ) 1 2 0 1 就提供了丰富的图像处理函数，主要 可以完成图像的几何操作、图像的领域和图像块操作、线性滤波和滤波器设计、 图像变换、图像分析和增强、二值图像形态学操作、图像配准和恢复等功能。 9 硕士学位论文 第二章系统总体设计与实现 2 4 3 利用m a t l a b 与e x c e l 接口实现数据读取与存储 e x c e ll i i l l ( 【2 1 】将m a t l a b 的数学和图形处理能力与m i c r o s o f te x c e l 这一广泛 应用的w i n d o w s 环境下的电子表格软件的能力结合在一起，将m a t l a b 作为 e x c e l 的数学计算引擎，e x c e l 不仅可以具有强大的高质量图形功能，还可以明显 地降低复杂应用程序耗费的执行时间。e x c e ll i n k 允许在m a t l a b 和e x c e l 之间 进行数据交换，在两个功能强大的数学处理、分析与表示平台之间建立无缝连接。 作为一个可视化的数据处理环境是进行数组编辑的最佳选择，而m a t l a b 则作 为数据分析和可视化的引擎。任何输入到e x c e l 环境的数据都可以直接进入 m a t l a b 进行处理，而这一过程完全是“现场 处理的，没有任何中间文件， 也不需要进行编辑工作。 m i c r o s o f te x c e l 和m a t l a b 建立连接之后，e x c e l 就成了数据处理和应用开 发的前台程序，m a t l a b 就成了支持e x c e ll i n k 宏的后台软件。连接管理函数 实现对e x c e ll i n k 和m a t l a b 的初始化、启动和终止。4 个函数的功能如下： 1 ) m l a u t o s t a r t ：自动管理m a t l a bc o m m a n dw i n d o w 的打开与关闭： 2 ) m a t l a b i n i t ：初始化e x c e ll i n k ，启动m 棚，a b ： 3 ) m l c l o s e ：结束e x c e ll i n k 宏的使用； 4 ) m l o p e n ：开始e x c e ll i n k 宏的使用。 其中m a t l a b i n i t 只能以宏命令的方式运行，其他命令均可以作为数据单元函数 或者宏命令来执行。 e x c e ll i n k 提供了7 个数据管理函数来实现e x c e l 和m a t l a b 之间的数据拷 贝和在e x c e l 中执行m a t l a b 命令等功能。7 个函数的功能如下： 1 ) m l a p p e n d m a t r i x ：依据m i c r o s o f te x c e l 工作表中的数据，在m a t l a b 环境下创建或扩展m a t l a b 应用矩阵； 2 ) m l d e l e t e m a t r i x ：删除该函数指出的矩阵； 3 ) m l e v a l s t r i n g ：在m a t l a b 环境下执行该函数所引用的命令； 4 ) m l g e t m a t r i x ：把指定矩阵中所有数据写到该函数所指定的m i c r o s o f t e x c e l 工作表单元； 5 ) m l g e t v a r ：把指定矩阵中所有数据赋给该函数所指定的m i c r o s o f te x c e l v b a 变量： 6 ) m l p u t m a t r i x ：依据m i c r o s o f te x c e l 工作表中的数据，在m a t l a b 环境 下创建或重写m a t l a b 应用矩阵； 7 ) m l p u t v a r ：依据m i c r o s o f te x c e lv b a 变量中的数据，在m a t l a b 环境 下创建或重写m a t l a b 应用矩阵。 其中使用用着可以以数据单元函数的形式或宏命令的形式调用除了m l g e t v a r 和 1 0 硕士学位论文第二章系统总体设计与实现 m l p u t v a r 以外的所有数据处理函数，m l g e t v a r 和m l p u t v a r 只能以宏命令的形 式调用。 2 4 4 利用g u i 编程实现系统交互界面 通常在开发一个实际的应用程序时都会尽量做到界面友好，最为常用的方法 就是使用图形界面。在m a t l a b 中，图形用户界面是一种包含多种对象的图形 窗口。用户必须对每一对象进行界面布局和编程，从而使用户激活g u i 每个对 象时都能执行相应的行为。另外，用户必须保存和发布所创建的g u i ，是的g u i 能够正真地得到应用。 m a t l a b 为用户开发图形界面提供了一个方便高效的集成环境，即图像用 户乔面开发环境g u i d e 列( g r a p h i c a lu s e ri n t e r f a c ed e v e l o p m e n te n v i o m m e n t ) 。 g u i d e 主要是一个界面设计工具集，将g u l 支持的用户控件都集成在这个环境 中并提供界面外观、属性和行为响应方式的设置方法。g u l d e 将用户保存设计 好的g u i 界面保存在一个f i g 资源文件中，同时还能够生成包含g u i 初始化和 组件界面布局控制代码的m 文件。也就是说，使用g u i d e 不但能够交互地进行 组件界面布局，而且能够生成两个用来保存和发布g u i 的f i g 文件和m 文件： 1 ) f i g 文件：该文件包括g u i 图形窗口及其所有后裔的完全描述，包括所 有对象的属性值。f i g 文件是一个二进制文件，调用h g s a v e 命令或界面设计编 辑器的f i l e 菜单s a v e 选项保存图形窗口时产生该文件。f i g 文件包含序列化的 图形窗口对象，在用户打开g u i 时，m a t l a b 能够通过读取f i g 文件重新构造 图形窗口及其所有后裔。所有对象的属性都被设置为图形窗口创建时保存的属 性：缺省情况下，即使用户使用h g s a v e 和h g l o a d 命令保存系统缺省的图形工具 条和菜单，f i g 文件也不保存这些缺省信息，f i g 文件最有用的地方就是对象句 柄的保存和引用。 2 ) m 文件：该文件包含g u i 设计、控制函数以及定义为子函数的用户控件 回调函数，主要用于控制g u i 展开时的各种特征。这个m 文件可以分为g u i 初始化和回调函数两个部分，用户控件的回调函数根据用户与g u i 的具体交互 行为分别调用。这里将g u i 的m 文件称为应用程序m 文件。应用程序m 文件 使用o p e n f i g 命令显示g u i 。 实现一个g u i 主要包括以下两项工作：g u i 界面设计和g u i 组件编程。整 个g u i 的实现过程可以分为以下几步： ( 1 ) 通过设置g u i d e 应用程序的选项来进行g u i d e 组态； ( 2 ) 使用界面设计编辑器进行g u i 界面设计： ( 3 ) 理解应用程序m 文件中所使用的编程技术； 硕士学位论文 第二章系统总体设计与实现 ( 4 ) 编写用户g u i 组件行为响应控制( 即回调函数) 代码。 2 5 本章小结 本章首先对人体步态分析系统的设计进行了详细的需求分析，通过了解用户 在使用现有步态分析系统过程中发现的问题提出修改方案，使得本文设计的人体 步态分析系统符合实际应用，且达到一定的设计目标。根据系统的需求分析，提 出系统的整体结构框架，本文的人体步态分析系统由图像预处理模块、人体步态 运动跟踪与定位模块和运动步态参数提取三个主要模块组成。最后描述了整个系 统的主要开发和系统的运行环境以及利用m a t l a b 实现人体步态分析系统的几 个关键技术。 1 2 硕士学位论文 第三章运动人体目标提取 第三章运动人体目标提取 运动目标提取的目的是为了在图像序列中将有意义的实体从背景图像中提 取出来，这些有意义的实体在视频中被称为目标对象。该阶段处理结果的质量直 接影响到以后处理效果，因此运动目标提取在各视频应用领域中具有很重要的作 用。在复杂背景下，人眼观察运动的目标是很容易的，但是如何让计算机能够有 效的提取视频图像序列中的运动目标，是一项富有挑战性的工作。 3 1 运动人体目标提取模块设计思路 目前常用的运动目标提取方法包括背景减除法【2 3 】【2 4 1 、光流法【2 5 】和帧间差分 法【2 6 l 三种。在这几种运动目标提取方法中，背景减除法简单、快速，对于简单 的匀速或静止背景中能提取出比较完整的运动目标区域，但该方法对动态场景的 变化敏感；而光流法在摄像机运动时也可以检测出运动目标，但存在计算量大、 反应慢、抗噪性差等缺点；对于帧间差分法，在运动对象内部容易产生空洞，并 且不能精确地得到运动对象的轮廓信息。在对视频图像序列进行运动人体目标的 提取过程中，由于背景自身存在的动态因素，如光照、外来事物的干扰、摄像头 和图像采集卡在拍摄过程中的误差等，都会对背景的建模及运动目标提取带来影 响。 运动人体目标提取模块的设计思路是：首先，采用视频帧差法对视频图像序 列建立背景模型；其次，根据已建立的背景模型，利用图像分割方法检测出图像 序列中的人体目标；最后，经形态学的膨胀、腐蚀及形态学重建运算获得运动人 体的二值图像序列。在图像序列处理过程中，通过及时更新背景来重建背景模型， 从而提高人体目标提取的效果。 该模块是视频图像处理模块的核心模块，主要负责从人体步态运动图像序列 中提取出运动人体目标，从而为人体步态跟踪与定位模块提供源数据。需要指出 的是，摄像机拍摄下的人体步态运动视频信息是a v i 格式的数字视频文件，然 后把a v i 格式的文件切分成b m p 或p n g 格式的图像序列，以便对其进行运动 人体目标的提取。人体运动目标提取模块的工作流程图如图3 1 所示： 图3 1 人体运动目标提取工作流程图 硕士学位论文第三章运动人体目标提取 3 2 运动人体目标提取模块设计 3 2 1 背景建模 假设图像序列的亮度分量为l i ( x ，l ，其中x ，y 表示像素位置，i 表示帧数 ( i - 1 ，n ) ，n 为视频图像序列总帧数，用公式( 3 一1 ) 来表示相邻视频帧差， 它反映了相邻帧间的灰度变化： z ( 五y ) = 吕兰茎；，d = l ，“，g ，y ) - i i g ，y l ( 3 ) 其中：阈值t 用来控制去除噪声，t 的值是当差值图像有最大灰度值时，取最大 值的l m 为阈值t ，m 的取值一般在乱8 之间选取。 实际上，由于一共有n 帧图像，对于每帧图像中的像素点坐标( x ，y ) ，z “力 表示在位置( x ，y ) 处像素点沿时间轴的变化曲线。对于每一个i ，根据石g ，j ，) 是 否大于零将这条曲线分段：其中值大于零的部分是发生变化的区域，值等于零的 区域代表没有发生变化的背景区域，将其中被检测到是静止背景部分的用集合 $ ，g ，y ) ，l m 表示( 注意：由于是不同的帧之间做差值，m 是一个变量) ，如 图3 2 所示。 图3 2 亮度值沿时间轴的变化曲线 其中s ，的起点和终点分别用盯，和e n ，表示。那么一共就存在着n 1 条这样 的曲线。遍历所有曲线，在( x ，y ) 对应的b ， 的集合中，选择最长的静止分段部 分并记录该分段中点的对应帧号为m ( x ，y ) 。第m ( x