（机械设计及理论专业论文）基于摄像系统的上肢日常活动中的运动分析.pdf

摘要 本文以立体视觉测量原理为基础，利用普通d v 摄像机为基本测量工具， 建立三维测量系统，并利用a r i ld y n a m i c s 公司出品的a p a s 获得原始数据， 在刚体假设基础上，建立了简化的上肢运动模型，并给出了一套计算分析方 法。在所建立的模型和方法基础上，利用原始测量数据对人体上肢在日常活 动中的运动特性展开研究。 文中首先论述了摄像系统进行人体运动信息检测的原理、方法及相关的 摄像机标定、数字图像的采集及数据平滑、多机同步等问题进行了全面的论 述。 以逆向运动学理论为基础，文中论述了利用标志点求解环节及关节运动 的方法。在求解环节运动矩阵时考虑了由于皮肤及软组织变形等引起的标记 点间的相互移动，将求解问题转化为最小方差问题，并采用矩阵的奇异值分 解法进行求解，该算法具有较好的稳定性。关节的转动角度采用了欧拉角表 述。文中将标志点分为环节和关节标志点分别用来确定环节运动及关节中心。 并提出静态参考测量的措施，避免关节周围较大的皮肤变形对测量数据的影 响。 根据上肢运动模型，利用v i s u a lc + + 及m a t l a b 混合编程方法实现了上肢 运动分析算法，并解决了a p a s 系统产生的原始数据读入的接口问题。 最后，本文利用摄像系统及编制的程序对日常生活中的上肢活动进行了 测量。并对日常活动进行了总结归纳，得n j t , 项基本动作作为研究的对象。 实验表明，摄像系统的精度可以满足日常活动的研究，并是一种方便快捷的 测量方法。 关键词人体上肢运动分析日常活动标志点 a b s t r a c t a c c o r d i n gt ot h ep r i n c i p l eo fs t e r e o s c o p i cv i s i o n , t h i sp a p e rp r e s e n t sa t h r e e d i m e n s i o n a lm o v e m e n ta n a l y s i sb a s e do nn o r m a lc a m e r a s ，a n dm a k eu s eo f a p a ss y s t e mw h i c hi sp r e s e n t e db ya r i e ld y n a m i c sc o r p t oo b t a i nt h eo r i g i n a l d a t aa b o u tt h el i m bm o v e m e n t as i m p l i f i e dm u l t i b o d yk i n e m a t i c sm o d e li sb u i l t b a s e do nt h ea s s u m p t i o nt h a ts e g m e n t sc a r lb em o d e l e da sr i 百db o d yu n d e rs o m e c o n d i t i o n sa n dr e l a t i v ea n a l y s i sm e t h o di sa l s ob r o u g h tf o r t h m o v e m e n t so f u p p e r l i m bi na d la r ea n a l y z e db a s e do nt h eo r i g i n a ld a t aa n dt h ea n a l y s i sm e t h o d p r o b l e m sa b o u tt h ep r i n c i p l ea n dm e t h o do ft h em e a s u r e m e n t s ，c a m e r ac a l i b r a t i o n ， a c q u i s i t i o no fi m a g e s ，f i l t e ra n ds m o o t ho fi m a g e si sd i s c u s s e da tf i r s tw h e nu s ea v i d e o b a s e da n a l y s i ss y s t e mt os t u d yh u m a nm o v e m e n t t h em e t h o do fa n a l y z i n gm o v e m e n t so fs e g m e n t sa n dj o i n t sw i t hm a r k e r si s p r e s e n t e db a s e do nt h ea n t i k i n e m a t i c sk n o w l e d g e t h er e l a t i v ep l a c e m e n t sa m o n g m a r k e r sa r ec o n s i d e r e dt h a tc a u s e db yd e f o r m a t i o n so fs k i na n ds o f ti s s u e s ，t h e n t h ep r o t l l e mo fo b t a i ns e g m e n tm o v e m e n tm a t r i xi sc h a n g e dt oal e a s t s q u a r e p r o b l e m t h es i n g u l a rv a l u ed e c o m p o s i t i o nm e t h o di su s e dt o w o r ko u tt h e l e a s t s q u a r ep r o b l e m e u l e ra n g l e sa r ea d o p t e dt od e s c r i b et h ej o i n tm o v e m e n t s ， t h em a k e r sa r ec l a s s i f i e d i n t os e g m e n ta n dj o i n tm a k e r st og e tt h es e g m e n t s m o v e m e n t sa n dj o i n tc e n t e r sr e s p e c t i v e l y as t a t i cr e f e r e n c em e a s u r e m e n ti st a k e n t oa v o i dt h ee f f e c to fb i gs k i nd e f o r m a t i o na r o u n dj o i n t st ot h em e a s u r e dd a t ao f j o i n tm a r k e r s a c c o r d i n gt ou p p e r - l i m bm o d e l ，t h eu p p e rl i m bm o v e m e n ta n a l y s i sm e t h o di s a c h i e v e db yp r o g r a m m i n gw i t l lb o t hv i s u a lc + + a n dm a f l a b t h ei n t e r f a c ef o r i n p u t t i n go r i g i n a ld a t ao b t a i n e db ya p a si sd e s i g n e d f i n a l l y , t h em o v e m e n ta n a l y s i ss y s t e ma n dt h ed e s i g n e dp r o g r a ma r eu s e d i n t oa n a l y s i so fu p p e rl i m ba d l ( a c t i v i t i e so fd a i l yl i f e ) e i g h tb a s i ca c t i o no f u p p e rl i m bi sp r e s e n t e db a s e do nt h es u m m a r ya n dd i v i d i n ga n a l y s i so fa d l t h e t e s ts h o w st h a tt h em e a s u r e m e n tb a s e do nc a m e r aa n a l y s i ss y s t e mi sa na c c u r a t e a n de a s ew a yt oa n a l y s i su p p e rl i m bm o v e m e n to f a d l k e yw o r d s ：h u m a nu p p e rl i m b ，m o v e m e n ta n a l y s i s ，a d l ，m a r k e r 天津科技大学硕士学位论文 第一章绪论 1 1 人体运动研究的意义与领域 哲学上讲世界是运动的物质世界，物体的运动是绝对的。人作为物质世 界的一种生物体，当然也与运动密不可分。假如人不能运动，那么，不仅人 不能对外界发生作用，而且人的存在也是难以想象的。我们看到人与外界的 一切联系，一都要通过大的运动为媒介。这就是研究入的运动的必要性。 我们在研究人体运动时，可以把人体运动分为人体的内部运动和人体与 外界发生作用的运动两部分。这样区分是有实际意义的。假如整个身体基本 保持不动，那么，人的运动也就局限在人体的内部运动上了，这种内部运动 也可以叫人体内部的状态的变化。 当要研究或分析人的运动时，实际上把人当成了一个物质的构成体。至 于这个物质的构成体内部发生了什么变化与运动，没有外部的运动是很难表 现出来的。比如说，在人的大脑中进行了一定的思维过程，完成了一个计划 或一项设计理念等等。如果没有外部运动，那么这种理念就被保持在人的大 脑之中，也就没有形成信息输出。这一点是明确的，即便是微量的信息输出， 离开人的外部运动都不可能。 所以人的信息输出的过程就是一个内部运动和外部运动的协调性的综合 运动。仅有内部运动显然是不够的。而仅有外部运动则也根本是不可能的。 人对外界的一切作用，必须通过人的运动来实现。不管是对外的直接作用， 还是对外信息输出，都是这样。 可以这样说：人要生存，就需要运动，要改变外在的一切，就需要运动。 从哲学上我们认识到运动作为人与外界联系的桥梁，我们对其进行研究 很有意义。 回到现实中来，随着社会文明的发展进步，“以人为本”的理念不断深入 到人心，人类更加注重了对自身的关怀。在这种时代背景下，研究人与环境 以及两者间的媒介人体运动，以及如何协调人与外界环境的关系，提高 生产效率，改善人们的工作环境等等显然具有深远的现实意义。 人机工程学从系统的层面上运用解剖学、心理学和生理学等各方面知 识，对如何提高由人与机器或者更广泛地说人与外界环境组成的人机系统的 工效、协调二者间的关系进行了研究。 人体生理结构的复杂性决定了人体运动研究需要多种学科的交叉，其应 用范围也就相应的十分广泛。人体运动生物力学根据运动学、动力学、人体 解剖学等方面的知识，并利用人体测量技术进行信息的采集，对人体运动器 官系统力学及人体在空间进行局部或整体运动时，在各种力的作用下，人体 第一章绪论 在时间和空间中的位置、姿势、，运动速度等的变化规律。目前，在医学损伤 评估、康复训练、体育训练等领域已经有了广泛的应用。 人体运动的灵巧性、巧妙性、协调性是任何机械都难以媲美地，因此， 人体运动生物力学和仿生机械学地结合，催生了许多新的研究领域。比较典 型的研究方向有1 2 ： ( 1 ) 生物材料力学和机械。以骨或软组织( 肌肉、皮肤及与交通事故有 关的脑组织等) 为对象，通过模型实验方法，测定其应力变形特性，求 出应力分布规律。此外，还可根据骨骼、肌肉系统力学的研究，对骨 和肌肉的相互作用等进行分析。 另外，生物的形态研究也是一大热门。因为生物的形态经过亿万 年的变化，往往已形成最佳结构，如人体骨骼系统具有最少材料、最 大强度的构造形态，可以通过最优论的观点来学习模拟建造工程结构 系统。 ( 2 ) 生物流体力学。主要涉及生物的循环系统，关于血液动力学等的研 究已有很长的历史，但仍有许许多多的问题尚未解决，特别是因为它 的研究与心血管疾病关系十分密切，已成为一门备受关注的学科。 ( 3 ) 人体生物运动学。生物的运动十分复杂，因为它与骨骼和肌肉的力 学现象、感觉反馈及中枢控制牵连在一起。 虽然各种生物的运动或人体各种器官的运动测定与分析都是重 要的基础研究，但在仿生机械学中，目前特别重视人体上肢运动及步 行姿态的测定与分析，因为人体上肢运动机能非常复杂，而下肢运动 分析对动力学研究十分典型。这对康复工程的研究也有很大的帮助。 ( 4 ) 生物运动能量学。生物的形态是最优的，同样，节约能量消耗量也 是生物的基本原理。人体的能量是实现人体巧妙运动的基础，因此从 运动能量消耗最优性的特点对生物体的运动形态、结构和功能等进行 分析、研究，特别是对有关能量的传递与变换的研究，是很有意义的。 ( 5 ) 康复工程学。包括如动力假肢、电动轮椅、病残者用环境控制系统 等。它涉及许多学科和技术，比如对于动力假肢，只有在解决了材料、 能源、控制方式、信号反馈与精密机械等各种问题之后才能完成，而 且这些装置还要作为一种人机系统进行评价、试用，走向实用化的道 路是非常艰难和曲折的。康复工程可以说是人体运动生物力学和机械 工程学结合的典型范例。 ( 6 ) 仿生机构学。在目前的机器人研究领域，特别是智能类人机器人 领域。对人体运动特性、机理的研究有十分重要的意义。比如多指灵巧 手、多自由度机械手臂、步行机器人都是目前的热点。 另外，必须注意的是进行人体运动方面的相关研究必须首先获取人体的 天津科技大学硕士学位论文 各种运动进行合适的测量，获取人体运动的相关数据与参数，进而在统计分 析的基础上，探求人体的运动特性、分析机理，并应用于实践。只有在准确 的人体运动信息基础上进行的研究才有实际意义。 1 2 人体运动研究的发展 3 【4 哲学及自然科学告诉我们，物质的运动是绝对的。宇宙空间的任何物质、 物体无时无刻不在运动中，大到星系、宇宙天体的宏观相对或绝对运动，小 到微观世界的分子热运动、电子运动等等。人类在认识自然、改造物质世界 以及认识自身的过程中，对运动的研究也不断深入，研究领域也不断拓宽。 人体运动作为一种生物运动形式，从广泛意义上来说，一直吸引着人们的目 光。只是随着时代的发展以及社会的进步，人体运动研究的原因或者说其推 动力不断的发生变化。 在现代考古学中，发现旧石器时代的岩洞壁画中已经有了一些描述人和 动物的运动的画面，这些画面可能多少和人类的生存问题有关：如何更快地 从一个地方移动到另一个地方，如何猎取野生动物、如何躲避猛兽等等。当 然，我们不能确切地说，人类此时已经开始了对自身运动的思考或研究。但 至少可以说，此时人体运动已经朦胧地进入人类的视野。人类现有的文字显 示，早在公元前5 0 0 年到3 0 0 年，古希腊的哲学家已经有了描述分析人体运 动的记载。不过，古希腊哲学家深信“直觉”的认识力量，因此他们的观察 停留在“逻辑思考”的层次上，没有相关的实验方法来指导对人体运动的深 入研究。 真e 意义上的人体运动研究是和人体解剖学的完善和力学的发展分不开 的。1 5 世纪末，意大利科学家列奥纳多达芬奇从人体解剖和力学的角度， 研究了人体的各种姿势和运动，其中对人体步态的力学研究和近代人体运动 学研究相仿，他首先提出了“一切能够运动的生物体都遵循力学定律而运动” 的重要观点。法国物理学家笛卡尔在1 7 世纪初曾经尝试着将人体看作机器， 并从纯力学的观点建立了一个十分复杂的人体结构模型，甚至包括神经系统 的功能，他韵研究思想很有创造性和影响性，目前仍然有不少力学专家丰富 这种理论分析方法并取得成就。与笛卡尔同时代的意大利解剖学家博雷利将 解剖学和力学结合起来，比较系统地研究了动物和人体的运动，并完成了学 术著作论动物的运动一书。至此，人体运动的研究基本处在力学原理性 分析阶段。 人体运动研究从力学原理性分析阶段进入实验测量阶段的早期学者是法 国生理学家韦伯兄。他们在1 8 3 6 年用时钟计时的方法测量了人在走路过程中 的时间空间特征，并得出了走速和身体支撑时间成反比关系的结论。他们的 法国同行缪勒( g m u i l e r ) 用同样的方法测量了人体走和跑时下肢支撑期和 第一章绪论 摆动期的时间和比例关系。此时的人体运动测量手段应该说很简陋。后来摄 影影像技术的引入，使运动测量手段有了很大的飞跃。1 8 7 7 年，美国摄影师 麦御旱奇( e m u y b r i d g e ) 用2 4 台照相机拍摄了马奔跑的连续照片，后来他 又拍摄了人体走、跑等动作的连续照片，并在1 9 0 1 年发表了专著运动中的 人体运动图像，从而奠定了影像测量方法的基础。几年后，马勒( m a l e r ) 、 德美尼( d em e n i ) 等提出了运动轨迹定位照相法和连续光点照相法，这些方 法直到现在仍被用来研究人体运动。 2 0 世纪3 0 年代英国生理学家希尔( a v h i l l ) 开展了关于肌力的研究， 他取青蛙的缝匠肌为试样，通过测量肌肉在缩短过程中的肌张力、肌肉缩短 速度、肌肉产生的热量及肌肉维持痉挛状态所需的热量，并按照热力学第一 定律建立了与实验结果相当一致的希尔方程。希尔关于离体肌肉的经典性成 就，奠定了肌肉力学的理论基础，并获得了诺贝尔生理学奖。希尔关于青蛙 肌肉的研究为后来的人体肌肉力学的研究奠定了基础。后来的科学工作者受 其启发，在人体尸体解剖的基础上，开展了人体离体肌肉的力学研究。从此， 人体运动生物力学的一个重要领域：肌力与肌肉的生理特性的相关研究逐渐 发展起来。 2 0 世纪后半叶以来，计算机及电子技术的飞速发展以及传感技术、优化 技术等智能分析技术的应用带来更为准确便捷的现代测量技术。继阿马尔 ( a m a e 0 研制了第一台两分量测力台，使运动生物力学进入在体动力学测量 后，莱曼德( r e y m o n d ) 在伽伐尼( g a l v a n o 论在肌肉运动中的电力的基础上， 创立了肌电测量技术。阿马尔和埃弗特曼( e l n m a n ) 基于人体运动效率，创立 了力能学测量技术，后入从此技术进一步发展了肌力优化技术和能量优化技 术。高速摄影技术、传感测量技术以及同步测量技术应用于运动生物力学的 测量后，使的人体运动生物力学测量的研究进入了三维运动学和空间力学研 究的层面上，为全面研究人体运动效能提供了良好的保证 6 1 。与此同时，多 刚体动力学和计算力学的在解决人体运动学问题的同时，获得了实验技术的 支持。尤其是当代计算机图形学、视频动画技术、动作跟踪捕捉技术的渗入， 极大地丰富了人体运动生物力学的测量技术。不断涌现的新兴测量技术使人 体环节的惯性参数的活体测量成为可能，1 9 7 8 年前苏联的扎齐尔奥斯基采用 v 射线扫描法，我国学者郑秀瑗等于1 9 9 2 年采用c t 扫描法，分别测量了人 体环节惯性，并建立了相应的人体质量分布模型。 以三维高速摄影测量、三维动态测力、多通道肌电信号测量、等动肌肉 力矩测量以及同步测量技术为标志的现代运动生物力学测量技术，已经使得 人体的运动测量可实现实时化、可视化以及三维空间范围内的测量分析。虽 然现代测量技术为运动生物力学的发展提供了强有力的催化剂，但是我们应 该认识到研究生物运动的力学问题，根本上取决于测量研究技术以及分析技 天津科技大学硕士学位论文 术。但是学术界的研究者已经意识到现代测量技术应用于人体运动分析的局 限性源于我们对人体运动力学的本质认识还不够深入。运动生物力学的测量 技术还依赖于其他学科，如计算机技术、电子测量技术、人体生理学等相关 学科的发展。 1 3 人体运动研究的测量分析方法 进行人体生物力学的运动分析，首要任务是通过合适的测量方法及手段 获取人体运动过程中的相关特征信息。然后，在足够的、准确地数据基础上， 进行相关处理，从而达到研究目标。长久以来，人体运动生物力学研究方法 的持续发展，促成了运动生物力学的不断进步，也因此使得运动生物力学的 研究范围不断扩展，运动生物力学的内容更为详实。人体运动生物力学研究 领域十分广阔，因此由于研究的侧重点不同、数据需求内容上的差别，导致 了多种测量方法的出现。 目前，运动生物力学研究的测量方式有两种类型： 第一，基于人体标本的方式。通过人体肌肉、骨骼标本可以直观地进行 有针对性地试验。比如我们可以直观地分析人体某一块肌肉的运动特性，可 以分析某个关节的确定运动。但是，这种方式得到的测量结果，只能用理论 研究，很难应用于活体。 第二，基于活体( 在体) 的测量方式。针对人体进行直接或间接测量， 这种方式得到的实验数据相对于从标本得到的数据更具有说服力，容易接受 实践的检验。但是这种方式的局限性在于，由于人的身体素质各不相同，因 此实验数据存在个体差异，只有对足够的样本数据进行统计分析后，得到的 数据才有意义。这也意味着实验任务十分艰巨，必须有一套快捷的测量系统 来辅助完成实验。 另外，某些在体测量可能会干涉人体动作，从而影响实验对象自然地、 完整地完成动作。 运动生物力学范畴内的分析方法也很多，但主要集中在以下几个方面”： ( 一) 生物力学测量方法 常用的有人体形态测量方法、人体柔韧性测量、肌电测量方法。其他还 有人体惯性参数测量方法、人体材料力学测量方法等等。这些测量主要从生 物学的角度，研究人体的运动特性以及相应的影响因素。目前这方面的测量 研究主要在建立身体各肢体的重量、体积、密度、重心位置、转动惯量等肢 体资料上。对于人体活动的研究来说，身体各肢体资料建立的意义，在于作 为进一步分析身体重心位置与各关节应力的依据，是相当重要的运动生物力 学分析法。一般而言，主要的身体肢体资料测量法，包括直接测量法、尸体 解剖法、反应力板法、浸水法、y 射线扫描法、摄影法与数学模式法等。 第一章绪论 ( 二) 运动学测量方法 最常用的测量方法有摄影摄像测量分析法：红外光点测量法；激光测量 法；电磁测量法等。摄影分析法是运动生物力学最广泛的研究方法，包括照 片、频闪摄影，录像带、x 光摄影等，其主要目的在透过摄影的方法，将人 体身体活动的情形记录下来，以进行更多、更正确、更客观的人体活动分析。 近年来，有关三维空间摄影技术与摄影器材的长足发展，使得摄影分析法的 实用性与应用性愈简单、愈精确。从原理上讲摄影摄像分析法及红外光点、 激光测量法都是光学测量法，遮挡现象是其重要缺陷，需要注意和克服。 另外，可以通过专门的仪器，测量特定的运动参数。如将角度测量器置 于关节的中心位置，并且固定其两轴于相邻肢体的纵轴上，使得角度测量器 的两轴随着肢体的活动而改变测量器的角度测量值，同时记录其角度值( 放 大器与示波器) 于报表纸或电脑荧屏幕上。 加速测量器可以置于身体的任何肢体上，以作为测量身体各肢体加速情 形的资讯，然后藉由肢体质量与加速值的乘积，即能获得肢体产生的外力大 小。 ( 三) 力学测量方法 静力学测量方面，主要是通过测力仪如c y 3 e x 、t k k 、b i o d e x 等测力仪， 测量有关的人体静力，如握力、背力、关节肌力等。 动力学测量主要通过测力台、等速测力仪等测量人体在运动中对外界的 作用力与受到的反作用力。测力台可以测量出人体在步态运动过程中，作用 于外界的力量大小、作用力方向、作用力的位置、平衡力与重量大小、力矩 大小以及压力中心等，是相当有效且方便的运动生物力学研究方法。此类研 究亦是运动生物力学的研究主流之一。 另外，在实际的测量中，根据研究的需要，人们往往综合利用多种方法， 同时利用多种设备进行有针对性的测量。比如，在利用摄像系统进行运动信 息获取的同时，利用测力台进行步态中的动力测量。在综合运用多种方法及 手段时，数据的同步性变的十分重要。此时，要采取同步措施或方法保证多 系统( 设备) 之间的同步测量。 1 4 本论文的主要内容 人体f j 常活动特性的研究对于仿生机构、康复训练器材开发、人体功能 评估、运动损伤评价、人机工程等领域的研究具有重要意义。本文旨在利用 普通d v 摄像机构建摄像系统，并借助于a p a s ( a r i e lp e r f o r m s j l c ea n a l y s i s s y s t e m ) 系统对人体上肢在日常活动中的运动特性进行研究。 为此，首先对摄像系统进行人体运动信息检测的原理、方法及相关的摄 像机标定、数字图像的采集及数据平滑、多机同步等问题进行了全面的论述。 天津科技大学硕士学位论文 接下来，对人体上肢的运动分析方法进行了深入全面的论述。在分析棒 状人模型的基础上，根据r b a ( r i g i db o d ya s s u m p t i o n ) 假设及上肢生理特 点，建立了上肢的多刚体运动模型。在刚体运动模型基础上，给出了利用标 记点实现环节运动及关节运动分析的方法。其中在计算旋转矩阵时，考虑了 由于皮肤、软组织等变形引起的标记点相对位置的变化，将问题的求解转化 为最小方差问题。并采用了奇异值分解算法，保证在接近奇异的情况下，仍 然有较好的计算稳定性。在计算关节的运动时，考虑了躯干的运动，从而减 少了躯干运动对上肢运动分析的影响。 在所建立的上肢运动模型基础上利用v i s u a lc * 及m a t l a b 混合编程的 方法，实现了上肢运动分析算法。并开发了a p a s 系统与上肢运动分析程序 的接口，实现了大批量数据的自动读入。 最后，在总结人体日常活动的基础上，归纳了几项典型的基本动作，并 利用摄像系统及a p a s 系统进行了实际测量。并利用编制的程序求解得到上 肢关节的运动参数。 第一章基于摄像系统的人体运动信息获取 第二章基于摄像系统的人体运动信息检测 2 1 人体三维运动信息检测方法 人体三维运动分析是通过测量系统跟踪人体运动，记录运动过程中身体 各环节的位置及其运动轨迹，并通过适当的分析处理得到人体运动学与动力 学方面信息。它在运动员训练、医疗诊断、康复评定、智能监控、虚拟现实、 计算机动画、人体仿生机构等领域有着广阔的应用前景，因此近年来备受研 究者的关注。 目前，三维人体运动信息检测方法主要有三种类型8 】： ( 一) 摄影( 像) 测量法。目前近景摄影测量系统多利用普通摄像机或 高速摄像机对运动体的运动进行跟踪拍摄。通过对视频序列的数字化处理、 平滑、三维重构等步骤得到相应的运动信息。摄影测量的优点在于它是一种 非接触性测量手段，不伤及被测目标物体，不干涉被测物自然状态，可在恶 劣条件下( 如水下、放射性强、有毒缺氧以及噪音) 作业；测量信息量高，获得 信息易于存储，可重复使用信息，速度快，特别适用于测量含有大批测量点 位的目标：是一种适用于动态物体外形和运动状态测定的手段，是一种适用于 微观世界和较远目标的测量手段。 ( 二) 红外光点测量法。使用高精度的红外光点测量系统的红外光摄像 机，对固定在运动物体某部位( 例如人体关节处) 上的红外光发射点进行拍 摄。然后，通过系统的采集部件和专用计算机对红外光点的运动数据进行采 集、运算、处理，从而获得人体的运动学数据和曲线图表等。 ( 三) 电磁系统测量法 电磁系统主要由电磁波发射器、电磁传感器及信号接收器组成。此测量 方法通过电磁波发射器产生一定频率的电磁波，在人体运动过程中，附着在 人体上电磁传感器随人体运动，其感受到的磁场强度也相应发生变化。并将 信号反馈到信号接收器中。通过信号接收器的分析得出传感器在空间的位姿 变化信息，然后通过数据处理得到人体运动信息。 红外光点测量法与普通摄像测量法的不同在于：( 1 ) 在整个摄像过程中， 全部红外光点( l e d ) 的发光面必须对准各台红外摄像机的镜头；( 2 ) 不需要录 像解析的过程，拍摄后可立即得到结果，测量速度高于普通摄像测量法；( 3 ) 测量精度可达到o 2 r a m ，高于普通摄像的精度( 3 5 r a m ) 由于红外光点测量法与电磁测量系统的设备比较昂贵，目6 u 在人体运动 生物力学领域内，基于摄像系统的摄影测量方法应用比较广泛。 天津科技大学坝十学位论文 2 2 基于摄像系统的人体运动信息检测 由于普通摄像系统具有非接触测量的特点，并且测量速度快，目前被广泛 应用于人体运动生物力学领域内，进行人体运动信息的检测。 2 2 1 检测原理 从原理上讲，采用普通摄像系统进行人体三维运动信息检测，是基于双目 立体视觉测量技术的近景摄影测量。其本质是种基于图像的运动测量方法， 即利用摄像机拍摄图像，通过对图像的处理得到目标的深度信息，从而解算 出目标的位置与姿态。 ( 1 ) 立体视觉测量技术 自然界的物体都是三维的，人类通过两眼获得物体的三维立体信息。但 一般的摄影系统只能把三维的物体以二维的形式保存、记录下来，同时丢掉 大量的信息。计算机立体视觉指的就是运用计算机技术和光学手段在获取的 一幅或多幅图像中还原出被摄物体的立体形状，获锝三维数据值。 目前，比较常用的立体视觉技术有：双目成像法、傅里叶变换轮廓法、 位相测量法、莫尔轮廓法及主动三角形法等几种【l i 12 1 。其中双目立体视觉技 术在普通数字摄像系统中广泛应用，尤其在人体运动生物力学测量中，应用 更为广泛。 ( 2 ) 双目视觉技术原理 1 4 【1 5 】 人类通过双眼获得物体在空间中的三维信息。双目成像视觉技术正是根 据人眼的成像原理，利用两台摄像机对物体从两个不同角度获取两幅图像， 计算机通过对一个物点在两幅图像上不同的位置进行处理，得到物体的立体 信息。该方法类似于人眼的体视功能，原理直观。基本原理如图l 所示，j 为空间任意一点，通过图像处理及分析测定点j 像坐标( x i ，y i ) ( i = l ，2 ) ，建立三 维空间重构算法，即可由( x ，y j ) ( i = l ，2 ) 恢复点j 的三维坐标( x ，y ，z ) 。 图1 双目立体视觉成像原理图 第一二章基于摄像系统的人体运动信息获取 双目立体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵 活、使用范围广等特点。一般适合于对物体的特征点，如角点、边界线进行 计算进行信息采集。 2 2 2 运动信息的检测方式 利用摄像系统进行人体运动信息检测一般过程为：系统标定，运动拍摄， 数据图像处理，三维信息的重构与提取，根据人体模型进行运动分析计算。 从总体上讲，我们可以将基于摄像系统的运动信息检测分成两类： ( 1 ) 利用图像与模式识别技术，用户身上不放置任何标记物。由于每一 幅图像中隐含有深度信息，综合处理多幅图像所包含的目标深度信息就能够 得到目标的三维数据。在这种跟踪系统中，通常使用光流场理论或者是通过 图像匹配来找出被跟踪物体的特征【9 】，根据其特征在时域( 帧间) 或者空域 ( 帧内) 中状态间的关系来进行解算。这种测量方法对于用户而言无任何负 担，并且由于跟踪的是人而不是节点或者点，所以能够比较真实的反映肢体 的形态，而不是通过有限的信息人为地创建肢体形态，这是这种跟踪方式的 主要优点；但是它同时还存在有很多缺陷：摄像机工作空间有限、精度低、 不稳定、跟踪速率慢、遮挡以及多计算机共同工作时数据传输延时和同步问 题等，并且价格昂贵等。 ( 2 ) 标志点检测方、法【旧】。在实验者身上布置一定数量的主动发光标志点 或被动发光标志点。标志点方法大大的降低了图象处理工作，使得系统工作 速率得以提高、这种设计使得一些系统已经比较精确了。对于点的信息，这 种方法的测量精度比较高。 2 3 立体摄像测量系统的组成 为全面的检测人体三维运动信息，经常用到立体摄像测量系统，其组成 一般包括： ( 1 ) 多台摄像机及三角架 由双目视觉测量技术的原理可知，我们可以利用最少两台摄像机对空间 中的物体进行拍摄，利用两台摄像机得到的图像进行三维重构以及必要的数 据处理，从而得到物体在空间中的位姿。但是，对于空间中的静止的物体， 我们可以通过合理的摄像机布置，使两台摄像机能从不同的角度捕捉到物体 上同一点的图像，但对于运动的物体，两台摄像机很难满足，在任意时刻至 少有两台摄像机拍摄到目标的图像。因此，一般的摄立体摄像系统通常至少 使用两到三台摄像机。 三脚架要求支撑稳定并且高度可调，支架的转盘上最好带水平仪。 ( 2 ) 立体标定框架 天津科技大学硕士学位论文 标定框架一般为立方体形状或辐射状，且要求有较高精度和较强的刚性， 框架上要有多个已知坐标的标定点。均匀分布在框架的各个边、角、对角线 或辐射杆上。也可以在拍摄的范围内放置多条( 一放采用4 条) 垂直的标杆，每 条标杆上固定有数个标定点，用全站仪测量出各个标定点的水平角与垂直角， 计算出各个标定点的坐标。 ( 3 ) 同步装置l l 在立体摄影( 像) 时，要求两台或多台摄影( 像) 机的拍摄速度一致。做到 双机或多机同步，在两( 多) 组底片或录像带上找到同一时刻的画面，否则解析 出来的数据就会产生很大的误差。多机单画面摄像系统通过同步装置连接各 个摄像机，使得采集与记录的相位达到同步。内同步的方法可在拍摄时用电 脉冲信号在两( 多) 台摄像机的影片或录像带上打上标记。以准确匹配不同摄像 机所拍摄影像的时相。对于无内同步装置的摄像机，可采用闪光同步的方法， 在两f 多) 台摄像机的公共视场内放置闪光装置，在拍摄对象进入拍摄范围时， 人工控制闪光灯开关，这样在解析时，可根据图像上的光点对齐同步的图像。 ( 4 ) 计算机及图像采集卡 由于要处理摄像系统的视频图像，为避免通过图像采集过程中失帧，因 此对计算机的硬盘转速，c p u 频率，内存等性能指标要求都比较高。 2 , 4 摄像系统标定 利用非量测摄像机进行运动测量或跟踪，首先要进行摄像机的标定。只 有高精度的标定才会得到准确可信的测量信息。 2 4 1 标定的含义与过程 立体视觉的基本任务之一是从摄像机获取的图像信息出发恢复三维空间 中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几 何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定 的，这些几何模型参数就是摄像机内外方位元素。在大多数条件下这些参数 必须通过实验才能得到，这个过程被称为是摄像机标定i i “。 在标定过程中通常要利用数学方法对从图像中获得的数据进行处理。通 过数学处理手段，摄像机定标提供了非测量摄像机与专业测量摄像机之间的 联系i 地】。而所谓的非测量摄像机是指这样一类摄像机，其内部参数完全未知、 部分未知或者原则上不确定。 摄像机标定需要确定摄像机内部几何和和光学特性( 内方位元素) 和相对 一个世界坐标系的摄像机坐标系的三维位和方向( 外方位元素) 。其流程如图 2 1 所示。 第二章基于摄像系统的人体运动倩息扶取 两弦网网 ! 堡竺 ji 兰竺竺 j ! 竺竺兰 jl ! 塑垄塑 j 图2 1 摄像机标定内容示意图 简单的说，摄像机标定的过程就是确定内外方位元素的过程。内部参数 表示摄像机的光学本质特性，包括图像中心坐标、图像尺度因子、有效的焦 距长度和透镜的畸变失真系数。在一般的计算机视觉应用场合，摄像机的内 部参数一般保持不变，除非在某些变焦距的应用情况下，焦距长度会发生变 化，因此在实际应用情况下，可以事先将摄像机的内部参数标定好，应用中 只标定摄像机的外部参数。摄像机的外部参数表示摄像机相对于一个世界坐 标系的位置和方位。 2 4 2 摄像机标定分类 由于标定技术对视觉测量技术具有至关重要的作用，所以标定方法的研 究一直是一个研究的热点，因此标定方法得到不断地丰富和完善。 摄像机标定可以分为三种不同的形式 2 0 】： ( 1 ) 传统标定方法。所谓传统的摄像机标定方法是指用一个结构已知、 加工精度很高的标定块作为空间参照物，通过空间点和图像点之间的对应关 系来建立摄像机模型参数的约束，然后通过优化算法来求取这些参数。 传统方法的典型代表有d l t 法、t a s i 的方法、w e n g 的迭代法等。 传统方法的优点是可以使用任意的摄像机模型，标定精度高，其不足是 标定过程复杂，需要高精度的标定块或标定框架，而实际应用中在很多情况 天津科技大学硕士学位论文 下无法使用标定块。当应用场合所要求的精度较高且摄像机的参数不经常变 化时，传统标定方法应为首选。 ( 2 ) 摄像机自标定方法。这种不需要标定块，是指仅依靠多幅图像对 应点之间的关系直接进行的标定。由于自标定仅需要建立图像对应点，所以 标定方法灵活性强，应用范围广泛。自标定方法最大的不足是鲁棒性差，需 要求解多元非线性方程，计算复杂。主要应用场所是精度要求不高的场合， 如通讯，虚拟现实等。 ( 3 ) 主动视觉标定法。这种方法通过将固定在一个可以精确控制的平台 上摄像机在三维空间旋转或平移运动，通过f o e ( f o c u so f e x p a n s i o n ) 点建立一 个线性方程组来求解摄像机内参数。基于主动视觉的摄像机标定的研究焦点 是在尽量减少对摄像机运动限制的同时仍能线性求解摄像机的模型参数。它 的缺点，就是需要主动视觉平台，对实验要求较高，不易实现。从本质上讲， 主动视觉标定仍然是一种自标定方法。 综上，考虑到进行人体运动生物力学的运动信息检测需要较高的精度， 我们选择传统的标定方式来标定摄像系统。 2 4 3 针孔透视成像模型原理 摄像机成像模型描述了空间三 维坐标与其像坐标之间的对应关系。 针孔透视成像模型f 2 2 1 是常用的摄像 机基本模型。 设( x wy 。乙) 是三维世界坐 标系中物体p 三维坐标，( xyz ) 是 1 1 2 - 2 理想针孔威量示意图 同一点p 在摄像机坐标系( 定义如图2 - 2 ) 中的三维坐标，摄像机坐标系定义为： 中心在0 点( 光学中心) ，z 轴与光轴重合。o x y 是中心在0 点( 光轴z 与图像 平面的交点) 平行于x ，y 轴的图像坐标系。定义0 x y 平面为参考像平面，则 物空间点与参考像平面间构成理想的透视对应。f 为以参考像平面构成的成像 系统的焦距。图像在计算机中的坐标系，的单位是像素，设( v 。) 为计算 机图像中心坐标( 即0 的帧存坐标) 。则c k 空间点到参考像面的透视变换为 第二章基于摄像系统的人体运动信息麸取 料1 00 圈ljll j h o x 。y 。与o x y z 之间的关系可表示为 x w y 。 z ” l i 其中r = l ，2 l 纠 k y w z ， l = m l x 卜小= 黔 ( 2 1 ) ( 2 2 ) ； = 嘲同 陋。， 卅 f - j ， 0 0 o 0 f s ， 0 0 “o 0 v 0 0 10 01 r k 儿 z w l = m 2 m l x ( 2 4 ) 其中m 2 决定摄像机外方位元素，m l 决定摄像机内方位元素。 针孔透视成像模型是一种没有考虑镜头畸变等因素的理想的线性成像关 系。在实际使用中人们往往要将镜头畸变造成的影响考虑进去，进行补偿修 _ i _ f ：。 2 4 4d l t 标定方法 d l t ( 直接线性变换) 方法 2 3 【2 5 】是azl z 和k a r a r a 首先于1 9 7 1 年提出 的通过求解线性方程的手段就可以求得摄像机模型的参数，这是直接线性变 换方法的吸引力之所在。然而这种方法完全没有考虑摄像过程中的非线性畸 变问题，为了提高定标精度，非线性最优化算法仍不可避免。正如k a r a r a 自 己所指出的那样，当我们首先提出直接线性变换方法时，我们给出了一组基 本的线性约束方程，用来表示摄像机坐标系与三维物体空间坐标系之间的线 艮o 。l 天津科技大学硕士学位论文 性变换关系，没有考虑成像时任何的非线性补偿问题并将相应的参数引入约 束方程。然而到后来，直接线性变换方法改进扩充到能包括这些非线性因素， 并使用非线性优化的手段求解时，直接线性变换方法这个术语却没有改变。 这段说明指出了直接线性变换方法具有两种含义：- - e e 含义是直接通过求解 一组线性方程得到摄像机的有关参数；另一种含义是求解的过程不排除使用 非线性优化算法。 d l t 法可以但不必计算出摄像机内外方位元素，与摄影测量学中的传统 方法相比，更符合计算机视觉中应用问题的要求和所使用的c c d 摄像机的特 点成为连接摄影测量学的计算机视觉之间的桥梁。两个领域都可以使用直接 线性变换方法对摄像机进行标定。d l t 方法假设物体的空间坐标p ( x , y ，z ) 和物 体的图像坐标p 。( u ，v ) 存在以下映射关系； ，一兰生! 生三刍 ，4x+lmy+l1z+l(2-5、 。= 生：兰生兰生三生 毛工+ o y + l z + 1 通过至少6 个控制点的己知空间坐标( x ，y ，z ) 和对应的图像坐标( u ，v ，1 ) ，1 1 个参数就可以用线性最小二乘算法计算得到，通过这1 1 个参数可以计算出摄 像机的内外方位元素，从而摄像机得到标定。 当考虑非线性畸变时，直接线性变换方法中图像点与三维空间中控制点 的对应关系则是 2 4 ： “，+ a u ，( “，v ) = 厅掣吐型贮型譬尊 ( 2 6 ) x 。，2 0 + j 0 如1 + z 。，屯2 + 屯3 叶+ v ，c 鹎，一，= e = ：j 2 j i 徽 c z 一， 在这里( j 。，y 。，z 。，) 是标准参照物上的控制点的三维坐标，( “。v ，) 是标准 参照物上控制点对应的图像坐标，( i ，e ) 是校正后的坐标，v ，( “，v ，) ， a u ，v ) 是在图像点( 。v j 处的镜头畸变校正。 由此我们可以看出，在直接线性变换方法中，非线性畸变因素的引入是 非常方便的。另外，标准d l t 算法没有考虑镜头畸变，定标精度不很高，但 由于不需要最优化算法，其计算速度快，能实现摄像机参数的实