（机械设计及理论专业论文）三维摄像测量系统在人体上肢运动分析中的应用.pdf

摘要 本论文以巍接线性变换( d l t ) 改避算法为理论基础构建了基于普 通摄像枕的三维摄像测量分析系统，并根据人体上肢的剐体运动模型提 爨了一种计算上肢关节运动参数的算法，有利于以后进行更深入的研 究。 通过对几种测试系统的比较，并结合实验室现有条件，本论文构建 了一套基于普通摄像机的三维摄像测量分析系统。在第二章里，对摄像 机针孔及冀畸变模型、直接线性变换( d l t ) 改进算法、程序设计、定 标性能指标等几方蕊的内容都做了详细介绍；面且，论文中详镪耀述了 实验步骤，通过凡个实际算铡验证了系统酶定标精度，并做了误差分析 在麓l 体运动参数计算过程中，旋转矩阵的处理是比较麻烦的。本文 利龋单位圈元数的性质提出了计算旋转矩阵的精简变量算法，保证了计 算的稳定性和精确性，并且设计了相关实验来检验算法的精确度。惧体 算法在第三章里将作详细介绍。j 在第四章中，通过对人体上肢熊剖生理结构的研究，设计了一个七 岛出度的人体上肢强4 体运动模型；结合三维摄像测鬟分孝厅系统，提出了 一套通过对标记点静跟踪拍摄来获取上藏关节运动参数的算法，并对具 体上胺动作进行了测量分析。 一 f 一 在第五章里，对三维摄像测量分析系统程序的使用做了简单介绍。， 关键词： 直接线性变换改进算法j 单位四元数j 人体上肢喇菪暂 a b s t r a c t a c c o r d i n g t ot h em o d i f i e dd i r e c tl i n e a l t r a n s t b r m a t i o n ( d l t ) a l g o r i t h m ，t h i s p a p e rp r e s e n t sat h r e e d i m e n s i o n a lc a m e r am e a u r e m e n t a n a l y s i ss y s t e mb a s e d0 珏 g e n e r a lc a m e r a s - m o r e o v e r , a c c o r d i n gt ot h e r i g i db o d ym o d e lo ft h eh u m a n u p p e r - l i m b ，am e t h o do f c a l c u l a t i n gt h ej o i n tp a r a m e t e r so ft h eh u m a nu p p e r - l i m b i sp r e s e n t e d ，w h i c hw i l lp r o v i d et h e h e l p f o rt h ef u r t h e rr e s e a r c h 。 b yc o m p a r i n gs e v e r a lk i n d so fm e a s u r e m e n ts y s t e m ，at h r e e d i m e n s i o n a l c a m e r a , m e a s u r e m e n t a n a l y s i ss y s t e m i se s t a b l i s h e db a s e do n t h ec u r r e n t c o n d i t i o n so ft h el a b o r a t o r y ，i nc h a p t e r 2 ，t h ef o l l o w i n ga s p e c t sa r ei n t r o d u c e di n d e t a i l ：t 酝c a m e r a sp i n - h o l em o d e l ，i t sd i s t o r t i o nm o d e l ，m o d i f i e dd l t a l g o r i t h m ， t h e p r o g r a m m i n g ，c a l i b r a t i o np e r f o r m a n c eo fi n d e xa n dt h ed e s i g n i n go ft h e e x p e r i m e n t m o r e o v e r , s e v e r a le x p e r i m e n t sa r em a d et oe x a m i n et h em e a s u r e m e n t a c c u r a c y f i n a l l y , t h ep a p e r d i s c u s s e se r r o ra n a l y s i so ft h i ss y s t e m 。 d u r i n ga n a l y z i n gt h em o t i o n a lp a r a m e t e r so ft h er i g i db o d y , i ti sd i f f i c u l tt o c a l c u l a t et h e r o t a r ym a t r i x 。a c c o r d i n g t ot h eu n i t q u a t e m i o n sp r o p e r t y , t h e s i m p l i f i e d v a r i a b l e a l g o r i t h mi sp u t f o r w a r di n c h a p t e r3 ，w h i c ha s s u r e s t h e a c c u r a c ya n ds t a b i l i z a t i o no fc a l c u l a t i n gt h er o t a r ym a t r i x 。a n dt h ee x p e r i m e m s a l s op r o v et h i s 。 i nc h a p t e r4 ，a f t e rs t u d y i n gt h ea n a t o m i c a la n d p h y s i o l o g i c a ls t r u c t u r eo f t h e h u m a nu p p e r - l i m b ，as e v e nd e g r e e o f - f r e e d o mk i n e m a t i c sm o d e lo ft h eh u m a n u p p e r l i m bi sb r o u g h tf o r w a r da n d a l la l g o r i t h mf o rc a l c u l a t i n g j o i n tp a r a m e t e r so f t h eu p p e r - l i m bi sp r e s e n t e d 。u s i n gi t ，s o m eu p p e rl i m b sm o v e m e n t sa r em e a s u r e d a n d a n a l y z e d k 蜉w o r d s ：m o d i f i e d d l t a l g o r i t h m ，t h e u n i t q u a t e r n i o n ，t h eu p p e r - l i m b 天津科投大学矮士举盛瓷文 第一章绪论 1 1 人体生物力学研究韵意义 人体生物力学研究l l 韭劭涉及机器人机构攀、运动学、动力学、人体解剖学、 终科学 、摄影测量学、测试技术以及计算梳辅韵设计等多方面 的知识，是多学科交叉的掰兴领域。它根掘人体运动解割的生理特点，对人 体某些部分或整体建立逶当的模型，运用各种测试手段壤确测量人体在运动 过程中的位移、速度、加速度、力等运动特性。并以所建立的模型为基础， 对其进行分析和处理，最终获得有关人体运动的有用愤息。 进行人体生物力学方面的研究，对人体的各种运动数据进行测量和统计 分析，是建立东具有大量翔实准确的人体运动数据资料基础之上的。人体生 物力学研究人体运动过程中肢体间的各种运动学量和动力学量，进而设计制 造仿生人体运动模型；为了获得人体在运动过程中以及在人机工作环境中的 各种数据，就必须使用相应的测试系统。三维测量技术的飞速发展使这种系 统褥到了曼广泛的腹用。 对人体运动信崽的检测耜处理蓬以人体运动作为研究对象的。精确测量和 分析人件蠡部分在运动过程中麴位移、速度、加速度、相互作用力及脱电信 号，共对其进行处理和分析，是当代生物医学王程发展中的一埙重饔技术。 人体运动信息棱测与处理又是许多领域中不可残缺的测试技术，应用范圈 十分广泛。例如： ( 1 1 体育训练目前芷处在从经验走向科学的过渡阶段，对人体运动的认识 也正由粗略走向精密，如何获彳肄准确、及时、多方砸的运动参数并利 用这些参数是掇高运动员成绩的重要手段； ( 2 ) 在康复领域中，为了评价残疾、诊断疾病和鉴定康复器械的效果，客 观衙有效的方法就是进行步态分析和人体萁它部位的功能评定； f 3 1 在航天、航空和航海等科学技术领域中，需要研究在特殊环境下( 加 速、振动、低气压、高嗓声等) 人体功能改变和损伤酌情况，并讨论 妊何透过改善环境和锻炼身体来提高人的逶应能力； ( 4 ) 在势动保护魏交通事敖的分橇中，为了合理设计绦护装置与保护系 统，就需要了解受蜘的力学过程以及人体组织和器官对于冲击力和擞 速度的蕊受能力。 以上这然都是人体运动检测技术的主要应用领域。 人体运动检测一般使用非接触式测量系统，具有对人体不施加额外载葡、 不干扰肢体动作、在接近实际的工作条件下测量等优点。 非接触式动态位姿测量系统大体上可分为3 种。第一种是激光跟踪式系 统，它的测量精度较好，但成本较高且难于实现对刚体6 自由度的完全跟踪。 第2 种非接触式测量系统使用电容或涡流等非接触式位移传感器，沿着一条 固定的基准尺进行测量，这种系统对刚体运动的轨迹有严格的限制。第3 种 是像机交会式测量系统，它是一种结构简单、无机械运动部件、测量空间大、 使用方便的非接触式测量系统。它曾被认为是精度较低的测量设备，但是在 采取适当措施后，也可以达到相当高的精度。 1 2 该课题在国内外的发展情况 在人体运动信息检测方面，国内外的很多科学家已进行了大量的研究和 探索，提供了十分有益的帮助。下面我们着重介绍以下几个比较有代表性的 研究成果： ( 1 ) 瑞典s e l c o m 公司8 0 年代研制的s e l s p o ti i 型系统具有广泛的应 用领域，特别适合于测试需要及时反馈的微小偏移量，比如射箭 运动员在撤放箭之前身体上关键部位的微小晃动； ( 2 ) 英国牛津( o x f o r d ) 公司于8 0 年代中期推出了v i c o n 运动分析系 统，它与三维测力台组合在一起，在许多发达国家的医院和康复 中心得到应用； ( 3 ) 美国力学高技术公司于1 9 8 5 年推出了c o d 一3 型运动分析系统，该 系统由于完全没有使用透镜，因而偏差很小，其测试精度很高； ( 4 ) 美国a r i e ld y n a m i c s 公司研制的艾里尔运动生物力学分析系统 ( a p a s ) 广泛应用在竞技体育运动和康复医疗等领域； ( 5 ) 清华大学人体运动信息检测研究室研制出了与s e l s p o t 系统同类 的产品，并用于实际( 如测量射箭运动员肩部、肘部和腕部的晃 动) 。 在总结最新研究成果的基础上，结合实验室现有条件，我们采用普通摄 像机构建了三维摄像分析测量系统，对人体运动进行测量分析。首先要对人 体运动进行简化，在相应研究部位布置若干标记点；然后应用普通摄像机对 标记点进行跟踪拍摄，通过分析处理标记点的运动进而获得人体实时运动数 据，这就是三维摄像测量分析系统的基本任务。 1 3 本论文的主要内容 本论文的目的是建立一套基于普通摄像机的人体运动测量系统，并以人 体上肢为例，对人体上肢运动测量问题作初步探讨。为此，本论文首先对提 天津科技大学硬士学位论文 高摄像机的定标精度进行了研究，接着讨论了刚体空间运动参数的计算特别 是旋转矩阵精简变量的计算方法，然后在对人体上肢运动进行简化的基础上， 用此套系统对上肢运动进行了测量分析。 下面分别缩出三维摄像测量分析系统的构建方案和用此系统进行人体上 胺运动测量的基本思路： 1 ) 摄像机定标的精度和蔼靠程度壹接影响着三维摄像测量系统的测量 精疫。蛊接线性交换算法的基本思想是通过几台摄像机从不同角度拍 摄运动物体，得到运动物体的二维平面像片，应用d l t 算法靛公式 计算出运动物体上强标点的三维空阚坐标，进丽对物体运动进行分 析。我们通过引入摄像机畸变模型【3j ，对d l t 算法进行了改进，提高 了测量精度，为接下来的运动测量打下了良好的基础。我们将在第二 章里作详细介绍： ( 2 ) 在刚体三维运动参数计算过程中，旋转矩阵的处理是比较复杂，而且 计算不太稳定。在第三章中，我们提出了精简变量的思想，根据单位 四元数的性质踟来计算旋转矩阵，不仅简化了计算，而且僳证了计算 的准确性和稳定性： 移) 以上的研究为人体运动测量打下了良好的基础。在第圜章中，首先简 单介绍了人体上艘的解剖生理学结构及人体测量麴基本知识，然后根 据上肢运动特点，提出了人体上肢的剐体七自盘度运动篱化模型和人 体上肢关节运动参数的计算方法，并应用三维摄像测量分拼系统对人 体上肢关节运动进行了测量； ( 4 ) 最雁对三维摄像测量分析系统程序的使用进行了介绍。 3 一整三塞三堡堡堡塑萋迤壁蓬塞堡翌塞 一一。一 _ - _ _ 一 一 第二章三维摄像测量高精度定标研究 利用摄像机进行摄像测量，首先要提高摄像测量的精度，这就涉及到摄像 机的定标问题。本章在分析研究摄像机成像几何模型的基础上，修正了光学镜 头畸变失真模型使之与图像系统相配合，提出了适合于三维摄像测量系统的摄 像机定标算法。 2 1 三维摄像测量定标筒介 三维摄像测量闯题属予计算枫视觉研究1 5 3 【q 的部分。计算机视觉的中心 任务就是幂l 用计算枫技术实现对三维景物的描述、识别、理解的信息处理，囡 丽准确地获取景物三维信息是计算机视觉系统的首要任务。高精确度的三维计 算机视觉系统在智能机器人、工业自动化生产、精密装配、近景摄影测量和军 事等领域有着广泛的应用前景。 随着对获取三维信息的精度要求逐渐增高，三维摄像测量的光学传感器一 摄像机的定标技术( c a m e r ac a l i b r a t i o n ) 受到普遍关注。摄像机定标是个确 定三维物空间坐标坐标系与摄像机二维图像坐标系之间变换关系的过程。具体 地讲，就是由足够多的三维空间标记点及其对应的图像点确定摄像机的内方位 元素( 焦距、像主点) 和外方位元素( 摄像机的空间方位) 以及镜头畸变系数 等参数。 摄像机定标的精度和可靠程度壹接影晌着三维摄像测量系统的擐l 量精度。 精确的摄像机定标是实现高精度三维摄像测量系统岿不可少的重要环节，是计 冀枫视堂的关键技术之一。 尽管这方面的研究在一百多年的摄影测量8 】历史中已经形成了一套比较 严密完整的理论方法和实验技术，但计算机视觉与摄影测量有缀大不同。摄影 测量大多使用专业的量测摄影机和赢分辨率的照片，丽计算机视觉系统使用的 是普通c c d 或t v 摄像机和数字图像系统，属予非量测摄像机，所以，计算机 视觉具有以下优点：1 ) 通用性好，灵活性强： 2 ) 可实时获取图像； 3 ) 体积小，重量轻，价格低。 同时，它的缺点也很明显： 1 ) 2 1 3 ) 数字化图像分辨率低，存在量化噪声； 存在较大的镜头畸变； 存在系统误差，如：光电转换和扫描误差、c c d 阵列 与镜头光轴的倾角误差参数等。 4 天津科技大学硕士学位论文 由于普通摄像机的上述缺陷，使得摄像定标精度受到很大限制，精确的摄 像机定标存在着许多问题和困难。 通常摄像机定标假设摄像机模型是针i l 模型口l 。不仅是因为针孔模型简单， 更主要的是计算机视觉计算中的一些物理约束，譬如共面约束，可以由针孔模 型得到。正因为针孔模型的简单性，它只能在一定程度上表达实际的摄像机成 像过程，因此，就要考虑摄像机实际成像过程的非线性畸变。实际的成像过程 经过非线性畸变补偿后，才能更合理地看作针孔模型成像过程，利用校正后的 模型进行三维重建才能得到更高的精度。 因此，当对一个c c d 摄像机标定时，除了确定针孔模型的参数外，还要 确定一个畸变校正模型，计算机视觉中的摄像机定标就是要确定这两个模型。 一旦确定了摄像机的针孔模型和非线性畸变校正模型，即可利用畸变校f 模型对图像进行校正，则其成像过程便可视为针孔模型成像过程，才能利用针 孔成像模型的各种条件进行计算，测量精度才能得到提高。 2 2 摄像机空间成像几何模型 2 2 1 理想光学镜头的成像模型。1 摄像机上所使用的光学镜头一般是由若干片光学透镜组成的共轴球面光学 系统。其中各透镜的球心位于同一轴线上，该轴线称为光学系统的主轴。各个 透镜之间有一定的间隙。根据几何光学i ，理想共轴球面光学系统的成像模型 如图2-1所示：p 9q p 0 以 么火， bfnf 淞 迭 爿 斗 卜 j z 图2 1摄像机理想光学镜头成像模型 图2 一l 中，a b 为物体，彳为物体上的光线经镜头折射后形成的像，o o 为镜头的主轴。图中p 为镜头的前表面，p f 为镜头的后表面，h 点左侧称为物 方空间，h 点右侧称为像方空间。 自物方( 像方) 空间发出的平行于光轴的光线，射入光学系统经折射后，与 像方( 物方) 空间主轴的会聚点，称为此光学系统的像方( 物方) 焦点。图中的f 点 第二章三维摄像测量高精度定标研究 为物方焦点，f 为像方焦点。 光学系统成像时，横向放大率为1 ，且与主轴垂直的一致通过共轭平面称 为主平面，主平面与主轴的交点称为主点。位于物方空间的主平面和主点称为 物方主平面和物方主点( 即图中的q 和h ) ，位于像方空间的主平面和主点称为 像方主平面和像方主点( 即图中的q 和h ) 。主点至焦点的距离称为焦距，物方 主点与焦点间的距离，为物方焦距，像方主点与焦点间的距离，为像方焦距。 均匀空气介质中，物方与像方焦距相等。光学系统物方主平面至被摄物体 表面点的距离z 称为物距，像方主平面至成像平面的距离f 称为像距，也就是 通常所说的有效焦距、比例长度。 理想共轴球面光学系统的成像规律为： 自物体发出的与主轴平行的光线，进入光学系统后，仍沿原方向前 进，直至像方主平面发生折射，射向像方焦点尸： 自物体发出的过物方焦点f 的光线，进入光学系统后，仍沿原方向 前进，直至物方平面发生折射，沿与主轴平行的方向射出； 均匀空气介质中，自物体射向物方主点h 的光线，经光学系统中各 透镜的折射后，从像方主点日7 沿与入射光线平行的方向射出。 基于上述成像规律，图2 1 中理想共轴球面光学系统的成像满足如下的比 例关系： 爿b 爿b 了2 了 ( 2 1 ) 2 2 2 摄像机空间成像针孔模型i i o z v 图2 2 摄像机针孔成像模型 图2 1 中，共轴球面光学系统的物方和像方空间都以各自的主平面和主点 为基准，因此，为便于分析，在通常的镜头成像几何中，是将镜头像方主点后 天津科技大学硕士学位论文 面的成像平面置于物方空间中物方主点前的对称位置上，此时的物方主点就是 通常所说的镜头中心，也称投影中4 1 , ( o p t i cc e n t e r ) 。图2 2 为一个位于三维空问 完整的摄像机成像几何模型，其中坐标系的定义如下： 0 x y z 为三维空间坐标系，又称三维大地坐标系，该坐标系的 设置一般是根据实际情况加以确定。 0 。u v w 为以摄像机为中心的三维像空间坐标系，其原点o c 位于镜头的物方主点上，w 轴与镜头的光轴重合，方向由镜头指向物 方。 o i x y 为成像平面二维坐标系，在理想的光学系统中，成像平 面的原点0 i 位于光轴上，但实际中存在着一定的偏移量，为( x 。，y 。) 。 0 f u v 为计算机数字图像平面二维坐标系，该平面是对镜头成 像平面数字量化后的结果。其原点0 f 一般位于图像左上角，光轴与坐 标平面的交点由( u 。，v o ) 表示( 即镜头中心的位置) 。 设物体表面某一可视点a 在三维空间和像空间的坐标分别为p = ( x ，y ，z ) 和q ；( u ，v ，w ) ，且该点在成像平面和数字图像中的坐标分别为( x ，y ) 和( u ， v ) 。根据空间解析几何的理论，两个三维空间直角坐标系0 x y z 和o 。t l v w 之 间的变换关系可分解为旋转与平移的迭加，其数学关系表为： 口口zq m p = r q + 丁= i a 4 口5d 61 9 + iy ol ( 2 - 2 ) l d ，吒a 。jh 其中r 为正交的旋转矩阵，t 为两个坐标原点问的平移分量。r 中的9 个 分量分别是外方位元素扒、盯的三角函数，故实际的自由度为3 。 由前一节的共轴球面光学系统的成像模型，可以得到三维像空间点在图像 平面的成像为： 融m 钢 f 2 3 1 俘仆潍卜 陋a ， 其中 e = 10 、厂0 i ，九= w 为齐次坐标系的比例因子。 l o 0 1 j 第二章三维摄像测量高精度定标研究 印= “享。，辜 善j 誊 c z 劫 综合( 2 一1 ) ( 2 - 5 ) 式，可得摄像机三维空间成像几何的数学模型如下： 4 ；1 = f r c p r ，= f r 口一丁 ； c ：一s ， i 1 s 0 f 2 i o 1 s l 00 0 u ol ，v oi( 2 - 7 ) 01 i f x ：= ，f 慨s x ( 2 固 上式中，i 为3 3 单位矩阵，f 为摄像机的内方位元素矩阵，f x 和f y 称为 摄像机的等效焦距，r 和t 称为摄像机的外方位元素。 当摄像机的内外方位元素确定以后，也即完成了摄像机的定标。 由( 2 6 ) 式可知，图像点( u ，v ) 与空间点p 的关系为线性的，但其中的独立 方程数为2 ，所以，仅靠单摄像机无法恢复景物的绝对三维信息，必须借助两 台以上不同位置的摄像机刁能得到景物的三维信息。 2 3 直接线性交换( d l t ) 算法 直接线性变换( d u ) 算法】【1 2 1 是a b d e l a z i z 和k a r a r a 于1 9 7 1 年提出 的。该算法最初是专为解决非量测摄影机的无框标问题而研究的数据简化方法， 其基础是建立在从图像坐标直接变换至物方空间坐标的概念上，因而无须计算 内外方位元素，而是按针孔模型计算1 1 个d l t 参数。 由式( 2 6 ) 直接计算摄像机的内外方位元素，需要处理复杂的非线性方程组。 在使用非量测摄像机的。n t ) z t ，一般是通过参数组合的办法，使问题得到简化。 k雕甜一fri-rl6 l 7 陋， 2 l 三。上。，i 。了 2 9 ) 0 o l 墨 1j 天津科技夫学倾i + 学位论文 其中，q = 一( d 3 x o + a 6 y o + a 9 z o ) 。 卅制 j z u = c x ( l x + 2 y + l 3 z + l j ) 九y = q ( 三5 x + l 6 y + l 7 z + l 8 ) 【九= ( 三9 x + l t o y + 三l l z + 1 ) 消去九就得到基本直接线性变换d l t 方程 u ：生生上生! 刍 l 9 x + l j o y + l l i = + 1 = 圭! 兰墨! 兰圭! 三墨! l 9 x + l i o y + l | l z + 1 2 3 2 内外方位元素与参数l 的关系 由式( 2 9 ) 可知，l 参数是内外方位元素f 、 上：土瞅- 【，一7 1 】 取上述矩阵方程的前三列，有： z ：k 皿陉：。2 i 厶f o r 、t 的函数。 讣 ( 2 1 0 ) ( 2 1 1 ) ( 2 13 ) 厶i ll( 2 - 1 4 ) 厶 这个关系式是计算内外方位元素的基础。 我们首先导出由l 参数计算内外方位元素f 的公式。利用旋转矩阵r 的i 交性和式( 2 ，1 4 ) ，得到： 玑- - 口7 一f r r f = 蟛 厂掣u 1 ：；o v 曙。辜 陋 其中 ：- 3 - - 一i 上；+ 乙+ l i a u a ，_ o = i l - - l t 3 = l i l 9 + l2 工l 。+ l 3 l 口“ 9 第二章三维摄像测量高精度定标研究 乓：r ：云：，l 。+ 三。+ 上，上 口一 ( 一十u ：) 口。 ( 2 + u ；) 口+ = i ，一l f - l ；+ ；+ 三； = 上2 三：= ；+ 三：+ ； 因此，由l 参数计算内外方位元素的公式为 = = = 一= ；= = = = = = = = = = = = = = 一 z ，- - 三t ，置+ 茸。+ 茸。 ：兰粤= 0 9 2 ( 厶厶+ 岛厶。+ 厶厶，) 3 三3 v o ：= l - 2 = l _ s = a2 ( l 5 厶+ l 6 l l 。+ 三7 1 1 ) 3 三3 厶2 j 等笋 工= 露 ( 2 - 1 6 ) ( 2 - 1 7 ) ( 2 - 1 8 ) = 口2 ( 茸+ 墨+ 置) 一u o( 2 1 9 ) 扛霭i 再历瓦 f 2 2 0 1 当内方位元素已知后，确定外方位元素r 和t 实际上是一个摄像机相对于 大地坐标系运动参数的计算问题。但在下面的计算中不涉及到外方位元素，故 计算省略。 2 3 3d l t 算法的特点 从上各式可以看出，d l t 算法具有以下主要优点： 无须事先知道摄像机的内外方位元素，非常适合于大量使用非量测 摄像机的计算机视觉系统和近景摄影测量等领域： 算法简单，易于实现： 由于基本关系式是从透视投影的共线条件方程变换而来，可以方便 地引入摄影测量关于镜头畸变、误差补偿的模型和计算方法。 但在使用过程中，d l t 方法也存在一些问题： 由d l t 参数解算出的内外方位元素不够稳定： 由d l t 参数解算出的内外方位元素不够稳定： 仅在不考虑镜头畸变时才是线性的，否则就成为非线性的计算问 题。如果忽略镜头畸变的影响，则精度很难提高【1 3 】f 1 4 j 。 0 天津科挫人学坝i = 学位论文 2 4 摄像机镜头成像畸变模型1 8 1 1 9 j 由于材料、制造工艺和安装等方面的一些缺陷，摄像机所使用的镜头不可 避免地存在着畸变失真，使图像平面上的像点位置产生偏差，实际的像点举标 ( x ，y ) 与无偏差点( x ，y ) 间的关系为 7 = x + x 1 】，：】，+ y ( 2 - 2 1 ) 其中，( 硝，y ) 为镜头畸变失真引起的图像误差。镜头的畸变失真包括径 ( r a d i a l ) 畸变和切n ( t a n g e n t i a l ) 畸变。 径向畸变是由于镜头中各组透镜表面曲率的加工误差引起的。这种畸变导 致图像点沿着径向( 像点至光轴的连线) 向内收缩或向外扩张，前者为一的径向 畸变，称为枕形畸变( p i n c u s h i o nd i s t o r t i o n ) ，后者为负的径向畸变，称为桶形畸 变( b a r r e ld i s t o r t i o n ) ，其数学模型为： ：差：徽!?也篇+k3r。6扣+at,y r k 2 r r ) p z ：， 【= ( 一) ( t l ! +4 + 女3 6 + ) 、 其中r 2 = ( z x o ) 2 + ( ，一y o ) 2 为径向长度，k l ，k ! ，k 、为径向畸变系数。 由于径向畸变严格对称于光轴，故又称为对称镜头畸变。 切向畸变是由于制造和安装的因素，使得镜头中各组透镜的光学中，t 2 , 不在 一条直线上引起的，故又称为偏心畸变，这种畸变的数学模型为： j 艄，= r 】( r ! + 2 ( x x o ) ! ) + 2 ( x 一o ) ( y k ) r ! + o ( x 4 ，y 4 ) ，。 【= t 2 ( r 2 + 2 ( y y o ) ! ) + 2 ( x x o ) ( y y o ) t 1 + o ( x 4 ，y 4 ) 、 其中r 2 为径向长度，计算式同上式；t l 、t 2 为切向畸变系数，o ( x 4 ，y 4 ) 为四次以上的高次项。由于切向畸变非对称于镜头光轴，故又称为非对称性镜 头畸变。 以上给出了两类镜头畸变失真模型。一般地，径向畸变引起的图像误差较 大，是镜头畸变的主要因素。 综合以上，可以得到总的镜头失真模型为： f 爿= x + a x 1 y ：，r + a ，( 2 - 2 4 ) 略去上式中四次以上的高次项，则可得到： j a x 2 k l ( x x o ) r ! + t t ( r 二+ 2 ( 片一爿。) ! ) + 2 ( 一x 。) ( y k ) ，! r ，5 1 l a y = k l ( y y o ) r ! 十f ! ( r ! + 2 ( y 一】：) ! ) + 2 ( x x o ) ( y g o ) t 、 然而，上述镜头畸变失真是针对纵横坐标比例一致的模拟图像坐标系的， 因而x 和y 的畸变模型中具有相同的失真系数，但对于横竖方向采样比例不一 致的数字图像系统( 通常为4 ：3 ) 来说，需对( 2 - 2 5 ) 式进行修正。用( u u o ) 厂。和 ( 矿一v o ) k 替代其中的( x x 。) 和( y y 0 ) ，从数学和物理意义上看，这样的 处理是可以接受的。 根据( 2 5 ) 式，可以得到： j x - x o 娟x ( u - u o )( 2 - 2 6 ) i y y 0 ；s ，( y - v o ) 两边取微分得： u2 硝s x f 2 2 7 ) 【a v = a y s ” 综合式( 2 - 2 4 ) ( 2 2 7 ) ，则得到： 六( 半) ( 等( u 也) 2 + 等( 矿一v o ) 2 ) + ( f ) 知鬻n ( 嚣) 2 ) + 2 ( u 堋筹) 错一，s ， 肌n l ( 半) ( s 2 i ( 肛盯) 帅z 力毒t 号势c 篙) ) 咽 c 鬻，锩圆， 令： u ，：芝坠，_ ：毕，r ：职十咋 一k l = k f2 ，百= r ，厂，i = ，：厂 就得到数字图像中镜头畸变失真的模型如下： a u 2 f r ( k l u ，r ，- + 一t l ( r ，2 + 2 u ：。) + 2 u ，佬) ( 2 - 3 0 ) i a v = 六( k l r ! + f 2 ( r ! + 2 v , 二) + 2 u ，屹，i ) 、 对于许多横竖方向采样比例为4 ：3 的数字图像系统，式( 2 3 0 ) h ：式( 2 2 5 ) 有更好的校f 作用，所以采用前者作为摄像机镜头成像畸蛮模犁。 2 5 直接线性变换( d l t ) 改进算法“” 2 5 1 考虑畸变模型的d l t 算法 式( 2 1 2 ) 是理想的无畸变失真和无误差的d l t 模型，在实际使用该模型很 天津科技人学f i ! i ii 。学位论文 难获得较高的精度。因此，引入恰当的镜头畸变失真和误差模型是提高摄像机 定标精度的有效的途径之一。 当数字图像点( u ，v ) 存在误差时，d l t 模型为： u + u + d u ：墨! ! 生羔刍! 刍 譬：j z + ，t 1 ( 2 - 3 j ) 矿+ y + d 矿：刍兰刍兰圭! ! 生 x + 厶o y + l 1 1 z + 1 其中a u 、v 为镜头畸变失真引起的图像误差，d u 、d v 为其它的系统误 差及噪声等引起的图像误差。 系统误差是由于某些物理上、机械上等固有的因素而引起的有一定规律的 误差。镜头畸变失真实际上也是一种系统误差，出于系统误差相对比较稳定， 可以通过补偿的办法进行校正。系统误差的补偿有利用附加参数自检法和验后 补偿法两种方式。 2 5 2 附加参数自检法和验后补偿法 利用附加参数的自检法实际上是选用一个由若干参数组成的系统误差模 型，将这些附加参数组为未知数加入定标计算模型中一并解算。这种方法如果 处理得当，能够明显提高精度。但其存在的缺点和限制是： 附加参数的选择是人为的和经验的； 存在过度参数化的问题，导致求解法方程的状态好坏，使计算精度恶化。 因此，陔方法比较适合于有明确和固定模型的系统误差，如镜头畸变失真 等，而不适合于模型不明的系统误差。 验后补偿法是在不改变定标计算模型的前提下，由前一次的定标计算结 果对控制点的图像残差进行分析处理，利用二维插值的方法求得系统误差的校 正模型，经过校正后在进行下一次进行定标计算。这种反复分析处理图像喊差 而取得系统误差校正的验后法，能在无系统误差模型先验知识的情况下，使结 果获得可靠的改善，而且因不改变原有的计算模型，易于加入到各种定标计算 程序中去。 根据利用附加参数的自检法和验后补偿法各自的特点法，扬长避短，采取 结合二者优点的策略，对系统误差采取不同的计算方法则能更有效地提高精度。 为此，提出了直接线性变换改进算法：在d l t 模型中引入前一节的镜头畸变失 真修f 模型作为附加参数，并利用验后补偿法对其它的系统误差进行校一，从 而可以提高计算精度。 2 5 3 计算步骤 根据以上分析，可以得到直接线性变换改进算法，计算步骤如下所述。 第二章二维摄像测量高精度定标研究 首先，不考虑镜头畸变。按照d l t 算法，1 1 个l 参数可由6 个以上非共 面的三维控制点( x ，y ，z ) 及其对应的图像点( u ，v ) 构成如下形如式( 2 3 2 ) 的线 性方程组，根据最小二乘法【1 7 1 解出。 m 0 00 t0 1 鬈y o z ，q 1 二菇：y 学h 纠b ，：， l x ， z ，一x 。一，r一li 矿i 。 其中l = 陋1 工2 3 三4 上，三6 上7 8 三。三】o 三1 1 l 接着将修正的镜头畸变失真模型代入计算，得到如下方程组： b i d l 球旧 ( 2 - 3 3 ) 其中： d l t = 【三il 2 三3 上4 三5 6 7 8 9 上j 。1 lk lt i ，! 】。 旧：卜y 21ooo o 一。u y u 一2 u u 月：断一( 帮+ 趔) 钡，一弛k 瓴l 。【0 0 0 x y z1 0 一x v y 矿一z v u 月2 4 万一2 v k 4 石一( 月! + 2 v ，2 ) 4 石j a = 三9 x + l 1 0 y + l 1 1 z + 1 卟半，：半：u j + 哆 【脱r 】中共有1 1 个l 参数和3 个镜头畸变系数，共1 4 个待定参数，统称 为d l t 参数。内方位元素f x 、f y 、u 。、v o 都是l 参数的函数，其计算公式见 第三节。 算法的第二部分是在计算出1 4 个d l t 参数后，根据图像残差对其系统误 差进行拟合校正，即可求出图像残差的插值模型。由式( 2 3 1 ) 得到每个像点的图 像残差为： 采用如下的二维插值多项式拟合图像残差： j d u = p 。+ p l u + p 2 v + p 3 u 2 + p 4 u 矿十p 5 矿2r ，一3 s 、 【d v = 口o + q l v + 9 2 u 十q 3 矿2 + 9 4 u y + q 5 u 2、7 其中p 。p ；、q 。g ，为1 2 个待定的拟合多项式系数。因此，至少需要6 个以上的三维控制点及其对应的图像点构成如下式( 2 3 6 ) 的线性方程组才能解 得这此系数。 ：乡矿zuv，矿-kp=d，u，(2-36)uu 2 矿 矿2u 矿 q ：d 旷 4 一一一一 天津科技大学硕士学位论文 其中 q p = ： k p o 吼p 。p ：2 姜3 。p 4 。3 1 2 6 待测点大地坐标的计算 一旦完成摄像机的定标计算，即所有待定的定标参数( 包括l 参数、镜头畸 变参数、系统误差拟合校正系数) 都被确定之后，数字图像平面与三维物空间之 间就建立了确定的对应关系。由式( 2 3 1 ) 得： j ( 厶一厶幽x + ( 岛一厶。竺) y + ( 厶一厶竺) z = 一u 一厶( 2 - 3 7 ) i ( t 一厶v ) x + ( k l 。v ) y + ( l ，一l 1 1 v ) z = v 一厶 其中 i u = u + u + d u jv = v + a v + d v ( 2 - 3 8 ) a u 和a v 为按式( 2 - 3 0 ) 计算的镜头畸变修正值，a u r a r 为按( 2 3 5 ) 计算的 系统误差修正值，( u ，矿) 和( u ，v ) 分别为修正前后的像点坐标。 为了计算未知物点的大地坐标( x 、y 、z ) ，至少需要从两个以上不同位置的 摄像机得到的立体图像，即构成两组以上形如式( 2 3 7 ) 的方程组。 ( 1 ) 双摄像测量系统 设构成立体视觉系统的双摄像机的l 参数、镜头畸变失真系数、系统误差 拟合校正系数分别为： ， 一， 一，一， ， 摄像机1 ： 上1 上1 i ，k i ，t 1 ，r 2 ，p o p 5 ，g 。g5 。 一， 一” 一， ， ， ， 摄像机2 ： 厶l 1 1 ，k i ，】，t 2 ，p o p 5 ，q o q 5 空间未知物点( x ，y ，z ) 在两个摄像机数字图像中的对应点分别为( u t ，v ，) 和( u 2 ，v 2 ) ，经由式( 2 - 3 8 ) 修正后分别为( u - ，矿一) 和( u2 ，矿：) 。参考式( 2 - 3 7 ) 则可得到关于x 、y 、z 的线性方程组： 上l l 9u 三5 一上9 矿 厶一l 9u 2 三5 一9 矿2 三2 一上1 0u l 上6 一上l o 矿i 三2 一l l o u 2 上6 一三】o 矿2 l 3 一l i lu i l 7 一三l l 矿i 厶一l i | u 2 l 7 一l | l v 2 由最小二乘法即可解得大地坐标( x ，y ，z ) 。 u l 一上。 ， 矿1 一l 8 ， u 2 一三。 ， 矿2 一8 ( 2 - 3 9 ) 。卜iiijiiir 第二章三维摄像测量高精度定标研究 ( 2 ) 多摄像测量系统 如果有n ( n 3 ) 个摄像机，同样可以形成类似式( 2 3 7 ) 的线性方程组。设第 个摄像机的d l t 参数为： e ) 墨? ，i “1 ，i o ，i “，p 。p ，q 。q ， 空间未知物点( x ，y ，z ) 在第i 个摄像机数字图像中的对应点为( u ，v ) ，经 由式( 2 3 8 ) 修正后为( 西，一v ，) 。则关于x 、y 、z 的线性方程组为： 上】”一l 9 1 1 西。lp 一1 。”西。三3 ”1 l i i u 。 一9 ”矿。6 一l i o i 矿。7 一l ( ”矿。 同样由最小二乘法可解得大地坐标( x ，y ，z ) 。 斗 2 7 摄像机定标性能指标 巧i 一上。 矿l 一三b ” u ，一l 。7 v 。一l 8 ” f 2 4 0 ) 尽管摄像机定标计算中) o h a t 畸变模型，但由于各种客观主观条件的限制， 总要存在测量误差，需要选择一些性能指标作为评价摄像测量系统精度的尺度。 选择比较客观合理的评价尺度是非常重要的，我们以三维定标均方误差和相对 定标精度作为评价标准。 ( 1 ) 三维定标均方误差 由已定标的三维摄像测量系统对已知空间位置的校准点进行拍摄，根掘图 像坐标计算其大地坐标值。测量值( ；，一y ，；) 与标准值( x ，y ，z ) 的均方误差如 下式( 2 4 1 ) 所示： q = 捱喜c h ，2 q = 痧i n-2 口。， d ：= 离 其中n 为校准点数。 三维定标均方误差最直观的反映了测量系统的三维定标精确度，是衡量摄 像机定标精度的重要标准，对实际应用非常重要。它与多种因素有关，如摄像 6 一u 一矿 l l 一 一 j 7 l 一u 一矿 0 0 e 一 一 2 6 l 三 一u 一矿 凶厶， 一 一 l l 天津科技大学硕士学位论文 距离、镜头焦距、图像分辩率等，因此，这一指标仅在一定程度上反映了定标 精度，但不适于不同系统之间的比较。 ( 2 ) 三维相对定标精度 三维定标相对精度是横向和纵向三维定标均方误差分别与视场大小和深度 的比值。即： 驴掰协。：， d 。 。 z ， 其中z ，为深度( 摄像距离) ，x 。和y ，为给定深度下摄像视场的宽和高，其 对角线长度、压丽称为视场大小。 三维相对定标精度能比较客观地反映系统的整体性能指标，所以作为评价 测量系统的检验尺度是比较适宜的，适于不同测量系统之间的比较。 根据实验室条件，我们已测得：z 。为2 4 m ，x 。、y 。分别为2 6 m 和15 5 m 。 2 8 摄像机定标实验 前面对三维摄像测量的摄像机定标进行了系统的理论研究，建立了整套 高精度定标的计算方法及精度评价标准。本节则通过一系列的实验，检