（光学专业论文）适于三维眼前节分析系统的标定方法研究.pdf

z 擘 - _ i p ) ， 独创性声明 i i l l 111 1 t 1 11 1 ii iiii y 1713 9 7 7 、本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 砩夕月拥 ，论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：翌坦导师签 日期： 摘要 摘要 眼睛是我们最重要的感觉器官，专家研究表明，人从外界获得的信息8 0 以上 来自眼睛。眼睛是否健康，对于生活品质有至关重要的影响。 眼前节各组织结构与眼睛的许多病变有直接关系，并且这些病变可直接反应 到眼前节特征参数的变化上。因此，获得眼前节的特征参数，对于临床上对多种眼 部疾病的诊断、治疗方案制定，以及病情的发展和治疗效果的预测有着重要的意 义。基于需求，我们计划开发一种基于s e h e i m p f l u g 成像原理的三维眼前节分析系 统。 为实现我们的研发目标，本文针对适于系统的标定方法进行研究，为后续研 究奠定基础。按照数字近景摄影测量理论对系统建模，处理三维物点和二维像点 组成的同名点对之间的对应关系。 本文研究了标定中的问题，改进并提出了一些新方法，主要包括： 1 、采用数字近景摄影测量方法来进行摄像机的几何标定。通过直接线性变 换法来估算各参数值，再使用光束平差法来最优化参数向量，以提高参数精度。 通过双方向解相实现标志点在投影平面上的反向成像，把投影仪作为虚拟摄像机 采用同样方法进行标定。 2 、针对标签定位法中采用的标志物，实现了自动检测这些特征的技术，以 提供系统的几何标定时所需的高精度的稀疏同名点对。对于椭圆块特征的提取， 使用了自适应二值化方法来提取椭圆块特征图像，采用u n i o n f i n d 数据结构的方法 来快速像素标记。 3 、根据标定的参数和物点坐标在可视化界面中展示了其三维图像。分析了测 量结果的精度，验证了本文方法的有效性和稳定性。 关键词：标定，光束平差法，摄像机标定，投影机标定， a b s t r a c t a b s t r a c t e y ei so n eo f t h em o s ti m p o r t a n to r g a n so fs e n s e r e s e a r c hs h o w st h a t8 0 o ft h e i n f o r m a t i o ng a i n e do u t s i d ei sf r o mo u r e y e s h e a l t h ye y e sp l a yav e r yg r e a tr o l ei nt h e q u a l i t yo fo u rl i v e s t h es t r u c t u r eo f e y ea n t e r i o rs e g m e n ti sd i r e c t l yr e l a t e dt om a n yd i s e a s e s ，a n dt h e s e d i s e a s e sc a nd i r e c t l yd i s p l a yo nt h ep a r a m e t r i cv a r i a t i o no fe y ea n t e r i o rs e g m e n t t h e r e f o r e , t h e s ep a r a m e t e r sa r ei m p o r t a n to nd i a g n o s i n g ，t r e a t i n gm e t h o d ，t h e o b s e r v a t i o no nd i s e a s ed e v e l o p m e n ta n dt h ee v a l u a t i o no ft r e a t i n gi nc l i n i c a lp r a c t i c e c o n s e q u e n t l y , w ep l a nf o rd e v e l o p m e n ta3 da n a l y t i cs y s t e ma b o u te y ea n t e r i o r s e g m e n tb a s e do ns c h e i m p f l u gi m a g i n gt h e o r y t oa c h i e v eo u rr e s e a r c hg o a l ，t h ec a l i b r a t i o nm e t h o d sf o rs y s t e mw e r er e s e a r c h e d w h i c hl a yt h ef o u n d a t i o nf o rn e x tr e s e a r c h a c c o r d i n gt op r i n c i p l eo fd i g i t a lc l o s e r a n g e p h o t o g r a m m e t r y ( d c r p ) ，h o m o l o g o u sp o i n t s ( h p s ) a r et h eb a s i cd a t af o rs y s t e m h p s a r eo r i g i n a t e df r o m3 do b j e c tp o i n ta n d2 di m a g ep o i n t t h em a i ni s s u e so fc a l i b r a t i o nw e r er e s e a r c h e di nt h i sd i s s e r t a t i o n s o m em e t h o d s w e r ei m p r o v e da n ds o m ea r en o v e l l yp r o p o s e d ，w h i c ha r ei n c l u d i n g ： 1 ：t h ec a l i b r a t i o no fc a m e r ai s f u l l yb a s e do nd c r pm e t h o d t h eg e o m t r i c p a r a m e t e r sa r ef i r s t l ye s t i m a t e du s i n gd i r e c tl i n e a rt r a n s f o r mm e t h o d t h e nt h eb u n d l e a d j u s t m e n ti sa p p l i e dt oo p t i m i z ep a r a m e t e r s ，f o rb e t t e ra c c u r a c y t h ep r o j e c t o ri s c a l i b r a t e di nt h es a m ew a ya sav i r t u a lc a m e r ab yc a p t u r i n gt h ec a l i b r a t i o np o i n t si nt h e p r o j e c t i n gp l a n eu s i n gt w o d i m e n s i o n a lp h a s ed e m o d u l a t i o n 2 ：at e c h n i q u eo fa u t o d e t e c t i n gf e a t u r eo b j e c tw a si m p l e m e n t e d w h i c hi su s e di n l a b e l o r i e n t a t i o nm e t h o d t h et e c h n i q u ec a ns u p p l yh i g h p r e c i s i o ns p a r s eh p sf o r g e o m t r i cc a l i b r a t i o n o t s ub i n a r ym e t h o dw a su s e dt os e p a r a t ee l l i p t i c a lb l o c k ，l a b e l i n g c o n n e c t e dc o m p o n e n t sw i t hu n i o n - f i n ds t r u c t u r e 3 ：t h e3 di m a g ew a sd i s p l a y e di nt h ev i s u a li n t e r f a c ea c c o r d i n gt oc a l i b r a t e d p a r a m e t e r sa n do b j e c t sc o o r d i n a t e s t h ep r e c i s i o no fr e s u l tw a sa n a l y s e d ，w h i c hs h o w s t h ee f f i c i e n c ya n ds t a b i l i t yo fp r o p o s e dm e t h o d s k e yw o r d s ：c a l i b r a t i o n ，b u n d l ea d j u s t m e n t ，c a m e r ac a l i b r a t i o n ，p r o j e c t o rc a l i b r a t i o n 一 目录 目录 第一章绪论1 1 1 课题背景和意义1 1 2 基本概念2 1 3 国内外研究现状2 1 3 1 基于s c h e i m p f l u g 技术的眼科仪器2 1 3 2 几何标定方法4 1 3 2 1 摄像机几何标定4 1 3 2 2 光束平差法5 1 3 2 3 投影机几何标定5 1 4 本文的研究内容6 第二章系统的数学模型7 2 1 数字结构光系统及测量原理7 2 2 摄像机模型9 2 2 1 坐标系统及变换关系1 0 2 2 2 摄像机的线性模型1 3 2 2 3 摄像机的非线性模型1 5 2 2 3 1 径向畸变1 6 2 2 3 2 切向畸变1 6 2 2 3 3 像平面畸变1 6 2 2 3 4 内方位元素误差1 7 2 3 待标定参数的数学模型1 8 2 4 投影机模型1 8 2 5 计算物点坐标1 9 2 6 本章小结2 0 目录 第三章系统的几何标定2 1 3 1 标定方案2 1 3 1 1 摄像机的标定方案2 1 3 1 2 投影仪的标定方案2 l 3 1 3 需标定的几何参数2 2 投影机2 2 3 2 数据处理2 2 3 3 估计几何参数向量的方法2 2 3 3 1 初始化数据2 2 3 3 22 d - d l t 法估计参数2 3 3 3 2 1 单应矩阵求解2 3 3 3 2 2 对内参数的约束2 5 3 3 2 3 标定参数求解2 5 3 4 优化几何参数向量的方法2 7 3 4 1 多点多视图几何模型2 7 3 4 2 平面圆共线方程2 9 3 4 3 光束平差法3 1 3 4 3 1 平差问题表述3 1 3 4 3 2 确定权矩阵3 2 3 4 3 3 稀疏l m 法3 2 3 4 3 4 法方程矩阵的计算3 2 3 4 3 5 平差精度3 3 3 4 4 平差过程3 4 3 4 4 1 平差摄像机3 4 3 4 4 2 平差投影机3 4 3 4 4 3 标定立体视觉参数3 4 3 4 4 4 平差控制点模板坐标3 5 3 5 本章小结3 5 第四章特征的自动检测3 6 目录 4 1 自动检测圆块标志物的方法3 6 4 2 椭圆特征检测过程3 6 4 2 1 二值化3 7 4 2 2 快速像素标记3 7 4 2 3 椭圆块判定3 7 4 2 4 椭圆拟合3 8 4 3 本章小结4 0 第五章实验结果4 1 5 1 标定过程4 1 5 1 1 摄像机的几何标定过程4 1 5 1 2 投影机的几何标定过程4 1 5 1 3 控制点模板坐标的标定过程4 2 5 2 系统的最佳投影参数4 2 5 3 系统的几何标定实验结果4 3 5 2 1 系统的几何参数4 3 5 2 2 标定精度4 4 第六章总结和展望4 7 6 1 主要工作及创新点4 7 6 1 1 研究成果4 7 6 1 2 主要创新点4 7 6 2 后续研究与展望4 7 致谢4 9 参考文献5 0 v 注释 数学符号定义 注释 以下是本文中全篇都可能见到的数学符号，定义为： 。，p ，。，1 ，。右上标( 小写的) o ，c ，l ，r ，p f f 别表示物点，摄像机，左摄像 机，和右摄像机，投影机 a ，b ，h物点，像点，以及同名点对的坐标向量 f几何参数向量 o ，o 皿，o 。； 分别表示内参数向量，不考虑畸变的附加内参数向量，考虑 畸变的附加内参数向量 汐外参数向量 x ，j i ，受，x p ，i ，c ，w 标系，摄像机坐标系， 伍，y ，z ) 阢，r o ，z 。) 0 ，v ) g ，y ) 对变量x ，分别代表了真值，测量值，估算值和平均值 左上标( 大写的) p ，i ，c ，w 分别表示像素坐标系，图像平面坐 和世界坐标系 物点的三维坐标 光心的世界坐标值 像点在像素坐标系下的二维坐标 像点在图像坐标系下的二维坐标 旋转矩阵 t ，t 0平移向量和中心平移向量 r t ，尺，r ，r 上，d e t ( r ) ，t r ( r ) ，r a l l l ( ( r ) ，v e c ( r ) 对矩阵尺，右上标t ，- 1 ，- t ，上 分别表示求转置，逆，逆的转置，广义逆，函数d e t ( ) ，t r ( 1 r a n k ( ) ，v e c ( ) 分别表示求 行列式值，迹，秩以及向量化。 t ( ) s u p ( ) ，i n f ( ) ，t s ，t i 。， 阈值函数，上界i i i ! i 数，下界函数，上界阈值 函数，下界阈值函数。对变量x ，t s u 。g ) s u p g ) t i 。，g ) i n f ( x ) ，使得始终有 石t s 。，g ) ，z t 。，g ) 其他符号定义，在文中的使用位置已注明。 v i 注释 英文简写对照 a i p s b a c m m i o l i c l d c r p d l t d s l s e p s g n g i 强 i c p i p s l m n l s m p m v a d d i t i o n a li n t r i n s i cp a r a m e t e r s ，附加的内参数 b u n d l ea d j u s t m e n t ，光束平差法 c o o r d i n a t em e a s u r i n gm a c h i n e ，坐标测量机 i n t r a o c u l a rl e n s ，人工晶体 i m p l a n t a b l ec o n t a c tl e n s ，可植入式接触镜 d i g i t a lc l o s e - r a n g ep h o t o g r a m m e t r y , 数字近景摄像测量 d i r e c tl i n e a rt r a n s f o r m ，直接线性变换 d i g i t a ls t r u c t u r e dl i g h ts y s t e m ，数字结构光系统 e x t r i n s i cp a r a m e t e r s ，外( 方位) 参数 g a u s s - n e w t o n ，高斯牛顿优化方法 g l o b a lr e f e r e n c ef r a m e ，全局参考坐标系 i t e r a t i v ec l o s e s tp o i n t ，迭代最近点原理 i n t r i n s i cp a r a m e t e r s ，内( 方位) 参数 l e v e n b e r g - m a r q u a r d t ，l m 优化方法 n o n l i n e a rl e a s ts q u a r e , 非线性最小二乘 m u l t i p o i n t & m u l t i v i e w , 多点多视图 v l i 第一章绪论 1 1 课题背景和意义 第一章绪论帚一早三：酉t 匕 认识世界，各种实践活动，眼睛对我们来说是非常重要的工具，对于了解其 结构和功能，保持其健康，对于我们的活动，意义深远。 眼睛是否有病变，眼前节的生物数据，是极为重要指标。眼前节是角膜，前 房，晶状体的统称，也是眼睛中的屈光系统的主要成分。过去，医生通过一些传 统方法，对患者进行检查、治疗；解剖学得到的眼前节参数，有极大的参考价值， 但与人眼在活着时的数据【l 】有极大差别。 随着科技的不断进步，市场上出现许多不同种类的医疗器械，用它们帮助诊 断及治疗。对眼前节成像和生物测量的分析系统，广泛用于眼前节疾病诊断，白 内障屈光手术的临床观察，眼前节结构生物参数的测量等。目前国内外的很多仪 器，都可以对眼前节进行成像和生物测量，并且能够得到比较客观的数据。如裂 隙灯生物显微镜，超声生物显微镜，光学相干断层扫描等【2 】。其中，德国的o c u l u s 公司推出的基于s c h e i m p f l u g 成像原理的p e n t a c a m 系统最为先进，测量误差在 0 2 d 之间。 影像学新技术的出现，测量的准确性和方便性都极大地提高了，眼前节医生 的临床诊疗水平也提高了。目前在临床上获得了较好的应用。但设备的昂贵的价 格以及部分设备要求对操作人员进行良好的培训，限制了它们在临床上的广泛推 广。有更廉价、操作更简单的设备能投入到临床，使更多的患者能够感受到技术 的进步就是我们研发的动力。 如何模仿人类视觉系统，像人一样观察物体。人眼所观察到三维物体，如何 让机器也能够检测到，是一个历久的话题。由此产生并发展起来的学科，称为计算 机视觉，该科学就是研究怎样采用计算机和摄像机替换人眼，对目标进行识别， 跟踪和测量。在机器人视觉，产品检测，零件识别与定位，图像图形识别，三 维轮廓测量等领域，有着广泛的应用前景【3 ，4 】。 我们要丌发一套基于s c h e i m p f l u g 成像原理的三维眼前节分析系统统( 测量误 差至少要到达0 2 d 的要求) ，用它旋转测量，获取眼前节的三维数据资料( 主 要包括角膜前、后表面地形图和高度地图，全角膜厚度图，前房容积，中央与周 电子科技大学硕士学位论文 边前房深度，瞳孔直径大小，角膜厚度变化率趋势图，白内障可视图等信息) 。 用于角膜疾病手术，角膜屈光手术，白内障手术，青光眼筛查，人工晶体( i n t r a o c u l a r l e n s ，i o l ) 计算，可植入式接触镜( i m p l a n t a b l ec o n t a c tl e n si c l ) 和i o l 手术的前房空 间测算等的临床研究和实践【2 j 。 本论文针对待开发的系统，提出一套标定方案，为整个仪器的研发做一个铺 垫。采用s c h e i m p f l u g 成像原理，系统的景深加大，三维效果好，但是也带来了测 量误差增大的影响，为此，一套高精度的标定方案尤为重要。不过，由于时间和 器材的限制，我只能通过侧面路径去设计一套适用于该系统研发的标定方案，并 验证该标定方案的合理性。 1 2 基本概念 几何标定( g e o m e t r i cc a l i b r a t i o n ) 5 。1 】：就是求解设备的几何向量参数的过程， 标定步骤如下： 几何标定投影机、摄像机：获得摄像机【1 1 , 1 2 - 1 8 j ，投影机【1 9 2 4 】的内参数向量的过 程。 标定立体视觉参数( s t e r e oc a l i b r a t i o n ) 2 5 】：获得摄像机相对投影机的方位的过 程，它的相对方位的外参数，即立体视觉参数。 建立全局参考坐标系( g l o b a lr e f e r e n c ef r a m e ，g r f ) ：要把不同位置测量的多幅 点云融合起来，使点云轮廓完整，就必须有一个全局参考坐标系。它能完整表示 测量系统在场景中的方位，便于将不同坐标系下的数据统一在此坐标系下。要实 现该过程，用旋转平台，导轨系统，坐标测量机( c o o r d i n a t em e a s u r i n gm a c h i n e ， c m m ) 等精密的定位设备可完成；也可以采用标签定位技术【2 6 2 7 1 。 在系统的参数标定好后，就是求解【2 8 铷】。用稠密的同名点对，就可以得到被 测物点的坐标，产生点云。 1 3 国内外研究现状 1 3 1 基于s c h e i m p f l u g 技术的眼科仪器 1 9 0 6 年，s c h e i m p f l u g 提出：将目镜及底片都倾斜一定角度，使得投射的光束平 面保持在目镜孔处的焦面上可形成切面像，被称为s c h e i m p n u g 原理【引1 。 2 第一章绪论 s c h e i m p f l u g 原理，用于三维视觉的时间已久，早在上世纪8 0 年代，b i c k e l 和 o p m e n 在三角测量的基础上，把该原理用到机器人视觉中【3 2 】。一般的扫描系统的 探测器平面平行于透镜，在探测器上清晰成像的纵向范围小，景深也短。为解决 上述问题，可将透镜成像平面与探测器平面间成一个0 的倾角。 如图1 1 ，如系统满足s c h e i n l p f l u g 条件( 1 1 ) 时，在探测器阵列上的成像范围 更广，系统的景深就扩大了。 图1 1 满足s c h e i m p f l u g - ：条件的成像系统 留= k c t g o ( 1 1 ) 这里，是透镜光轴与光束投影轴的夹角，k 为系统的放大率。 基于s c h e i m p f l u g 原理的照相技术，可以解决聚焦深度的限制，提高图像记录 的质量。1 9 6 0 年首次将该原理应用于眼科检查前房闪辉【3 2 1 。1 9 7 0 年开发了单纯 s c h e i m p f l u g , 照相设备( 如t o p c o n - - - s l 2 4 5 ) 。1 9 7 2 年，b r o w n 对此技术进一步改进。 将s c h e i m p f l u g 照相技术广泛应用于临床【3 2 】。1 9 7 9 年，d r a g o m i r e s e u 、h o e k w i n 、s a s a k i 等在波恩制定 s c h e i m p f l u g 昭, , 像标准，z e i s s 公司在1 9 8 4 年，推出第一台利用摄像 机进行s c h e i m p f l u g 医 像采集，和数字图像分析系统，日本n i d e k 公司1 9 9 1 年，推出 e a s m l 0 0 0 型眼前节图像分析系统。德国的o c u l u s 公司在2 0 0 3 年申请专利，后来 推出一款基- 于s c h e i m p f l u g 原理的，最先进的三维眼前节分析诊断系统( 如图1 3 所 示_ 卜- p e n t a c a m ，该系统可以获取3 d l i 曼前节数据资料。 电子科技大学硕士学位论文 图l - 2p e n t a c a m图1 - 3 p e n t a c a m 获取的眼前：肯图像 1 3 2 几何标定方法 1 3 2 1 摄像机几何标定 高精度，高可靠地几何标定摄像机的方案，在计算机视觉领域，摄影测量领 域，一直是主要的研究内容。在不同的测量环境，可用两种模型：线性的摄像机 模型，非线性的摄像机模型。并且这些模型的几何参数向量可以相互转换，为了 提高标定精度，一定要合理选择摄像机模型。 f r a s e r 提出了含有l o 个附加内参数( a d d i t i o n a li n t r i n s i cp a r a m e t e r s ，a i p s ) 的摄 像机模型，拟合精度能达到1 1 0 0 0 0 0 以上，近景摄像测量中大多数类型的摄像机【3 3 】 都适用，如数字摄像机，括胶片式摄像机。 t s a i 3 4 】最早提出“二步法”标定原理，主要研究径向畸变( 摄像机模型中的) ， 对标定摄像机的影响，对于参数的估算，给出了解决的线性方法，再用非线性优 化方法得到最优参数。 h e i k k i l a 基于t s a i 方法，提出四步标定法【3 5 】，首先使用直接线性变换( d i r e c t l i n e a rt r a n s f o r m ，d l t ) ，计算参数向量的近似值，再用l e v e n b e r g m a r q u a r d t ( l m ) 法【3 6 】进行最小二乘拟合，优化得到内参数，畸变参数的值。该径向畸变，切向畸 变都包括在此方法中，使用圆形控制点组成的网格，提供三维的同名点集。 4 第一章绪论 z h a n g t 3 7 3 明提出关于多视图的2 d - d l t 法，使用平面的棋盘格，提供二维的物 点，从不同角度拍摄，获得同名点对。再求解内参数向量，外参数向量的近似值。 最后使用l m 法，最小化重投影的误差，最优化参数向量的值。 自标定技术，使用该方法，物点的精确坐标也是未知的。只要用同名点对的 共线方程作为约束条件，就可以标定得到参数向量值和物点坐标值。f r a s e r 的多视 图自标定方法，能得到相对精度1 2 0 0 0 0 0 以上的标定精度，此精度是非常高。 1 3 2 2 光束平差法 光束平差法( b u n d l ea d j u s t m e n t ，b a ) ，是摄影测量中的重要步骤，测量和标 定的精度和稳定性都能大大改善。t s a i h e i k k i l a 和z h a n g 的方法中，都使用一定的 非线性优化方法优化系统参数，它也是一种简化的光束平差过程。 t r i g g s ，m c l a u c h l a n ，h a r t l e y 署df i t z g i b b o n t ”】，总结了摄影测量中b a 理论和方 法。包括：选择目标函数；最优化的二次收敛参数方法，如稀疏的高斯牛顿 ( g a u s s - n e w t o n , g n ) 法，l m 法；最优化的线性收敛参数方法；标志不变量( g a u g e i n v a r i a n t ) ，和质量控制等。 b a n 0 1 i 【4 0 】讨论受标尺不变量影响的b a 结果，提出在l m 法时选择阻尼系数， 要加大标尺不变的约束条件，加快收敛到满意的结果。 l o u r a k i se ta l e 4 i 】研究了基于稀疏l m 法的b a 原理的实现和软件设计方法，并 比较用l m 法和d l ( d o g l e g ) 法进行优化b a 原理的计算有效性 4 2 】，得到：两者的 优化结果差异较小，计算速度d l 法更快。 1 3 2 3 投影机几何标定 几何标定投影机，并得到高精度的结果，是很重要的研究课题，合理的标定 方法可以提高其标定精度，从而，提高整个d s l s 的测量精度。 z h a n ge ta l 提出基于数字近景摄像测量( d i s t a lc l o s e - r a n g ep h o t o g r a m m e t r y , d c r p l 原理，标定幻灯片式投影机的方法。用带网格点的幻灯片，从多角度多次 投影到一块平板上；再使用摄像机获取网格点的图像，通过提取同名点，就可以 解得网格点投影在平板上的物点坐标；最后投影机内外参数采用二维d l t 法来分 解，投影机参数经平差优化获得。 b r e n n e re ta l 根据d c r p 原理，标定t f t - l c d 数字投影机：向标定板( 带有 白色圆形标志物) 投影两个方向垂直i 拘g r a y - c o d e & p h a s e s h i f t i n g 条纹光栅组，采样 标志物圆心处的相位值，用它计算对应的投影像素坐标。标志物的物点坐标是已 电子科技大学硕士学位论文 知量，这样物点和投影像素的对应关系就建立了。然后，改变投影机和标定板之 间的相对方位，获得不同角度的物像对应点集，再采用自标定方法，求解投影机 参数。该方法的标定精度与传统的多项式标定模型差不多。 k n y a z 通过两台已经标定的摄像机，来进行投影机的标定。为了降低匹配难 度，首先投影编码的标志物在平面的标定板上，完成自动匹配；在获取标志物的 图像，按立体视觉方法，计算出标志物所在位置的虚拟物点坐标；最后根据这些 物点坐标和对应的像素坐标，就可以用二维的d l t 法，估计投影机参数，并优化 求解。 s h i ne ta l 标定数字投影机，使用点对点方法，向三维的带有控制点的测量场， 投影网格结构光：通过使用外极线约束，交比不变量，匹配三维控制点和投影像 素，控制点的坐标值，事先已使用已标定的摄像机精确地测得。再采用l m 法，优 化投影机参数。 总之，匹配投影像素，物点坐标，摄影像素三者间的方法，是几何标定各种 投影机方法的主要区别，对于后续数据处理，多采用与几何标定摄像机相同的方 法。 1 4 本文的研究内容 本文根据d c r p 原理，研究使用d s l s 重建眼前节的三维图像所需的标定问 题，主要内容安排为： 第一章，课题的研究背景和目的。指出标定相关的研究问题，总结基于 s c h e i m p f l u g 原理的医疗器械发展历程，回顾国内外关于标定方法的研究成果。 第二章，基于摄影测量理论，建立系统的数学模型。 第三章，对系统的几何标定问题进行研究，归纳、并提出合理的标定方案。 第四章，研究特征目标的自动检测问题。 第五章，相关的实验结论和标定精度，其验证本文标定方案的合理性。 第六章，总结本文的主要工作和创新点，指出目前工作的不足，给出后续研 究需要解决的问题。 6 。_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一 第二章系统的数学模型 第二章系统的数学模型 2 1 数字结构光系统及测量原理 我们采用的d s l s 主要由测量头，三角架，微机，标定板等组成。测量头由一 台投影机，两台摄像机组成，并固定在支架上。使用双目结构的摄像系统，其光 轴是交叉的。主控系统采用p c 机，它控制投影和拍摄过程。标定板是用铝制的， 系统的结构简图如图2 1 所示。 图2 1试验系统的结构简图 本论文工作采用数字结构光系统( d i 百t a ls t r u c t u r e dl i g h ts y s t e m ，d s l s ) 4 3 4 4 】 作为硬件系统，需要掌握实验系统的测量原理和测量中的技术方法。 在被测物体上有系统发出( 投射) ，接收( 拍摄) 光信号。投影机( p r o j i e c t 0 0 就是发 出光信号的装置( 光源) ，反射的光信号所到达的装置( 图像传感器) ，即摄像 机( c a m e r a ) 。用图2 2 a 简图来了解坐标测量原理。 7 电子科技大学硕士学位论文 投影 数字投影平面 0 - c n d m d o r l c o ) ( a )( ” 图2 2 坐标测量原理：c a ) 双目结构的系统；( b ) 单目结构的三角测量法 从p 点处发出光信号，通过投影镜头到达物体表面的点w ，即投影像点，w 就是我们需要测量的点。经w 反射后到达摄像机，得到像点c 。在同一条光路上 的p 和w ，叫做同名点( h o m o l o g o u sp o i n t ) ，同理可得c 点。 同名点对，即物点与它的同名点的点集，用h 表示，且是坐标的向量，如 p ，c = i i p ”， w ，c ) - - i - i 邮， w ，p - h “，和 w ，p ，c ) = i - 10 ”等。右上标o ，p ，c 对应 物点，投影机，摄像机。这样，我们如能获得i h p 正的方位值，根据其对应的数学模型， 计算w 的坐标值。 本论文所采用的几何模型是源于三角测量( 嘶a i l g u l a t i o n ) 原理的几何模型【4 5 j 。 如图2 2 b ，取一个虚平面，在虚平面上的投影条纹距离差a b ，基线( 摄像机和投 影机的光心连线) 长度d ，距离l ，就可得到被测物点到基线的距离 4 5 1z e ： 一 三d z v o2 2 a b + d 飞= 罢( 兰一 z p o + 孚 c 2 山 = 罢( 鲁一 z p o + 罢 即得到了被测物点的信息( 深度) 。符号的正负，可见文献 4 5 1 。但是，l 、d 的值获取困难，从而标定困难；还要设定一个参考面( 虚拟的) ；设备的光轴基本 不能精确地位于同一平面内( 摄像机与投影机f b j 的) ；镜头存在光学像差，同名点 和物点之间，已经不能成为精准的三角形，式( 2 1 ) 根本不能解决此误差，测量准 第二章系统的数学模型 确度低。 为解决其缺陷，根据摄影测量原( p h o t o g r a m m e t r y ) ，引入空间几何模型。” 与w 之间的解析几何关系用函数f p ：i r 3hi r 2 和f 。：i r 3b - - ) i r 2 表示为： f p - f p ( f p ，w 1 ic = f c ( f c ，w ) ( 2 2 ) a t g p = k c t g o k e p s l p s p ，c i r 2 , w i r 3 ，i r x 代表k 维欧几里得空间；f p , f 。为成像函数；pf 。 为向量参数，由除w 外的所有几何参数组成。 f 有两种参数类型。外参数( e x t r i n s i cp a r a m e t e r s ，e p s ) ，即场景中的位置，设 备位置改变，其取值就改变。内参数( i n t r i n s i cp a r a m e t e r s ，册) ，表示内部几何关 系，测量方位改变取值不变，如果不改变系统的内部结构，取值也不易改变。 e p s 内方位元素( i n t e r n a le l e m e n t s ) ，i p s 外方位元素( e x t e r n a le l e m e n t s ) 。外参数向量 记为1 9 ，参数向量记为0 ，f = 【o ，1 9 】就为总向量。 要求解( 2 2 ) 式，即要求得w 含的3 个坐标值。假设f 9 和f c 都是已知量， p ，c 包括的坐标分量有4 个，必须先得到3 个。 使用的摄像机台数大于一时，如图2 2 a 所示立体系统( 双目视觉) ，光信号在 同一物点w 处反射，在相同时刻被每台摄像机探测到，满足： c i2 弓( 白，w ) ( 2 3 ) c ，( f = 1 , 2 ，以) ：第i 台像点，成像函数：f f ：i r 3 专i r 2 ，有刀台摄像机接收 到光信号。 同理，要( 2 3 ) 可求，就要测得h c 。，c ：，c 。) 中的3 个以上的值。使用多台摄 像机的测量系统有不少方便：投影机可不标定；对于摄像机，对其研究已经比较 成熟，能通过各种有效的方法标定得到高精度的向量参数。现在大多使用双目系 统。 2 2 摄像机模型 系统的核心部分是数字摄像机和投影机。我们基于d c r p 基本理论，建立d s l s 的空间数学模型( 解析的) ，给出坐标( 被测物点) 的计算方法。 如图2 。3 ，根据光学成像理论( 近轴) ，物点与像点之间的关系，化为透视投影 9 电子科技大学硕士学位论文 模型 4 6 j ，其表达式可写成： d e f b = f ( f ，a )( 2 4 ) 向量a i r 3 ( 物点坐标) ，对应的向量b i r 2 ( 像点坐标) ；k 维的几何参 数向量f i r k ；p 为透视投影下的成像函数。 图2 - 3 数字摄像机的透视投影成像模型及变换过程 2 2 1 坐标系统及变换关系 在图2 3 中，有四个坐标系：像平面上的二维像素坐标系，图像坐标系，三维 的摄像机坐标系，以及世界坐标系。 在图像传感器阵列上，建、- ) - c c d 4 7 1 ( c m o s 4 8 1 ) 都适用的像素坐标系( p i x e l c o o r d i n a t e s ，单位p i x e l ) ( 訇2 4 a ) ，坐标系是离散的，左上角的像素是原点9 0 。在 像素坐标系下，像点9 b k ，1 ，】的坐标值就是列数和行数。工艺的缺陷，u 轴与v 轴 之间有一定的误差( 不j 下交) ，即倾角r ，如图2 4 b 所示。 如1 蛩2 - 4 b ：图像坐标系( i m a g ec o o r d i n a t e s ，单位m m ) 是直角坐标系( 连续的) 。 1 0 是像平面和摄像机光轴的交点，称为主点。在图像坐标系中，像点- b k ，y 1 与p b 间的转化关系为( 2 5 ) ： l o 第二章系统的数学模型 u = u o - y e o t r + x p u 轴和v 轴的像素尺寸分别是p 。，p ，；k 。，v 。】是1 0 的像素坐标。 ( 2 5 ) 图2 - 4 像平面上的坐标系：( a ) 像素坐标系；( b ) 图像坐标系 图2 5 摄像机坐标系与图像坐