（通信与信息系统专业论文）单目位姿测量中目标中心定位算法研究.pdf

单目位姿测量中目标中心定位算法研究 摘要 本课题来自一个射击训练系统项目。射击时，枪上带有激光瞄准，需要知道靶标上 激光点的位置，用来校正实际打枪时的位置。并且由于靶标也会移动，所以需要知道其 姿态信息。整个模型可以用单目位姿测量系统来模拟。 位姿测量即位置与姿态测量，是现代控制、导航等许多领域研究的一个重要课题。 计算机视觉位姿测量系统在工业和工程中得到了广泛的重视和应用，例如在航天器近距 离对接、大型工件现场安装过程中在位姿测量技术中，单目视觉测量具有非接触、结 构简单、标定步骤少等优点。同时该技术避免了多传感器测量中视场小，全局标定过程 复杂等不足，因此越来越受到关注。 本文详细讨论单目视觉位姿测量系统组成原理，包括摄像机标定，单目视觉位姿空 间坐标测量问题( p n p 问题) 和目标位姿变化描述。系统采用基于4 个共面特征点的三 维坐标线性求解方法( p 4 p ) ，并且基于测量出的坐标结果研究确定了系统中的位姿描述 方法。文中所有仿真实验均借助o p e n c v 的图像数据库平台，给编程带来了便利。本文 设计的算法坐标误差精度最高仅限于0 0 3 r a m 以内，为后续实验打下了良好的基础。 所谓目标中心定位，就是运用图像处理的方法对从拍摄到的带有激光光斑的照片进 行光斑定位。系统中对于光斑定位常用到的两种算法进行了介绍：重心法与最小二乘圆 拟合法。实验中对两种算法计算一幅图片的时间进行了比较，均在1 4 1 6 m s 之间，并且 有最小二乘法比重心法用时短的结论同时，这两种中心定位算法的精度也是很高的。 结果表明两种算法韵误差都不会超过0 2 1 1 6 m m 为了区分目标上分别属于不同系统的特征点韵情况，提出了一种基于不同几何形状 目标中心点定位的算法：先进行区域分割，再用h a r r i s 角点检测算法计算特征点。相对 于原始h a r r i s 算法、改进的h a r r i s 和s i f l r 算法，本文算法不但提高了检测效率，也提 高了检测正确率。中心点检测的误差可以达到0 1 1 6 4 r a m 。 关键诃：单目视觉；位姿测量；特征点中心定位；h a r r i s 角点检测 哈尔滨t 程大学硕士学位论文 a b s t r a c t t h es u b j e c tc o m e sf r o ma s h o o t i n gt r a i n i n gs y s t e m w h e ns h o o t i n g ，t h eg u nh a sl a s e r s i g h t i n g t h e r ei sn e e dt ok n o wt h el o c a t i o no ft h el a s e rp o i n to nt h et a r g e t t h el o c a t i o ni s u s e dt oc o r r e c tt h ea c t u a ll o c a t i o nw h e nf i r i n ga g u n a n db e c a u s et h et a r g e tw i l lm o v e ，t h e a t t i t u d ei n f o r m a t i o ni sn e e d e d t h ee n t i r em o d e lc a nb eu s e dm o n o c u l a rp o s em e a s u r e m e n t s y s t e mt os i m u l a t e p o s i t i o na n da t t i t u d em e a s u r e m e n ti sa ni m p o r t a n tt o p i ci nm o d e m c o n t r o l ，n a v i g a t i o n a n dm a n yo t h e ra r e a so fr e s e a r c h p o s i t i o nm e a s u r i n gs y s t e mo fc o m p u t e rv i s i o ni ni n d u s t r y a n de n g i n e e r i n gh a sb e e nw i d e l y a p p l i e da n dr e c e i v e sal o to fa t t e n t i o n a m o n gt h e s e m e a s u r i n gt e c h n i q u e s ，m o n o c u l a rv i s i o nh a sa d v a n t a g e so fn o n - c o n t a c tm e a s u r e m e n t ，s i m p l e s t r u c t u r e c o m p a r e dt om u l t i s e n s o rm e a s u r e m e n t , i tc a na v o i dd i f f i c u l t yo fs m a l lf i e l do f v i e wa n dt h ec o m p l e x i t yo ft h ec a l i b r a t i o np r o c e s s b a s e do nt h ec o m p o s i t i o no fp o s i t i o na n da t t i t u d em e a s u r e m e n ts y s t e mm o d e lo f m o n o c u l a rv i s i o n ，t h i sp a p e rd i s c u s s e st h ep r i n c i p l e so fi t sc o m p o s i t i o n a n dt h a tw i l lb e c a m e r ac a l i b r a t i o n ，m o n o c u l a rv i s u a l s p a c e c o o r d i n a t e so ft h e p o s i t i o n a n da t t i t u d e m e a s u r e m e n tp r o b l e m s ( p n pi s s u e s ) a n dd e s c r i p t i o no fc h a n g e si nt a r g e tp o s i t i o na n da t t i t u d e s y s t e mu s e sal i n e a rm e t h o df o rs o l v i n gt h r e e - d i m e n s i o n a lc o o r d i n a t eb a s e do nf o u rc o p l a n a r f e a t u r ep o i n t s p o s i t i o na n da t t i t u d em e t h o di ns y s t e mi sd e s c r i b e db a s e do nt h em e a s u r e d c o o r d i n a t e sr e s u l t s i nt h i sp a p e r , a l ls i m u l a t i o nr e s u l t sa r eb ym e a n so fo p c n c vi m a g e d a t a b a s ep l a t f o r m ，s ot h ep r o g r a m m i n gi sm a d ee a s i e r c o o r d i n a t ee r r o ri nt h ea l g o r i t h m d e s i g n e di nt h i sp a p e ri sl i m i t e dt ot h eh i g h e s ta c c u r a c yw i t h i n0 0 3 m m ，w h i c hl a y sag o o d f o u n d a t i o nf o rt h ef o l l o w i n ge x p e r i m e n t ，n 1a r g e tc e n t e rp o s i t i o n i n gi sp o s i t i o n i n gc a p t u r e dp h o t o su s i n gi m a g e p r o c e s s i n gm e t h o d s t h es y s t e mi n t r o d u c e st h et w oa l g o r i t h m so ns p o tp o s i t i o n i n g ：t h eg r a v i t yo fr e g i o na n dt h e l e a s ts q u a r ef i t t i n g w h e nt h ea l g o r i t h m sa r eu s e do no n e p i c t u r e ，t h et i m ea r eb o t hb e t w e e n 1 4 1 6 m sw i t ht h ec o n c l u s i o nt h a tt h el e a s ts q u a r ef i t t i n gi sf a s t e rt h a nt h eg r a v i t yo f r e g i o n e x p e r i m e n t ss h o wt h a tt h et w oo b j e c t i v e so ft a r g e tl o c a t i o ne r r o ra r en om o r et h a n0 2 11 6 m m t od i s t i n g u i s hc h a r a c t e r i s t i c ss p o t sb e l o n gt o d i f f e r e n ts y s t e m ，t h i sp a p e rp r e s e n t sa c e n t e rl o c a t i o na l g o r i t h mb a s e do nd i f f e r e n tg e o m e t r y ：f i r s ts e g m e n t sr e g i o n si nt h eo r i g i n a l i m a g et og e tt h ee d g eo ft h et a r g e t a f t e rt h a tc o m e r sw e r ed e t e c t e dw i t hh a r r i sc o r n e r 单目位姿测量中目标中心定位算法研究 d e t e c t o r t h ep a p e rc o m p a r e st h i sm e t h o dt oo r i g i n a lh a r r i sa n di m p r o v e dh a r r i si na c c u r a c y a n de f f i c i e n c yw a y e x p e r i m e n tr e s u l t ss h o wt h a tt h i sd e t e r m i n a t i o no fc e n t e ra l g o r i t h m a d v a n c e sb o t ha c c u r a c ya n d e f f i c i e n c y ，a n di t se r r o ri sw i t h i nq 1 1 6 4 m m k e y w o r d s ：m o n o c u l a rv i s i o n ；p o s i t i o na n da t t i t u d em e a s u r e m e n t ；f e a t u r ep o i n tc e n t e r p o s i t i o n i n g ；h a r r i sc o r n e rd e t e c t i o n 第1 章绪论 第1 章绪论 1 1 课题背景 本课题来自一个射击训练系统项目，当不同人对靶标进行瞄准时，枪上带有激光瞄 准，需要知道靶标上激光点的位置，并且由于靶标也会移动，所以需要知道其姿态信息。 整个模型可以用单目位姿测量系统来模拟。激光打到靶标上时，需要对靶标上分别属于 不同人的目标区分开来。因此提出用不同几何形状来区分属于不同人的目标，也就是本 课题的立题所在。 位姿测量是现代控制、导航、跟踪等许多领域研究的一个重要问题，一般应用于卫 星、航天器、无人机、机器人、船舶、汽车等动态的载体上，通过安装在动态载体上的 图像采集系统来实现自主导航、自主定位、自动跟踪、自动目标识别、三维重建等功能。 这些载体要求位姿测量系统具有精度高、实时性强、安装方便等特点1 1 j 。 视觉测量技术具有实时、非接触测量以及信号采集、数据处理、自动化程度高等优 点，适用于现场实时检测【2 】。其中单目视觉测量技术是指仅利用一台数码相机或摄像机 拍摄单张像片来进行测量工作。因其仅需一台视觉传感器，所以该方法的优点是结构简 单、相机标定简单、现场安装、调试容易等的优点，同时还避免了立体视觉中的视场小、 立体匹配难的不足1 3 q 。理论上讲，如果适当控制球状环境，通常通过采用基于特殊标 志或是控制点的方法，单个摄像机采集一张图像就可以估计出目标物的位姿信息f 5 。6 】。 研究一种基于单相机的位姿测量系统是解决工业装配现场、自动监测问题的有效途径。 1 2单目视觉位姿测量国内外研究现状 1 2 1 位姿测量国内外研究现状 目前，从国内外研究的相关课题来看，位姿测量方法从原理上可分为四大类：基于 惯性导航原理，基于g p s 导航系统，基于惯性导航和g p s 导航组合原理和基于计算机 视觉测量系统。 1 基于惯性导航原理 传统的惯性导航系统阴是利用高精度陀螺仪和加速度计等惯性元件感受运动载体在 运动过程中的加速度，然后通过积分计算，得到载体的位置与速度等导航参数。但由于 传统的高精度陀螺抗过载能力较差，体积大，且价格贵，其应用领域受到极大的限制， 因此又相继研制出了一些优化的测量系统： 利用微机电系统( m e m s ) 加速度传感器的姿态测量系统【引，实现了系统的超小型化； 哈尔滨工程大学硕士学位论文 以三轴重力加速度计和三轴磁强计为传感器的姿态测量系统，具有固态化、捷联式、低 成本、高自主性等特点，但是在无法获得磁矢量的情况下失效；微型惯性测量组合 9 ( m i m u ：m i c r o - - - i n e r t i a lm e a s u r e m e n tu n i t ) 是国际上近年来发展起来的新技术，不依赖 任何外部信息，也不向外部辐射能量的自主式系统具有数据更新率高、短期精度和稳定 性好，体积小、重量轻等优点，但是它是用数学平台代替了常规的物理平台，计算机完 成导航平台的功能，计算的算法复杂，变量动态范围大且实时性要求高，计算机的任务 变得相当繁重；无陀螺惯性测量组合( n o n g y r oi n e r t i a lm e a s u r e m e n tu 血一n g i m 是指 惯性测量组合中不用陀螺测量角速度，而是根据线加速度计的空间位置组合解算出角速 度，从而得到惯性测量的全部参数。从1 9 6 5 年首次提出不用陀螺测量物体角速度的想 法，a l f r e d r s c h u l e r 在1 9 6 7 年提出利用线加速度计测量物体的旋转运动的想法，随 后各国学者提出了多种加速度计的配置方案。目前相应的姿态算法研究均是针对某一特 定的配置方案，且未考虑实际中确实存在的加速度计安装误差，对姿态参数的估算产生 不可忽略的影响【1 0 。1 1 1 。 惯性导航系统最大缺点就是误差会随着时间的推移而发散，加温和初始对准所需要 的时间较长，而研究所需要的高精度惯性元件却要花费相当大的精力和经济代价。为了 能够充分利用惯性导航系统的优点来进行位姿测量，它不能独立使用，而必须与其它导 航方法组合使用才能够达到理想的效果。 2 基于g p s 导航系统 g p s ( g l o b a lp o s i t i o n i n gs y s t e m ) 1 1 2 j 全球定位系统是利用导航卫星来进行导航定位 的，具有精度高，使用简单等优点。g p s 不仅可以实时、全天候地提供载体的位置、速 度和l p p s 秒脉冲信号，而且利用相位干涉原理，采用天线布阵技术，可以实现载体的 航向及姿态的测量。g p s 测量方法有伪距法( 或码相位法) 、多普勒法和载波相位法。 虽然g p s 位姿测量系统有诸多的优点，但是这类专用设备的主要缺点是其价格昂 贵和应用的灵活性不强。 3 基于惯性导航和g p s 导航组合原理 惯性导航和g p s 导航( i n s g p s ) 组合系统1 1 3 】将g p s 的长期精确性与陀螺的短期 稳定性相结合，将二者的优点相互结合来达到良好的测量结果，基本工作原理将上述二 者结合即可。目前，美国加州c r o s s b o w 技术公司开发出一种o e m 板姿态与航向基准系 统及导航系统。这种名为n a v 4 2 0 型的系统内嵌一部县有惯性传感器( - - 轴加速计、速 率传感器、磁强计、温度传感器) 的1 2 通道g p s 接收机。据报道，当采用基于卫星的 增强系统时，该系统可以3 m 的定位精度提供位置与速度数据。在静态状态下，1 8 0 2 第1 章绪论 。范围内的航向精度优于2 。，而在动态状态下，1 8 0 。范围内的航向精度也是2 。，分辨率优于0 1 。( r m s ) ，其体积尺寸为7 6 2 x 9 5 3 7 6 2 c m 。这种组合的测量精度 和可靠性都很好，但是由于将二者组合，那么价格自然也是比较昂贵。 4 基于计算机视觉测量系统 计算机视觉又叫机器视觉，主要是研究利用计算机来模拟人的视觉功能，从客观事 物的图像中提取有价值的信息，进行处理和识别并最终用于实际的检测、测试、导航或 控私。视觉测量技术是建立在计算机视觉研究基础上的门新兴技术，研究重点是物体 的几何尺寸及物体在空间的位置、姿态等的测量1 1 4 1 。视觉测量的分类方法有多种，其一 是按所用视觉传感器数量可以分为单目视觉测量、双目视觉( 立体视觉) 测量和三( 多) 目视觉测量等1 1 5 j 。 双目视觉测量系统是指由两幅二维图像获取物体三维信息，用处于不同位置的两台 摄像机获取同一运动物体的图像，提取运动物体上的几个特征标识点，在此基础上得到 标识点的空间位置信息，然后通过两幅图像中的3 d 匹配点对，计算出物体的运动参数 ( 位置、姿态和速度等信息) 。但是双目视觉系统会产生视场死角，同时大量的图像精 确匹配工作难度也较高，所以单目视觉测量系统成为了现在研究的热点i 掭1 刀单目视觉 测量是指仅利用一台数码相机或摄像机拍摄单张图像来进行物体在空间的位置和姿态 的测量工作。单目视觉测量系统不受视场范围限制，可以通过更换镜头，在所需测量范 围噬及测量距离内测量目标的空间位置和姿态。因其仅需一台视觉传感器，所以该方法 的优点是结构简单、相机标定也简单，同时还避免了立体视觉中的视场小、立体匹配难 的不足。单目视觉三维测量的常见方法有：结构光法、几何光学法、辅助测量棒法、激 光辅助测距法、几何形状约束法等【1 8 1 。关于单目视觉测量目标位姿的原理将在第二章做 具体的介绍和分析。 计算机视觉测量系统不但适用于大部分需要人类视觉的场合，而且适用于许多人类 视觉无法感知的场合，如精确测量、危险场景感知、不可见物体感知等。同时由于它的 工作波段远离当前电磁对抗的频率范围，也使系统的工作过程具有很强的抗电磁干扰 性。因此，计算机视觉测量系统具有独立性、准确性、可靠性、信息完整性以及成本低， 使用灵活等优势t ，更适合于现代化科技的要求1 1 9 - 2 0 i 。 1 2 2 计算机视觉技术的研究现状 视觉坐标测量是近年来测量领域中的新测量技术。它是以光学为基础，融电子技术， 计算机技术，图象处理技术为一体的测量系统。它广泛应用于航空、航天、汽车制造业 3 哈尔滨t 程大学硕十学位论文 中的在线检测，c a d 模型三维数据快速获取以及工艺品复制和服装设计等领域。所谓 视觉坐标测量，就是利用光学成像，通过分析成像变化，达到对被测点坐标测量的目的。 单目视觉测量系统利用一台相机或摄像机拍摄单张像片来进行测量工作构成简单， 对摄像机的校准也较为简单，同时避免了双目视觉中立体匹配的困难以及对测量系统的 现场校准。该系统利用数字摄像机获取的单幅二维图像来确定被测对象的空间三维信 息，但是由于二维图像丢失了被测对象在深度方向上的信息，因此仅靠一台摄像机获取 的单幅图像不能完全反映被测对象的三维空间信息，为恢复被测对象的三维信息，需要 附加约束条件。约束条件主要通过下面两种方法给出：摄像机成像位置约束和特征点空 间位置约束1 1 9 瑚】。 1 摄像机成像位置约束 该方法采用焦距可调的摄像机作为图像获取设备，直接对被测对象成像，通过焦距 调整确定摄像机成像位置给出约束条件，聚焦法和离焦法是确定摄像机成像位置的两种 基本方法。其中，聚焦法通过调整摄像机焦距使被测点处于聚焦位置，然后根据透镜成 像公式求得被测点相对于摄像机的距离( 恢复被测空间点的深度信息) ，该方法测量精 度受限于镜头的景深和焦距，寻求精确的聚焦位置是测量的关键；离焦法根据事先标定 出的离焦模型计算被测点相对于摄像机的距离，该方法避免了由于寻求精确的聚焦位置 而降低测量效率的问题，但离焦模型需要准确标定。 2 特征点空间位置约束 该方法是在工程上应用较多的一种。目前，基于单目的视觉测量方法，通常是在目 标物体上设置n 个特征光标点，即这些点在物体坐标系下的坐标已知；然后，用相机拍 摄目标物体，得到目标物体上n 个点的相平面坐标。通过n 个点之间的约束关系就可 以测量出目标物体在相机坐标系下的位姿，这也就是所谓的p n p 2 2 - 2 a l 口- j 题。该方法克服 了传统的视觉坐标测量系统直接从被测表面获取被测信息的缺点，改变了由于被测表面 形状复杂而使应用受到限制这一情况，能够实现遮挡点及高光点的测量。基于光学测头 特征点成像的单机视觉坐标测量系统具有测量空间大、测量精度高及可进行现场测量等 优点，是替代传统的大型坐标测量机的最有发展前途的技术方案之一。 国外在单目视觉坐标测量系统方面的研究起步比较早，已开发出成熟产品，如 m e t r o n o r 公司的s c s 系统、l e c i a 公司的v - s t a r s s 系统和a i c o n 公司的p r o c a m 系统。 如m e t r o n o r 公司的s c s 系统由数码传感器、专利光笔、测头、笔记本电脑及三脚架等 组成。它以光学测量棒上的红外发光二极管作为成像目标，由摄像机获取的单幅图像实 现单机视觉测量，其测量范围为1 5 1 0 m ，分辨率为0 0 0 1 m m ，长度测量精度指标： 4 第1 章绪论 0 0 3 5 m m 2 5 m ，0 0 9 0 m m 6 m ，4 - 0 1 8 8 m m l o m 。国内在这方面的研究相对起步较晚， 还处于理论探索阶段，目前还没有开发出成型产品。哈尔滨工业大学测控技术与质量工 程研究所是国内比较早进行这方面研究的单位，对基于测头成像的单机视觉坐标测量方 法进行了有益的探索，并在1 9 9 8 年研制出试验样机。文献1 2 4 q 设计的单目视觉坐标测 量系统达到了比- 0 1 4 + l 5 0 0 0 ( m m ) 。另外，天津大学的精仪学院和上海大学等也正 在进行该方面的研究工作【压凋。 1 2 3 单目视觉位姿测量系统研究现状 单目视觉位姿测量方法仅需一台视觉传感器，该方法的优点是结构简单、相机标定 也简单，测量精度高，同时还避免了立体视觉中的视场小、立体匹配难的不足，因而近 年来有关这方面的研究比较多。基于点目标的单目视觉位姿测量是视觉位姿测量的典型 方法之_ _ _ 1 2 6 1 。 哈尔滨工业大学卫星技术研究所的张世杰等1 2 3 l 利用4 个合理设置的目标航天器非 共面特征光点，基于比例正交投影近似假设推导出相对位置和位姿参数确定问题的解析 解。当单轴位姿角增大到2 0 。时，相对位置最大估计相对误差为1 ，相对位姿估计误 差为1 2 。张世杰、曹喜滨等f 2 4 j 在非合作航天器的相对位姿测量中与传统的安装特征 点的方法不同，充分利用了目标航天器的自身结构特征，基于p 3 p 理论，选择求解非线 性问题性能优良的l r v e n b e r g - - m a r q u a r d t 算法获得目标的相对位姿，这种方法可以测量 很远的范围，在2 0 0 m 远处测量误差在1 5 。 高学海等【2 5 l 利用单目摄像机和激光测距仪，提出了一种尺寸未知的空间矩形平面的 位姿测量算法。该算法不需要知道矩形平面的4 个顶点的物体坐标，只需要知道它们的 图像坐标、激光点的图像坐标和激光测距结果，就能够计算出尺寸未知空间矩形平面在 摄像机坐标系下的位姿，并且计算出矩形平面的尺寸。由于此系统借助了激光测距仪成 像精度高的优点，仿真结果显示测量精度可以控制在0 0 1 。内。 张广军、周富强【2 6 】在无人机着陆位置位姿视觉测量研究中提出了在目标上标记两个 圆形特征的方法，采用双圆的8 个公切点产生2 1 个具有透视投影不变性的特征点，并 提出了在复杂背景中双圆特征的图像提取新方法及标记特征点的单目视觉测量方案，单 轴位置误差小于6 c m ，单轴位姿误差小于o 7 。 从单目视觉的研究现状可以看出，单目视觉的应用领域很广泛。测量方法也很多， 主要有以下几种1 1 6 j ： 1 几何相似法测量 5 哈尔滨下程大学硕+ 学位论文 单目视觉几何相似法测量是对应于被测对象的几何参数在同一平面内的情况，此时 被测物面与摄像系统光轴垂直，并与像平面平行。根据透视投影模型，物体与其图像满 足相似关系，只要从图像上提取所需参数，乘上实际放大倍数，就得到物体的实际几何 参数。几何相似法测量只是二维测量，主要有二维几何位置、形状、变形测量、位移和 速度的测量等。 2 结构光法测量 用激光作光源产生点、线、面各种结构光，用c c d 摄像机来接收，通过一定算法 来获取结构光所携带的被测物体的3 d 信息。以半导体激光器作光源，使其产生的光束 照射被测表面，经表面散射( 或反射) 后，用面阵c c d 摄像机接收，光点在c c d 像平 面上的位置将反映出表面在法线方向上的变化，即点结构光测量原理。半导体激光器产 生的激光经柱面镜变成线结构光，投射到被测区域形成一激光带，用面阵c c d 摄像机 接收散射光，从而获得表面被照区域的截面形状或轮廓，即线结构光测量原理。让线结 构光扫描被测表面，就可获得被测表面的3 d 数据。让半导体激光器发出的激光扩束后 照射到光栅上，便产生多个光平面，投射到被测表面上形成多条亮带，用c c d 摄像机 接收，便可获得被测表面的3 d 信息。 3 几何光学法测量 相机光学镜头是薄透镜，对薄透镜来说，已知焦距和像距即可求得物距。因此，几 何光学法测量可分为聚焦法和离焦法。在焦距是可调的情况下，使被测点处于聚焦位置， 然后根据透镜成像公式可求得被测点相对于相机的距离，以达到测量目的。这种方法称 之为聚焦法，它要求焦距可连续变化，因此硬件复杂且昂贵、处理速度慢，相机偏离聚 焦位置会带来测量误差，寻求精确的聚焦位置是关键所在。离焦法不要求相机相对于被 测点处于聚焦位置，而是根据标定出的离焦模型计算被测点相对于相机的距离。它避免 了寻求精确的聚焦位置而降低测量效率的问题，但离焦模型的准确标定是该方法的主要 难点。 4 辅助测量棒法测量 借助一根带有三个以上已知标志点的辅助测量棒( 以下简称测棒) ，用单台相机获 取单张像片就可进行空间点三维坐标测量。测棒上标志点和测头在测棒坐标系中的坐标 可预先标定好，即坐标是已知的。测量时，手持测棒用测头接触待测点，将测棒坐标系 当作辅助控制坐标系，则测棒上标志点即为控制点，如果有三个以上测棒标志点( 控制 点) ，利用单像空间后方交会就可解算出像片的外方位元素( 像片内方位元素需事先标 定好) ，从而求得测棒坐标系与测量坐标系的转换关系。又因为测棒的测头在测棒坐标 6 第1 章绪论 系中的坐标是己知的，则通过坐标转换即可得到测头在测量坐标系中的坐标。 5 激光辅助测量距法测量 单张像片不能进行三维测量是由于影像中只含有被测点的二维信息，而缺少被测点 至镜头中心的距离信息。测距仪是最常用的距离测量手段之一，据此提出将手持激光测 距仪和相机集成在一起，相机拍摄的单张像片获取被测点的二维信息、测距仪测距得到 距离信息，最后统一解算得到待测点的三维坐标。 1 3研究目的、意义和论文内容安排 1 3 1 研究目的和意义 中心定位作为单目视觉位姿测量中的重要组成部分，获取特征点在图像中的精确位 置是图像处理的基本目的。本文所用单目视觉测量方法如1 2 2 节所介绍，通过人为设 置的特征点代替直接从被测物体表面提取的特征点作为成像目标，特征点问的位置关系 事先标定，通过视觉成像理论算法确定特征点的空间坐标，最后根据被测点与特征点之 间的位置关系确定被测点的空间坐标。 具体的做法是，在室内试验中，首先由激光光源发出一定频率的激光束，照射在目 标平面上面，然后由c c d 摄像头获取到模拟视频，通过数字图像采集卡得到标准的数 字视频，即数字图像序列。在p c 机的软件编译环境下，对数字图像进行中心定位算法 设计，从而获取到光斑坐标位置而本文研究的重点就将是讨论已有的中心定位算法， 并针对目标上分别属于不同系统的特征点，提出了一种基于不同几何形状中心点定位的 算法。 1 3 2 论文结构和主要内容 本文的内容安排分为以下几个部分： 第1 章介绍课题背景，分析介绍位姿测量技术、视觉坐标测量技术及视觉位姿测量 技术的国内外研究现状；阐唠本文的研究目的及意义；简单概括本文的研究内容。 第2 章为目标位姿测量原理，通过分析确定位姿测量中特征点的类型，介绍了摄像 机标定的相关知识，确定了本系统中摄像机的标定方法：研究视觉成像理论与位姿测量 算法，确定测量系统中的特征点坐标计算与位姿变化描述的理论模型；最后给出了实验 分析结果。 第3 章为目标中心定位算法介绍。系统中对于光斑定位常用到的两种算法进行了介 绍：重心法与最小二乘圆拟合法，并对两者进行了比较，给出了实验及对比结果。并介 7 哈尔滨- t 程大学硕士学位论文 绍了编程实现中主要应用到的o p e n c v 函数。 第4 章为定中算法改进。从应用的角度提出了一种基于角点检测的改进中心定位算 法。为了适应同一图像上提取多个几何形状中心点的情况，提出了先进行区域分割，再 用h a r r i s 计算特征点的算法。并将本文算法就一幅图像中有单个几何形状的情况与原始 h a r r i s 和改进的h a r r i s 算法从准确率和效率上进行了比较。 8 第2 章目标位姿测量原理 第2 章目标位姿测量原理 2 1引言 作为一个系统的实现，必须要有理论的支撑。基于整体性的考虑，选择何种结构、 采用什么样的光源、如何建立目标特征点模型都必须在真正做系统实现之前确定下来。 下面就将详细论述单目视觉测量系统的组成结构以及方法原理。本章首先介绍了单目视 觉位姿测量各部分的原理，然后在2 5 节中对各部分设计了仿真实验，并对实验结果进 行了总结分析。 2 2单目视觉测量系统组成及原理 在此系统的室内试验中，首先由激光光源发出一定频率与功率的激光束，照射在目 标上面，在本文中目标假定是平面的。然后由c c d 摄像头获取到模拟视频，通过数字 图像采集卡，可以得到标准的数字视频，即数字图像序列。在p c 机的软件编译环境下， 对一系列的数字图像进行中心定位算法设计，从而获取到光斑坐标位置此系统中，所 涉及到的设备如图2 1 包括：激光源、c c d 摄像头、数字采集卡和p c 编译环境。 激光源 斗c c d斗 数字图像采集卡 斗 p c 编译环境 图2 1 系统设备示意图 照相机成像模型和摄像机成像模型是一致的，因此本文以后用摄像机标定模型来代 替照相机模型。摄像机标定所要解决的问题就是建立物体的世界坐标与摄像机内图像的 像平面坐标的转换关系在此实质上将摄像机标定问题转换为求两平面摄像机成 像平面和目标平面之间的透视投影矩阵日。摄像机标定的作用就是一旦确立了这种关 系，只要知道了摄像机内图像的像平面坐标，我们就可以知道物体的世界坐标了l 知道 物体的世界坐标也就知道它在摄像机内图像的像平面坐标了 通常位姿信息由六个参数组成三个位置参数( 毛y ，z ) 和三个姿态参数( 口，p ，们。而 且通过本文的算法，只要知道摄像机内的图像坐标，就可以计算出物体的位置参数，而 通过物体的世界坐标和对应的摄像机内的图像坐标，：建立坐标系，就可以求出位姿参数。 那么下面几节的内容分别从摄像机标定、空间特征点三维坐标测量、和目标姿态变 化描述的原理进行详细的阐述。 9 哈尔滨丁程大学硕+ 学位论文 2 3 摄像机标定原理 计算机视觉是- - i - j 研究如何使机器“看 的科学，更进一步的说，就是指用摄影机 和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电 脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉 研究相关的理论和技术，试图建立能够从图像或者多维数据中获取“信息的人工智能 系统。 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体 的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像 中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄 像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为 摄像机标定。标定精度的大小，直接影响着机器视觉的精度。 摄像机是视觉传感器获得测量信息的机构，摄像机标定技术使摄像机具有获得空间 坐标的功能。随着近几十年来视觉检测技术的发展，摄像机标定技术被应用到近景测量 中。在三维计算机视觉领域内的摄像机标定，就是指确定摄像机内部几何和光学特性( 内 部参数) 和相对于一个世界坐标系的摄像机坐标的三维位置和方向( 外部参数) 。 经过摄像机标定和传感器标定后，视觉传感器就具有了测量空间点坐标的功能。视 觉传感器是视觉检测系统的信号获得和三维坐标转化单元，其测量精度直接决定着系统 测量的精度，而视觉传感器的测量精度则取决于摄像机标定精度和传感器标定精度。 目前已经有许多摄像机标定的方法，如t s a i 提出的基于三维标定参照物的标定方法 1 2 7 1 ，标定参照物一般由两块互相垂直的平面模板组成，由于标定前需要知道参照物表面 标定点的空间三维坐标，因而这种方法需要一套昂贵的精密标定设备。张正友提出了基 于二维平面模板的标定方法【捌，该标定法只要求从不同角度拍摄的同一标定模板2 幄以 上的图像，就可以求出摄像机的内外参数，该方法不需要知道平面模板移动的具体方位 和位移信息，而且平面模板的制作简单，因此比其他方法更简单、灵活。 摄像机标定大致可以分为线性和非线性的【1 9 】。下面分别介绍一下两种标定模型。 2 3 1 线性标定模型 所谓线性标定模型是指不考虑摄像机成像过程中的非线性畸变问题，用一组基本的 线性约束方程表示摄像机坐标与三维物体空间坐标之间的线性变换关系。一般采用理想 的针孔模型近似表示摄像机成像过程，如图2 2 所示。 1 0 第2 章目标位姿测量原理 p ( x 0 ，匕，2 c ) ，( x ，z 矽) z ， 图2 2 摄像机投影成像模型 图中d c k 匕z c 为摄像机坐标系，昂z 0 为世界坐标系，x ，0 ，e 为像平面坐标 系，i t o v 为计算机图像坐标系，p 为空问任意一点，p 为p 在像平面的像点，d c d ，的 距离为摄像机成像镜头的有效焦距，。 户点在世界坐标系z w 中的坐标p ( b ，弓，z 0 ) 和在摄像机坐标系 0 c 五砭z c 中的坐标的( 五，砭，z c ) 的关系为： 阱阱 ( 2 1 ) 尺2 【兰兰耋】，z 。瑶王 ( 2 2 ) ，决定，这些参数只与摄像机的内部结构有关，m ：则是物体坐标系与摄像机坐标 z c 忤雕孙； x 冒 珞 z 1 ，m 1 m 2 x 珞 z 矽 1 肘称为投影矩阵，描述图像中你点与场景物体点的一一对应关系 = = m x w z 矽 1 ( 2 - 3 ， 哈尔滨工程大学硕士学位论文 任一像点实际坐标的求解坐标为 。再0 + 朋2 + z 3 z 彤+ 疗z 4 m 9 x w + ，l l 。+ l z 缈+ 1 ( 2 - 4 ) 。m 5 + 所6 + m 7 + 肌8 鸭b + o 昂+ l 乙+ 1 式( 2 4 ) 即为实际应用公式，选取六个或大于六个已知点( 包括像点坐标及对应的物 点坐标) 可以确定式中，肌：，m l 。共1 1 个参数。值得指出的是，选取的六对已知点不 应属于同一平面，即使在同一平面，也应该尽量使像点在图像中所形成的面积尽可能的 大，否则影响标定精度。 2 3 2 非线性标定模型 上述推导过程是用针孔模型描述摄像机成像过程，针孔模型是一种理想的线性模 型，没有考虑摄像机的非线性畸变的影响。然而，在一些对标定精度要求较高的应用场 景下，不能忽略镜头畸变等情况对线性模型产生非线性影响，因此需要对上述推导过程 进行修正。考虑各种畸变影响，采用公式( 2 5 ) 描述非线性畸变： x y2 = i y + + 瓯6 y ( x x , ) ，y ) ( 2 - 6 ) ( 虿，歹) 为小孔模型计算得出的图像坐标的理想值，( x ，y ) 为实际图像的坐标，6 ，6 ，是 非线性畸变值，与像点在图像中的位置有关，可表示为： 仁二叫k 2 x ( x 2 + 剥p p 甚_ y 2 ) z 2 删p x x y ) 二巢端 p 乃 l6 ，一 y 2 ) + ：( 缸2 + + 蝇( x 2 + y 2 ) v 吖 其中，6 。和6 。的第一项称为径向畸变，第二项称为离心畸变，第三项称为薄棱镜畸变。 式中毛，乞，p l ，p ：，墨，s ：称为非线性畸变参数。 一般情况下，上述非线性模型的第一项径向畸变己能足够描述非线性畸变，由于在 考虑非线性畸变时对摄像机标定需要使用非线性优化算法，引入过多的非线性参数往往 不仅不能提高精度，反而引起解的不稳定。综合考虑各种情况，实际应用当中常常采用 如下的非线性模型： 屯= k l ( x - x o ) r 2 + e l ( r 2 + 2 ( x 一) 2 ) + 2 p ：( x 一) ( ) ，一) ，。) 6 y ；白( y y 。) ，2 + p ：( r 2 + 2 ( y y 。) 2 ) + 2 p 。( z x o ) ( y 一y 。) ( 2 - 8 ) ，：厄i 丽 ，y 。是摄像机镜头光轴与图像平面的交点坐标。 第2 章目标位姿测量原理 2 4单目视觉测量目标原理 位姿信息是反映空间目标的重要参数，是指空间中一个坐标系相对于另一个坐标系 的位置和姿态，在实际工程中，往往是指相互关联系统坐标系的相对位置和姿态信息。 通常位姿信息由六个参数组成，三个位置参数和三个姿态参数。位置参数是指两个坐标 系之间x 、y 、z 三个坐标轴的相对平移量，姿态参数是指一个坐标系相对于另一个坐 标系的旋转角度，由俯仰角、方位角和滚转角组成【1 1 】，但是根据应用系统的不同也可以 少于这六个参数1 2 9 1 。下面分别从这两方面进行原理的阐述。 2 4 1 空间特征点三维坐标测量 从2 3 节分析可以知道，要获得物体坐标系与摄像机坐标系的位姿关系及目标相对 位姿的变化情况，就要知道若干个物体坐标系和摄像机坐标系都为已知的空间特征点。 如何设定空间特征点的数目及使其满足一种什么样的位置关系是求取这一问题的关键。 关于这一问题，国外学者已提出了一系列的方法和算法t i e t z 等1 3 0 1 将3 个特征点 设置成t 字形，中间特征点位于目标前方；g o d d a r d 3 1 1 都提出了6 个特征点组成两个4 点共面的模型，线性计算每个面的位姿：j u n k i n s 等f 3 2 l 提出的算法首先测量目标航天器 上的光标点位置，计算其相应的视线方向矢量，然后用高斯最小二乘微分修正算法确定 目标的相对位置和方向。a l o n s o 等f ，3 】利用测量得到的目标的视线方向矢量，利用相对 动力学模型和相对运动学模型设计了最优观测器，实现了对目标位姿的最优估计。 q u a a 0 4 1 等研究了从若干对应点线性确定目标位姿的方法。s h a k h n a r o v i c h 等【3 5 】提出了一 种“参数敏感散裂法打用于快速确定位姿。 研究空间点的透视几何关系也被称作p n p ( p e r s p c 脱i v e - n p o i n t ) 问题，即n 个空间 点通过中心透视投影投射到图像平面，物点的空间坐标和像点的空间坐标以及对应关系 都为已知，p n p 问题研究如何确定该系统中的投影关系。p n p 问题研究的重点是p 3 p 、 p 4 p 及p s p 问题，目前