（测试计量技术及仪器专业论文）利用编码法实现摄影测量中的点匹配.pdf

摘要 摘要 在近景摄影测量中，图像匹配技术是实现自动寻找同名点，实现三维重建 的关键，因此如何提高图像匹配的可靠性、精确性及速度，是一个非常关键的 问题。由于近景摄影测量所获取的立体图像存在较大的复杂的几何变形，及图 像上的被测量对象特征点少，在讨论近景摄影测量中的图像匹配方法时，有必 要在测量场景中人为设置一些编码信息( 编码点) ，以便利于近景摄影测量中的 被测量对象的三维重建以及图像拼接等后续数据的精确测量。本课题设计了两 种编码点，并实现左右图像中的编码点匹配。 首先提出了利用空和实来表示不同编码信息的思想，并将这种思想应用到 了不同的编码点设计中。 提出的第一种单环编码方法，是针对传统的单环编码方法的一种改进，实 现了用空心码段和实心码段的不同组合表示不同的编码点。针对本文提出的单 环编码方法，提出了一种识别算法，该识别算法满足旋转，缩放、平移的不变 性，从而实现图像的匹配。 第二种编码方法是基于点阵的编码方法，该编码方法利用空心圆点和实心 圆点的不同组合表示不同的编码点。设计出的基于点阵的编码方法带有坐标， ，编码容量可达2 5 5 。根据点阵的设计特征提出了一种识别点阵编码的算法，进一 步实现了对不同角度拍摄的图像上的编码点的匹配。 最后，将本课题设计的编码点应用到图像三维拼接坐标转换中，并做了坐 标转换实验，测量精度能够满足实际测量需求。 本文提出的两种编码点匹配方法都是针对近景摄影测量的图像匹配方法。 实验表明这两种编码点的匹配算法能够有效地降低数据处理时间，提高匹配率 和自动化程度。 关键词：摄影测量；图像匹配：编码点；三维拼接 a b s t r a c t a b s t r a c t h lc l o s e 砌g ep h o t o 乒a m m e n ys y s t 锄，i i i l a g em a t c l l i l l gi sak c yp r o b i e mt 0g e t t l l ec o r r e s p o n d i n gp o i n t sa u t o m a t i c a l l ya n df e a l i z et o3 dr e c o n s 仇l c tt 1 1 es p a c ep o i n t s f i l l l h ni sv e r yi l n p o m m tt oi m p m v ct l l er c l i a b i l i 哪p r c c i s i 锄ds p e e dd 嘶n g i m a g em a t c l l i i 蟮b a u s eo f t h ec o m p l e xd e 南唧a t i o no ft h eo b j e c t s 卸dm el a c ko f f e a n l r cp o i 椭i n t h e i n l a g e t l l e r e i s m u c hd i 伍c u l t t 0a c l l i c v e i l a g e m a t c h i n g i t i s n c c e s s a r yt os c t 叩m ea n i f i c i a lc o d e di l l f o 】胁a t i ( c o d c d 哪) i nt l l ec l o s e 蜘l g ep h o f o j f a 琏班娥r yw h 髓d i s c 璐s i n gi m a g em a t c h 协g 缸啦e rp r e c i s cd a 纽c 粗 b eo b t a i n c d i i l3 - dr o i l s 仇l c t i o n 卸d i l i l a g ec 0 衄e c t i o n m t h i s p 印咖k i l l d so f c o d e d 伽苫e t sa d e s i 印e da n dt h em a t c h i n gc o d e dt a r g e t sa r e l l i e 、，c di l ll e f t 粕d r i g h ti m a g e s n ei d e ao f 唧t y 姐d i i dd o t i n gd i 柏l ti n f 0 珊a t i o ni sp r e s 肌t e d 舭d 印p l i c di nd e s i 弘i n gd i f 融蜘tc o d e dt a | g c _ t si l l 恤ep a p 既 t h ef i r s tm e i l l o di s 觚i m p 坩v 锄e mt o 也e 仃a d i t i o n a ls i i l 百ec i r c u l 缸c o d e dt 娥蝉 j 1 1 圮咖b i n a t i o no fd i f t 锄p t ya r c 锄ds o 珏da r cp r e s t i n gd i 商e 斌d o d t a 增m si sr c a l i z e 正a na l g o r i t t l i no f o b j o c tr e c o g l l i t i o nc 伽1 b i l l i i 唱w i mt b eg m 秭c a l f b a n 珊o ft h en e wc o d c d 姆t si sd i 弘e d ，w t l i c hm a k 髓t b em a c 1 1 i n go f 枷f i c i a l c o d c dt a r g e 协t ob ea c l l i e v e d t h ec o d c dt a r g e t sa r el l o ta 疗托t e dw h 岛t l l e d c d p o i r i t sc o m e 南n hr o t a “o n ，z o o m i i i g 柚dd e f 0 彻a t i o n 如rf i l r 【h c ri m a g em a t c h i l l 昏 t h es e c o n dm e t h o di sb a s e d c i f c u l a ra 盯a y d i i i l f 0 1 _ l n a t i i sd 吼o t e d b yt l l ec 鲫b i m t i o no fd i 仃e r e n t 锄p t yc i r c u l 盯m l ds o l i dc i r c u l 缸1 1 1 盯c 盯e2 5 5 d i 赫e mc o d e d t 牡g c t s 蛆d t h ed e s i 印c dc o d e d 谢g e t b 舔e d 锄c i r c u l a ra r r a y h 勰i t s o w nc o o i n a t es y s t c m an e wa 1 9 0 r i t l 】1 i lo ff c c o g 血i o n 解鲫d i n gt 0t h ef c a t i l o f t l l ec o d e d 伽g c 舡b 勰e do nc 沁u 1 8 ra n a yi sp r e s e m c d c o d c d 伽罾魑m a t c l l i n g 疔o m d i 妇f 湘l td i r f j o ni i l l a g ei s 粒h j b v c df i l r t l l 旺 h l t l l e 饥do f m ep 印t h ed c s i 鲫c dc o d e d t a l 苫c t sa r ea p p l i e d t o t l l e i r n a g e3 一d s p a c ec o o r d i l l ；l t ct r a 吣f he x p 嘶c 1 1 c 髓h a v eb 咖d o n e 卸d t h em e 硒u 彻n e n tp f e c i s i o n i sc l l o u g hf o rt l i en e c d0 f m em e a s u r e n l e n ti np r a c t i c e a b s h a c t e x p c r i m 明t ss h o wt l l a tt h o s e 铆om e t h o d sa v a l i d 雒dr e l i a b l ei i ll o w e r i n gd a t a p 1 o c e s s i n gt i i l l e ，i h l p r o v i i l gi m a g em a t c l l i n gv 锄c i t ya n da u t o m a t i c i t y k e yw b r d s ：p h o t o 粤丑i 砌e t r y ；i r r i a g em a t c l l i n g ；c o d e dp o i n t ；3 dc o f m e c t i o n i 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：砂妒程 叼年z 月1 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名： 年月日 学位论文作者签名： 年月 日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：移谚 卅年弓月日 第l 章绪论 第1 章绪论 1 1 近景摄影测量技术概述1 2 l 摄影测量就是对研究对象进行摄影，根据所获得的结构信息，从几何和物 理方面进行分析研究，从而对所摄对象的本质提供各种资料，是一门以影像信 息重建三维空间中物体几何表面的科学。其实质是根据像点的位置推求出物点 的位置。为了能够利用图像上像点的坐标确定其所对应的空间物点的确切位置， 必须进行立体摄影测量。所谓立体摄影测量，就是在不同的位置对同一研究目 标拍摄两幅( 或多幅) 图像，构成立体像对；测量时，根据摄影过程的几何反转理 论，由两幅图像上同名像点的坐标求出它们所对应的空间物点的三维坐标。摄 影过程的几何反转理论是指：设想利用两个投影器，将立体像对的两张图像分 别投影时，如果能保证投影光束与摄影光束完全相似，而且两投影器连同图像 还原到两摄影站上，并与摄影时的摄影机的空间方位一致，则同名像点的投影 射线必然对对相交，进而形成被摄对象的空间几何模型。 摄影测量产生于十九世纪中期。一百多年来，其理论、仪器和实验应用都 有了很大的发展。至今，摄影测量经历了模拟摄影测量、解析摄影测量和数字 摄影测量三个阶段。 早期的摄影测量处于模拟摄影测量时代。此间，摄影测量主要依赖于精密 的光学机械仪器进行模拟，直接利用像点坐标交会得到物体空间坐标，对于制 图和输出来说，均采用模拟技术予以实施。当时曾有人认为摄影测量技术是一 门能够避免计算的技术，可见那一时期的摄影测量与计算机还没有什么联系。 模拟摄影测量时代使用的是各种不同类型的模拟测图仪，这些仪器基本上都是 围绕如何实现摄影过程的几何反转这一基本思想来设计的。这一时期，摄影测 量主要研究的内容是摄影测量的基本原理及各种模拟仪器的构造、使用方法等。 数字式计算机的诞生与发展，大大提高了计算工作的速度和精度，使人们 联想到要用数字投影代替物理投影，这就推动了摄影测量的进一步发展，摄影 测量随之进入了解析摄影测量时代。此间，许多人工计算工作和模拟操作都由 计算机控制完成。使用的仪器则是各种不同类型的解析测图仪，这些仪器基本 上是根据数学原理用解析方式工作的，这就便于在解析过程中引入各项系统误 第1 章绪论 差的改正和利用多余的观测值按照最小二乘法进行平差运算，因而提高了摄影 测量的精度。这一时期，摄影测量主要研究的内容是摄影测量的严密解算方法 和理论、摄影测量的精度和可靠性以及各种解析仪器的构造、使用方法等。 进入9 0 年代，数字摄影测量工作站获得迅速发展并步入实用化阶段，引领 摄影测量进入数字摄影测量时代。此时，摄影测量的自动化程度较前两个阶段 大大提高，摄影测量与计算机视觉的结合更加紧密。数字摄影测量时代，使用 的仪器设备主要是计算机工作站或微机，主要研究的内容是图像的自动识别与 匹配等内容。此时，计算机不仅要完成大量的计算工作，而且还要完成图像的 识别与判读等工作。 近景摄影测量可划分为工业摄影测量、建筑摄影测量和生物医学摄影测量 等，其处理方法分为模拟法和解析法。模拟法是借助立体测图仪绘制被摄影物 体的等值线图、立面图，其成果形式单一。解析法是主要的方法，能处理各类 摄影机所摄的图像，提供较高精度的成果，而且借助计算机和绘图仪，可绘制 等值线图、断面图以及立体透视图，还可用数字形式或图解形式输出工程设计 人员所需要的各类参数，如面积、体积、周长、曲率、半径、速度、加速度、 轨迹和质量分布等。 近景摄影测量所使用的摄影机大体可分为专为量测用的摄影机和非量测用 的摄影机两类。量测用的摄影机按结构又可分为单个使用的摄影机和具有定长 基线的立体摄影机。其物镜畸变一般控制在数微米内，并能准确记载内方位元 素。有些摄影机还备有外部定向设备、同步摄影设备以及连续摄影设备等。非 量测用摄影机包括普通摄像机、电影摄影机和一般高速摄影机等。这类摄影机 一般成像质量不高，内方位元素未知，没有外部定向设备。用于测量目标时， 定向、定位主要是依靠数量较多、分布较好的控制点，或视情况预先进行必要 的检定。 1 2 摄影测量中的匹配问题 摄影测量是对空问物体进行拍摄图像得到空间三维几何信息的方法。在由景 物的二维图像信息进行三维恢复的过程中，图像匹配是一个非常关键的问题， 即寻找左右两幅图像上对应于同一景物点的像点，国内外的许多学者对此进行 了深入的研究。 2 第l 章绪论 1 2 1 图像匹配技术发展铘州 图像匹配的目的是给某幅图像上的已知像点( 或称源匹配点) 在方位不同 拍摄的另一幅图像上寻找与之相对应的目标匹配点( 或称同名像点) 。如果匹配 窗口中仅存在一个点，那么匹配过程就可以很容易完成。但通常匹配窗口有许 多点，就需要根据一些先验知识，约束条件及分类规则，在另一幅图像中对待 匹配的对象进行搜索。 图像匹配方法主要有两类：基于灰度的图像匹配和基于特征的图像匹配。 前者直接利用图像的灰度信息进行匹配，通过像素对之间某种相似性度量的全 局最优化实现匹配，这种方法不需要进行分割和特征提取，因而可以避免由这 些预处理所造成的精度损失。后者是用图像分割方法提取图像中反映图像形状 变化的特征，将其作为参考特征，通过特征空间的相似性度量来确定匹配位置， 这种方法由于经过特征提取，数据量小，特征变化明显，更能比较两幅图像之 间的差别。基于图像灰度的匹配方法主要采用对基准图像每个像素依次扫描来 得到实时图像与基准图像之间的差异，这种方法一般匹配概率很高，但是速度 较慢；基于特征的匹配对凸现的各种非本质变化( 如旋转、缩放、光照强度变 化等) 不敏感，一般速度较快，但匹配概率较低。 目前已有多种立体视觉匹配算法，每种方法所选取的匹配特征基元、相似 性匹配算法各不相同。为了提高匹配的可靠性，减小误匹配，根据某些固有特 性和先验知识进行匹配约束是有必要的。常用的匹配约束有外极线约束、视差 连续性约束、顺序一致性约束、偏差梯度约束。现针对上述约束概述如下： 1 外极线约束洲7 l 嗍 在光电成像系统中，采用的是透视投影模型，它对应一个理想的针孔模型， 满足光的直线传播条件。三维空间中的物体通过成像系统在像平面形成二维平 面图像，即空间物体在像平面上的投影。根据外极线几何理论【g j ，三维空间一点 在两个像平面上的投影点成为对应点对，对应点对中的点位于另一个点对所 确定的外极线上，这就是所谓的外极线约束。 2 视差连续性约束洲1 0 1 视差是指立体视觉系统中图像对之间的几何差异，沿视差矢量，图像对之 间具有高度的相似性，从而可用其中一幅图像来对另一幅图像进行视差补偿预 测。 第l 章绪论 在图像匹配过程中，由于租匹配的结果中可能还存在误匹配，所以必须经 过些约束条件剔除误匹配。利用视差连续性可以进一步提高匹配的精度。 3 顺序一致性约束0 1 1 1 根据物体本身的几何特性及被测场景的结构特征，对待匹配的点及匹配的 目标进行物体形态约束。 4 偏差梯度约束 利用偏差梯度约束进行点匹配的方法在实际中得到了许多应用，文献 1 2 】 中计算基准点与匹配点集各点间的偏差梯度；文献【1 3 仲也提到了偏差梯度和的 方法，即对每一匹配点与它匹配的点分别求偏差梯度，然后求和，这个和值反 映了当前点和其它点相容的程度，和值越大，则该匹配点可能是误匹配点。比 较所有匹配点的视差梯度和，去掉最大的偏差梯度和值所对应的点，再重新计 算剩余点的偏差梯度和，迭代比较过程，知道最大的视差梯度和与最小的视差 梯度和的比值小于一个给定阈值，则匹配过程结束。 1 2 2 图像匹配中的编码方法 如果不能自动识别被测量点，摄影测量系统的效率将会由于手动匹配图像 中的编码点而受到制约。如果能够自动实现测量点的识别，则测量系统的测量 速度及测量精度都会进一步得到提高。编码点由于自身特有的结构信息能够确 保较高的匹配率及图像中测量点较为准确的测量，因此，设计容易识别的编码 点并实现编码点的匹配是非常关键的闯题。目前，图1 1 中所示的一些编码点已 经应用到视觉三维测量中，编码信息以直线、射线、角度等信息包含在编码中， 通过分析图像灰度值的变化来读码。编码点具有的独特或唯一的几何特性，使 其在读码时具有唯一的身份识别信息。 4 第l 章绪论 烹- t0 囵口圃圈回圜 ( g )h )( i ) 图1 1 几种不同类型的编码点 下面简单介绍一下近景摄影测量中编码方法的研究现状。 1 正方形编码方法 m a r l 【r s h o n i s l l l 提出了一种基于h o u 曲变换和图像分割匹配的编码点的识 别算法，这种编码点的设计避开了通常的圆形编码点，而是在环绕编码点中心 设计正方形四条边的不同组合，正方形四条边和不连续边的不同组合构成不同 的编码点。通过h o u g l l 变换，直接检测编码点中的正方形的不同边的组合，即 能实现编码点的识别。该方法直接利用直线的h o u 曲变换，计算参数少，大大 减少了计算时间及存储空间。但是由于正方形对于旋转及缩放比较敏感，当拍 摄角度变化较大时，正方形的畸变会引起检测错误，进而引起误匹配。因此该 编码方法比较适合角度变化缓慢的场合。 圈圄圉 强n p 妇l 瓢驴l a 拇您t e n 学| a 姥5 0 t 2 圆形编码方法 图1 2 正方形编码 v i a 曲n i ra 豳叮w 吃提出了一种用于自动识别和非接触测量的新的编码 点。该编码方法是在编码点中心设计一定尺寸的中心点，作为编码点的标识， 国_ l 第l 章绪论 然后以编码点中心为圆心，在一定半径的长度上做半径较小一些的圆点，这些 较小圆点的不同排列就组成不同的编码点，最后是以编码点中心为圆心的较大 的圆环，其作用是限制该编码点的区域。在该编码方法中，中心的标识点、围 绕编码点中心以一定半径排列的较小的圆点、以及限制编码点区域的圆环均为 定向反射材质。该编码方法由于设计的几何结构都是椭圆，因此计算时只需考 虑椭圆的几何性质，及椭圆的边缘检测。在俄罗斯国家研究所的航空系统中， 该编码方法得到较好的验证，并且在相机标定及确定图像外部或相对位置等方 面得到应用，结果表明该编码方法的有效性及精确性。但是如果编码点设计不 当，例如当围绕编码点点中心的较小的圆点之间的位置太近，则两个小圆点有 可能粘连在一起，尤其是距离拍摄位置较远时，这种情况发生的概率非常大， 因而会引起编码点的错误识别，进一步引起误匹配。 图1 3 圆形编码 b ) 3 双环式编码方法 为了避免上面所述的编码点内子码间的粘连现象，周晓刚和齐晓娟【i l 分别 提出了双环式的编码方法。齐晓娟针对周晓刚所提出的双环式编码进行了改进， 改进后的编码结构是中心有一个圆点，用来定位编码的位置，限定扫描中心， 圆点的周围按照角度信息分布有不同的码段，分内外两层。编码信息在两个同 心圆环段上，内圆可有1 4 个圆环段，外圆围绕内圆环段可分布肌2 个圆环段。 圆环段均为黑色，圆材质为定向反射材料。对于该种编码方法，每一个子编码 有4 种排列方式，其总编码数量共有1 1 0 种。这种编码算法实现起来简单，速度 快，但是在图像二值化过程中，要求算法要有效，并且在图像二值化的过程中 不能采用单阈值法，而且要充分利用整个像面上的灰度分布信息。 6 q 鱼 q qq 0 藩鲫 第l 章绪论 t 图1 4 圆环形编码 图1 5 改进的圆环形编码 4 单环式编码方法 图1 6 是传统的单环编码点，该种编码方法是利用码段的弧度信息表征不同 的编码，根据码段对应弧度的不同分为8 b i t 、1 2 b i t 等等，根据实际要求可制作 不同b “的编码。在对不同图像中的编码点实现匹配时，由于从不同角度拍摄， 编码点会发生形变，码段所对应的弧度已经不能表示编码信息，直接按照弧度 信息扫描码段读码识别不同的编码点会造成误读码。文献【l7 】【1 8 冲分别提到了 使用距不变量及相似性度量等方法实现传统单环编码点的匹配，充分利用单环 编码在发生形变后自身所具有的不变量来对不同角度拍摄得到的单环编码点进 行匹配。 1 3 本文研究内容 图1 6 单环编码 本文主要研究的是利用编码法实现近景摄影测量中的点匹配技术。在对已 有研究成果的深入研究的基础上，重点分析了基于编码方法的图像匹配技术， 比较和分析了基于特征匹配的编码法在图像匹配过程中的优点和不足，提出了 本课题的编码方法。本文的主要工作包括： 一、提出了利用空和实来表示不同编码信息的思想，并将这种思想应用到 7 、 第1 章绪论 了不同的编码点中； 二、提出了一种新的单环编码方法，该编码方法是对传统的单环编码方法 的一种改进，实现了用空心码段和实心码段的不同组合表示不同的编码点。针 对本文提出的单环编码方法，提出了一种识别算法，该识别算法满足旋转、缩 放、平移的不变性，从而实现图像的匹配。实验结果表明该编码方法的匹配率 达l o o ： 三、提出了一种基于点阵的编码方法，该编码方法利用空心圆点和实心圆 点的不同组合表示不同的编码信息。设计出的基于点阵的编码方法带有坐标系 统。通过对不同角度拍摄的图像上的编码点进行匹配，匹配率为1 0 0 ； 四、将本课题设计的编码法应用到图像三维拼接坐标转换中，并做了坐标转换 实验，测量精度能够满足实际测量需求。 第2 章摄影测量系统数学模型及组成 第2 章摄影测量系统数学模型 2 1 近景摄影测量模型 2 1 1 概述 随着计算机技术以及数字图像处理、模式识别、计算机视觉和人工智能等 相关技术的不断发展，摄影测量与计算机学科相互渗透交叉，摄影测量经过模 拟摄影测量、解析摄影测量两个方展阶段后，现已进入数字摄影测量阶段，这 对整个摄影测量的教学、科研、生产都产生了及其深远的影响。数字摄影测量 所使用的设备最终将是计算机加上相应的标准外设。在数字摄影测量系统中， 最简单的数学模型为线性模型( 或者称为针孔模型) 。本节的第二部分主要介绍 测量系统的线性模型，第三部分主要介绍测量系统的非线性模型。 2 1 2 测量系统的线性模型 1 线性摄像机模型”叫 近景摄影测量中常用的成像设备的理想成像模型是针孔模型，很多视觉研 究内容都是在这种模型下进行的。图2 1 所示，景物点、针孔、景物点的像三点 共线。为了方便起见，通常认为图像平面在针孔的前面，即虚拟图像的位置， 除了是相互倒立的外，二者是完全等价的。利用成像设备获取图像，这时图像 点的位置已经确定，如果针孔的位置可以确定的话，那么根据三点共线的约束， 可知景物点一定在这条射线上，但是这条射线上的每一点成像都是相同的，所 以仅从一幅图像是无法确定景物点距离摄像机光心( 即针孔位置) 的深度的。 这样，若再有一幅包含上述景物点的图像( 同一景物点在不同相机下的像点称 为一对对应点) ，则可获得物体的三维形状信息。这种由两幅或多幅二维图像恢 复物体三维几何形状的方法，即是立体视觉方法，这一过程就是三维重建。 9 第2 章摄影测量系统数学模型及组成 图2 1 针孔模型 在实际的测量系统中，摄像机采集的图像经过图像采集卡变成数字图像存 储在计算机中。图像由行和列的像素组成，这里定义一个直角坐标系甜，v 来描述 像素在图像中的位置，如( ”，v ) 表示像素的列数甜，行数v ，其中材，1 ，都是非负整 数，如图2 2 。 柏) o i 一 粒 r 1r t 图2 2 像平面坐标系 上面提及的像坐标系0 i 置鬈是以毫米为单位描述像点的位置，且其置轴与甜 轴平行，z 与v 轴平行。所以，在描述像平面时，有两个坐标系，似，表示像 素单位的像平面坐标系，x ，y 表示毫米的像平面坐标系。并且假设一个像素在j 轴与y 轴方向上的长度分别为出和方毫米。 若q 在甜，v 坐标系中的坐标为( ，) ，则图像中任意一个像素坐标在两个坐 标系下的坐标转化关系如下 1 0 ) l2 ( + + 三出上方 = = v 第2 章摄影测量系统数学模型及组成 也可以表示为 = o “。 d x o ； 砂 ooo ( 2 2 ) 眺嘲豳 组s ， 用旋转矩阵r 与平移量，可描述摄像机坐标系与物空间坐标系之间的转换 关系。假设点p 在物空间坐标系的坐标是( j 0 ，瓦，乙，1 ) 7 ，而在摄像机坐标系下的坐 标是( 置，艺，互，1 ) 7 ，于是其转换关系如下 置 艺 乙 l = 刚 x 。 匕 乙 1 = m x 。 l 乙 1 ( 2 4 ) 其中，r 为3 3 正交单位矩阵；，为三维平移量；m 为4 4 矩阵。 空间任何一点p 在图像上的投影位置只为光心d 与p 点连线0 p 与图像平面 的交点如图2 1 。由比例关系( 如图2 3 ) 有如下关系式 x ：盟 z c y = 罢 ( 2 5 ) 第2 章摄影测茸系统数学模型及组成 x j- z t “孓 z x f 一 xr i 图2 3 针孔模型x 方向比例关系 其中，o ，y ) 为只点图像坐标；( 以，艺，乙) 为空间点p 在摄像机坐标系下的 坐标。上述关系表示为 料 o 积 。专 ool qo o h 2 【：? 渺 嘲 x 。 l 乙 l x c e 互 l x 。 匕 乙 l = m m ：瓦= 肘瓦 ( 2 6 ) ( 2 7 ) 将式( 2 3 ) 与式( 2 4 ) 代入上式，我们得到空间点p 坐标( ，z ，r 与 其投影点只的坐标 ，v ) 的关系如式( 2 7 ) 所示。式中口，= ，凼，口，= 厂咖，膨 称为投影矩阵，它是一个3 4 矩阵。 从上式可知，如果已知空间某点p 在某一摄像机的像平面上的像坐标 只 ，力，且投影矩阵也是已知的，也无法求解空间点的坐标，z 0 ) 。因此， 用一个像平面上的像点无法确定一个空间点的坐标，至少需要用两个像平面上 的点才可唯一确定一个空间点。在本课题的测量系统中采用的是单摄像机，依 厂o o p。l = 1，j x y 1 _。l 乙 r = u r 矿 p。l 1j o o o o o lo 厂o 厂o o l r = 列 第2 章摄影测量系统数学模型及组成 次获得空间点( 或物体) 的两幅图像，即我们可获得一空间点的两个像点的二 维坐标，然后由式( 2 7 ) 可以求解该物体的三维信息。 2 线性模型下的定标理论圳口l “ 摄像机定标一般都需要一个放在摄像机前的特制的标定参照物，称其为靶 标，靶标上有若干个点，其空间坐标已经由高精度测量仪器( 如三坐标测量机) 测量过。如图2 4 ，根据空间物点与其在左右摄像机像面上的像点之阈的对应关 系，建立双摄像机测量模型。首先要对摄像机定标。然后由空间某点在左右像 面上的像坐标及投影矩阵计算出此点的空间三维坐标，这也称作点的三维重建。 这里首先介绍由靶标的两个图像求投影矩阵m 的方法，即如何进行摄像机定标。 t + p 魄l 2 ， 1 一， 壤由 ( y i ) z j 卡 刁 l ，斗爿 图2 4 物空间坐标系和双摄像机的像平面坐标系 如上节所述，在求解点坐标时需要知道投影矩阵m 。求解m 的过程称作摄 像机的定标。 将式( 2 7 ) 写成 砚2 ， 删2 2 ”b ，鸭2聊3 3 x 。 圪 乙 1 ( 2 8 ) 其中，伍，z ) 为空间某点的世界坐标，0 ，d 为该点的投影点在像平面 上的坐标。式( 2 8 ) 包含三个方程 1 3 幔 -l = 1j 一h一 乙 第2 章摄影测量系统数学模型及组成 ( 2 9 ) 将式( 2 9 ) 中的第一式除第二式，第二式除第三式分别消去z ，后，可得如下关系 式 i x 掣聊1 l + k 玎1 1 2 + z 甲小n + m 1 4 一l x w m 瓠一所3 2 一l l z 甲m 孙= 堋m 【昂m 2 1 + 珞2 + 乙拼2 3 + 掰“一讲。伤l v _ i ，蕾3 2 一亿矿= 啪“ ( 2 1 0 ) 如果靶标上有 个已知点，并已知它们的空闻坐标( j 0 ，k ，z 。) o = 1 ，n ) 与它 们的图像点坐标“，b ) a = 1 ，荇) ，则我们有知个关于膨矩阵元素的线性方程， 如式( 2 1 0 ) 。 由式( 2 7 ) 可见，肘矩阵乘以任意不为零的常数并不影响( j 0 ，k ，z 。) 与 0 ，巧) 之间的关系，因此，在式( 2 1 1 ) 中我们令历。= 1 ，从而得到关于肘矩 阵的其它元素的2 n 个线性方程，这些未知元素的个数为1 1 个，即为l l 维向量m ， 得到m 的2 n 线性方程。 m 1 1 研1 2 肼，2 卅3 3 圮乙l oo ooo 0 k z 。l r 埘z 。 looo o 一甜。膏。一“。l k 一z 。 ooo o 工。kz 。l 一x 。一一k z 。 “l m 3 4 h 所3 4 “h 肌“ 屹小3 4 ( 2 1 1 ) 将式( 2 1 1 ) 简写为 尺研= 【，( 2 1 2 ) 其中，k 为式( 2 1 1 ) 左边2 竹l l 矩阵，肌为未知的1 1 维向量，( ，为式( 2 1 2 ) 椰胁 删 箍一 0最埘 驴嚣忆忆忆 乙毛 y 一 一 k k嘶u 一 一 蚝h 一 一 o i o 瓦 第2 章摄影测量系统数学模型及组成 右边的2 n 向量：k ，u 为已知向量。当2 n 1 1 时，我们可用最小二乘法求解出 上述线性方程的解为 m = ( k 7 k ) 一1 k u ( 2 1 3 ) 历向量与删。= 1 构成了所求解的肘矩阵。由上可见，由空间6 个以上已知 点与它们的图像点坐标，我们可以求解出投影矩阵肘。在一般的定标工作中， 都使标定参照物上点的个数多于六个，使方程的个数超过未知数的个数，从而 使用最小二乘法求解以降低误差造成的影响。 对于左右摄像机，其物像空间的表达式完全相同，所以上述定标过程是完 全一样的。定标的计算过程为：首先确定6 个( 或6 个以上) 已知空问点的三 维坐标和这些点在摄像机像平面上的像点的像坐标，然后利用式( 2 1 3 ) 来求解 摄像机的参数矩阵m 。 在本课题的数字摄影测量系统中，我们采用的是线性模型理论。 2 1 3 测量系统的非线性模型理论啊嘲 在讨论线性模型的时候，摄像机引起的误差不仅可能是由光学镜头的畸变 与机械误差引起的，还有可能是由信号的模数转换产生。它们分别称为光学误 差、机械误差及电学误差。光学误差主要是指光学畸变差，是摄像机物镜系统 设计、制作和装配误差所引起的像点偏离其正确成像位置的点位误差。光学畸 变差包括了径向畸变差和离心畸变差。径向畸变差使成像点沿径向方向偏离其 准确位置；而离心畸变是由于镜头光学中心和几何中心不一致引起的误差，它 使成像点沿向经方向和垂直于向经方向都偏离其正确位置。机械误差是指在光 学镜头摄取的图像转化到数字化阵列图像这一步产生的误差。这项误差又是由 以下因素引起的：( 1 ) 扫描阵列不平行于光学图像，致使数字化图像相对于光 学图像有旋转；( 2 ) 每个阵列元素尺寸不同而产生不均匀变形。电学误差主要 包括行同步误差、场同步误差与采样误差。行同步误差是指电信号转化时图像 每行开头处的同步信号产生的错动现象，场同步误差是指图像奇数行与偶数行 间的错位。采样误差是指由于时钟频率不稳引起的采样间隔误差。因此，光学 误差、机械误差和电学误差三方面构成了摄像机的误差来源，这就需要采用非 线性模型理论。 1 5 第2 章摄影测量系统数学模型及组成 数字图像以数字阵列坐标系( ，) 为准，像元素的位置是由所在列号，和行 号，确定，与图像本身的坐标系不一致。数字阵列坐标同图像坐标系之间的转换 关系可由仿射变换实现 鼹：嚣：为 眩 【j ，= 气+ + 气， 实际求解过程中先将数字阵列坐标系与图像坐标系重心化，将上式推导为 如下 仁二羔三三：篆笤警嚣 亿 【) ，一y o = 气+ 岛u 一厶) + 气( 厂一厶) 。 式中，厶，以为各坐标的重心。 令 忙置 亿 将式( 2 1 5 ) 代入式( 2 1 4 ) ，并将该式代入共线方程可得 岛+岛歹+巳，7+厂：；妻；妄j；：；i；j；端=。 气+ 岛，+ 气+ 厂。三譬 i 琶手 毫薹；三薏手翻= 。 ( 2 1 7 ) 将式( 2 1 6 ) 推导可建立直接线性变换方程式如下 ，：刍兰生! 墨2 兰生 + 哆+ ，孑0 ( 2 1 8 ) ，：刍丝生! 墨z 兰刍 。 上9 z + 厶o 】，+ 厶l z + l 式中，“，工：，厶。) 为数字化阵列坐标与图像坐标转换系数。 直接线性变换参数确定了图像在物空间和数字化图像间的几何关系。为简 化问题，将物空间定为二维平面，所有目标控制点z 为o ，由式( 2 1 6 ) 可得 1 6 第2 章摄影测量系统数学模型及组成 对于严密的共线方程，需考虑c c d 阵列各项误差。( ，刀方向畸变( 4 ，艿，) ， 可表达为 体乏麓：奎 组z 。， 【q = 岛+ 如+ 玩 镜头的径向畸变写成如下 最= 毛r 3 + 哎，5 + 岛，7 ( 2 2 1 ) 式中，毛，屯，屯是径向畸变系数； ，是像点辐射距 ，= u 一厶) 2 + 一以) 2 = ，2 + j ”2 ( 2 2 2 ) ( ，刀方向的径向畸变可表示为 1 4 ，：1 4 ；，( 毛，z + 屯，4 + 屯，t ) 拉：善驴嘶啪 q 2 3 离心畸变可表示为 2 三篙0 麓墨； 娩z 4 ， l 岛= 只( 2 ，) + 最( ，2 + 2 ，江) 其中，( 屯，瓯) 为在( ，刀方向的剪切畸变和吸引畸变( a 伍n 时觚ds h e a f d e f o n n a t i o n ) 。其中剪切畸变也称为正交畸交，摄影测量学者认为剪切畸变部分 是由主光轴与c c d 阵列不正交引起的，而吸引畸变也是由c c d 阵列不均匀造 成的，但二者都包含了透镜误差。 妻三菇麓； 汜z s ， h = 6 i ，+ 6 2 ， 最终得到检测摄像机畸变误差的严密数学模型如下式 1 7 一一一一 第2 章摄影测量系统数学模型及组成 卜第揣 缇。， 卜= 揣 。 i 西= 七1 u r 2 ) + 七2 u ，4 ) + _ i 3 ( ，6 ) + p i ( ，2 + 2 ，口) + p 2 ( 2 ，) + 6 l j + 6 2 ， i t = 毛( ，r 2 ) + 七2 ( j r 4 ) + 后3 ( ，6 ) + ，2 ( ，2 + 2 ，拉) + p l ( 2 ，) + 6 i ，+ 6 j ， ( 2 2 7 ) 其中，毛，七：，毛，n ，p ：，6 。，6 ：为变形改正系数。 通过式( 2 2 4 ) 和式( 2 。2 5 ) ，可以发现直接线性变换系数和变形改正系数 间有密切相关性。如果联立求解必然会因方程相关性而造成无法求解。此时研 究采用序贯法求解，序贯的特点在于以两组方程为基础求解未知数。这两组方 程出现在不同的两个阶段，后一组方程在前一组方程的求解结果基础上进一步 求解，而且解算步骤清晰，减少计算量吲。 2 2 基于三维重建的图像拼接模型绷 基于前面所述的针孔模型的数学理论基础上，本节主要针对测量系统的坐 标转换理论进行阐述，并推导出基于三维重建的图像拼接模型。 三维重建技术直接关系到最终重建图像的质量，是视觉测量系统的一项关 键技术。虽然许多三维重建的实施方案和数学模型在理论上比较完善，但受到 现场测量条件的限制，影响了其在实际场合中的应用。例如，需要测量出一些 与拍摄有关的现场参数或需要放置复杂标定装置；对摄像机的拍摄过程有相当 严格的要求( 摄像机需要有一定的俯角，有相当的高度或有较大的物距) ，需要 求出较多的已知参数，虽然可以得到较为满意的重建结果，但这些复杂的处理 过程会影响到许多场合的应用。 三维重建技术分为空间点、线、二次曲线的重建，而空间点是构成三维空 间结构的最基本单元，理论上可以由点形成线，由线形成面，再由各种面构成 三维立体结构。如果能得到物体表面上所有点的空间坐标，那么三维物体的形 状与位置就是唯一确定的。因此空间点的重建是计算机视觉三维重建的最基本 第2 章摄影测量系统数学模型及组成 内容。 1 基于针孔模型的投影矩阵m 选择靶子作为物空间的基准坐标系，用来描述空问中任意物体的位置，靶 子摆放的不同位置确定不同的世界坐标系统。本文中我们称靶子在不同前后两 个位置分别为第坐标系和第二坐标系。 在第一坐标系中，我们从不同两个角度拍摄得到两张角度不同的图像，设 编码点在第一坐标系中的坐标分别为“m 五) ，其中f = 1 4 。编码点在不同 角度拍摄得到的图像上的像点坐标分别为0 ，v 。，) ，0 ：，1 ，：，) ，其中f = l 4 。 对于每一幅图像。都可以由靶子所在的空间坐标及靶子的像面坐标进行标定后 得到的投影矩阵膨，设两个不同拍摄角度得到的投影矩阵分别为肘，m ：，其中 卜埘- ：加- 4 1 肘i l = lm 2 i 研2 2脚2 3肌2 4i ( 2 2 8 ) l 册” 所3 2m 脚，4 j 阳历n 掰。n 肼- 1 w 控= i 珊。2 l 埘船m 船肼2 4l( 2 2 9 ) 【m ，t m 3 2聊， 埘h j 由投影矩阵m ，m 。：和编码点的像面坐标0 。，v 1 ) ，0 ：，v 2 ，) ，我们可以求 出编码点的空间坐标，具体推导过程如下 f “= 肼i l 五+ 州1 2 巧+ 研1 3 z i + ，行h h ，= 珊2 t t + m 2 2 l + m 2 3 z l + 研2 4 【l = 研3 l 置+ 舶弛i + m ”z f + m 3 4 i 2 ，= 埘l l 置+ 州1 2i + 州1 3z f + 脚1 4 l o = m 2 l 五+ 删2 2 i + 掰名z j + 所2 【1 = 所3 l x i + 肼3 2 i + 棚”z i + m “ 由上面两组方程式，可重新组成一组新的方程式如下 ( 2 3 0 ) ( 2 3 1 ) “l f = 置+ 埘，2 鬈+ 研”磊+ 埘 v l j 2 m ：- 墨+ i 二朋”乙+ 肌” ( 2 3 2 ) “2 i = m 。l l x f + m 1 2 i + m 。1 3 z j + m 1 4 0 = m 孙x i + m 2 2 + ，雄z ，+ m 2 4 1 9 第2 章摄影测量系统数学模型及组成 简写成如下形式 其中：p 】= 群1 f v i ， “2 f v 2 j 纠= 删+ 瞳】 ， f ：m = 所” m 2 i 肼l l 删2 l m 1 2 m 丝 m 1 2 肌2 2 所1 3 州2 3 肌1 3 m 2 ， m h m “ 埘1 4 肌2 4 。【y 。】= x i i z l ( 2 3 3 ) 因此最后得至编码点的空间坐标如下 瞰】= 埘1 + 眇】 ( 2 3 4 ) 同理可以得到编码点在第二坐标系中的空间坐标点阪】。 2 空间坐标转换数学模型 设第一坐标系下的坐标系为d l 墨墨z l ，第二坐标系下的坐标系为d 2 置e z ：， 二者具有如下坐标交换关系 = m 屯 y 2 乃 l k = 曙砸 【1 r 1 见 皿 o r 2 墨 r o 墨 民 民 0 ( 2 3 5 ) 上面的矩阵肘肚中共有1 2 个未知量，但旋转矩阵r = i 墨br 。 满足六 f 墨马r 门 【岛足墨j r 1 2 + 丘2 + r 7 2 = 1 是2 + 见2 + 匙2 = l 焉2 + 足6 2 + r 2 = 1 月l 如+ 墨皿+ r