（摄影测量与遥感专业论文）一种新型轨道检测技术的基础理论探讨.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 铁路提速后对轨道的维护和量测提出了新的挑战。近景数字摄影测量的技 术优势促使人们考虑用数码相机采集轨道影像，通过图像处理技术来满足轨道 检测的要求，己成为一种值得探索的新方法。为获取范围足够大、高分辨率和 便于量测的轨道视频图像，需要有精确的、大视场的二维轨道影像。但由于条 件限制，单幅数码影像难以做到分辨率高且视场足够大的效果，它需要采用连 续拍摄获得序列影像，通过图像拼接技术得到轨道镶嵌图像。实际拍摄时，采 用非量测数码相机近距离拍摄轨道序列影像时，会存在不同程度的非线性畸 变，其误差将影响轨道量测的精度。手持或车载数码相机摄取轨道的图像，摄 影主光轴与地平面有一夹角，连续的序列影像拼接前需要对倾斜的轨道图像进 行几何纠正，使其成为正直摄影图像，才能更好地满足图像拼接的要求，以获 得正直摄影效果的、大范围的、方便量测的轨道镶嵌图像。 为选择非量测数码相机的镜头畸变改正模型，采用室内模拟试验，比较球 型模型和多项式算法的校正效果，试验结果表明球型模型的校正精度更高。为 解决倾斜轨道影像的无控制点问题，几何纠正中利用轨道图像中存在的平行线 特点，计算灭点及方位元素，然后根据几何变换模型对轨道影像进行几何纠正。 通过模拟试验统计纠正影像的残差，试验结果显示采用基于灭点理论的纠正方 法的精度能够满足轨道图像的几何纠正的要求。使用s i f t 特征点提取算子对 纠正后的序列轨道影像进行特征点提取，采用仿射变换模型匹配拼接图像，最 后统计轨道拼接图像的实验精度，基本达到轨道平顺性量测的要求。 通过仿真实验结合实际轨道数码影像进行图像数据处理，证实采用近景摄 影测量方法进行轨道检测，基本上能够满足轨道平顺性的量测精度要求。由此 可见利用非量测数码相机获取序列轨道影像进行轨道平顺性检测，技术可行。 较传统的轨道静态检测技术，它的检测效率更高、劳动强度更低，是高速铁路 轨道实时维护检测中具有应用潜力的有效技术手段。 关键宇：高速铁路；轨道检测；图像校正：图像拼接 a bs t r a c t t h es p e e d u po ft r a i n sb r i n g sg r e a tc h a l l e n g e t ot h em a i n t e n a n c ea n d 。s u r v n e y i q i n u g e o ft r a c k st h ea d v a n t a g e so fd i g i t a l c l o s er a n g e photogrammetrytech h a v ep r o m o t e dp e o p l et oc o l l e c tt r a c ki m a g e sb yd i g i t a lc a m e r a lu s i n g i m a g ep r o c e s s i n gt e c h n i q u et o m e e tt h er e q u i r e m e n t so ft r a c ki n s p e c t i n gh a s b e c o m ea ne x p l o r a b l em e t h o d i no r d e rt og e tt h et r a c kv i d e oi m a g e sw i t he n o u g h s c o p e h i g hr e s o l u t i o nr a t i o ，a n de a s y t os u r v e y ，t h ea c c u r a t ea n dl a r g e 。f i e l d t w o d i m e n s i o n a lt r a c ki m a g e sw o u l db en e e d e d h o w e v e r ，d u et ot h ec o n d i t i o n a l l i m i t a t i o n ，s i n g l ed i g i t a li m a g ec a n n o th a v et h ee f f e c to fh i g hr e s o l u t i o nr a t i oa n d l a r g ee n o u g hs c o p e t h e r e f o r e ，t h ep h o t o s a r et a k e nc o n s e c u t i v e l yt og e tt h e s e q u e n t i a li m a g e s ，a n dt h e nt h et r a c kp h o t o g r a p h i c a lm o s a i c i sm a d eb yi m a g e m o s a i ct e c h n o l o g y w h e nt h et r a c ks e q u e n t i a li m a g e s a r ea c t u a l l yt a k e nb y n o n - m e t r i cd i g i t a lc a m e r af r o mc l o s ed i s t a n c e ，t h e r ew o u l db el a r g en o n l i n e a r d i s t o r t i o ni nd i g i t a li m a g e t h ed i s t o r t e de r r o r sw o u l dm a k eag r e a ti m p a c to nt h e p r e c i s i o no ft r a c ks u r v e y i n g i nt h ei m a g e s t a k e nb yh a n d h e l do rc a rd i g i t a l c a m e r a l t h et i l ta n g l eo fp h o t o g r a p h i ca x i si sn o tp e r p e n d i c u l a r b e f o r et h em o s a i c o fc o n s e c u t i v es u b s e q u e n ti m a g e s ，t h et i l tr a c ki m a g e sh a v et ob er e c t i f i e di n t ot h e n o r m a lc a s ep h o t o g r a p h yi m a g e s ，w h i c hc a nm e e tt h er e q u i r e m e n t so fg e t t i n gt h e n o r m a lc a s ep h o t o g r a p h y ，l a r g es c o p ea n ds u r v e y i n g c o n v e n i e n tm o s a l cl m a g e s i no r d e rt oc h o o s et h ed i s t o r t i o nc o r r e c t i o nm o d e lf o rt h en o n m e t r i cd i g i t a l c a m e r a a ni n d o o rs i m u l a t ee x p e r i m e n ti sm a d et oc o m p a r et h ee f f e c t sc o r r e c t e d b e t w e e ns p h e r i c a lm o d e la l g o r i t h ma n dm u l t i n o m i a la l g o r i t h m t h ee x p e r i m e n t a l r e s u i t ss h o wt h a tt h ec o r r e c t e dp r e c i s i o no fs p h e r i c a lm o d e la l g o r i t h mi sh i g h e r t h a nm u l t i n o m i a la l g o r i t h m i no r d e rt os o l v et h ep r o b l e mw i t h o u tc o n t r o lp o i n ti n t i l tt r a c ki m a g e s ，t h ev a n i s h i n gp o i n ta n do r i e n t a t i o ne l e m e n t sa r ec a l c u l a t e db y t h ep a r a l l e ll i n e se x i s t e di nt r a c ki m a g e sd u r i n gg e o m e t r i cc o r r e c t i o n a n dt h e n t h e t r a c ki m a g e sm a yb ec o r r e c t e db a s e do ng e o m e t r i ct r a n s f o r m a t i o n a lm o d e l t h e s t a t i s t i c p r e c i s i o n i sm a d eb yr e s i d u a le r r o r so fc o r r e c t e di m a g e st h r o u g h s i m u l a t e de x p e r i m e n t t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r e c i s i o nc o r r e c t e d b vt h i sm e t h o dc a nm e e tt h er e q u i r e m e n to ft h eg e o m e t r i cc o r r e c t i o n o ft r a c k i m a g e s t h ef e a t u r ep o i n t sm a yb ee x t r a c t e df r o mt h ec o r r e c t e ds e q u e n c et r a c k i m a g e sb ys i f to p e r a t o r ，a n dt h e na f f i n et r a n s f o r m a t i o nm o d e li s u s e dt om a t c h a n di o i n ti m a g e s t h ee x p e r i m e n tp r e c i s i o no ft r a c km o s a i ci m a g ec a na c h i e v e 西南交通大学硕士研究生学位论文第| ii 页 暑! 曼曼璺曼鼍- - - - i_j_ i l i 篡曼皇毫寰皇皇曼皇皇皇鲁皇曼量皇曼曼曼曼曼曼曼笪曼舅曼曼曼蔓曼曼曼量曼舅! 曼曼曼曼 b a s i c a l l yt h er e q u i r e m e n t sf o rs u r v e y i n gt h et r a c ks m o o t h n e s s t h r o u g ht h es i m u l a t a le x p e r i m e n t sc o m b i n e dw i t hi m a g ed a t ap r o c e s s i n go f t h ea c t u a lt r a c kd i g i t a li m a g e s ，i tm a yb ec o n f i r m e dt h a tt h ep r e c i s i o no fs u r v e y i n g t r a c kc a nb a s i c a l l ym e e tt h er e q u i r e m e n t so ft h et r a c ks m o o t h n e s sb yc l o s e - r a n g e p h o t o g r a m m e t r y t h e r e f o r e ，t h et e c h n i q u e ，w h i c ht h es e q u e n c et r a c ki m a g e sa r e t a k e nb yn o n m e t r i cd i g i t a lc a m e r a lf o rs u r v e y i n gt h et r a c ks m o o t h n e s s ，i sf e a s i b l e i th a sh i g h e re f f i c i e n c ya n dl o w e rl a b o ri n t e n s i t yt h a nt h et r a d i t i o n a lt e c h n i q u eo f s u r v e y i n gs t a t i ct r a c k ，a n di sap o t e n t i a le f f i c i e n tt e c h n i q u ei nt h er e a lt i m et r a c k m a i n t e n a n c ea n ds u r v e y i n gf o rh i g hs p e e dr a i l w a y s k e yw o r d s ：h i g hs p e e dr a i l w a y s ；t r a c ks u r v e y i n g ；i m a g er e c t i f i c a t i o n ；i m a g e m o s a i c 西南交通大学曲南父逋大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密口使用本授权书。 ( 请在以上方框内打c t ) 学位论文作者签名：菇苫茑 日期：) o r 口歹 朋一 名 p 戳 2 师 期 老 日 导指 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： l 、用球型模型算法和多项式算法对普通数码相机的标准方格网影像进行透镜畸变 校正，试验比较证实了球型模型算法比多项式算法畸变校正图像的精度高。 2 、根据轨道图像无控制点的特点，利用图像中存在的平行线计算灭点及方位元素 对轨道进行纠正，以模拟轨道图像来说明数码影像纠正的精度。 3 、在图像拼接中，找到了适合轨道图像匹配的方法特征点匹配，并采用s i f t 特征点提取算子进行轨道图像的特征点提取。根据特征点对求得仿射变换模型参数， 进而对相邻的两幅重叠图像进行拼接。 4 、拼接获得满足要求的轨道图像后，精度分析结果显示，轨道拼接图像对轨向检 测影响的中误差为0 4 8 m m ，说明采用近景摄影测量方法进行轨道检测是一种值得探索 的新方法。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名：名苈荡 日期：卜6 。f 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 研究的背景和意义 高速铁路是我国铁路重点研究和发展的方向，高速列车运行的舒适性和安 全性是最重要的技术指标。因此，轨道的平面精度、高程精度以及轨道的内部 几何精度显得尤为重要。理论和实践表明，轨道平顺性控制已成为高速铁路建 设成败的关键技术之一。为了满足轨道的高平顺性，线路必须具备非常准确的 几何线性参数，误差必须保持在毫米级的范围内，按照行车的平稳与安全要求， 直线应当笔直，曲线应当圆顺，但经过运营的轨道并非是笔直和圆顺的，而是 由许多波长为1 0 3 0 米甚至更长的曲线所组成。 传统的铁路轨道平顺性测量主要依靠目测和普通量具的人工测量模式，这 种方法费力费时，而且测量精度不高。随着我国铁路行车速度不断提高，检查 密度增加，运营更加频繁，传统方法不能满足提速后的普通铁路和高速铁路的 要求。目前最常用的是采用专用铁道轨检车来测量，这种方法快速省力，精度 较高，但该设备昂贵，运行成本很高，而且轨检车在正在建设的铁路上无法运 行，所以高速铁路的施工和检测还需要研究简单实用的技术手段。 采用数字近景摄影测量方式进行轨道平顺性的检测是一种新的方法【1 】。通 过近距离摄取( 一般指在l o o m 以内) 非地形目标的图像，确定其形状、大小、 性质和位置的技术称为近景摄影测量( c l o s er a n g ep h o t o g r a m m e t r y ，c r p l ，它 是地面摄影测量的一个分支。数字摄影测量与近景摄影测量的结合产生了数字 近景摄影测量，又称为“实时摄影测量”( r e a lt i m ep h o t o g r a n u n e t r y ，r t p ) ，实 时摄影测量已成为当今摄影测量尤其是近景摄影测量的一个重要的发展方向。 近景摄影测量所使用的相机分为量测相机和非量测相机。由于高精度的专业量 测相机价格昂贵，一般生产部门无力购买；而非量测相机，如普通照相机，具 有多方面的灵活性：随意调焦，可手持摄影，摄影方式随意，使用起来灵活方 便。此外，非量测相机价格低廉，单位易于购置并投入生产和研究。然而，非 量测相机的内、方位元素不确定，没有框标，且缺少解算方法，所以上世纪 7 0 年代以前非量测相机应用很少。随着直接线性变换法( d i r e c tl i n e a r t r a n s ：f o r m a t i o n ，d t l ) 的提出，解决了相机内、外方位元素的解算问题，使非 量测相机得到了广泛的应用。非量测型数码相机的普及、相机标定技术的成熟、 数字图像处理技术的完善等相关技术的解决为轨道的平顺性研究提供了一种 值得探索的研究手段，它不仅成本低廉、速度快，省时省工，而且可以大大降 低外业劳动强度。非量测数码相机用于轨道平顺性检测，需要先获取精确的足 西南交通大学硕士研究生学位论文第2 页 够范围的二维轨道平面影像，而实际拍摄时，为了获得大范围、高分辨率的轨 道图像，常采用普通数码相机近距离拍摄轨道序列图像，这样获得的图像由于 透镜畸变、拍摄角度等的存在影响量测系统的精确性，所以须对获得的序列图 像进行透镜畸变校正，几何纠正，拼接等系列处理，以获得满足轨道检测要 求的大范围、高分辨率图像。 1 2 国内外技术现状 上个世纪4 0 年代，瑞典首先将摄影测量技术运用到交通事故处理，随后 德国也采用了这项技术，到19 6 7 年，日本在欧洲国家研究的基础上，在世界 上率先推出了用照相的方法进行交通事故现场测量的事故勘测车。19 8 9 年， 新加坡进行了用非测量相机进行交通事故现场测量的研究，上个世纪9 0 年代 以来，我国也逐渐开展了非测量相机应用于交通事故现场测量中的研究，并取 得了一定的成果，杨玉成【2 l 利用一定的图像处理技术手段和方法从俯视摄影图 中提取出所需的现场信息，对事故的再现分析具有重要的意义，李显生等【3 】 从理论分析和实验结果表明，其所建立的数学模型适于现场俯视摄影图的几何 校正，且校正效果良好；近年来，随着我国高速铁路的大规模建设，非量测相 机应用于轨道检测的研究引起了一些学者的关注，郑莹采用非量测数码相机 获得轨道序列图像，重点研究了处理这些轨道序列数码影像的方法，从而获得 轨道图像的二维俯视影像图，用于后续的轨道轨向检测，但图像获取的随机性 和拼接中拼缝存在的随机性，有些问题还需要进行深入的研究。总之，现在国 内外现场测量主要用于测量事故现场、对道路以及车辆等事物进行识别，进行 轨道平顺性的检测的研究很少，但由于现场照片是利用二维平面记录三维信 息，不管是用于何处，原理是基本相同的。许多学者近年来对利用照片进行现 场测量进行了研究，目前研究从照片中提取信息的方法有二维方法和三维方法 两类【4 1 。 1 2 1 提取照片信息的二维方法 利用直接线性变换得到的变换关系，可根据某点的实际坐标确定其在图像 上的唯一坐标，却不能根据图像上点的坐标确定其在实际空间中对应的唯一坐 标。如果假设图像上对应的点在实际坐标系空间中对应的点都在同一平面上， 则可以根据直线线性变换关系，推出从实际坐标平面到图像平面的对应关系， 投影关系见图1 1 。 二维重建理论前提是图像上所有点对应的空间实际点都位于一个空间平 面上，对于路面拱度、车辆高度及在实际空间中与参考点不在同一平面上的点 经二维重建后会有较大的误差。因此，研究一种适当的方法减小误差或对误差 西南交通大学硕士研究生学位论文第3 页 曼鼍曼曼鼍曼皇曼鼍曼皇皇量皇曼量皇蔓皇曼鲁曼皇毫曼窟曼皇曼皇皇曼曼皇曼曼! 曼曼皇曼曼曼鼍曼曼曼曼皇曼鼍曼曼皇曼曼 i l l i 黑 进行控制，并尽可能地消除高差的影响具有重要应用价值。 图1 1 实际坐标面与空间面的投影关系 1 2 2 提取照片信息的三维方法 三维方法可分为单目照片法和多目照片法。 单目照片法实际上是反投影法。这种方法以重现现场中原照片的视点和方 位为基础。在传统摄像机反投影法中，要求根据照片回到原现场，用适当观察 设备找出原照片在现场中的视点和方位，从而在现场达到三维再现的目的。此 外还可通过利用摄影图像上已知实际坐标位置的离散点，使用计算机反投影 法，根据直接线性变换求出摄像机的视点和方位，进行现场再现。 文献【4 】提出了一种反投影的比例模型法。这种方法通过建立现场道路和有 关物体的比例模型，根据原摄影图像，利用一定的观测设备，在比例模型中确 定照相机的视点和方位，并在模型中进行现场再现，然后根据比例模型再现结 果，绘制现场图。如果有两幅以上从不同位置拍摄的图像上有同一点，则可根 据该点在两幅图像上的位置求出它在实际空间中的三维位置。利用两幅或两幅 以上的“图像对”进行三维重建，是计算机视觉研究的一个重要方向。 1 3 用影像进行轨道检测的技术可行性 轨道的高平j 颐性是铁路提速的基础，为了保证轨道的高平顺性，线路必须 具备非常准确的几何线性参数。 轨道的验收参数分为内部尺寸( 轨道自身的几何尺寸) 和外部尺寸( 轨道 与周围建筑物的相对尺寸) 两类，轨道几何尺寸的各项规定是为了给列车的平 稳运行提供一个平顺的轨道，利用这些参数可以检查轨道的实际形状是否与设 西南交通大学硕士研究生学位论文第4 页 计形状相符【”。 一般钢轨的线形，或者说钢轨的曲率在几何上可以通过一条弦线的矢高来 描述，这个方法几十年来在轨道工程中已为人们所知。在轨道验收时，检查轨 道在较短长度范围内的几何形态主要是以1o m 弦长来量测，轨道高低偏差限 差为2 m m ，轨向偏差限差为2 t u r n ，还有3 0 m 弦长的标准；检查轨道在较长范 围内的几何形态主要是3 0 0 m 弦检测正矢高差。 传统的现场测量方法不但效率低下，而且劳动强度比较大，且不能满足我 国铁路行车速度不断提高、检查密度增加、运营更加频繁的需求。 视频资料的获取具有方便、快捷的特点，而且从中可提取出密集的序列影 像，包含了丰富的纹理信息，因而基于视频序列影像的应用研究日益成为摄影 测量和计算机视觉的热点f 6 】。用非量测数码相机和图像处理技术结合进行轨道 的检测，技术前提是获得精确的足够范围的二维轨道平面影像，但现场摄影一 般是地面摄影，相机主轴与现场存在夹角，摄影范围较小，无法包含整个量测 现场，且在离相机较远的地方，地面数据点在相片中的分辨率较弱，有时可能 无法辨识，这就需要用到图像处理中的几何纠正和拼接技术。纠正和拼接等关 键技术已经有了比较成熟的解决方案，如郑莹【1 1 曾探讨过像纠正精度与图像拼 接精度对轨向的影响，根据最佳重叠度找出适合轨道图像纠正和拼接的方法， 初步证明利用图像处理技术进行轨道的参数检测在理论上是可行的。 1 4 图像的获取方式 图像的获取是图像处理系统的第一步，由于图像获取的方式不同会导致输 入图像的不同，图像拼接方法也不同。对于照相机拍摄的图像，获取方式主要 由照相机拍摄时的运动状态所决定。拍摄时，一般存在以下三种情况【7 】： ( 1 ) 照相机固定在三角架上，旋转照相机进行拍摄； ( 2 ) 照相机放置在滑轨上，平行移动照相机进行拍摄； ( 3 ) 手持照相机，站在原地进行拍摄，或者沿着照相机的光轴垂直方向走动 拍摄。 下面分别对这三种常用的拍摄情况作简单的介绍。 ( 1 ) 旋转照相机进行拍摄 在这种情况下，放置照相机的三脚架在拍摄过程中一直处于同一位置。拍 摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片，理想情况下， 照相机不绕其光轴旋转。拍摄得到的一系列照片中相邻两张必定有部分重叠， 重叠区域大小是图像拼接最重要的影响因素，一般建议相邻图像之间重叠比例 应该高于5 0 。重叠比例越大，拼接就越容易，但是需要的照片也就越多。旋 转照相机拍摄由于照相机固定，因此不需要恢复过多参数，较容易实现。但是， 西南交通大学硕士研究生学位论文第5 页 由于拍摄图像不在一个平面上，往往需要投影到同一个平面上，这样会导致图 像质量下降，解决这类问题的方法是使用短焦距镜头，即广角镜头。 ( 2 ) 平移照相机拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上移动。在固定焦 距的情况下，照相机放置在一个滑轨上进行移动拍摄。物体和照相机的距离远 近，或者拍摄物体的大小的变化都会影响到最后的配准结果。这种拍摄方法的 缺点是：拍摄的相片位于一个平面上，且拍摄条件比较苛刻。 ( 3 ) 手持照相机进行拍摄 这种拍摄方法比较容易实现，手持照相机站在原地旋转拍摄，或者按一定 的路线平行于对象进行拍摄。但是，配准手持照相机拍摄的照片是很困难的， 因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机 旋转拍摄，但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移 照相机拍摄，控制距离和保持相同的成像平面都很困难。为了减少这些影响， 可以增加重叠比例，使照相机的旋转角度、平移距离都减小，从而减小相邻图 像之间的不连续程度。 三种拍摄方法实际拍摄的图像会存在小视差、不同比例的缩放和大角度旋 转等，这些都增加了图像配准的难度，因此很多文献都要求照相机以最小运动 视差旋转拍摄。 1 5 研究内容 用图像处理方法进行轨道平顺性检测，首先就需要获得一个整体的轨道图 像，由于数码相机拍摄姿态的变化和拍摄距离的限制，获得的图像是需要经过 一系列处理的。轨道图像处理技术是轨道平顺性检测中非常关键的一环，其中 的图像预处理是后续分析的基础，为此拟对轨道图像处理中的以下几个问题开 展研究： ( 1 ) 图像畸变的检校 普通数码相机常使用短焦距拍摄镜头，由于受镜头畸变、相机质量、景物 对象与相机空间位置关系等因素的影响，物点在相机图像平面上实际所成的像 与理想成像之间存在不同程度的非线性几何畸变，畸变差对近景数码影像产生 的影响是十分明显的，所以需要对其进行检校以消除畸变差的影像。在普遍使 用各类数字相机的今天，由于电荷耦合器件( c h a r g ec o u p l ed e v i c e ，c c d ) 芯片自 身的平度可达4 - 1 9 m ，而且不存在“底片变形”问题，直接预先测定c c d 相机的 光学畸变愈加重要，为了提高图像检测定量分析的准确性，必须对这一类畸变 进行修正，以产生精确的不失真的图像。 ( 2 ) 图像的几何校正 西南交通大学硕士研究生学位论文第6 页 轨道平顺性检测是对实际轨道平面进行检测的。由于相机是采用中心投影 方式成像的，且摄像机成像平面与景物平面间存在倾角，这样拍摄的轨道图像 处于收敛状态，不利于拼接，因此需要把轨道平面纠正到水平面上，即几何纠 正，便于后续的拼接。 ( 3 ) 图像的拼接 数码相机拍摄的是近距离的清晰图像，每次拍摄的轨道面是有限的，在进 行长距离、大面积轨道平顺性检测时，就必须对多幅序列图像进行拼接，因此 需要对拍摄的高分辨率图像进行拼接，以构成更大视野范围的轨道图像，这就 涉及图像配准的问题。在图像拼接后，还需要对接缝处进行平滑，以获得无接 缝图像，这就涉及到图像融合技术。 在获得满足量测要求的长距离的俯视图像后，对该图像进行量测，对照轨 道检测精度标准，以探索影像处理及其精度的评定方法。 1 6 论文的组织结构 本论文共分六章，具体内容如下： 第一章，绪论，主要介绍选题的背景、研究意义、国内外研究现状、技术 可行性、图像获取方式等内容，并说明研究的内容和论文的结构； 第二章，图像拼接技术综述。介绍图像拼接的基本流程，归纳图像拼接的 几种方式； 第三章，介绍相机检校的相关理论，分析非线性畸变的特性，用球型模型 算法和多项式算法对普通数码相机的标准方格网影像进行透镜畸变校正，通过 试验比较，证明球型模型算法比多项式算法校正图像的精度高，最后采用球型 模型算法对获取的轨道进行透镜畸变校正； 第四章，对与地面存在夹角的图像采用灭点理论进行几何纠正，解决纠正 无控制点的缺陷，得到现场俯视图。采用模拟轨道图像对纠正算法进行精度评 定： 第五章，介绍图像配准算法，探索适合轨道图像匹配的方法特征点匹 配，采用s i f t 特征点提取算子对轨道图像进行特征点提取，进而对相邻的两 幅重叠图像进行拼接； 第六章，介绍图像融合算法，采用加权平滑融合算法对轨道试验图像进行 融合，用实际序列影像进行镜头畸变校正、倾斜纠正和拼接等图像处理，并进 行轨道影像量测的精度评定； 最后给出实验研究的结论，并总结目前工作中存在的问题，展望下一步的 研究工作。 西南交通大学硕士研究生学位论文第7 页 第2 章轨道图像拼接 在轨道验收时，检查轨道几何形态的一个指标是以1o m 弦长和3 0 m 弦长 的标准来量测的。由于数码相机视场有限，一幅照片不能显示或者记录全部现 场信息，需要将多幅经过几何校正以后的现场照片以某种匹配方式拼接后形成 一副完整的现场照片，以便于进行现场分析，所以要获得满足量测要求的图像， 就需要对序列图像进行拼接。拼接完成的图像应该具有连续性、平顺性，做到 无缝拼接。 图像拼接技术( m o s a i c ) 是对于给定的图像序列，先进行配准定位，然后 进行拼接融合，产生一幅包含各图像序列信息的、宽视角场景的、完整的、高 清晰的无缝新图像。它最早来源于人类的摄影知识，当相机的视野小于人类的 视野时，人们便考虑把多个照片拼接成一幅大的照片以增强相机的视野。给定 的描述同一场景的图像序列之间会存在一定的重叠部分，因而包含了大量的冗 余信息，所以需要一种紧凑的表示形式，将其整合在一起，从而更加形象地反 映客观世界。由于图像无缝拼接技术可以较好地实现这一设想，因而被广泛地 应用到医学图像分析、遥感图像处理、计算机视觉和虚拟现实等领域中。 利用无缝拼接技术处理序列图像时，要求序列图像之间应具有一定的重叠 区域【8 】( 如图2 1 ) ，而且此区域中对应像素点之间也应该满足一定的对应关系 模型，比如仿射变换模型和投影变换模型等。但这些变换的近似性又会给拼接 结果带来难以消除的累计误差，图像配准技术成了解决这一类问题的有效方法 之一。基于不同配准方法的拼接算法研究已经引起很多学者的广泛关注，并取 得了很多好的效果【7 1 , 7 2 , 7 3 】。由于图像获取的多样性和拼缝存在的随机性，很难 存在一种能够集消除拼缝、保持信息量于一体的无缝拼接算法，也很难找到一 种适合任意拼缝消除的通用算法。因此，有许多问题仍需要更深入的研究【9 1 。 拼接前 g z i g , a v a v _ j i i f幼i 彰朔i 黝i “幼 黝l 黝i -黝i l i -杉纫i -“纫 ： 沥： 彰溯i i髟纫i i杉纫i i黝i 彭翻 黝 i髟纫i i彰纫 口物 图2 i 序列图像拼接示意图 拼接后 西南交通大学硕士研究生学位论文第8 页 2 1 图像拼接的基本流程 图像拼接的方法很多，不同的算法步骤会有一定的差异，但大致的过程是 相同的。一般来说，图像拼接主要包括以下五步【8 】： ( 1 ) 图像预处理 图像的预处理包括数字图像处理的基本操作( 如边缘提取、透镜畸变处理、 几何纠正等) 和图像变换等操作。 ( 2 ) 图像配准 图像配准就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在 参考图像中对应的位置，进而确定两幅图像之间的变换关系。 ( 3 ) 建立变换模型 根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数值， 从而建立两幅图像的数学变换模型。 ( 4 ) 统一坐标变换 根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完 成统一坐标变换。 ( 5 ) 图像融合 将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。 图2 2 是图像拼接的基本流程图。 i 输入图像h 预处理h 图，配准h i i 。 建立变化统一坐标 - 日 图像融合 - - 全景图像 模型变换 图2 - 2 图像拼接基本流程图 2 2 图像拼接方式分类 相邻的图像之间存在一定的变换关系，可以分为刚性变换模型、相似变换 模型、仿射变换模型和投影变换模型等，相邻的图像只有利用这些对应关系模 型，变换到一致的坐标系下才能拼接成一幅大型无缝的全景图像。目前，图像 拼接的方式主要有以下四种：帧到帧合成方式、帧到拼接图像合成方式、拼接 图像到帧合成方式及拼接图像到拼接图像合成方式【l 0 1 。 西南交通大学硕士研究生学位论文第9 页 2 2 1 帧到帧合成方式 帧到帧合成方式首先计算出图像序列中连续相邻图像帧间的变换参数，根 据这些变换参数可以计算出图像序列中任意两幅图像帧间的变换参数。若选择 图像序列中的某图像帧作为参考图像帧，图像序列中的其它图像帧与之配 准，则图像序列中的其它图像帧与参考图像帧间的变换参数可以通过先前计算 出来的相邻图像帧间的变换参数按照一定的次序组合得到，从而实现图像的拼 接。这种合成方式也称为静态图像拼接技术，即采用批处理的方式将图像序列 中的所有图像同时变换到同一坐标系上进行配准，然后进行图像的拼合以获取 拼接图像。图2 3 是帧到帧合成方式示意图，这里图厶为参考帧，则变换矩阵 m 1 3 是由矩阵m 1 2 和m 2 3 组合而成，同理m ( 郴由蚝，m 4 5 ，m ( 川m 组合而成。 、。、 蝎23尬4m 。1 ) 图2 3 帧到帧合成方式 2 2 2 帧到拼接图像合成方式 采用帧到帧的合成方式进行图像拼接时，配准参数的连续组合会造成累积 误差。由此，人们提出了帧到拼接图像的拼接方式，即将当前图像帧与拼接图 像进行配准，这种合成方式也称为动态图像拼接技术，即采用增量处理的方式， 将当前图像与当前拼接图像( 由当前图像以前的一段图像序列拼接而成) 变换到 同一坐标系上进行配准，以当前的图像内容来更新当前的拼接图像内容。图 2 - 4 是帧到拼接图像合成方式示意图，这里图一为参考图像。 口田田田口 图2 4 帧到拼接图像合成方式 西南交通大学硕士研究生学位论文第1 0 页 2 2 3 拼接图像到帧合成方式 将拼接图像与当前图像帧进行配准，以当前图像帧所处的坐标系为基准坐 标系，这种合成方式特别适合于实时的视频传输，这样当前传输的图像帧无需 进行坐标变换。用于动态图像拼接时，拼接图像与当前帧之间的变换参数等于 前一帧图像与当前帧图像之间的配准参数。图2 5 是拼接图像到帧合成方式示 意图。 口口口口口 图2 5 拼接图像到帧合成方式 2 2 4 拼接图像到拼接图像( 树形) 合成方式 为了进一步减小图像拼接的累积误差，可以采用树形拼接的合成方式，即 将图像序列按照一定的规则进行分段，各段图像以一定的拼接方式拼接成子拼 接图像，最后再将各子拼接图像配准合成最终的拼接图像，图2 - 6 是拼接图像 到拼接图像合成方式示意图。 卤亩舒 拼接子图1拼接子图2拼接子图3 l - - 全景图 图2 - 6 拼接图像到拼接图像合成方式 西南交通大学硕士研究生学位论文第1 1 页 暑皇曼鼍曼皇皇曼皇曼蔓曼皇曼曼皇皇曼曼! 曼! 邕曼曼曼! 曼曼鼍曼曼鼍曼鼍曼曼曼皇鼍i i i i。i i。 。=。=i iii i 皇量曼曼曼曼曼曼曼曼 2 3 图像拼接技术的特点 图像拼接技术是以多幅图像为处理对象，需要对两幅或两幅以上的图像进 行综合的分析，相对于其他诸如图像去噪、压缩、分割、插值等图像处理技术， 其明显的特点【7 4 】有： ( 1 ) 多样性 由于拍摄时间、角度的不同，拍摄场景中的光照条件也会有所差别，加上 场景中物体的运动，拍摄时相机的焦距及分辨率的变化等等，都会造成从不同 角度采集的图像之间以及在不同时间采集的同一物体的图像之间都存在着差 异；相机在采集图像的过程中，存在着多种运动方式，如平移、旋转、倾斜等， 这也使得到的图像具有一定的差异；图像拼接技术广泛应用于医学图像分析、 遥感、虚拟现实和视频压缩等多个领域。多方面的原因造成了图像拼接技术处 理对象的多样性，对于不同类型的图像和不同的应用领域，需要不同的处理方 法，这也决定了图像拼接技术的多样性。 ( 2 ) 针对性 不同内容的图像、不同条件下得到的图像以及图像拼接的不同应用领域， 使得相应的图像拼接具有鲜明的特点。如平面图像、柱面图像、球面图像、立 方体图像等，针对获取的图像本身及其应用领域的特点产生了特定的图像拼接 算法。一般来说，图像拼接算法都有很强的针对性，对于某种条件下产生的图 像的拼接算法可能完全不适用于另一条件。 ( 3 ) 复杂性 从图像的采集到生成无缝的全景图，需要经过多个环节。而且由于拼接算 法的多样性和针对性，决定了图像拼接技术具有复杂性的特点。图像拼接算法 一般都是多种处理手段和算法的综合。 2 4 图像拼接的关键技术 图像配准和图像融合是图像拼接的两个关键技术。 图像拼接的关键是精确找出相邻两张图像中重叠部分的位置j 然后确定两 图像的变换关系，即图像配准。配准的目的就是找出一种最能描述待拼接图像 之间映射关系的变换模型。图像配准算法总体可分为基于特征的图像配准和基 于区域的图像配准两类【4 3 1 。 被拼接的图像在拼接边界附近的灰度细微差别几乎是不可避免的，图像在 成像过程中难免会有各种干扰，形成噪声。这些噪声使得图像上像素点灰度值 不能正确地反映原图对应点的光强值，也就降低了获取图像的质量，如不进行 色调调整就进行图像的拼接，即使拼接的精度很高，重叠区复合的很好，但拼 西南交通大学硕士研究生学位论文第12 页 i i = 。 i 。ii。ii i j _ o 舅! 曼曼曼曼曼曼舅曼曼曼曼曼曼鼍曼曼 接后有时会产生两边影像的色调明显差异，接缝线较为突出，既不美观，又影 响拼接图像的进一步应用。这就需要图像拼接的另一个关键技术图像融 合。 西南交通大学硕士研究生学位论文第13 页 第3 章对数码图像进行透镜畸变校正 获得的序列轨道图像，受到透镜畸变的影响且是与地面存在夹角的，不能 直接拼接，所以拼接前需要对图像进行一系列的数字图像处理工作。 为实现工程测量与数字近景摄影测量的结合，量测型数码相机应运产生， 但量测数码相机价格昂贵，所以多采用商用的非量测型数码相机。商用非量测 型数码相机的内方位元素( 凰，y o ，厂) 未知，且镜头畸变对测量的精度影响较 大。因此在进行高精度的测量模式作业前需要对非量测型数码相机进行严格的 标定【1 1 1 。 3 1 相机的标定 相机的标定又称为相机的检校，是确定相机内方位元素或外方位元素的过 程。内部参数是指相机内部的几何和光学特性，外参数是指相机相对世界坐标 系原点的平移和旋转位置。 内方位元素是由相机内部的几何和光学特性决定的，主要包括： ( 1 ) 主点( “o ，1 ，o ) ：图像平面原点的计算机图像像素坐标； ( 2 ) 有效焦距厂图像平面到投影中心( 光心) 距离； ( 3 ) 透镜畸变系数七：畸变包括径向畸变和切向畸变。 外方位元素是指从世界坐标系到相机坐标系的平移向量和旋转变换矩阵 r ，丁。 由于非量测数码相机的内方位元素未知，而传统的摄影测量公式都是建立 在像片坐标系d 叫基础上的( 如图3 1 ) ，因而必需先进行相机的标定，求出像 主点在图像坐标系下的坐标( 凡，山) 和相机的焦距厂，这样才能由图像坐标系得 到像片坐标系，然后利用传统的摄影测量公式求解所需的参数。 d ( 厶，山) ( 像片坐标系) ，( 图像坐标系) 图3 1 图像坐标系和像片坐标系 传统的相机标定方法需要在相机前放一个己知形状和尺寸的物体，称为标 西南交通大学硕士研究生学位论文第14 页 定物或标定参照物( r e f e r e n c eo b j e c t ) ，相机获取该物体的影像，并由此计算相 机的内方位元素。实际上，有些环境中放一个已知的标定物常常是很不方便甚 至是不现实的( 如远距离作业的机器人系统，或在危险、恶劣环境下作业的机 器人系统等) 。因此，近年来，一种不需要已知标定物的标定技术，称为相机 自标定( s e l f c a l i b r a t i o n ) 技术，引起了研究人员的广泛兴趣和高度重视。相机自 标定技术不需要已知标定物，而仅利用相机在运动过程中影像和影像之间的对 应关系对相机进行标定。