（机械电子工程专业论文）基于图像拼接技术的城市轨道交通列车远程瞭望系统研究.pdf

中文摘要 中文摘要 增开列车和缩小行车间距是缓解城市轨道交通客流压力的重要措施，但同时， 这也对列车运行控制的安全性提出了更高的要求。现行列车控制系统主要依靠轨 道电路确认前方线路的车辆占用，控制列车安全运行。但当轨道电路或信号机出 现故障时，由于司机无法了解视野以外的线路状况，极易发生追尾等恶性事故。 城市轨道交通列车远程嘹望系统旨在通过图像拼接和无线通信技术扩展司机的视 野，向司机提供超出列车制动距离的前方线路状况，以便能够及时发现危险，避 免事故发生，这对提高城市轨道交通列车的运行安全具有非常重要的意义。 根据城市轨道交通列车远程嘹望系统的功能与需求，论文中提出了列车远程 嘹望系统的总体方案，并且由于不具备在轨道交通现场实验的条件，以及出于实 验的需要，又实现了基于道路场景的远程嘹望系统实验方案。然后，论文还进一 步探讨了利用图像拼接技术实现远程嘹望功能的方法，并设计了远程嘹望实验系 统的应用软件。 文中以系统的总体方案为基础设计实现了以图像处理系统为主，结合了射频 识别( r f i d ) 系统和无线局域网络的远程嘹望系统实验方案。该方案中，车辆基 于r f i d 系统完成定位，并将当前位置信息通过无线网络发送至地面计算机；地面 计算机在利用图像拼接获得道路大视野图像的同时，根据车辆的位置通过无线网 络向车辆返回其前方道路的图像。针对图像拼接的实现，论文论述了图像拼接中 关键的图像配准处理对图像间映射关系的要求，提出了利用图像2 d 变换预先完成 图像透视失真校正，再利用h a r r i s 角点、r a n s a c 算法和单应性变换实现图像配 准的图像拼接方法。该方法利用图像校正后的前向平行视图完成图像的拼接，克 服了大透视失真图像不满足图像配准模型的要求的问题，实现了基于图像拼接的 远程嘹望。最后，基于m f c 的应用程序框架在v c + + 6 0 环境下设计了实验系统的 应用软件，构建了车载系统，并完成了相应的实验。 系统的实验与结果表明，采用图像拼接、无线通信和射频识别技术的远程嘹 望系统为保障城市轨道交通的安全运行提供了一种可行的解决方案。 关键词：远程嘹望：图像拼接：前向平行视图：单应性变换 分类号：t p 3 9 1 7 a bs t r a c t t h em e a s u r e s 。t h a tr u n n i n ge x t r at r a i na n dd e c r e a s i n gt h ed i s t a n c eb e t w e e nt w o a d ja c e n tt r a i n s ，r e l i e v e dt h ep a s s e n g e rf l o wp r e s s u r eo fu r b a nm a s st r a n s i t ，w h i l et h e y a l s ob r i n gh i g h e rr e q u i r e m e n tt ot h es a f e t yo ft r a i no p e r a t i o n c o n t r 0 1 t h et r a i nc o n t r o l s v s t e mm a i n l vr e l i e so nt h et r a c kc i r c u i tt oc o n f i r mt h a tw h e t h e rt h ef r o n tr a i l w a y l i n ei s o c c u p i e do rn o t ，a n dt oe n s u r et r a i n so p e r a t i n gs a f e h o w e v e r , w h e n t h et r a c kc i r c u i to r s i g n a lf a i l ，t h ea c c i d e n tl i k et r a i nt a i l c o l l i s i o nw i l le a s i l yh a p p e n ，f o rt h ed r i v e rc a n n o t k n o wt h er a i l w a yl i n es t a t u so u to fs i g h t t h er e m o t eo b s e r v a t i o ns y s t e m f o ru r b a nm a s s t r a n s i tt r a i na i m st oe x p a n dd r i v e r ss i g h tb yu t i l i z i n gi m a g em o s a i c a n dw i r e l e s s c o n l i n u n i c a t i o nt e c h n i q u e s ，c a np r o v i d ef r o n tl i n es t a t u s o u to fb r a k ed i s t a n c et ob e a w a r eo fd a n g e r si m m e d i a t e l ya n da v o i da c c i d e n t s ，a n dh a sav e r yi m p o r t a n tm e a m n g t o i m p r o v et h es a f e t yo f t r a i no p e r a t i n g a c c o r d i n 2t ot h ef u n c t i o n sa n dr e q u i r e m e n t so fr e m o t eo b s e r v a t i o ns y s t e mf o r u r b a nm a s st r a n s i tt r a i n ，t h eg e n e r a ls c h e m eo ft h es y s t e mi sp r o p o s e d n o th a v i n gt h e c o n d i t i o n so fd o i n ge x p e r i m e n ti nr a i l w a yf i e l d ，a n dc o n s i d e r i n gt h er e q u i s i t e s o f e x d e r i m e n t ，a ne x p e r i m e n t a ls c h e m eb a s e do nr o a ds c e n e si sa c h i e v e d m o r e o v e r ，a m e t h o dt op e r f o r mt h ef u n c t i o no fr e m o t eo b s e r v a t i o nb y a p p l y i n gi m a g e m o s a i c t e c h n i q u ei sd i s c u s s e d a n dt h ea p p l i c a t i o ns o f t w a r eo fe x p e r i m e n t a ls y s t e m i sd e s i g n e d o nt h eb a s i so fg e n e r a ls c h e m e ，t h ee x p e r i m e n t a ls c h e m eo fr e m o t eo b s e r v a t i o n s y s t e mc o m b i n i n gi m a g ep r o c e s s i n gs y s t e m ，r f i ds y s t e ma n dw l a n i sa c h i e v e df i r s t i nt h i ss c h e m e ，v e h i c l eo b t a i n sa n ds e n d si t sp o s i t i o nt ot h eg r o u n d b a s e ds u b s y s t e mb y e m p l o y i n gr f i db a s e dp o s i t i o n i n gm e t h o da n dw l a n ；c o m p u t e r i ng r o u n d 。b a s e d s u b s y s t e mu t i l i z e si m a g em o s a i ct oc r e a t e ab r o a dv i e wi m a g e ，a n da tt h es a m et i m e r e t u r n st h ef r o n tr o a di m a g et ov e h i c l et h r o u g hw l a n t h e n ，t h ei m a g em o s a i cm e t h o d i se x p o u n d e d a f t e ra n a l y z i n gt h er e q u i r e m e n to fi m a g er e g i s t r a t i o n ，t h ek e yo fi m a g e m o s a i c f o rm a p p i n gr e l a t i o n s h i pb e t w e e nt h ei m a g e st ob es t i t c h e d ，am o s a i cm e t h o d t h a ta p p l y i n g2 dt r a n s f o r m a t i o nt oc o r r e c tp e r s p e c t i v ed i s t o r t i o nf i r s ta n de m p l o y i n g h a r r i sc o m e r ，r a n s a ca l g o r i t h ma n dh o m o g r a p ht r a n s f o r m a t i o nt oa l i g ni m a g e sn e x t i sp r o p o s e d t h i sm e t h o do b t a i n sm o s a i ci m a g eu s i n gc o r r e c t e df r o n t a lp a r a l l e lv i e w i m a g e s ，o v e r c o m e st h ep r o b l e m t h a tt h el a r g ep e r s p e c t i v ed i s t o r t i o ni m a g e sd on o tm e e t t h er e q u i r e m e n to fi m a g er e g i s t r a t i o na n dp e r f o r m sr e m o t eo b s e r v i n gb yi m a g em o s a i c f i n a l l v t h ee x p e r i m e n t a ls y s t e ma p p l i c a t i o ns o f t w a r ei sp r o g r a m m e db a s e do nm f c i n v 1 1 v c + + 6 0 ，a n dt h eo n b o a r ds u b s y s t e mi sc o n s t r u c t e dt oc o m p l e t et h ee x p e r i m e n t s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t ，t h er e m o t eo b s e r v a t i o ns y s t e mu t i l i z i n gi m a g e m o s a i c ，w i r e l e s sc o m m u n i c a t i o na n dr f i dt e c h n i q u e si saf e a s i b l es o l u t i o nt oe n s u r e t h es a f eo p e r m i o no fu r b a nm a s st r a n s i tt r a i n s k e yw o r d s ：r e m o t eo b s e r v a t i o n ；i m a g em o s a i c ；f r o n t a lp a r a l l e lv i e w ；h o m o g r a p h t r a n s f o r m a t i o n c l a s sn o ：t p 3 9 1 7 致谢 本论文的工作是在我的导师余祖俊教授的悉心指导下完成的，余祖俊教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 余老师对我的关心和指导。 史红梅副教授悉心指导我完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向史老师送上衷心的谢意。 朱力强副教授和郭保青老师对于我的科研工作和论文都提出了许多的宝贵意 见，在此表示衷心的感谢。特别感谢郭保青老师在研究工作中给予的理论和技术 指导，感谢您一贯的耐心和帮助。 许西宁老师在实验室的工作中分享了很多实践经验，同时向徐老师表示由衷 的感谢。 在实验室工作及撰写论文期间，蒋红根老师以及微机测控实验室的师兄师姐 和同学们对我论文中的研究工作给予了热情帮助，在此向他们表达我的感激之情， 也同时向其他的同学、朋友们送上谢意。特别地，感谢黎琦琦同学，你的支持使 我能够在学校专心完成学业。 最后感谢我的父母和家人，在十几年的求学道路上，是你们给了我最大的支 持与关怀，四年的大学生活和两年的研究生生活也是在你们的理解和支持下度过 的，没有你们的关心和帮助就没有我今天的成绩。 绪论 1 1 课题研究的背景及意义 l 绪论 随着城市化进程的加快和城市人口的不断上升，以城市轨道交通为代表的城 市公共交通的客流量呈现出不断增长的趋势。近年来，随着轨道交通运输的不断 发展，城市轨道交通运输在城市公共交通中占据日益重要的地位，成为缓解城市 交通压力、减少城市交通污染，以及实现低碳交通必不可少的措施。作为城市公 共交通的组成部分，城市轨道交通正发挥起日益重要的作用，也承担着更为巨大 的交通客流压力。为应对城市轨道交通的客流压力，增加开行列车数量、缩小行 车间隔等提高轨道交通运输效率的手段势在必行。然而，不断增加的运行列车数 量和减小的行车间隔对轨道交通列车的运行控制，特别是对列车运行状态监控和 检测轨道交通线路占用情况的可靠性提出了越来越高的要求【l j 。 列车控制系统是对列车运行状态和运行间隔等进行监督控制的主要技术手 段。在国内外广泛应用的列车控制系统中，仍然使用轨道电路、应答器等地面设 备以及车载设备检测列车运行的状态和轨道交通线路的占用情况 2 。4 】。一旦这些设 备因外界或自身因素的影响发生故障，极易造成追尾等恶性事故，造成人员、财 产的重大损失。另一方面，基于轨道电路的检测方法还无法识别出线路上的人、 车辆、障碍物等行车安全隐患。为了进一步提高小间隔行车的安全性以及列车控 制系统的可靠性，采用基于非轨道电路方式设计的轨道交通线路状态检测方法成 为提高轨道交通列车运行安全的重要途径。城市轨道交通列车远程晾望系统基于 图像拼接技术使用图像作为列车运行控制的冗余信息源，显示列车行驶前方线路 的状态，可以辅助司机的决策，帮助及早发现线路上诸如车辆占用或障碍物等的 安全隐患。列车远程嘹望系统可以解决轨道交通车辆在弯道、站台、桥梁、隧道 等关键地段或视野范围狭窄的地段对安全隐患不易或不能及时发现的问题，帮助 司机获得视野之外的线路图像，及时消除安全隐患。同时，远程晾望还可以提供 列车行驶前方线路的占用情况，避免碰撞事故的发生，保障行车的安全。 城市轨道交通列车远程嘹望系统采用图像拼接和无线通信技术为列车提供运 行前方视野之外的线路图像，显示运行线路状态，尤其是运行线路上车辆占用、 障碍物等。其中，图像拼接技术是实现远程嘹望功能的关键。由于摄像机的视野 与焦距同样有限，因此只有通过图像拼接技术才可能获得长距离或宽视角的，并 且具有一定清晰度的线路图像。图1 1 给出了城市轨道交通列车远程嘹望原理的示 意图，摄像机沿列车前进方向在线路旁顺序架设，负责采集一定距离且相互重叠 的线路图像，通过对这些图像进行拼接，可以获得长距离或宽视角的线路图像， 实现远程嘹望。 原始图像 口十口 拼接图像 日口口 图1 - 1 城市轨道交通列车远程晾望原理的不意图 f i g 1 - 1s c h e m a t i cd i a g r a mo fr e m o t eo b s e r v a t i o nf o ru r b a nm a s st r a n s i tt r a i n 本论文研究的城市轨道交通列车远程嘹望系统是一种使用图像拼接和无线通 信技术的非轨道电路方式的列车运行控制辅助系统，它弥补了轨道电路检测方法 的不足，是现有轨道交通列车安全与控制技术的一个补充。同时，在现有列车运 行控制系统出现错误和故障时，远程嘹望系统可以有效地发现危险。因此，设计 基于非轨道电路方法实现的远程晾望系统，对于提高轨道交通运输的安全性，以 及列车运行控制系统的可靠性，乃至今后实现列车的自动驾驶等具有重要的意义。 1 2 国内外研究现状 1 2 1机器视党技术在轨道交通中的应用 在轨道交通领域，与远程晾望功能相近或相关的应用与研究主要利用计算机 视觉技术，集中在道口、站台等轨道交通线路关键地段的障碍物检测方面。各国 都针对这些关键地段的线路状态监控开展了广泛的研究，并提出了一些方案和应 用 5 。1 1 。此外，还有学者针对列车防撞系统 1 2 , 1 3 ，以及提高列车可见性的问题1 4 】 开展了研究。 西南交通大学的兰培强等人提出通过架设在铁路道口的摄像机与d s p 处理系 2 绪论 统，运用现代智能监控的方法，对穿越铁路道口的行人及时准确地检测，向远方 一定距离内的机车发出无线报警信号，使机车可以提前获得道口情况而及时采取 动作 5 】。系统主要的功能包括：运动目标检测和运动目标的运动趋势判定，若目标 走向铁轨，则报警；若目标离开铁轨，则不报警。实验结果显示，在准确检测出 铁轨中心线的前提下，该系统软件能很好地检测有无运动目标出现，并且能够智 能地判定其是走向铁轨还是离开铁轨，进而综合这些情况，有效地进行报警。但 是对于道口铁轨区域静止障碍物、弯道区域动目标和静目标，文中的方法还无法 有效的检测，而如何解决多目标行为理解和含有长干扰直线的复杂背景情况，以 及其软件在d s p 上的实现，则是作者下一步研究和工作的重点。 中国科学院自动化研究所的谢程利等人通过多信息融合的方式，提出了一种 轨道交通线路障碍物自动检测算法，并成功应用到实际环境当中 6 。该方法对于较 为干净的背景有较好的处理效果，且由于融合了振动传感器和视觉信息处理，对 火车和一些偶然情况，也能较好的判断。针对行人，在使用尺度校正之后则可以 比较好的剔除。文中的实验结果与文献 5 相当，但文献 5 是城市环境，而该方法 应用在野外场景中。该方法主要针对野外轨道交通环境下的静态目标，而对于动 态目标的检测，作者指出有待进一步研究。 针对国内平交道口的监控，由于信息化水平低，列车驾驶员和道路使用者之 间信息渠道不通畅，致使紧急情况下不能及时采取措施而发生道口交通事故的问 题，中国铁道科学研究院电子计算技术研究所于革等人开发了一套基于a v - f m s ( 主动视觉和固视微扫) 的铁路平交道口安全监控系统，该系统能够自动识别影 响铁路平交道口行车安全的事件，并将监测结果发送给监控中心和列车司机【7 1 。该 道口安全监控系统使用自主设计的a v - f m s 计算机视觉系统实现在铁路平交道口 安全监测上的应用，采用基于红外成像的智能图像分析技术，包含巡检和警备两 种模式。在巡检模式下，系统通过在铁路平交道口安放视频监测与报警系统，实 时监控道口情况，当发现有威胁列车正常运行的障碍时，系统将现场异常信息传 送到监控中心，由监控中心通知相关部门清除道口障碍。当平交道口2 5k m 处的 组合式传感器检测到列车通过时，系统自动由巡检模式切换到警备模式。警备模 式在巡检模式的基础上，增加了对列车速度的计算，并估计其到达道口的时间， 当发现道口情况异常时，系统立即启动紧急预案，把异常信息传送给列车司机， 并以语音和灯光的方式对司机进行预警。由于系统采用了红外成像与图像智能识 别技术，消除了光线、雨雪、灰尘对监控数据的影响。 在国外，日本信号与电信技术部门信号系统实验室的m a s a r uo h t a 提出了一种 基于立体相机的平交道口障碍物检测系统 8 j 。此系统在获得道1 ：5 图像信息的同时， 还可以对侵入道口的障碍物进行区分，如确定是行人、自行车还是机动车等。文 北京交通大学硕士学位论文 中对系统在不同光照及天气条件下进行了测试，取得了较好的效果。 东日本铁路公司还为道口和车站同时开发测试了一套障碍物监控设备 9 , 1 0 1 。这 套设备可以最大限度的减小阴影和列车灯光对系统工作的影响，并已于2 0 0 4 年7 月开始在站台运行。但是该系统没有与列车直接相联，不过，东日本铁路公司已 经在从事向列车传送实时异物侵入信息的研究。如图1 2 所示为该设备在站台应用 的示意。 f 嚣疆f r o mp l a t f o r m il 参龋甬鲻睡黼籀瓣麴黼黼；j 一一s i 嘲。舔溺醚豢1 | | | l _ - o - _ - _ _ - - - _ _ - - - _ - _ _ _ - _ l _ - - - - _ _ _ 一_ _ - - _ _ _ _ _ - 一_ - - - _ - _ - _ - _ - _ - _ - 一 图1 - 2 基于立体相机的障碍物监控系统在站台的应用 f i g 1 2o b s t a c l ed e t e c t i o ns y s t e mb a s e do ns t e r e oc a m e r aa tp l a t f o r m 新加坡南洋理工大学和新加坡轻轨运输局联合开发了基于激光检测技术的车 站站台和导引线异物侵入检测系统g p i d s ，旨在检测跳下或意外跌落站台的人以 及掉落在站台区段钢轨上的物体 9 , 1 1 】。该系统在新加坡b u k i tp a n j a n g 地铁车站得到 示范应用，并被证明可以检测出线路上人、动物，以及其它物体。当系统检测到 异常时，会向站台发出声音报警，并发送一个带有视频图像的信号至轻轨操作控 制中心。 此外，对于列车防撞系统的研究，昆士兰理工大学的f r e d e r i cm a i r e 利用m a t l a b 设计并实现了一个防撞系统的原型【1 2 】，用于估计两辆轨道线路维护车辆的距离， 防止两辆维护车辆的碰撞事故。m a i r e 通过钢轨的几何约束( 即钢轨轨距一致) 建 立自校准系统，采用专门开发的算法，从而避免了边缘检测算法在钢轨特征检测 上的局限。此系统即使在极端的光照条件下也能取得较好的检测效果，如图1 3 所示，其检测效果是已有激光检测系统的4 倍以上。经过实验，系统的检测范围 在1 0 0 m 以上。 在2 0 1 0 年，f r e d e r i c 对上面的模型进行了改进，用于检测维护车辆前方无障 碍物的范围。m a i r e 和b i g d e l i 利用c + + 实现了上述系统，并利用投影变换将原始 图像中由远及近的钢轨变换为新图像中位置平行的钢轨，从而获得无障碍物的范 绪论 围，同时还实现了对两条弯道的同时跟踪【1 3 】，如图1 4 所示。 图1 3 基于视觉的防撞系统的测试效果 图1 - 4 尢障碍物范围检测的狈9 试结果 f i g 1 - 4t e s tr e s u l to fo b s t a c l e - f l e er a n g ed e t e r m i n a t i o n 另外，还有使用无人驾驶飞行器( u a v s ) 【1 5 】和无人驾驶轨道车辆( u r v s ) 1 6 ， 以及铁轨识别算法 1 7 实现线路状态监测、障碍物检测等功能的研究，但未见有针 对远程嘹望的研究。 在上述国内外的研究和应用中，一部分没有实现监控系统与列车的互联，一 部分无法直接或间接地为列车提供轨道交通线路的图像，其余的则是基于车载摄 像机实现了系结- v - j h 讳7 - 3 厶匕日匕。总之，这些方法都还没有克服摄像机自身视野有限的问题， 其作用范围也因此受到限制，而远程嘹望的目的就是为了克服这个问题。 1 2 2 图像拼接技术的应用领域和现状 北京交通大学硕士学位论文 图像拼接技术是一种将若干幅独立的图像结合成为一幅大型图像的图像处理 技术，对图像拼接技术的研究与应用涉及遥感图像处理、医学图像分析、绘图学、 机器视觉、虚拟现实等众多领域。多年来，众多学者对图像拼接及相关技术在这 些领域内的研究取得了大量成果。 来自微软公司的s z e l i s k i 在1 9 9 6 年提出了利用图像拼接技术实现构建虚拟环 境的方法，其设计的系统通过摄像机的水平转动和视频帧的自动合成，可以创建 任意形状和细节的大型全景图，并利用运动视差恢复的深度信息可以有限的完成 三维环境的重现 1 8 1 。文中使用了2 d 投影变换完成图像的局部配准，利用相位相关 的方法完成图像的全局配准，并通过将配准后的图像重映射到圆柱面上完成了全 景图的拼接。而利用运动视差恢复的图像深度可以得到相当不错的结果，但算法 会由于重复的纹理、物体表面的遮挡等原因做出错误的图像深度估计。 在上面的研究中，s z e l i s k i 指出如果待拼接的图像间存在大角度的旋转( 绕光 轴的旋转) 或者大尺度的缩放，那么相位相关的方法会变得不稳定，进而失效。 z o g h l a m i 等人针对这一问题研究了基于几何角点的图像拼接方法9 | 。文中指出对 于这种情况，除了相位相关的方法外，多数配准的方法均不适用，而适用的方法 仅能完成图像旋转在3 0 。以内的拼接处理。基于通过h a r r i s 角点附加几何关系生 成的几何角点，该方法在图像存在大角度旋转( 9 0 。以上) 和大尺度缩放的情况 下实现了图像的拼接，其所用图像的重叠区域在5 0 左右，如图1 5 所示。 一i 主：也：j 图1 - 5 左图：一般的拼接；中图：1 8 0 。旋转时的拼接；右图：2 倍缩放下的拼接 f i g 1 - 5l e f t ：c o m m o nm o s a i c ；m i d d l e ：m o s a i cw i t h18 0d e g r e er o t a t i o n ；r i g h t ：m o s a i cw i t hs c a l e f a c t o ro f 2 c a p e l 和z i m m e r 对超分辨率( s r ) 图像的恢复问题进行了研究，分析了多种 绪论 图像配准的方法和由低分辨率( l r ) 图像估计s r 图像的方法【2 0 j 。文中指出配准 模型对摄像机的运动形式有一定的要求，满足此要求的l r 图像可以经过配准、拼 接、估计的过程获得相应的s r 图像。 全景图拼接是图像拼接技术的另一个典型应用。b r o w n 和l o w e 在2 0 0 7 年基 于图像的尺度不变性特征提出了一种的自动全景图拼接算法 2 1 】。这方法可以“识 别全景图”，即能够从一组未排序的图像中找出图像之间的连接关系，从而实现全 自动的全景图拼接。首先用基于特征的方法来找出所有存在重叠部分的图像对， 然后再通过找出重叠图像之间的连接部分来识别每个全景图。最后，使用了自动 全景图矫直和增益补偿完全实现了全景图的自动拼接，并取得了好的效果，如图 1 6 所示。 图1 6 自动全景图拼接的结果 f i g 1 - 6r e s u l to fa u t o m a t i cp a n o r a m i ci m a g es t i t c h i n g 针对遥感图像的拼接，b i n d s c h a d l e r 等人的研究则给出了一个构建南极大陆彩 色高分辨率全景图的图像拼接方法 2 2 】。通过与n a s a 的合作，作者利用卫星拍摄 的1 1 0 0 张南极大陆的遥感图像，完成了南极大陆全景图的构建。但值得注意的是， 遥感图像的拼接中，摄像机的运动模型具有其特殊性，并不常见于一般的应用之 中。 从图像拼接技术的发展看，图像拼接在这些领域中的应用已经取得了很好的 效果，但是这些应用中使用到的图像配准方法都对摄像机的运动模型提出了一些 要求，如：基于单应性原理的配准方法需要摄像机仅做绕光心的纯旋转运动等。 针对更为一般的摄像机运动模型，目前的研究尚少，但却具有启发性。 苗立刚给出了一种基于手持相机的文档图像拼接算法【23 l ，提出首先对图像的 透视失真进行校正，再完成拼接的处理过程。该方法利用了文档中明显的结构特 征定位水平和竖直消隐点，再基于水平和竖直消隐点恢复文档图像的仿射结构。 文中的实验表明，针对文档图像该算法具有较好的结果，如图1 7 所示。 在应用中，图像是否可以自动完成拼接，取决于能否确定哪些图像实际上对 应了场景中的相同部分，即图像能否实现配准。在缺少对完整场景理解的条件下， 图像的配准问题还没有一个完美的解决方法【2 4 1 ，然而，可以针对不同应用中的特 点对这些方法做出相应的改进，从而有效地实现图像的配准，如：预先估计摄像 机运动模型的方法。 图1 7 文档图像拼接的结果 f i g 1 - 7r e s u l to fd o c u m e n ti m a g em o s a i c 上述方法在说明图像拼接技术研究成果的同时，也给出了运用这项技术时可 能会遇到的问题，尤其是图像配准的问题。然而重要的是，一些方法和文献对这 个问题提出了启发性的建议，对于图像拼接技术向更多领域中应用提供了重要参 考。 1 3 论文研究内容及章节安排 城市轨道交通列车远程嘹望系统用于辅助列车的运行控制，它基于图像拼接 技术生成了长距离宽视角的轨道交通线路图像，克服了人眼和摄像机视野的限制， 增加了嘹望的范围，能帮助列车及时地发现危险。根据列车远程晾望的目的和需 求，结合相关技术的现状和这些技术在应用中，特别是在轨道交通领域的应用中 的不完善之处，本论文对城市轨道交通远程晾望系统开展了研究，主要内容包括 以下几个方面： 1 ) 根据城市轨道交通列车远程晾望系统的功能与需求，提出列车远程晾望系 统的总体方案。并处于实验需要和不具备现场实验条件的原因，设计基于道路场 景的远程嘹望系统实验方案，提供了构建远程嘹望实验系统的理论基础。 绪论 2 ) 通过研究图像拼接技术对摄像机的位置与运动的要求，设计用于远程嘹望 系统的图像拼接方法。基于图像透视失真校正的方法，利用图像的前向平行视图 在远程晾望系统中实现大透视失真图像的拼接，满足系统远程嘹望的要求。最后， 通过实验验证此方法的效果。 3 ) 针对远程嘹望系统实验方案的需要，设计基于射频识别系统的车辆定位方 法，用于远程晾望系统的实验中获得车辆相对于道路起点的位置，满足远程嘹望 系统中车辆定位的需求。 4 ) 依据远程嘹望系统的实验方案，研制远程嘹望实验系统，完成各硬件设备 的安装、连接和调试，编写系统的应用软件，并通过实验测试实验系统的性能。 本论文共分为六章，具体章节的安排如下： 第1 章绪论，介绍了论文的研究背景和意义，以及与列车远程晾望功能相关 的应用与研究和图像拼接技术的国内外现状，同时给出了论文研究的主要内容及 章节安排。 第2 章详细介绍了城市轨道交通列车远程嘹望系统的方案，阐述了远程嘹望 系统的总体方案和基于道路场景的实验方案，以及方案中各子系统应用到的方法 和原理。 第3 章基于前向平行视图的大透视失真图像拼接，首先介绍了远程嘹望系统 对图像拼接技术的需求和大透视失真图像的定义，接着论述了图像拼接技术在远 程晾望系统中应用时在需求和技术层面遇到的问题，解决问题的方案，以及在远 程嘹望系统中实现此拼接方法的详细步骤。最后，给出了图像拼接的实验结果。 第4 章远程嘹望实验系统的实现，阐述了为远程嘹望系统的测试实验而搭建 的实验系统平台。概述了实验系统中设备的连接、安装和调试过程，详述了实验 系统软件的设计，包括软件的结构、流程，以及实现的功能及原理。 第5 章介绍了基于实验室实验平台的远程嘹望系统的实验情况，给出了基于 道路的图像拼接实验，基于轨道交通线路图像的拼接实验，以及实验系统测试实 验的结果。 第6 章对整个论文完成期间的工作和结果进行了总结，并对远程嘹望系统在 实验中的不足提出了展望。 城市轨道交通列车远程晾望系统方案设计 2 城市轨道交通列车远程嘹望系统方案设计 本章主要介绍城市轨道交通列车远程晾望系统的总体方案，和出于实验需要 设计的实验方案，以及实验方案中具体使用到的原理和方法。 2 1 轨道交通列车远程嘹望系统的总体方案 城市轨道交通列车远程嘹望系统旨在借助图像拼接和无线通信技术，将城市 轨道交通列车可视范围之外的线路场景图像传给列车的驾驶室，实现远程嘹望的 功能。据此，列车远程嘹望系统应至少具备能采集列车可视范围外线路场景信息 的功能、能对这些场景信息进行拼接等处理的功能和将拼接好的场景信息传给列 车的功能。 针对远程嘹望系统的功能和特点，系统大体需要分为地面设备和车载设备两 部分。因此，系统采用了基于基础设施和车辆相协作的模式构建 9 。系统在地面上 沿轨道交通线路架设摄像机，采集不同位置的线路图像。地面设备以局域网的形 式相连接，使用无线网络与车载设备通信。系统在地面设立无线网络的基站，把 集成了无线通信功能的车载设备视为无线网络的移动接入端，从而实现基础设施 与车辆的协调通信，将系统连成一个有机的整体。系统在地面和轨道交通车辆上 分别设置一台计算机终端，完成相应的控制任务和数据的处理，车载设备则根据 列车当前的位置向地面设备请求前方线路图像，实现远程嘹望。图2 1 给出了城市 轨道交通列车远程嘹望系统总体方案的结构框图。 可可f 可f 鎏德菇嫠楚理i 剥网 熙 缝嚣嚣饕机 瞵换蘩牾舀固灏偌憩采集 图2 1 城市轨道交通列车远程嘹望系统总体方案 f i g 2 1g e n e r a ls c h e m eo fr e m o t eo b s e r v a t i o ns y s t e mf o ru r b a nm a s st r a n s i tt r a i n 远程晾望系统工作时，地面计算机首先控制前方的摄像机采集线路的场景图 像，形成一个图像序列，再将这个序列中的图像依据两两间的关系按顺序自动拼 接，生成一幅具有更大视野和更多信息的拼接图像。接着，车载计算机根据获得 的位置信息，向地面计算机发送自身当前位置并索取前方视野外的线路图像；根 据请求，地面计算机依据车辆的当前位置截取车辆前方一定距离处的拼接图像， 并将截取的图像发至车载计算机。车载计算机的请求以公里标信息和一定的周期 触发，以保证车辆获得的线路图像在位置和时间上的实时性。车载计算机将收到 的线路图像连同公里标和车速一起显示，实现远程嘹望的功能。与此同时，地面 计算机除了响应请求，传递线路图像，还要不断地从前方摄像机采集线路图像， 对拼接的图像进行实时更新，确保线路图像的实时性。 2 2 基于道路场景的远程嘹望系统实验方案 由于城市轨道交通现场环境复杂，运输任务繁重，并且现场试验具有一定的 危险性，这使得城市轨道交通列车远程嘹望系统在研究过程中的大量测试与实验 无法在线路现场完成。因此，在上述远程嘹望系统总体方案的基础上，又提出了 基于道路场景的远程嘹望系统实验方案，用于系统的研究、测试与实验。 系统的实验方案以最大的限度模拟远程嘹望系统的应用环境，并忠实于上述 总体方案，为系统方案的确定、软硬件的测试、关键技术的论证与实验，以及系 统的调试和实验等工作提供必要的支持。图2 2 给出的是远程嘹望系统实验方案的 结构框图。从图中可以看出，实验方案的基本结构与远程嘹望系统的总体方案并 无出入，只是在一些难以模拟或复制的功能和环节上，寻求了替代方案，并对诸 如设备接口、通信协议等的具体环节予以了明确。 由于没有固定的、实验性质的城市轨道交通线路可供使用，远程嘹望系统的 实验方案选择了实验室外的道路模拟替代实际的轨道交通线路，将实验室所在建 筑四周的道路场景作为嘹望的对象。与实际的轨道交通线路相比，对于远程嘹望 的应用，道路的主要差别在于存在9 0 。的直角弯道，以及道路本身的特征不如轨 道交通线路丰富。 1 2 城市轨道交通列车远程晾望系统方案设计 图2 - 2 基于道路场景的远程晾望系统实验方案 f i g 2 - 2e x p e r i m e n t a ls c h e m eo f r e m o t eo b s e r v a t i o ns y s t e mb a s e do nr o a ds c e n e 远程嘹望系统实验方案将系统分为地面系统和车载系统两大子系统。与系统 的总体方案相比，实验方案具有相同的运行模式。地面系统仍然通过沿道路架设 的摄像机采集道路的场景图像，通过采用i e e e 8 0 2 11 协议的无线w i f i 网络与车 载系统通信。这里，由于实验系统中的车载系统不是安装在轨道交通的车辆上， 所以车载系统便没有了列车控制系统提供的车速和位置信息，也没有道路公里标 可以使用。因此，采用了r f i d 技术替代原有的定位方案，以电子标签的i d 号码 模拟道路的里程标记，通过r f i d 的阅读器完成车辆定位的功能。 以下对远程晾望系统的实验方案分节予以论述，并且如下文无明确说明，所 述远程嘹望系统均采用此实验方案。 2 3 地面系统 远程嘹望系统的地面子系统将完成包括图像采集、图像处理在内的多项系统 功能，系统以局域网的形式组建，以以太网协议为基础实现设备间的互联。如图 2 3 所示为地面系统的结构示意，整个地面系统就是一个局域网络。下面将依据不 同功能分析地面子系统的组成与使用的方法和原理。 北京交通大学硕士学位论文 叠冒叠冒_ 光舛a 光扦6 光f 、 # 蟹蟛毒 女& “、一 【2 女+ a - 。下一i 女。一 ：互盈车? ：卑r 譬f 产峄誓卫 羹j 。羹? ”囊，j 鼍”7 翻；。冀? 7 囊- 。蠢。8 羹，。 图2 - 3 地面子系统的结构示意图 f i g 2 - 3s c h e m a t i cd i a g r a mo fg r o u n d - b a s e ds y s t e ms t r u c t u r e 2 3 1图像的采集和摄像机模型 作为图像处理系统中最前端，也是最为基础的设备，摄像机是远程嘹望系统 最主要的传感器。远程嘹望系统对道路场景图像的采集由若干台摄像机完成，所 有摄像机沿道路方向依次排列安装于道路侧上方，并且保证前后相邻的两台摄像 机间所拍摄的场景具有一定的重叠部分，从而确保之后对图像的拼接操作可以顺 利实现。 用于采集图像的摄像机选用具有1 3 英寸c m o s 靶面的网络摄像机，有效像 素1 2 8 0 ( 水平) 7 2 0 ( 垂直) ，支持黑白和彩色两种模式，直流1 2 v 供电，如图 2 - 4 所示。与之配套的镜头选用可以手动调焦的镜头，焦距2 8 1 2 m m ，自动光圈。 为了支持在夜晚低照度条件下的使用，摄像机加装了红外照明，但受到照明范围 等因素的限制，夜间摄像机的成像清晰度有一定的降低。 图2 4c m o s 网络摄像机 f i g 2 - 4c m o s i pc a m e r a 城市轨道交通列车远程嘹望系统方案设计 作为2 d 图像传感器，一台摄像机就是一个建立在3 d 世界和一幅2 d 图像间 的映射【2 川。针孔模型是摄像机模型中最简单、常用和基础的模型，它将摄像机的 成像过程描述为透视投影的过程，又称为中心投影。取e u c l i d e a n 坐标系o x y z 的 原点为投影中心，在针孔模型中，空间中坐标为陇e 刁的一点x 将投影在平面 z 可与点x 同投影中心连线的交点x 上，如图2 5 所示。平面z = 厂称为投影平面 或图像平面，点x 为空间点x 在投影平面上成的像，根据相似三角形原理，点x 的坐标( f x z , f r z , j ) 。如果忽略掉点x 坐标中表示投影平面位置的分量，就可以 得到一个三维e u c l i d e a n 空间到二维e u c l i d e a n 空间的映射关系，即3 d 世界向2 d 图像的透视投影， ( x 】，z ) 1h ( z y z ) 1( 2 - 1 ) 其中9 投影中心又称作光心或相机中心，通过投影中心垂直于投影平面的直线称 作主轴或光轴，主轴与投影平面的交点称为主点。 通过引入齐次坐标，则可以得到上述针孔模型在齐次坐标下的一个简洁线性 的表达。上述映射关系在齐次坐标下可以用矩阵具体表示为： 刚蚕 c x y z 1 ( 2 - 2 ) z 图2 - 5 针孔摄像机模型的几伺关系 f i g 2 - 5p i n h o l ec a m e r ag e o m e t r y 在这里有必要明确几个坐标系的含义，它们分别是世界坐标系、摄像机坐标 系、屏幕坐标系【2 6 】和图像坐标系。世界坐标系o - x y z 是在3 d 环境中选取的一个 基准坐标系，用来描述环境中任意物体的位置以及摄像机的位置，是以地面为x o z 平面的三