（光学工程专业论文）基于图像处理的无人机姿态测量.pdf

摘要目标的三维姿态参数是反映目标飞行状态的重要参数，目前在靶场测量中对空间目标的姿态测量主要分为两类，类是利用目标内部的陀螺及电路组成的测量系统将测量的飞行数据传回地面，从而完成姿态测量，即所谓的遥测法：另一类则是通过光学摄影方式拍摄目标的序列图像，再利用图像处理的方法求解目标的飞行姿态。即所谓的姿态外测法。随着计算机技术和c c d 器件的迅猛发展，外测法测量目标姿态将为靶场的飞行目标姿态测量提供一种非常好的辅助测量手段。本文提出了一种利用图像处理进行无人机姿态测量的系统及方法。该测量系统由摄像机、经纬仪、时间同步控制器和计算机终端组成，摄像机固定在经纬仪上，构成一个能够在俯仰角和方位角下拍摄图像的光测图像机构；经纬仪布置在飞机飞行轨迹的两侧；时间同步控制器提供一个时间同步控制信号控制不同摄像机在同一时刻对飞机进行实时拍摄；拍摄的图像和时间同步控制信号一同存储在计算机终端上，该测量方法利用图像处理技术中的边缘检测、阈值分割、霍夫变换、双目图像处理等手段重构出机身和机翼的空间向量，进一步通过机身和机翼的空间向量计算出无人机的俯仰角、偏航角和翻滚角；通过仿真试验证明本方法具有测量精度高，测量方案简单的优点，方法能够应用在无人机姿态的被动测量领域。关键词：飞机姿态光电经纬仪双目视觉图像处理a b s t r a e ta b s t r a c t2t h ea t t i t u d ea n g l eo ft h eo b j e c ti sav e r yi m p o r t a n tp a r a m e t e rt h a tr e f l e c t st h eo b j e c t sf l y i n gs l a t e a tp r e s e n t , t h e r ea 豫t w om e t h o d su s e di nt h ea t t i t u d ea n g l em e a s u r i n g o n ei st ou t h es y s t e mc o n s i s t i n go ft h eg y r o s c o p ea n dc i r c u i ts y s t e m i tm e a s u r e st h ed a t ao ff l y i n go b j e c t s ，t h e nb yt h i sd a t a , c o m p u t e r 咖f i n i s ht h ea t t i t u d ea n g l em e a s u r i n gw o r k a n o t h e ri sb a s e do n t h eo p t i c a li n l a g e i tu s e sm a n yd i g i t a li m a g ep r o e e s s i a gt e c h n i q u e s , b yt h e s et e e l a n i q u e s , t h ec o m p u t e r 啪c a l c u l a t et h ea t t i t u d ea n g l eo ft h eh y i n go b j c c t b c c l l l l s eo ft h ed e v e l o p m e n to fc c d ，t h es e c o n dm e t h o dw i l lb e c o m ei n o l ea n dm o l ei m p o r t a n ti na s s i s t i n gm e a s u r i n gt h ea i r p l a n ea t t i t u d ea n g l e i nt h i sa r t i c l e , am e t h o df o ra i r p l a n ea t t i t u d ea n g l em e a s u r e m e n ti sp r o p o s e d t h es y s t e mi sm a d el l po ft h e o d o l i t e s ，c a m e r d s ，c o m p u t e r sa n dt i m ec o n t r o ls y s t e m s t h ec a m e r ai sp l a c e do nt h et h e o d o l i t e ，a n dc a l lt a k ea i r p l a n e sp i c t u r ea ta z i m u t ha n dp i t c h i n ga n g l e t h et h e o d o l i t e sa l a i do nt h es i d e so ff l i g h tp a t h t h et i m ec o n l r o ls y s t e mp r o v i d e st h et i m es i g n a lt oc o n t r o lt h ec f l n l c l at ot a k et h ep h o t o s t h et i m es i g n a la n dt h ep h o t o sl u es a v e di nt h ec o m p u t e r sf o rl a e a l m e r l tt h i sm e t h o du s e sm a n yd i g i t a li m a g ep r o c e s s i n gt e c h n i q u e s , s u c h 嬲t h r e s h o l ds e g m e n t a t i o n , e d g es e g m e n t a t i o n ,h o u g ht r a n s f o r ma n db i n o c u l a rv i s i o nt or e c o n s t r u c tt h ev e c t o ro f t h ea i r p l a n e t h e nt h ep i t c h i n g y a w i n ga n dr o l la n g e l 躺c o m p u t e db yt h ev e c t o ro f t l a ea i r p l a n e t h i sm e t h o dc o u l da e l a i e v eah i g h e ra c c u r a c yw i t hs i m p l es c h e m e ，a n dc 锄b eu s e di nt h ep a s s i v em c a s u r c m e l l l ：o f a i r p l a n ea t t i t u d e 柚g l e k e y r o i i i s ：a i r p l a n ea t t i t u d ea n g l eb i n o c u l a rv i s i o ni l l l a g ep r o c e s s i n g创新性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取锝的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规定)导师签名；事竹日期三。! 竺第一章绪论第一章绪论无人机是一种由动力驱动、无人驾驶，可重复使用的航空器的简称，英文常用u n m a n n e da e r i a lv e h i c l e 表示，缩写为u a v 。在军事方面，无人机己逐渐演化成一种现代军事装备，在现代化战争中具有其它武器所不可替代的重要她位，在民用方面无人机的应用就更广了，森林防火、边防的缉私，航空拍照、地面的勘探等等，都可以使用无人机。在无人机的研制过程中都要将样机在靶场进行各种性能全方面的检验后才能将其投入实际应用中去，而无人机的三维姿态参数是反映其飞行状态的重要指标，对无人机系统的研制、开发都有十分重要的意义。因此研究无人机空间姿态的测量方法就有着很强的实用价值f n 。1 1 目标姿态测量的主要方法飞机的三维姿态参数是指其在空间航行时自身坐标系相对于地面静止时自身坐标系的一种角度变化关系( 静止时飞机坐标系和世界坐标系重合) 。具体的关系如图1 1 ，飞机的俯仰角妒指飞机绕y 轴旋转的角度、偏航角矿指绕z 轴旋转的角度、翻滚角指绕x 轴旋转的角度。x图1 1 姿态角示意图运动物体的姿态测量对于航空摄影、航空重力、水下地形、火炮姿态的指向瞄准、飞机的指向和姿态的确定等等都是不可或缺的。飞机飞行的姿态是研究飞机飞行状态和飞机性能的重要指标，另外，飞机的姿态参数对研究飞机运行平稳、事故分析、导弹威力的发挥等具有非常重要的意义。因此，运动目标的姿态和轨迹测量具有很强的研究价值和广泛的应用前景。2基于图像处理的无人机姿态测量目前在航空测试领域，运动目标姿态测量的方法按测量传感器的安置位置的不同主要分为两类，一类是在飞机上装载测量传感器，利用测量传感器完成对飞机各时刻的姿态测量，这类方法叫姿态遥测法【2 卅；另一类方法是利用地面安装的测量设备对空中的飞行目标进行图像采集，再利用图像处理的手段完成对飞机各时刻的姿态测量，这类方法叫姿态外测法。中远距离的飞机姿态外测法，目前国内外只有基于广义点反馈迭代的影像匹配法这一种 s 4 1 。这两类方法都有着各自的优缺点，下面将分别介绍这两类测量方法的优缺点，以及目前国内外关于空间目标姿态测量的研究情况。目前，用于姿态遥测的设备主要有：高精度姿态卫星定位系统( g p s ) 、惯导设备( m i u ) 、高速航空摄像机。这些设备在当前市场上已经有较为成熟的产品，但是，将这些设备放置在飞机上，进行飞机姿态测量时，还存在许多缺陷【9 j 。g p s 用于飞机姿态测量时至少存在如下两个方面的不足：( 1 ) 在飞机高速飞行时，飞机在一秒之内完成好几个动作，而g p s 大部分是在一秒左右测量到一次飞机姿态，一秒以内的姿态数据是通过数据内插完成的，在飞机姿态变化比较大的情况下，这种方法的可信度受到限制；( 2 ) 当在飞行过程中g p s 天线背离卫星方向时无法接收到有效信号，导致一些关键飞行动作姿态测量失败。特别是飞机在做俯冲、背飞等特定测试动作时，更不容易得到有效的信号，导致测量失败。i m u 用于飞机姿态测量时存在如下两个方面的问题，( 1 ) 惯导i m u 的累计误差影响姿态测量精度；( 2 ) 由于惯导i m u 是利用陀螺仪的重力作用特性进行姿态测量的，因此飞机在做尾旋等机体失重动作时，惯导对飞机姿态的测量结果就不太可信了。特别当姿态角接近9 0 度飞行时，惯导输出的角度可能与实际情况不符在飞机上装航空摄像机对地面标志摄影。用传统摄影测量的方法确定飞机姿态时，在地面需要有一个很大的控制场，并且飞机的飞行范围、飞行姿态范围都要加以限制。飞行目标姿态外测的方法大致可分为以下几种：1 基于广义点反馈迭代的影像匹配法求解飞机姿态 7 - 0 1 。这种方法是通过飞机序列影像的广义点匹配获碍飞机姿态的，基于这些影像和运动轨迹，从摄影测量和投影几何的角度出发，利用广义点反馈迭代的最小二乘方法和模拟影像与真实影像匹配的目标姿态跟踪求解方法得到最终的测量结果。这种方法通过经纬仪和数字摄像机获得的图像就能测量出飞机的空间飞行姿态，但在测量前必须利用近景测量的方法建立一个高精度的飞机模型，再利用光电经纬仪的成像模型模拟出飞机在空间不同飞行姿态下的图像，然后与真实的图像进行匹配得出测量目标的姿态。这种方法虽然有较高的测量精度，但由于在测量前对不同的飞机要分别建第一章绪论立不同的模拟图像数据库，因此降低了该方法在测量中的通用性。2 采用经纬仪和摄像机构建光测图像系统，利用双目视觉的原理通过提取轴对称目标中轴线的方法测量目标俯仰角和偏航角【l 2 】，这种方法通过计算轴对称目标中轴线的向量测量子弹和火箭的俯仰角和偏航角，但是此方法只限于测量类似火箭、炮弹这样的柱状物体的俯仰角和偏航角，不能测翻滚角。在测量类似飞机等带有翼展的空间目标时，中轴线的提取方法与柱状物体有着明显的区别，因而要测量类似飞机这样带有翼展的飞行器目标时，中轴线法就有一定的局限性。3 利用单站光测图像确定空间目标三维姿态【 】，这种方法利用空间目标的几何先验知识和单站经纬仪等光测设备，提出了一种基于特征点提取确定空间目标三维姿态的迭代算法，此方法虽然避免了多站匹配，但是只能测量类似火箭等柱状物体空间目标的三维姿态角，而且为了得到高的测量精度，必须保证经纬仪的俯仰角在2 0 度以下，极大地限制了该方法在无人机飞行姿态测量上的应用。1 2 求解三维姿态的技术背景图像是一种二维信息数据，在本文中，飞机的空间三维姿态参数是反映飞机空间三维信息的，如果希望通过二维图像来获得三维信息，一个比较广泛采用的解决方法就是利用计算机视觉技术。人类的感觉信息是多种多样的，视觉是人类观察世界、认识世界的最为重要的手段之一人类从外界获得的信息约有7 5 来自视觉系统，这既说明视觉系统信息量巨大，也表明人类对视觉信息有较高的利用率。人类视觉过程可看作是一个复杂的从感觉到知觉的过程，既先感受3 d 世界到2 d 世界的投影图像，再反过来由2 d 图像认知3 d 世界。视觉的最终目的从狭义上说是要对场景做出对观察者有意义的解释和描述，从广义上讲，还有基于这些解释和描述并根据周围环境和观察者的意愿制定出行为规划。计算机视觉是指用计算机实现人的视觉功能一一对客观世界的三维场景的感知、识别和理解。这里主要有两类方法：一类是仿生学的方法，参照人类的视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一类是工程的方法，从分析人类视觉过程的功能着手，并不刻意去模拟人类视觉系统内部结构，而仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。计算机视觉的开创性工作是从2 0 世纪6 0 年代中期开始的。美国麻省理工学院的g o b e r t 把- - 维图像分析推广到三维景物分析，标志着计算机立体视觉技术的诞生，在随后的2 0 年中该技术迅速发展成一门新的学科。特别是2 0 世纪7 0 年代末，m a n ：等创立的视觉计算理论对计算机视觉的发展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重建的比较完整的体系。4基于图像处理的无人机姿态测量m a r r 从视觉计算理论出发，将系统分为自上而下的三个阶段，既视觉信息从最初的原始数据( - - 维图像数据) 到最终对三维环境的表达经历了三个阶段的处理。第一个阶段构成所谓“要素图”或“基元图”( p r i m a r ys k e t c h ) ，基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成；第二阶段，m a r r 称为对环境的2 5 维描述，2 5 维描述是一个形象的说法，意即部分、不完整的三维形状信息描述，用“计算”的语言来讲，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身的坐标系来描述的，另外，我们只能观察到物体的一部分( 另一部分是物体的背面或被其他物体遮挡的部分) 。这样，重建的结果是以观察坐标系下描述的部分的三维物体形状，称为2 5 维描述。这一阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由灰度恢复表面形状等不同处理单元，在多数的应用中都涉及这一阶段。但2 5 维描述是不够的，事实上，从各种不同角度观察物体，观察到的形状都是不完整的，不难设想，人脑中存有同一物体从所有可能的观察角度看到的物体形象，以用来与所谓的物体的2 5 维描述进行匹配与比较，因此，2 5 维描述必须进一步处理以得到物体的完整的三维描述，而且必须是物体本身某一固定坐标系下的描述，这一阶段称为第三阶段，即三维阶段l 1 “1 7 】。计算机视觉的主要研究目标可归纳成两个，它们互相联系补充。第一个目标是建成计算机视觉系统，完成各种视觉任务。例如在医学图像处理中，病灶组织的三维重构；在工业生产中，精密工件的非接触测量；在航天导航中，空间目标的识别等一些工作都需要借助这类计算机视觉系统，在这类系统中计算机能够借助各种视觉传感器获取场景的图像感知和恢复3 d 环境中物体的几何性质、姿态结构、运动情况、相互位置等，并对客观场景进行识别、描述、解释，进而做出决断。第二个研究目标是把该研究作为探索人脑视觉工作机理的手段，进一步加深对人脑视觉的掌握和理解【1 8 - 2 卯。1 3 求解三维姿态的关键技术本文介绍的利用图像处理技术进行无人机姿态测量方法中涉及到的关键技术可以概括为两大部分：( 1 ) 采用有效的图像处理手段提取出必要的目标特征信息数字图像中包含有大量的信息，而有用的信息很可能被大量的无关信息所淹没，图像处理算法就是根据要求获取对用户有用的信息，为用户的进一步处理提供便利。对本文涉及的情况，由于飞机目标特征点比较多，因此如何有效的利用飞机的特征简化飞机，从而完成最后的测量是文中所要研究的一个方面。通过对第一章绪论各种图像处理技术的研究，针对具体应用中目标所成像的特点以及所要达到的处理目的，本文提出了一种利用飞机机身和机翼中轴线简化飞机从而完成对飞机特征提取的方法。( 2 ) 对多站目标特征进行交会处理建立目标空间姿态的求解模型单个测站获得的图像特征量是二维的，因此要利用两站以上的图像特征进行交会获得目标的三维信息。本文主要利用的是空间平面的交会算法，算法主要采用摄像机成像原理以及计算机视觉原理进行推算，利用两站的摄像机参数构造平面的方法，通过对构造的平面进行空间交会，完成图像上二维直线到空间三维向量的重建工作。1 4 本文的章节安排本文所作的工作是利用经纬仪，高速摄像机和计算机终端等设备组建一个基于计算机视觉原理的测量系统，通过此系统，利用数字图像处理技术将飞机的机身和机翼简化为空间两条直线，依据立体视觉的原理通过两幅图像上同一的机身和机翼轮廓图像重构出飞机空间直线的向量，从而完成对无人机空间飞行的俯仰角矿、偏航角和翻滚角妒三个转角的测量。全文共分五章，内容安排如下：第一章是绪论，主要描述了空间目标姿态测量的主要方法和意义，介绍了计算机视觉技术的发展状况和应用背景，并简单概括了本文所采取方法中的关键技术，以及文章的章节安排。第二章主要介绍了利用图像处理法测量无人机姿态的理论基础。主要分析了摄像机成像模型的数学表达式，介绍了利用计算机视觉原理如何重构直线空间向量的方法。第三章介绍了无人机测量方案中测量系统的构建以及具体的测量方法。第四章利用计算机对测量方法进行误差分析，得出飞机在一个飞行范围内的测量误差分析。第五章是工作的总结和展望，主要是对本论文的工作进行评价，并提出了一些工作中有待解决的问题。第二章确定空间直线向量的理论基础第二章确定空间直线向量的理论基础7三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像几何模型决定。因此在利用计算机视觉对三维物体重建前，需要了解摄像机的成像几何模型。2 1 摄像机的几何模型在图像采集中需要将客观世界的3 d 场景投影到摄像机的2 d 像平面上，这个投影可用成像变换描述。最常用的成像变换是几何透视变换，它的特点是，随着3 d 场景与摄像机之问的距离变化，像平面上的投影也发生变化。在有些场合( 例如场景与摄像机的距离很大时) 也用正交投影变换近似透视变换。在正交投影中，景物在像平面上的投影并不随3 d 场景与摄像机之间的距离变化而变化。成像变换涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要得到计算机的数字图像，在对3 d 空间景物成像时涉及到的坐标系统主要有：世界坐标系：它是客观世界的绝对坐标，一般的3 d 场景都是用这个坐标系来表示的。摄像机坐标系：以摄像机为中心制定的坐标系统x y z ，一般常取摄像机的光学轴为z 轴。像平面坐标系统：在摄像机内所形成的像平面坐标系x y 。一般常取像平面与摄像机坐标系的砂平面平行，像平面原点在摄像机光学轴上计算机图像坐标系统：在计算机内部数字图像所用的坐标系统m n 。数字图像最终由计算机内的存储器存放，所以要将像平面的投影坐标转换到计算机图像坐标系统。根据以上几个坐标系统不同的相互关系，可以得到不同的成像几何模型，也称摄像机模型嘲。下面分别介绍两种最常用的成像模型。2 1 1 世界坐标系与摄像机坐标系重合时的摄像机模型先考虑世界坐标系与摄像机坐标系重合的情况。图2 1 给出一个此时成像过程的几何模型示意图( 用小孔成像模型) 。图中摄像机坐标系统的砂平面与像平面重合，而光学轴沿z 轴。这样像平面的中心处于原点，镜头中心坐标是( o ，o ，) ，其3基于图像处理的无人机姿态测量中，是镜头的焦距。( x ，】，z )图2 1 世界坐标系统与摄像机坐标系统重合时的投影模型实际成像系统应采用透镜成像原理，见图2 2 ，一般情况下，所以从透镜成像原理三：三4 - 三上可以知道此时，。，这样在实际应用中可以用小孔模型代，“v替透镜成像模型。图2 2 透镜成像原理示意图先假设“弘：) 为空间一点，借助相似三角形的关系由图2 1 可以得出点第二章确定空间直线向量的理论基础9w ( x ，y ，：) 与其在像平面上投影点i ( x ，力的联系( 这里砂平面和r y 平面重合，分别用x 和y 表示r 和y ) ：x ：旦( 2 一1 )f z，= 尚c z 吲在计算投影时需要引入齐次坐标，目的有两个，一个是可以表示空间无穷远点和无穷远直线，另一个是借助齐次坐标的方法可以将上面的式子表示成线性矩阵运算的形式。一个点对应笛卡几坐标册z 的齐次坐标定义为( k x ，k y , k z ，k ) ，其中k 是一个任意的非零常数。很明显，将齐次坐标变回笛卡儿坐标可用第四个坐标去除前三个坐标得到。一个笛卡儿世界坐标系统中的点可用矢量形式表示为：矿= 【xy z r( 2 3 )它对应的齐次坐标表示是：= 【k y k z 七r ( 2 - - 4 )当在世界坐标和摄像机坐标重合时，定义一个透视变换矩阵将点w 变换到像平面上去标：p = -10 o 00l0 0o ol000 。彤1，j那么它和空间点相乘将得到空间点w 在平面上的投影坐标。c h - p w h =1o o o01o oo01000 - y , 1，jk xk yk zkk yk z场咄( 2 5 )( 2 6 )由齐次坐标和笛卡儿坐标的关系可以得到w 在摄像机坐标系统中的笛卡儿坐1 0基于图像处理的无人机姿态测量c 叱蚓7 = 嚆为尚r ( 2 - - 7 )因为x y 和x - y 重合，所以c 的前两项可以表示点w ( x ，y ，z ) 在像平面上的投影坐标。2 1 2 世界坐标系与摄像机坐标系分开时的摄像机模型式( 2 6 ) 和式( 2 7 ) 描述了将3 d 空间点投影到像平面的过程，这两式组成了一个最基本的摄像机( 成像几何) 的数学模型，这个模型是建立在摄像机坐标系统和世界坐标系统重合( 且摄像机坐标系统的x y 平面与像平面重合) 的假设上。这里考虑更一般的情况，即上述两个坐标系统分开的情况。图2 3 给出了一个此时成像过程的几何模型示意图。像平面中心( 原点) 与世界坐标系统的位置偏差记为矢量d ，其分量为域，d 。，见。这里假设摄像机分别以y 角扫视( 水平旋转) 和以口角倾斜( 垂直旋转) ，其中y 是x 和工轴间的夹角，口是：和z 轴间的夹角。根据上节讨论的结果，如果首先把图2 3 中世界坐标系统和摄像机坐标系统间的几何关系转化为图2 1 所示的情况，然后再进行透视投影就可以得到3 d 空间点在像平面投影坐标。因此当摄像机存在平移和旋转时首先要对点进行变换，使之处在摄像机的坐标系下才能利用上面讲到的透视投影进行计算。iw ( x ，y ，趵图2 , 3 世界坐标系统与摄像机坐标系统不重合时投影示意图第二章确定空间直线向量的理论基础上述几何关系的转换关系可以如下考虑。设摄像机初始处于正常位置，即世界坐标系与摄像机坐标系相重合，如图2 1 示，从两个坐标系的这种对应几何关系出发，可以通过如下步骤得到如图2 3 所示的几何关系：l ，将像平面原点按矢量d移出世界坐标系统的原点；2 ，以某个，角( 绕z 轴) 扫视x 轴；3 ，以某个口角对z轴倾斜( 绕x 轴旋转) 。将摄像机相对世界坐标系统运动等价为世界坐标系统相对摄像机的逆运动。具体来说可对每个世界坐标系统中的点分别进行如上几何转换所采取的3 个步骤，平移世界坐标系统的原点到像平面原点用平移矩阵t 表示。r =10 0 一乜010 - 仉001 d 00 0l( 2 8 )进一步考虑如何将坐标轴重合，扫视角，是痢x 轴之间的夹角，正常位置，这两个轴是平行的。为了以需要的，角度扫视x 轴，需要将摄像机逆时针绕z 轴旋转，即：r ，=c o s ys i n y0 0s i n yc o s y0 0o0loo0ol( 2 9 )类似的，倾斜角口是z 和z 轴间的夹角，可以将摄像机逆时针绕x 轴旋转口以达到倾斜摄像机口的效果，即：=looo0 c o s gs i n g00 - s i n g c o s 口00oo1将上述两个矩阵联立可以得到旋转矩阵rr = 吃墨=c o s ys i n y00- s i n y c o s ac o s a c o s ys i n a0s i n g s i n y - s i n a c o s yc o s 口0oool( 2 1 0 )( 2 1 1 )r 代表了摄像机在空间旋转带来的影响。将平移变换和旋转变换矩阵和空间点相乘将得到空间点呢在摄像机坐标系下的坐标，这样就能利用上一节的透视变换公式( 2 - - 6 ) 得到在像平面上的投影齐次坐标：c h = 朋册：( 2 1 2 )1 2基于图像处理的无人机姿态测量用g 的第四项去除它的第一和第二项可以得到世界坐标点w ( x ，l z ) 成像后的笛卡儿坐标( 矗y ) 展开得到：( r d i ) c o s y + ( y d 。) s i n 70 x d x ) s i n a s i n g + ( y d v ) s i n a c o s 7 一q d z ) c o s a + ，( 2 1 3 )t x d i ) s i n y c o s a + g d v ) c o s a c o s t + ( z d z ) s i n a1 ，= ：一。一x 一见) s i n a s i n y + ( y d ，) s i n a c o s 7 一( z 一见) c o s a + ，它们给出世界坐标系统中点w ( x ，y ，z ) 在像平面中的笛卡儿坐标( x ，y ) 。当卫= 域= 见= o ，口= 7 = 0 时，式( 2 1 3 ) 分别简化称式( 2 - 1 ) 和式( 2 - 2 ) 。2 2 空间直线交会算法空间点被看成空间三维物体的基元。基元点可以看成物体表面上的任何点，在空间三维重构时，一般只能提取物体表面上的特殊点，例如多面体的顶点，因为这些特殊点的图像特征比较容易在图像上提取，但是在实际应用中物体可能没有这些容易提取的特征点，例如一个对称的圆柱体，这就要求利用物体其它的特征，例如柱体的母线，底面的圆周线等几何信息完成对物体的特征提取工作，这一节中将介绍利用双目图像对直线基元进行整体重建的方法。由图2 4 可知，假设图像上直线在图像坐标系下的参数已知，那么利用双目图像上的同一直线的投影直线段构造s 平面和最平面的方法进行空间交会就可以唯一的恢复出3 d 空间的一条直线。具体方法如下【1 4 冷2 9 】：图2 4 利用双目图像重构空间直线毛c 2第二章确定空间直线向量的理论基础由c 1 与c 2 两个摄像机观察到空间直线s 的两个图像焉与，则空间直线s 为由0 ；与西组成的平面墨与由0 2 与组成的平面是的交线，根据上面建立的投影模型，假设两个像机的投影矩阵分别为m 与 如：m = 丑墨互( 2 - 1 4 )角；式中，p = -r = & 墨=10 0 ooloo0olo00 一杉1，j 如= 昱马瓦( 2 - 1 5 )表示透视矩阵，为摄像机焦距；c o s ys i n 700- s i n y e o s o rc o s a c o s ，s i m z0s i n u s i n y - s i n u c o s yc o s 口0o00l为旋转矩阵，口为摄像机相对世界坐标系统的倾斜角，为摄像机相对世界坐标系统的扫视t =10 0 - n010 一d 。001 一d -0 0 0l为平移矩阵，见、q 和见分别为摄像机坐标系在世界坐标系z 、y 和z 方向上平移的距离；p 、震和r 的角标分别表示不同的摄像机坐标系到世界坐标系转换关系。 与是对应于空间同一条直线s ，已知墨与屯在计算机图像坐标系下的方程为：r 也= o( 2 1 6 )妒= o( 2 - 1 7 )这里地和吻分别表示 和屯上点的齐次离散坐标，如果用一，y 表示像平面上的坐标，则s 在两个平面上所成像的直线方程为：爿= 毛+ 岛( 2 1 8 )1 4基于图像处理的无人机姿态测量必= 岛+ b 2( 2 - 1 9 )t 与，一，岛吨i = 。c z - z 。，旧 蝌。协z ，h1 墨怕，一1 ，0 ，h i 1y ，lfz l = l球， 喇忙= 0= o( 2 - 2 2 )( 2 - 2 3 )s t 7 = 【南，- 1 ，o 岛】( 2 - 2 4 )屯7 = 【屯，- 1 ，0 ，6 2 】( 2 - 2 5 )( 2 2 2 ) 和( 2 2 3 ) 式中，墨和墨分别表示各自齐次坐标系的齐次系数，厂表示摄像机的焦距；对式( 2 一1 2 ) 左乘r 得到；毛7 = r 毋墨五= 7 m ( 2 2 6 )上式对空间任何一点都是成立的，但若空间点p ，即世界坐标系下的，位于s 平面上，则它在图像上投影点就必然在直线而上，因此可以推出左边等于零，第二章确定空间直线向量的理论基础于是得到：岛2 m = 0( 2 - 2 7 )上式是关于的线性方程，该方程成立的条件是假定呒全部都位于s 上，因此上式可以认为是平面& 的方程。同理，可以得到是的平面方程：s：mh=o(2-28)联立s 的平面方程和岛的平面方程可以求得s ，利用矢量运算公式得出直线s 在空间的向量。2 3 摄像机模型和直线重构算法的仿真验证为了验证摄像机的数学模型和直线重构算法的正确性和精度，设计了如下一个仿真试验。在世界坐标系的第一象限内给定1 0 0 0 个空间向量，再给定一组摄像机参数，利用上述摄像机的数学模型对向量进行投影，得到投影面上的直线坐标，再利用重构算法对空问向量进行重构，对比重构的向量和原向量，看是否一致，具体做法如下；首先在空间给定一组向量，用齐次坐标表示：假设空间向量为：= 00 o1 让睨中的x 分量从0 取到l o ，r 分量从0 取到l o ，z 分量从0 取到l o 。那么就能够表示世界坐标系第一象限内的1 0 0 0 个空间向量。其次给定摄像机的两个平移向量日和d 2 ，分别对两个摄像机进行平移，接着在平移后的坐标处进行旋转操作，设摄像机的平移矩阵为：d =l0 0 - d xolo | d yoo1 d zo0 0l1 6基于图像处理的无人机姿态测量其中d x l = - 8 0 ；d y , = - 1 0 0 ；d z l = - 1 0 0 0d x 2 = 8 0 ；d y 2 2 1 2 0 ；d z 2 = 1 0 0 0摄像机的旋转矩阵为：r =c o s ，。s m yc l o s a s l n 盯s m ，os t a yc o s ( rc o s ，- s l n 口c o s ) ,0oos i n ( z0c o s d t0ol其中扎= ( - 8 0 1 8 0 ) + 弼吼= h 1 1 8 0 ) + 万托= ( 1 2 0 1 8 0 ) 石；= ( 4 1 1 8 0 ) + 万两台摄像机的焦距分别为：石= o 5 m ；f 2 = o 5 m利用摄像机的数学模型的投影公式对呒成像，得到分别在两个像平面上的坐标，然后计算呒向量在图像上投影的直线坐标参数k 和b 。将向量在两个图像平面上投影的直线参数k 和b 带入空间直线重构模型中来恢复空间向量。在程序中可以看到，恢复的向量和原向量相符合。这里仅选一例说明，假设给定的空间向量为= lo ol ：1 7 ：i ，通过上面的重构过程，可以得到重构的a 向量为o 5 7 7 ，0 5 7 7 ，0 5 7 7 1 ，和原向量的单位向量一致，由此可见利用上述的摄像机模型和空间直线重构模型是可以恢复出空间直线向量的。在空间直线的重构中图像上直线斜率的提取误差对最后的重构误差影响最大，因此通过给直线的斜率增加角度误差的办法分析模型在重构空间直线时的重构精度【瑚。在试验中给像平面上一条直线的斜率k 增加l 的偏差。然后分析重构的空间向量所产生的误差。考虑摄像机在不同角度拍摄图像时，所产生的误差可能不同，在误差试验中，固定一个摄像机的参数，使另一个摄像机的旋转矩阵的取角范围扩大，使俯仰角从l 度取到9 0 度，扫视角从1 度取到1 8 0 度，一共1 6 2 0 0 个摄像机参数。仍以= lo ol ：1 0 0 ：l 为例说明，在上述摄像机参数下，利用有误差的双目图像恢复空间向量。得到恢复后的空间单位向量和实际的单位向量的误差如图2 5所示。在如上1 6 2 0 0 个摄像机参数下，统计所有1 0 0 0 个向量的最大误差，其最大误第二章确定空间直线向量的理论基础1 7差如图2 6 所示。这些最大误差的都是产生在重构向量和摄像机平面夹角比较大的位置处，在这些位置上，由于重构向量在图像上所成的像较小，所以图像上斜率提取误差对最后的向量重构影响非常大，因此，在实际应用中，应尽量使摄像机的光轴和所拍摄物体的轴线垂直。图2 5 a 重构向量中a 分量的误差图2 5 b 重构向量中b 分量的误差图2 5 c 重构向量中c 分量的误差图2 5 仿真试验中一组重构向量的误差曲线a 1 0 0 0 组向量中a 分量的最大重构误差a 1 0 0 0 组向量中b 分量的最大重构误差1 8基于图像处理的无人机姿态测量a1 0 0 0 组向量中c 分量的最大重构误差图2 6i 0 0 0 组向量的最大重构误差第三章无人机姿态测量方案第三章无人机姿态测量方案本文提出方法的目的在于避免现有技术的缺陷，提供一种基于光测图像的无人机姿态测量系统及方法，以实现在无需建立飞机目标模型库的情况下，利用中轴线法完成对无人机空间飞行姿态的测量。3 1 测量系统的构建文中所介绍的测量系统，如图3 1 所示，包括经纬仪、高速数字摄像机、时间同步控制器、计算机数据处理终端。同步控制器向多台经纬仪送出同步控诗呼信号图3 1 系统构建示意图基于图像处理的无人机姿态测量3 1 1 经纬仪经纬仪是测量水平面方位角和垂直面俯仰角的大地测量用的光学仪器。电影经纬仪是捕获、跟踪飞行目标，并将目标影像记录在胶片上的经纬仪。光电经纬仪是采用光电技术，具有实时测量和自动跟踪功能的电影经纬仪。它是导弹、航天测量控制系统中的重要测量设备，是光电测量系统中的骨干。光电经纬仪是由电影经纬仪发展而来的，是具有实时测量跟踪功能的电影经纬仪。我国导弹航天靶场光电测量系统的建设始于2 0 世纪5 0 年代末，早在1 9 5 8年1 0 月，就从苏联引进的有k o t 一1 0 2 0 电影经纬仪，k t 一5 0 电影经纬仪，2 0世纪6 0 年代后还陆续引进e o t s - - c 、e o t s - - e 、k 4 0 0 、l ：血5 3 2 电影经纬仪。1 9 6 1年6 月我国自行开始研制靶场光学弹道测量系统，它由电影经纬仪、引导雷达、程序引导仪等组成。1 9 6 6 年初，该系统研制成功，开创了我国自行研制靶场大型光学测量设备的历史。紧接着研制中小型、可装车的1 6 0 电影经纬仪，从2 0 世纪6 0 年代末到8 0 年代初，共研制生产了1 6 0 电影经纬仪6 5 套，用于国内各试验靶场。其后，根据靶场试验任务的需要，相继研制了g 1 7 9 、7 1 8 、1 1 2 、3 3 1 、6 6 2 、7 7 8 、2 6 0 、g j 3 4 1 、g j l 8 8 等型号光电经纬仪。到目前为止，我国自行研制的光电经纬仪将近2 0 多种类型，可基本满足试验任务的需要。经纬仪机架为三轴( 垂直轴、水平轴、视准轴) 地平装置，如图3 2 示。机架三轴互相垂直，水平轴和视准轴可以绕垂直轴在水平面内旋转，望远镜装于水平轴上，其主光轴为视准轴，并与水平轴垂直，它可以绕水平轴在垂直平面内旋转。在垂直轴和水平轴上分别装有轴角编码器( 或光学码盘) 。视准轴绕垂直轴旋转的角度由装在垂直轴上的轴角编码器给出( 相对某一基准方位) ，称为方位角或扫视角。视准轴绕水平轴旋转的角度由装在水平轴上的轴角编码器给出( 水平面为零基准) ，称为俯仰角或高低角。这样，只要视准轴瞄准目标就能得到光轴指向目标的方位角和俯仰角。在本文中需要利用光电经纬仪测量摄像机坐标系和世界坐标系之间的相互关系，即得到像平面中心( 原点) 与世界坐标系统的位置偏差矢量d ，其分量见、仇、d _ ，和摄像机的水平旋转y 角和垂直旋转口角例。第三章无人机姿态测量方案垂3 i 2 高速摄像机图3 2 经纬仪机架二轴示意图2 1在靶场测量中，需要对快速飞行目标的飞行实况进行观察、记录、分析、处理，为了获得高帧频图像，传统方法是采用胶片式高速摄影机将运动事件以图像方式记录在胶片上，待胶片冲洗出来以后再进行观察和分析，最后借助胶片判读仪读取目标运动参量，这种记录和判读方式具有设备庞大复杂，使用费用高( 要消耗大量胶片) ，处理周期长，不能进行实时处理的缺点，给使用带来不便，8 0 年代，随着各种光电器件，多通道视频信号传输，多道磁头录像技术的发展，使高速电视取得了突破性进展，高速电视系统摆脱了胶片的束缚，解决了快速运动图像的捕获、记录与立即重放的矛盾。目前高速电视及其录像系统，已经实现了全数字化和智能化，摄频率为5 0 一5 0 0 帧秒。以维视数字图像技术有限公司的d l v v d l 3 0 s c 高速数字摄像机为例，此系统采用c m 0 s 传感器，像元尺寸6 7 岫6 7 岫，提供2 6 帧秒到3 5 0 帧秒频率下1 2 8 0 1 0 2 4 到2 5 6 2 5 6 分辨率图像的多种视频输出格式。3 1 3 测量系统的构建时间同步控制器，用以为多台装置提供一个统一的时间轴，使平台能够在同一时间点上记录图像，并为以后的超分辨算法提供一个基准时间轴。2 2基于图像处理的无人机姿态测量数据处理终端，由计算机组成，用于对所拍摄的目标图像进行存储并完成对图像的处理工作。测量系统中各部分的连接关系是：如图3 1 示，4 台摄像机分别固定在4 台经纬仪上，构成一个能够在俯仰角和方位角下拍摄图像的光测图像机构，经纬仪布置在飞机飞行轨迹的两侧，具体位置由飞机大致飞行的高度和方位确定；时间同步控制器提供一个时间同步控制信号，此信号用来控制4 台摄像机在同一时刻点上对飞机进行拍摄；最后将拍摄好的图像和时间同步控制信号存储在计算机终端上进行处理。3 2 姿态测量方法本文中对无人机姿态角的测量主要利用数字图像处理算法重构简化的飞机机身和机翼直线的空间向量，再利用机身和机翼的向量完成无人机空间姿态的测量工作。如图3 2 所示，无人机的姿态测量过程大致分为如下几个方面，1 ，完成目标图像的采集，并对采集图像进行超分辨重建工作；2 ，在图像中完成对飞机目标的提取工作；3 ，在图像上分离机身和机翼，分别计算出机身和机翼的空间向量；4综合机身和机翼向量完成三个姿态角的计算工作。3 2 1 图像的采集过程：第一步，将摄像机固定在经纬仪上，构成一个能够在俯仰角和方位角下拍摄图像的光测图像机构；第二步，按照图3 1 所示的分布关系，将构建好的光测图像机构布置在预先估计的飞机飞行轨迹的两侧，并将光测图像机构分别与时间同步控制器和计算机终端连接；第三步，利用时间控制器提供的时间同步控制信号控制摄像机拍照，并将摄像机拍摄的图像序列和时间同步控制器所提供的时间信号一同存储在计算机终端上，存储获得的图像为数字图像序列；第三章玉厶垫鏊查刭量方案翌图3 2 姿态测量过程示意图基于图像处理的无人机姿态测量3 2 2 图像序列的超分辨重建过程：高速摄像机是以牺牲图像的分辨率为代价增加摄像频率的，因此为了获得清晰的图像，就需要采用图像超分辨技术对原始的图像序列进行处理。参照图3 4 ，所说的超分辨重建就是指从低分辨图像序列重建一帧高分辨图像的过程，即由一系列m x m 大小的图像变为分辨率比较高的q m q m 大小的图像，q 为图像的放大倍数，目前国内外对图像超分辨算法的研究已经非常成熟，有最邻域差值、双线性差值等差值图像超分辨重建法【3 ”3 1 、有基于极大后验概率估计的m a p 图像超分辨重建法嗍、还有基于几何论的凸集投影p o c s 算法【3 5 调等。超分辨重建的实质就是利用多幅图像的冗余信息恢复出一幅清晰图像的过程，按照图3 4 的方法选择图像序列进行重建时，重建后的高分辨率图像的时间由重建前的第一幅低分辨图像的时间确定，这样可以保证在图像时间分辨率不损失的情况下完成对图像序列的超分辨重建工作。低分辨率图像序列3 2 3 姿态角的测量高分辨率图像序列图3 a 图像超分辨过程示意图按照图3 2 所示，得到需要的超分辨图像序列后，再利用图像处理的手段提取有用信息完成最后的测量工作，其步骤如下：第一步，选定同一时刻点上的不同摄像枫拍摄的一幅高分辨率图像构成一个图像处理集合，在此时刻下目标的姿态参数由这一个图像集合求解：然后参照图3 5 分别建立世界坐标系，摄像机坐标系，像面坐