基于仿射近似从航空图像重建目标三维结构

1、分类号UDC工学博士学位论文 学号 密级基于仿射近似从航空图像重建目标三维结构博士生姓名 叠志堡学科专业 航空宝魈叠堂量撞盔研究方向基王图逸鲍擅窒测量量垩边型量指导教师 王起坚熬塑国防科学技术大学研究生院二oo四年十月摘 要在航空、工业检测、灾害监钡4等领域,用摄像机获取目标或场景的图像,从图像重建月 标三维结构或三维场景,可以得到用户感兴趣的三维信息。对图像的三维解析问题,是一个由二维图像获取三维数据的逆闷题。由成像几何模型的 复杂性所决定,其解往往不具有唯一性,而且对噪声或离散化引起的误差极其敏感。长期以 来,很多学者直接以透视投影模型描述摄像机成像几何模型,这种做法对于近景图像来说是 必

2、须的,但对透视畸变比较小的航空图像或远景图像来说,不但无助于提高解析精度,而且 容易造成数值上的不稳定。本论文为航空(或远景图像的三维解析提出一条新的思路一仿射近似,即用仿射投 影模型近似透视投影模型。体现在算法上,就是首先基于仿射投影模型用线性算法求得未知 数的初始值,然后基于透视投影模型对初始值优化求精。这种做法避免了直接基于透视投影 模型一次求解所有未知数,提高了算法的数值稳定性。本研究工作以军用无人机对地三维定位为应用背景,以从航空(或远景图像重建目标 三维结构为主要内容。研究工作主要分为三个部分。第一部分研究仿射投影模型。着重阐述了仿射投影模型的代数形式、几何意义以及2种 典型的仿射

3、投影模型弱透视投影模型和平行透视投影模型。通过对仿射投影模型相对透 视投影模型的误差进行理论分析,论证了基于仿射近似解析航空图像的可行性。第二部分研究了基于仿射近似标定摄像机的算法。针对航空摄像机在标定中控制点距离 摄像帆比较远的事实,提出了一种基于仿射投影矩阵的摄像机标定法一APMC法,指出了 不能单纯用图像点重投影残差和作为标定精度的评价准则。第三部分研究了基于仿射近似从航空图像重建目标三维结构的算法,分别讨沧了序列图 像和两幅图像的情况,这是全文的重点。(1关于从序列图像重建目标三维结构,提出了一种基于仿射矩阵分解和光束法平差 的新算法AFBA法,进一步研究了AFBA法的子算法一光束法平

4、差,提出了无需摄像 机外参数的光束法平差和改进的准线性平差法。针对AFBA法中由于某些图像点不可见导致 不能对测量矩阵直接分解的事实,提出了一种基于仿射三线性张量合成缺失图像点的算法 A11S法。(2关于从两幅图像重建目标三维结构,提出了一种基于仿射极线约束的递进相对定 向法AER0法。针对摄像机焦距未知或不精确的情况,提出一种基于本质矩阵元素间约 束的广义相对定向法。APMC法、AFBA法、ATlS法和AERO法都是依据仿射近似思想提出并实现的,分别 有效解决了摄像机标定、从序列图像重建目标三维结构和从两幅图像重建目标三维结构问题, 第1页国耽科学技术人学研究生院学位论史克服了传统算法中的精

5、度、效率与数值稳定性的矛盾。大量真实图像实验和仿真实验表明, 这些新算法精度高、抗噪声性能强、数值稳定性好。摄影测量学和计算机视觉在应用目的与数学框架上是一致的,本论文从理论上为两个领 域的融合作出了一些探讨性的研究,部分新算法是通过集成这两个领域中的理论与算法实现 的。关键词:仿射近似,航空图像,三维结构,仿射投影模型,仿射投影矩阵,仿射矩阵分 解,仿射三线性张量,仿射极线约束第iI页:=:=望墼丝茎垄尘垒茎:些圣塞薹垒堡:!;垒一=:=:一一: ABSTRACTIn aemspace,industry inspection and disaster surveillance fields,

6、wecart use camera tO capture images of targets or scene,from which threedimensional(3Dinformation can be got through 3D strllcture reconstruction.3D image analysis is an inverse problem from twodimensional(2Dimage tO 3D data,which always be ambiguity and sensitive to noise and digitization error sin

7、ce the projection model is complexity.In a long term,most learners lisa perspective model to describlecamera projection model.It is necessary to closerange image analysis,but may lead unstability in aerial images(or far-distance imagesanalysis,as there are few perspective distortion.In order to 3D p

8、ositioning for ground of unmanned aerial vehicle,the article presented a new method based on affine appmximation.That is to say,initial value was often solved linearly based on aftine model,followed by optimization based on perspective model.The article is composed of three parts.In the first part,a

9、ffme projection model vcas studied.which gave a detailed study on the affinemodel,including its algebra andgeometryform,and particular discussion on 2typical affine models,weak perspective and paraperspective.Research on the eTror ofattine model relative to perspective model shows it is reasonable t

10、o analysis aerial images based on affme approximation.In山e second part.thecamera calibration Was investigated where conlxol points are oRen far away from canlera.A Ilew calibration algorithm based on affine projection matrix,named APMC, Was presented,as long as the view of being unable to use re。pro

11、jection error to judge camera calibration algorithm lonely.In the tjlird part,3D structure reconstruction from aerial images,including sequential images and two images.based On affine approximation WaS introduced indetail.砥s is the primary of the articleOn behalf of 3D sh-ucture from image sequence.

12、a new algorithm based on amne factorization and bundle adjustment,named AFBA,was put forward.Being the subalgorithm ofAFBA,tWO new bundle adjustment algorithms,bundle adjustment without using cm-nera extrinsic parameters and an impmved quasilinear bundle adjustment were worked out.If some image poin

13、ts are unseen,the measurement matrix comprises of some missing elements,which leads impossible to directly factorization in AFBA.In order to solve the problem,a new algorithm named ATIS was presented based on tri.】inear tensor.On behalf of the 3D structure from two images,a new algorithm narned AERO

14、 Was put国防科学技术大学硪究生院学位诖史forward based on affme epipolar constraints.In succession,a new method based on the restriction among essential entries was presented to solve those problems without known ofthe focal ten#as of camel"as.The four new algorithms,APMC,AFBA,ATIS and AERO are alI based ON aff

15、me approximation,which effectively solve camera calibration,3D structure reconstruction from image sequence and 3D strucRire reconstruction from two images,respecitively.A great deal of real image and synthetic image experiments show they are better than traditional algorithms.Photograrmlaetry is co

16、nsistent to computer vision in purpose andmathematic framework.The article gave a tentative research on the intercourse between them.Some new algorithms were realized by combining theories and algorithms both in photogrammelry and computer vision.Key words:Affine Approximation,Aerial images,31Struct

17、ure,Affine Projection Model,Affine Projecfion Matrix,Affine FaOorizafion,Affine Tri-linear Tensor'Affine Epipolar Constraint第1v页本文插图目录图l,1一幅航空图像1图1.2不同视角下的机械零件图2图1.3仿射近似的作用(本文核心思想6图1.4本文章节结构9图2.1透视投影模型14图2.2畸变前后的网格一16图2t3透视投影模型(小孔成像模型与透镜成像高斯公式的一致陛.17陶2.4透视投影与仿射投影的光线束.18图2.5正射、弱透视、平行透视投影与透视投影的关系.

18、19图2.6弱透视投影模型20图2.7平行透视投影模型一21图2.8透视投影关系一22图2.9几何变换的层次25图2.10二维几何变换前后的正方形25图2,1l不同投影模型的投影点比较26图2.12仿真投影误差的仿真实验28图2.13仿真网格板的透视投影点和仿射投影点29图2.14透视畸变随航高变化曲线31图2.15透视畸变随偏距变化曲线3l 图2.16透视畸变随目标尺寸变化啦线3I 罔2.17透视畸变随摄像机焦距变化曲线3l 图2,18焦距变化对透视畸变没有影响3l 图2.19航空图像中特征线的保平行性.32图3.1APMC法流程图36图3.2摄像机标定示意图.39图3.3用来标定摄像机的网

19、格板图像40图3.4像差矢量图一41图3,5用来检验标定结果的图像.41图3.6APMC法仿真实验42图3.7标定参数误差随图像噪声方差变化曲线I44图3.8标定参数误差随图像噪声方差变化曲线II.44图3.9标定参数误差随图像噪声方差变化曲线III.44图3.10标定参数误差随图像噪声方差变化曲线44图3.11重投影残差和随图像噪声方差变化曲线44图3.12标定参数误差随控制点精度变化曲线I.45图3.13标定参数误差随控制点精度变化曲线45图3.14标定参数误差随控制点精度变化曲线I45图3.15标定参数误差随控制点精度变化曲线IV。45图3.16重投影残差和随控制点精度变化曲线45图3.

20、17标定参数误差随航高变化曲线I46图3.18标定参数误差随航高变化曲线II46图3.19标定参数误差随航高变化曲线I46图3.20标定参数误差随航高变化曲线Iv46图3.21重投影残差和随航高变化曲线46图3.22标定参数误差随摄像机焦距变化曲线I一47图3.23标定参数误差随摄像机焦距变化曲线H47图3.24标定参数误差随摄像机焦距变化曲线I47图3.25标定参数误差随摄像机焦距变化曲线47图3.26重投影残差和随摄像机焦距变化曲线47图3.27标定参数误差随控制点个数变化曲线I.48图3.28标定参数误差随控制点个数变化曲线48图3.29标定参数误差随控制点个数变化曲线I48图3.30标

21、定参数误差随控制点个数变化曲线48图3.31重投影残差和随控制点个数变化曲线48图3.32标定参数误差随控制点共面程度变化曲线I一49图3.33标定参数误差随控制点共面程度变化曲线II49图3.34标定参数误差随控制点共面程度变化曲线m49图3.35标定参数误差随控制点共面程度变化曲线IV49图3r36重投影残差和随控制点共面程度变化曲线49图4.1AFBA法流程图.53图4.2摄像机光心、光轴在世界坐标系下的矢量表示一53图4.3无需摄像机外参数初始值的光束法平差一60图4.4建筑物房硕序列图像中的第2,6,10和20幅64图4.5建筑物房顶序列图像的三维重建结果.65图4.6机械零件序列图

22、像中的第l,6,10和14幅一65图4.7根据三维重建结果绘制的零件三视图.66图4.8教学楼序列图像的拍摄部位大致为白色框所示区域一66图4。9教学楼序列图像中的第1,7,9和11幅67图4.10教学楼序列图像的三维重建结果67图4.11AFBA法仿真实验68图4.12仿真序列图像的第1,6,18和25幅图像70图4.13用AFBA法对图4.10中目标的三维重建结果.70图4.14三维定位误差随图像噪声方差变化曲线73图4.15二维重投影残差和随图像噪声方差变化曲线73图4.16三维定位误差随目标点数变化曲线73图4.17图4.18图4.19图4.20图4.21图4.22图4.23图4.24

23、图4。25图4.26图4.27 二维重投影残差和随目标点数变化曲线一三维定位误差随摄像机个数变化曲线.73 .73二维重投影残差和随摄像机个数变化曲线73三维定位误差随目标点间距变化曲线74二维重投影残差和随目标点间距变化曲线74三维定位误差随摄像机间距变化曲线74二维重投影残差和随摄像机间距变化曲线74三维定位误差目标点共面程度变化曲线74二维重投影残差和随目标点共面程度曲线74三维定位误差随航高变化曲线二维重投影残差和随航高变化曲线图5.1三图约束 75 75 78:=:!=呈邕耋些i鲨:i型!i圭!鎏堂堡:堡兰:=:=:图5.2AFBA-ATIS法流程图82图5.3ATIS法仿真实验。8

24、4图5.4网格板的3幅图像一85图5.5用三线性张量合成得到的图像点.85图5.6图像点误差随航高变化曲线一88图5.7图像点误差(乘航高随航高变化曲线88图5,8图像点误差随焦距变化曲线.88图5.9图像点误差,焦距随焦距变化曲线.88图5.10图像点误差随噪声方差变化曲线88图6.1基于透视投影的极线几何.91图6.2透视投影极线束一91图6.3仿射投影极线束一93图6.4仿射本质矩阵的几何意义.94图6.5AERO法流程图.95图6.6图像点与对应极线.96图6.7从两幅图像重建目标三维结构105图6.8双图重建左右仿真图像(已添加噪声105图6,9用AERO法对图6.8中目标的三维重建

25、结果107图6.10旋转轴夹角随图像噪声方差变化曲线一l Io 图6.1l平移向量夹角随图像噪声方差变化曲线.110图6,12甲.移差向量模随图像噪声变化曲线.,110图6.13旋转轴夹角随目标点数变化曲线.110图6.14平移向量夹角随目标点数变化曲线.110图6.15平移差向量模随目标点数变化曲线.110图6.16旋转轴夹角随问距变化曲线.1ll 图6.17平移向量夹角随目标点间距变化曲线一111图6.18平移差向量模随目标点间距变化曲线一1ll 图6.19旋转轴夹角随网格板夹角变化曲线.1ll 图6.20平移向量央角随网格板夹角变化曲线,.一111图6.21平移差向量模随网格板夹角变化曲

26、线.111图6.22旋转轴夹角随摄像机焦距变化曲线一112图6.23平移量夹角误差随摄像机焦距变化曲线.112图6.24平移差向量模随摄像机焦距变化曲线.112图6,25旋转轴夹角随航高变化曲线一112图6.26平移轴夹角随航高变化曲线.112图6.27平移差向量模随航高变化曲线.112图6.28三维定位误差随图像噪声变化曲线图6-29二维重投影误差随图像噪声变化曲线一114图6.30三维定位误差随目标点数变化曲线.114图6.31=维重投影误差随目标点数变化曲线一114图6.32三维定位误差随目标点间距变化曲线图6.33二维重投影误差随目标点间距变化曲线. 图6.34三维定位误差随目标点共面

27、程度变化曲线. 图6.35二维重投影残差和随目标点共面程度变化曲线 114114一115 .115图6.36三维定位误差随摄像机焦距变化曲线.115:=:=:=望墼垒耋垒奎垄堇垒玺塞堡主l兰=!釜:!=:一:!:!=图6.37二维重投影残差和随摄像机焦距变化曲线图6.38三维定位误差随航高变化曲线图6.39二维重投影残差和随航高变化曲线 115115115表1,1表2.1表2.2表2.3表2.4表2,5表2.6表2.7表2.8表2.9表3.1表3,2表3.3表4.1表4,2表4.3表4.4表4,5表5.1表5.2表5r3表5,4表5.5表5.6表6.1表6.2表6.3表6.4本文表格目录仿射近

28、似思想在全文中的具体体现各种投影模型的投影矩阵各种几何变换包含的变换(几何变换的内涵各种几何变换的不变性(几何变换的外延摄像机位于Cl时投影点的坐标(单位长度.摄像机位于c2时投影点的坐标(单位长度.摄像机位于G时投影点的坐标(单位长度.仿真摄像机参数仿射投影点与透视投影点的误差(单位:像素图2.19中特征直线对的夹角(单位:度.APMC法真实图像实验结果。用摄像机标定结果进行三维重建的计算值摄像机标定仿真实验结果对比本文AFBA法仿真实验结果.图像测量矩阵的奇异值与航高的关系(噪声方差O图像测量矩阵的奇异值与图像噪声的关系(航高le7米7.22.25.262727272830 .32 .40

29、 .41 .42.71 .75.75运算时间与目标点个数的关系(单位:秒,摄像机个数:25一76运算时间与摄像机个数的关系(单位:秒,目标个数:45.76三线性张量的自由度一81 3台仿真摄像机参数85噪声方差为0.1像素时基于三线性张量合成的图像点(单位:像素86噪声方差为1.0像素时基于三线性张量合成的图像点(单位:像素86缺失图像点序号一86三维重建后的三维定位误差(单位:米.86左右摄像机外参数的理论值105 AERO法仿真实验结果(单位:米106 AERO法误差.107广义相对定向得到的左右摄像机焦距108独创性声明本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研

30、 究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已 经发表和撰写过的研究成果,也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。学位论文题目:基主笾盟塑丛丛航空圈基重建垦拯三丝壁控学位论文作者签名 日期:2004年10月9日 学位论文版权使用授权书本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国防 科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档,允许 论文被查阅和借阅;可以将学位论文的全部或部分内容编入有关数据库进行检索,可

31、 以采用影印,缩印或扫描等复制手段保存,汇编学位论文。(保密学位论文在解密后适用本授权书。学位论文题目:基王值盟塑丝丛航空圈錾重建垦拯三丝堑拉学位论文作者签名:6&盏!蔓 日期:2004年10月9日 作者指导教师签名:宣垒宝 日期:2004年lo月9日第一章绪论§1.1课题研究背景本文课题研究背景主要来自军用无人机对地目标识别与定位和民用工业检测中的目标三 维结构重建。】。1.1军用无人机对地目标三维定位无入驾驶飞机简称无入机,指没有驾驶人员的飞行器,广义上看有翼导弹也可以算做 种无人机【21。与弹道导弹和巡航导弹所不同的是,无人机一般可以多次使用。在军事上,无人侦察机通过携

32、带摄像机获取敌方战场图像进行对敌侦察,是现代信息战 争的一个重要环节【31f41。通过对这些航空图像的处理,可以获得敌方战场的地形特征、武器型 号性能等重要信息。这个问题在理论上归结为如何从航空图像重建出目标的三维结构。图1.1是一幅航空图像。通常在没有其它先验知识条件下,从单幅二维图像上无法直接重建目标三 维结构。如果获得2幅以上图像,则可能重建目标三维结构。图1.1一幅航空图像作为一种重要的航空飞行器,与有人驾驶飞机相比,无人机具有很多突出优点,如成本 低、遇到机毁时没有人亡的危险等,从而使它们更适合承担高度危险的任务,起到有人驾驶 飞机难以起到的作用。此外,无人机还具有良好的隐蔽性,因此

33、可执行低空侦察、通信、电 子干扰和对地攻击等任务。当前一种比鸟还小的无人机已经显示出很有潜力的军用前景,它 们可以毫不引入注意地进行空中侦察活动,拍摄其它国家地形地貌,并将其传回地面控制中 心。遥感卫星或侦察卫星只能按一定的周期拍摄特定地域的目标图像,有人驾驶航空遥感飞 机在目标上空停留时BJ非常有限,在危险区上空还有被击落的危险。无人枫系统很少受气候 条件限制、昼夜可用、能在目标上空持续长时间实时监测,因此具有全天候大面积信息截获 能力。事实上,无人机侦察不仅用在军事上,在民用实践中也有很多应用。例如,很多危及 第1页人类生命或难度很大的观测任务都可以由无人机来完成。以往的无人机采用无线电测

34、距测方位的方法对目标进行定位,这对于近程无人机侦察系 统来说是一种可行的方法,但是,就远程无人机侦察系统而言,因为无线电测距以及方位的 误差会对目标的定位带来很大的困难,利用图像实现对目标的精确三维定值的方法成为近年 来努力研究的方向之一。在国内随着数字摄影测量系统的普及,利用图像进行目标三维精确定位的环境已经成熟。 我国对无人机领域内的任务设备、一167f综合控制技术的研究起步较晚,但相关领域的研究基 础较好。从上世纪九十年代开始,我国在自动图像识别技术、人工智能、目标精确定位技术、 多传感器信息融合技术、组合导航等领域内的研究逐步取得了一定成绩。目前我国的中空长 航时飞机正在进行任务设备、

35、飞行综合控制技术领域的研究,这些研究将整体提高无人机系 统执行任务的质量,优化系统,使得系统在保证飞行安全和飞行质量的条件下,充分发挥机 载侦察任务设备的功能,发回高质量的图像信息,完成侦察定位、战场监视、易碎评估等任 务。1.1.2工业检测中的目标三维重建在工业生产中,为了确保生产质量,通常需要对产品的三维结构进行在线监测,而基于 图像的测量方法相对电测或传统测量方法来说,具有不接触、不损害被钡4对象的优点,这对 一,些特殊刘象是必须的【3】。图1.2是某机械零件在不同拍摄角度下的图像,如果能从这些二 维图像中重建零件的三维结构,将对生产线上的在线工业检测产生重要的意义6117。图1.2不同

36、视角下酌机械零件甾酊.2国内外相关研究进展1.2.1国内外研究进展(1关于航空图像的三维解析对航空图像的解析,国内外的相关研究主要集中在二维解析,如道路识别、车辆识别、 人群识别等方面,或者是解析这些目标与某些指定目标的相对位置(可以认为是二维定位a 第2页Wang Xiaogumagl8119|研究了如何使用道路、地形等信息提高地形目标分类可靠度的方法。夸志 林II uI从地形数据获取、建模方法和精度模型等对数字高程模型(DEM进行了系统研究。 Sheikhf“J将航空图像在保证三维精度意义下进行无缝镶嵌。朱志刚【”I Lnl【141研究了一种所谓 PRSIM法(无缝立体镶嵌法,得到的结果是

37、22维拼接图像,而不是目标三维结构。Arun【151将从运动恢复形状的矩阵分解法用于航空图像的三维解析中,但仅是简单的移植,并没有考 虑到航空图像的实际情况,因此误差较大。shakerniall611"1和包桂秋研究了利用航空图像控 制飞行器飞行、着陆、姿态调整、航高获取等,刘菊凤Il训和谭兵120虽然研究了从航空图像重 建目标三维结构的算法,但重点仍是航空地物的提取、识别,在三维重建方面并未提出适合 航空图像的新算法。(2关于工业检测图像的三维解析用图像进行三维定位、三维表面形貌测量来解决工业检测、质量控制中的测量问题,是 近年来圈际上研究的热点领域之。近几十年来,将数字摄影测量学

38、,尤其是近景掇影测量 学和光测力学与数字成像技术、数字图像处理技术相结合,形成了“摄像测量学”这一新的 交叉学科,并得以迅猛发展。德国在这方面近年来做了大量领先的研究工作12w,并且由德国 的GOM公司和Breauckmarm公司首先研制出成熟的产品设备,在国际上处于领先地位。这 两家公司的产品特点都是将近景摄影测量与计算机数字图像处理方法相结合,得到各种尺度 目标的三维结构.这种新产品迅速得到工业界的欢迎。目前国内也开展了一些基于图像重建 三维结构的研究,但这些技术和产品存在测量范围单一、精度不高等缺点。基于上述原因, 采用图像进行机械零件的质量检测、控制的方法并未能在国内得到广泛的应用,实

39、际应用范 围只局限于一些精度要求不高的地方。(3关于图像三维解析的具体算法从图像重建三维结构的算法,主要有从序列图像重建和从两幅图像重建2种情况。 从序列图像重建目标三维结构的算法大致有矩阵分解法和光束法平差两种。Bill Tfiggsl221,PeterSturmt”】分别提出了一种基于透视投影条件下的矩阵分解法,不同的足,日U者 以1为初始值迭代求解投影深度,后者通过任意2幅图像之间的极线约束求解投影深度。这 些算法主要适用于对深度变化很大的近景图像序列进行三维解析,而对航空或远景图像来说, 投影深度的引入增加了算法的复杂程度,降低了结果的稳定性。TomasilMl提出了一种从正射 图像序

40、列恢复运动的算法,Poelman”l将其扩展到了弱透视投影和平行透视投影模型,这些 算法基于仿射投影模型建立多图多点约束,避免了投影深度的引入,但由于没有对模型误差 进行修J下,导致精度偏低,不能直接用于航空图像的三维解析。在摄影测量学领域广泛使用 的光束法平差法口”【281通过采用Levenberg-Marquardt优化算法基于重投影图像点残差和最小 化对参数进行优化,可以获得比较高的三维重建精度,但其缺点是需要所有未知数的初始值。 如果初始值选择不恰当,很容易收敛到错误解。特别是对于航空图像,线方位元素与角方位 元素存在强相关,因此算法的成功很大程度上依赖于有一个较好的初始值。在从两幅图

41、像重建目标三维结构的众多算法中,最经典的算法就是通过求本质矩阵的“8点算法'p93研进行相对定向。“8点算法”线性求解,速度快,但由于直接基于透视极线几何,闼防手学技术大学研究生院学位沦文因此易受噪声影响,造成结果不稳定。针对航空或远景图像的透视畸变比较小的事实,近年 来,一些学者开始研究基于仿射投影的相对定向。Ullman31I最早研究了从正射图像恢复相对 位置的问题,得到了2幅丁F射图像不足以确定相对位置的结论,并提出了1个从3幅图像恢 复运动的非线性算法,指出存在2个可能的解,这2个解表示的运动互为反射。Xirouhakis321对这个问题作了进一步研究,Huangpj和Leel

42、341给出了这个问题的线性解法,Kontsevich(3sl 将这个结果扩充到了弱透视摄像机模型的情况,Shapiro361提出了一种抗噪声的运动恢复算 法,提高了精度,Shimshoni371给出了2幅和3幅平行透视图像的几何约束。由于基于仿射模 型不能从2幅图像唯一相对定向,因此这些算法大都关注如何确定部分参数,再利用其他信 息确定其余参数,或是讨论多解之间的关系,以及如何利用先验知识或引入第3幅图像去除 伪解13,这些算法比基于透视投影的“8点算法”更复杂,不适合对航空(或远景图像对的 三维解析。作为重建目标三维结构的基础,国内外学者对摄像机标定给予了很大关注。Faugerasp91提出

43、了非线性优化法,优点是可以覆盖各种类型的像差,而且获得的参数的精度非常高。然 而,由于采用完全非线性迭代算法,如果所给初始值精度太低,则可能导致算法收敛到一个 完全错误的解,而且由于参数个数太多,因此算法稳定性差,甚至导致算法失败。王秀鸽14, Abdel(4。魄出一种直接线性变换法(DLT法,这种算法采用线性解法得到一组中间参数,然 后从中间参数分解得到最终参数,由于不需要迭代,速度快。但存在以下缺点:一是由于线 性模型中未包含像差,因此镜头像差不能得到修正;二是由于未考虑参数间存在的约束关系, 因此当观测数据有噪声时,导致结果精度不高。作为综合非线性优化和直接线性法优点的“两 步泫”最早由

44、Tsaiml于1980年提出,wen叠峨在此基础上进行了一些改进。“两步法”对大部分 标定参数采用线性求解,其余少部分参数用非线性迭代法求解。这类算法的优点,一是由于 大部分参数可线性得到,需要迭代求解的参数个数很少,因此对初始值的要求不象直接非线 性优化法那么严格,迭代算法也稳定得多;二是考虑了像差中的主要成分径向像差。但 同时它具有以下缺点:一是无法纠正镜头像差中的切向成分;二是径向准直约束的引入导致 无法考虑像点在径向方向的位置信息。随着仿射投影模型在航空图像解析中的应用引起少数学者的关注,基于仿射投影模型标定摄像机也开始受到重视。Shapir0136I,Banerjee441和 Njc

45、holas&Rob咖1451介绍了基于仿射投影模型求解仿射投影矩阵的算法,但并不考虑摄像机 具体参数间的约束关系,更不考虑模型相对透视投影的模型误差和镜头畸变,所以标定结果 不够精确。对于如何基于仿射投影模型标定精确的摄像机模型,国内外均未有相关文献报道。1.2.2当前研究面临的困难基于图像的三维重建当前主要面临的困难是算法复杂,易受噪声影响。因为计算机视觉问题本质上是投影的逆问题1461471,输入数据为二维图像数据,要求输出 目标的三维信息,而二维图像是摄像机几何成像模型和三维物体的几何特征、光照、物体材 料表面性质、颜色的函数,因此基于图像的三维重建是非线性问题,其解往往不具有唯

46、一性, 而且对噪声或离散化引起的误差极其敏感。如何提高算法的抗噪声能力,提高结果的数值稳 定性是当前算法研究者努力的方向。第4页螬翰科学技术人学姘究生院学位论文对r航空图像或远景图像来说,这个问题尤为突出。因为这类图像由于成像距离较远, 相对近景图像来说,图像质量往往较差,势必影响特征提取的精度惭1。这时如果直接搬用计 算机视觉中常用于近景图像的三维解析算法,往往不能得到满意精度的结果,甚至算法失败 而无法得到结果。事实上。F如的文所述,当ai对这类图像的解析基本停留在二维解析,如 目标识别等,而非三维重建。§1.3本文核心思想及主要技术贡献1.3.1本文核心思想辩证唯物主义认为【4

47、9j,每一个复杂事物是由许多矛盾组成的矛盾体系,由于发展的不平 衡性,有主要矛盾和次要矛盾之分。主要矛盾居于支配地位,对事物的性质和发展起决定作 用,规定着事物的性质和方向,制约着次要矛盾的存在和发展。而次要矛盾影响主要矛盾的 发展和解决。在工作中必须抓住主要矛盾及其主要方面,同时不忽视次要矛盾和次要方面。在目标投影到航空(远景图象的过程中,可以看成是由仿射投影和透视畸变(透视对 图像的影u向,即透视效应以及各种噪声效应组成的,其中仿射投影是主要的,而透视畸变 和噪声等是次要的,应该先考虑仿射投影,在此基础上再考虑透视畸变和噪声的影响。按照 这种思想,本文研究工作的切入点为“先主后次。逐步求精

48、”思想,它的实现途径就是仿射 近似,这是本文核一心思想。在解决问题的具体方法上,贯彻“方法集成.取长补短”的思想,它的实现途径主要是 将计算机视觉与摄影测量学中的若干算法集成起来,进而丌发出新的算法。(1“先主后次,逐步求精”的思想(实现途径:仿射近似长期以来,无论是在摄影测量学中,还是计算机视觉中,解析图像都是基于透视投影模 型的。透视投影模型最接近透镜成像关系,但是,由于透视投影关系的严重非线性,使得这 些算法复杂。更重要的是,图像的成像机理往往很复杂,不是纯粹的几何对应关系,还涉及 到光电噪声干扰,使得算法易受噪声影响,算法结果在数值上不稳定。与此不同,仿射投影 是一种线性投影,关系相对

49、简单。而航空图像满足仿射投影的基本条件:目标尺寸远小于成 像距离(航高。因此,基于仿射近似研究航空图像的几何量测性能非常有意义。第5页=:=:=:垦堡垒:兰些!:i些:望塞圭!鲨堡婆垒:=:! :.:=口 透视投影横型(非线性ii-_ii;i_-ii-ill_i辛n个参数,数世级有大有小目标 理想近景图像 有噪远景图像 L、厂J L一 步骤 步骤口 目标a普通近景图像的形成透规投影模型(非线性-_-_l_目_呻.n个参数,数量级仃大有小理想航空图像口步骤图像噪声-_-有嗓航空图像 L一 步骤 b航空(远景图像的形成与传统算法透翼篓鬟篓型 厂一一7透视畸变(非线性坐=!:-.j :=二二:_l-

50、? ?_l-_H一个参数擞量级大.,H2个参数激鼙级小图像噪声l_-_目标 仿射近似虚拟图像 理想航空图像 有噪航空图像步骤 步骤c航空(远景图像的形成与本文算法图1.3仿射近似的作用(本文核心思想图1.3表示了仿射近似的作用,同时体现了本文核心思想。仿射近似是用仿射投影模型 来近似透视投影模型,建立三维解析的算法体系,然后基于透视投影模型进行优化求解。这 种做法相对于直接基于透视投影模型的做法具有数值稳定的好处。因为对一个数学求解问题 来说,如果一次性同时求解大量未知数,而且这些未知数的数量级相差很大,数据源又不可 避免地存在噪声影响,求解势必不稳定。如果将主要未知数(摄像机的内外参数和次要未 知数(透视畸变、镜头像茬进行分离,先在定近似条件下求出主要未知数,然后考虑精 确模型,求出次要未知数,并对主要未知数进行优化,这