影像倾斜度对ASIFT匹配有效性的影响.docx

影 像 倾 斜 度 对ASIFT匹配有效性的影响 张振超，戴晨光，莫德林，赵明衍( 信息工程大学，河南 郑州 450001)摘要:相比传统垂直摄影模式，倾斜摄影更符合人眼直观感受，且能提供更加丰富的三维信息，因而在测绘领域越来越受到重视。对比分析了国内外主要倾斜数字相机的性能参数，归纳了倾斜摄影测量作业的一 般数据结构、成像规律。为衡量单张航摄倾斜影像的绝对倾斜程度或是两张倾斜影像之间的倾斜差异，引 入了倾斜度概念。通过不同倾斜度条件下的 ASIFT 匹配实验，研究分析倾斜度变化对于匹配有效性的影 响，验证了倾斜度计算方法的合理性。关 键 词:倾斜摄影测量; 数据结构; 倾斜度; ASIFT 匹配算法; 匹配有效性中图分类号:P237文献标识码:ADOI 编码:10 3969 / j issn 1673-6338 2014 05 016Effect of Image Tilt Measure on ASIFT Matching ValidityZHANG Zhenchao， DAI Chenguang， MO Delin， ZHAO Mingyan( Information Engineering University， Zhengzhou 450001， China)Abstract: Compared to conventional vertical photogrammetry， the intuitive images and rich 3D information can beprovided by the oblique photogrammetry which thus attracts more and more attention in the field of surveying and mapping The performance parameters of the main digital oblique cameras at home and abroad were compared and general data structure and imaging rule in the oblique photogrammetric workflow were summarized To measure the absolute tilt of a single oblique image or transition tilt of two oblique images， the tilt measure was introduced here ASIFT matching was conducted between two images under a variety of tilt levels to research the influence of tilt measure on matching validity The result verifies the tilt measure calculating method is reasonableKey words: oblique photogrammetry; data structure; tilt measure; ASIFT algorithm; matching validity航空倾斜摄影测量是指由一定倾斜角度的航摄相机进行的摄影测量作 业1。倾 斜 摄 影 采 用 垂直和倾斜镜头组合获取地物立面和侧面信息， 过去主要是用于判读和侦察，量测型应用研究较 少2。倾斜影像因其丰富的侧面信息、多角度记录的数据而越来越受到三维建模、数字城市研究 人员的重视3-5。在传统摄影测量作业中，应用的往往 是 倾 斜 度较小的近似垂直影像。通过空中三角测量可以 精确确定影像的外方位元素，从而有效保证了摄 影测量作业的精度和可靠性。而在倾斜摄影测量作业中，大倾斜角是影像的重要特性，单张影像倾 斜程度或是两张影像间的倾斜程度差异是重要的 参数。Morel 在文献6中提出的倾斜度能快速 直观地衡量近景摄影测量中影像的倾斜程度。ASIFT ( Affine-Scale Invariant Feature Trans-form) 特征匹配算法具有完全仿射不变性，对大倾 斜影像的匹配效果较好。这里首先分析了航摄倾 斜作业中影像的数据结构、成像特点; 再把倾斜度 引入航摄作业，设计了计算倾斜度的具体流程; 最 后通过 ASIFT 匹配实验，探讨分析了影像倾斜度 对影像匹配有效性的影响规律。1倾斜摄影数据结构1 1倾斜航空摄影测量系统传统航摄相机只有一个垂直镜头，而 倾 斜 摄影的航摄相机需要在此基础上加装具有一定倾角的镜头7。目前的倾斜摄影相机一般加装 2 个或4 个倾斜镜头，这些镜头间稳固排列，搭载于低空 航摄平台完成倾斜摄影任务。垂直镜头主要获取收稿日期:2013-11-05; 修回日期: 2014-01-13。基金项目:国家 863 计划项目( 2012AA12A302-5) 。作者简介:张振超( 1991 ) ，男，安徽芜湖人，硕士生，主要研究方向为数字倾斜摄影测量。Email: zhzhc_1 163 com张振超，等: 影像倾斜度对 ASIFT 匹配有效性的影响第 31 卷第 5 期515地面及地物顶部信息，倾斜镜头主要用于获取目标的侧面信息。表 1 列出了目前国内外主要倾斜 数字相机的参数和性能。3 镜头 AOS 相机在一次 成像后 旋 转 90，因 此 也 能 拍 到 4 个 倾 斜 方 向 的 影像，起到和 5 镜头同样效果。5 镜头相机包含 1个垂直镜头和 4 个倾斜镜头，不同相机的 4 个倾斜镜头排列方式存在差异。由于各镜头方位姿态 独立，航摄前每个镜头都需要单独检校，且系统都 要集成 POS( Position and Orientation System) 定位 定姿系统以获取每张影像的高精度方位元素。表 1 目前主要倾斜数字相机参数和性能类型名称生产公司倾斜角度倾斜镜头排列方式特点3 镜头AOSPentaViewTrimblePictometry30 或 4045 或 60平面内交叉向中倾斜曝光一次后相机整体旋转 90产品包含两级影像集成 PAV80 陀 螺 稳 定 平 台、IPAS 定 位 定 向系统集成 PAV 陀螺稳定平台，Applanix POS 定 位定向系统、FANS 飞行管理系统CD30-ObliqueLeica45马耳他十字形正交排列5 镜头TOPDC-5SWDC-5中测新图四维远见4545马耳他型马耳他型AMC580上海航遥42 或 45马耳他型1 2倾斜摄影数据存储方式通过不同倾斜相机的性能参数可看 出，倾 斜线上的左视影像，航向自西向东。图中，箭头位置表示该镜 头 曝 光瞬间相对于会议中心的概略位 置，指向表示相对飞行方向。在图 1( b) 前视影像 中会议中心顶部影像向西移位，可以看到地物东 立面。在图 1( c) 后视影像中会议中心顶部影像 向东移位，且能看到西侧影像。在图 1( d) 左视影 像中，因位于下一条航线上，相当于整个相机在平 面内旋转 180，此时会议中心顶部向北移位。相机的镜头组合、成像方式有一定规律。在航摄作业中，倾斜摄影数据存储方式必然也存在共性。 以 5 镜头系统为例，曝光瞬间垂直镜头和倾斜镜 头设计为同时 曝 光，同 时 存 储 1 张 垂 直 影 像 和 4 张倾斜影像，并记录这 5 张影像的外方位元素8。同时曝 光 的 5 张 ( 或 3 张) 影像在命名上具 有统一性，即 5 张影像的名称编号前缀为镜头编 号，尾 号 一 致，表 示 曝 光 的 次 序。 如: CAM01 _0037 tif，CAM02 _ 0037 tif，CAM03 _ 0037 tif，CAM04_0037 tif，CAM05 _0037 tif。不 同 镜 头 影 像分开存储。各镜头拍摄影像按次序编号，即使 进入下一条航带，编号仍往后依次顺接。( a)( b)前视影像下视影像1 3倾斜影像特点1) 地面分辨率、比例尺不一致。倾斜镜头对严格水平的地面成像时，远 景 的 GSD ( 地 面 采 样间隔) 比近景 的 要 低2。文 献2，9给 出 了 计 算 倾斜影像上不同点比例尺以及近景点与远景点比 例尺差异的公式。( c)( d)左视影像后视影像2)倾斜影像遮挡严重，高度重叠，数据冗余。图 1 4 个镜头中会议中心影像对比通过分析可以看出，地物在不同倾斜 影 像 上 “倾倒”方向差别很大，如图 1 ( b) 与图 1 ( c) 中地 物在 布 局 上 呈“中 心 对 称”变 换，图 1 ( a) 与 图 1( d) 之间也存在 90旋转关系。3) 在航摄 角 度 上，5 个 镜 头 朝 向 各 异，进 入 镜头的光强也会明显不同。因此不同镜头、不同航线影像的亮度、对比度有较大偏差。如图 1( c)明显比图 1 ( d) 亮度值高。这必然给倾斜影像的 特征提取、特征匹配、影像融合等造成更大困难。以 5 镜头 AMC580 倾斜相机在某测区的作业为 例，在整个航摄区域内，查询出具有明显特征的会 议中心位于 22 张航空影像上。其 中，下 视 5 张、 前视 7 张、后视 5 张、左视 5 张。图 1 是从 4 个镜 头原始影像上截取的会议中心影像。由于相邻倾 斜相机视轴在水平面内相差 90，地 物 在 影 像 上 的倾斜方向差异较大。在实地，会议中心朝南。图 1 前 3 张 影 像 在 同一航线上，航向自东向西; 图 1 ( d) 是下一条航516测 绘 科 学 技 术 学 报 2014 年为定量衡量从两个视角拍摄的同一地区影像倾斜程度差异，文献6中首次提出倾斜度。2 2倾斜航摄中影像的倾斜度定义在倾斜航摄同一测区的作业中，因为 多 个 倾斜相机与垂直方向夹角 总是设计相等的，且相邻倾斜相机视轴垂面总严格保持平行或垂直，可 以根据这一特点把近景摄影测量中的倾斜度作适 当归纳并引入倾斜摄影测量中。根据倾斜摄影特 点，这里不 考 虑 参 数 和 的 影 响。结 合 文 献6，把一个测区内所有 影像两两间相对倾斜度 的计算归纳为以下 3 种情形。2倾斜度2 1 绝对倾斜度和相对倾斜度在近景摄影测量中对水平面成像时，相 机 视 轴与水平面的几何关系如图 2 所示。 是视轴在 水平面上的投影与参考方 向 的 夹 角; 是 视 轴 与 法线的夹角， 角 越 大，影像仿射变形通常越大。 和 因与大地坐标 定 义 类 似，也称为视轴的经 度和纬度。 为 相 机 绕 光轴的旋转参数; 是 缩 放参数，标定相机在视轴上的位置。当相机位于 垂直摄影的理想位置时，各参数值为 = 1，t = 1， = = 0。1)两影像视轴平行， = 1。此时两张影像必为同一镜头获取，相对倾斜程度最小， 取 1。2)两张倾斜影像视轴 不 平 行， = t1 + t2 =1 / cos 1+1 / cos 2。此时相对倾斜度 取 各自绝对倾斜度之和。3)一张垂直影像与一张倾斜影像，假设倾斜影像绝对倾斜量为 t2 : 两影像视轴经度相差 180，即 = 180，此时 = t1 + t2 = 1 + 1 / cos 2 ; 两影 像视轴 经 度 相 差 0 或 90，即 = 0 或 =90，此时 = t2 。情形 3 中经差相差 180 时，两张影像在整体 上呈中心对称，仿 射 变 形 大，参 见 图 1 ( a) 与 图 1( c) 。此时相对倾斜程度同情形 2) 。两影像视轴 经度相差 0或 90时，按照 2 1 节的定义，取倾斜 影像的绝对倾斜度作为两张影像的相对倾斜度。在实际操作中，为确定两张影像相对倾斜度， 设计判定流程如图 4 所示。图 2 相机视轴与水平面关系定义 t = | 1 / cos | 。衡量视轴相对于水平面 的倾斜程度，且与 正相关，称为单张影像绝对倾 斜度。在倾斜摄影中，相对倾斜度衡量两张 从 不 同 视轴拍摄的影像之间的倾斜程度差异，用 表示。 相对倾斜度与两视轴的经度、纬度都有关。作为 一项评价测度，计算的通常是同一区域两张影像， 或是有重叠区域的影像间的相对倾斜度。按文献6中 的 定 义，在 图 3 ( a) 中，两 视 轴 经度 = ，纬度 = 30， = 60，绝对倾 斜 度 t= 1 / cos = 2 /槡3 ，t = 1 / cos = 2，此时两视轴经度相等，相对倾斜度 = t / t = 槡3 。在图 3( b) 中，两视轴经度 = + 90，纬度 = 60， = 75 3，绝对倾斜度 t = 1 / cos = 2，t = 1 / cos = 4，此时两视 轴经度相差 90，相对倾斜度定义为 = tt = 8。图 4 两影像相对倾斜度计算流程2 3利用外方位角元素计算倾斜度以 ， 角 元 素 系 统 为 例，如 图 5 所 示，倾 斜影像可以视为水平影像绕坐标轴依次旋转后的 影像，即 首 先 绕 Y 轴 旋 转 角，再绕第一次旋转 后的 X 轴旋转 角，最后绕第 1，2 次旋转后的 Z 轴旋转 角，图 中 SNM，SMO，SNO 均 为 直( a) = ， = 30 ， = 60( b) = + 90 ， = 60 ， = 75 3图 3 相对倾斜度计算示意图张振超，等: 影像倾斜度对 ASIFT 匹配有效性的影响第 31 卷第 5 期517角三角形。字图像，倾斜是通过对倾斜度方向 t 的重采样完成的。2) 旋转和倾斜值采样都是通过有限小幅度 的经度值和纬度值表示的。大的采样范围，小的 采样间隔，保证真实的仿射变形被准确近似模拟。3) 对得到图像对利用 SIFT 算法进行匹配。采 用匹配有效性来评价 ASIFT 匹 配 效 果。 匹配有效性是精确匹配的特征点对数量与两幅影 像中提取出的特征点数量的平均值之比。这个比例与匹配影像的重叠大小有关。实验采用影像均 是从原始影像上截取的以会议中心为中央且大小 相等的，因此可认为重叠区域已控制近似相等，因 而根据式( 4) 求得的即为归一化有效性值。 Nmatch 图 5 ， 角元素系统根据几何解析关系: =( 4)( N1 + N2 ) /2cos =cos = SN / SM;其中，N1 和 N2 为两幅影像中分别提取出的特征 ( 1)点数; NSM / SO为精确匹配的特征点对数。match式( 1) 中两式左右相乘得cos cos = SN / SO = cos 计算出绝对倾斜度( 2)4实验与分析通过 对不同相对倾 斜度条件下影像间的 t =1 / cos =1 / ( cos cos )( 3)ASIFT 匹 配 实 验，研究匹配有效性的变化规律。实验选取的 6 张同一地物影像，由 4 个倾斜相机 所拍 摄。实验过程是先由 POS 系 统 记 录 的 角 元 素计算绝对倾斜度，再通过实验得出 ASIFT 匹配有效性。按表 2 的组合方式进行 7 组 ASIFT 匹配 实验，计算匹配有效性，表中的匹配结果已经过剔 除误匹配点处理。计算出绝对倾斜度后，根据视轴空间关系，依据 2 2 节中定义的 3 种情形，可计算出两张影像 的相对倾斜度。3ASIFT 算法特征匹配图像的不 变特征是指在图像变化 ( 旋 转、缩放、仿射变 换 等) 保持稳定的局部区域 内 提 取 的特征以及对这些特征的描述形式。由于图像不变 特征不受图像外在表象信息的影响，与其他特征 量相比，在抗噪性、处理图像重复区域方面都具有 明显的优势。Lowe 在 2000 年 提 出 的 SIFT 尺 度 不 变 特 征 匹配算 法10-12，是 在 图 像的尺度空间中提取特 征。所提取的局部特征较好地解决了场景部分遮 挡、旋转缩放、视点变化引起的图像变形等问题。 但是 如 果 视 轴 变 化，特征匹配性能明显下 降。 ASIFT 仿射尺度不变特征变换算法6是在匹 配前先对相机视轴方向进行模拟，再利用 SIFT 算 法进行匹配。ASIFT 具有完全仿射不变性。ASIFT 算法的主要原理与步骤如下:1) 通过模拟所有可能的仿射变形来实现图 像变换。变形主要由视轴的方向变化引起，取决 于经度 和纬度 。具体方法是对图像进行 的 旋转，其次是参数为 t = | 1 / cos | 的倾斜。对于数表 2 不同倾角影像组合的 ASIFT 匹配实验 镜头组合绝对倾 相对倾 特征匹配对数匹配有效性 / %序号影像斜度斜度点数下视下视 前视 前视 下视 前视 下视 左视 下视 后视 前视 后视 前视 左视01_004201_004305_003505_003601_004205_003501_004204_006401_004203_004705_003503_004705_003504_00641 001 001 361 351 001 361 001 431 001 301 361 301 361 4338 01238 48245 62746 36738 01245 62738 01244 67338 01246 48545 62746 48545 62744 67311 005 29413 821 007 92317 231 363127 541 431884 652 301663 962 66551 272 79501 1表 2 中，按 2 2 节方法计算的相对倾斜度与 匹配有效性整体上呈负相关。这与经验中两张影 像倾斜程度 差 异 越 大，ASIFT 匹 配效果越差相一 518测 绘 科 学 技 术 学 报 2014 年致。反过来也验证了倾斜度作为影像倾斜度的衡量标准的有效性。图 6 显示的是第 3，4，6，7 组实 验的匹配结果。5结论1)倾斜影像 具 有 大 倾 斜、高 重 叠、高 冗 余 等特点，面向倾斜影像处理的数字空三、影像匹配、正射纠正急需新的处理策略。2) 把倾斜度引入航空倾斜摄影测量，给出绝 对倾斜度和相对倾斜度的实用计算流程，为航摄 影像倾斜程度的度量提供了参考依据。3)通过不同倾斜度影像的 ASIFT 匹配实验，表明 ASIFT 匹配有效性与相对倾斜度之间存在 负相关关系，反过来也证明倾斜度定义的合理性。致谢:感谢上海 航 遥 信 息 技 术 有 限 公 司 提 供 的 倾 斜 影 像 数 据。参 考 文 献:( a)( b)第 4 组下视与左视第 3 组下视与前视1朱 庆，徐 冠 宇，杜 志 强，等 倾斜摄影测量技术综 述EB /OL ( 2012-05-08) 2013-08-15 http: www paper educn / releasepaper / content /201205-355GENZDOFFE G J，GUETZKI M，FIEDLANDE Pho- togrammetric Image Acquisition and Image Analysis of Oblique ImageryJ The Photogrammetric ecord，2008，23: 372-386 桂德竹，林宗坚，张成成 倾斜航空影像的城市建筑物三维 模型构建研究J 测绘科学，2012，37( 4) : 140-142 娄博，耿则勋，魏小峰，等 基 于 Pictometry 倾斜影像的三维 城市模型纹理映射J 测绘工程，2013，22( 1) : 70-74 王伟，黄雯雯，镇姣 Pictometry 倾斜摄影技术及其在 3 维城 市建模中的应用J 测绘与空间地理信息，2011，33 ( 3 ) :181-183MOEAL J M，YU GUOSHEN ASIFT: A New Framework for Fully Affine Invariant Image ComparisonJ SIAM Journal on Imaging Sciences，2009，2( 2) : 438-469JACOBSEN K Geometry of Vertical and Oblique Image Com- binationsEB / OL ( 2013-01-25) 2013-08-26 http: www ipi uni-hannover de / uploads / tx _ tkpublikationen / KJ _ oblique pdf上海航遥信息技术有限公司 AMC580EB / OL ( 2013