（模式识别与智能系统专业论文）基于图像的三维场景重建研究.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 研究生签名：j 弓卜日期：趾 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部内容或中、 英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大学研 究生院办理。 研究生繇册即勰健嗍出5 摘要 三维场景重构技术是计算机视觉研究中的热点问题。本文讨论基于图像的三 维场景重构方法，图像是由普通数码相机拍摄产生的数码相片。 利用数码相片进行三维场景重构面临诸多挑战：首先，由于数码相机通常会 自动进行白平衡以及亮度补偿，因此从不同角度拍摄的相片，颜色以及亮度通常 存在差异；其次，由于相机距拍摄物体的距离差异，通常通过调整相机焦距以实 现最佳的成像效果，但同时这也造成了相机内参数的频繁变化，即使固定焦距拍 摄，由于相机的自动对焦功能，实际焦距仍有可能在一定范围内波动；再次，由 于并不限定拍摄相机的运动方式，因此，图像序列中任意两幅图像间的运动关系 是无法预知的；最后，由于并不限定数码相片的大小必须一致，因此相片间可能 存在较大的尺度差异。 为了解决上述问题，本文首先使用s i f t 方法抽取尺度不变特征，该特征对 于尺度、亮度、颜色等差异存在良好的鲁棒性，随后利用优先级k d 树进行特征 匹配，接着使用r a n s a c 方法进行匹配特征的内点鲁棒性估计，并使用内点创 建点径。在结构重构的过程中，首先根据匹配点情况，选择一组最佳相机组合， 利用数码相片附带的焦距信息，进行内参数初始估计，并利用5 点法计算相机的 外参数，随后使用光束平差法对相机参数以及重构点进行非线性优化，接着再添 加相机并拓展点云，并再次利用光束平差法对结果进行优化。最后，将重构点云 转换为有向点，利用泊松方法进行表面重构。实验结果表明，本文使用数码相片 进行三维重构的方法是有效的。 关键字： 三维重构尺度不变特征多视几何结构和运动光束平差法 a b s t r a c t 3 ds c e n er e c o n s t r u c t i o ni sv e r yp o p u l a ri nc o m p u t e rv i s i o nt h e s ed a y s i m a g e b a s e d3 ds c e n er e c o n s t r u c t i o ni sd i s c u s s e di nt h i st h e s i s ，t h en o t a t i o ni m a g eh e r e m e a n sg e n e r a ld i g i t a lp h o t o ss h o tb yg e n e r a ld i g i t a lc a m e r a s i m a g e b a s e d3 ds c e n er e c o n s t r u c t i o ni sf a c i n gg r e a tc h a l l e n g e s f i r s t ，d i g i t a l c a m e r a sw i l lc a r r yo u tw h i t eb a l a n c ea n dl i g h t n e s sc o m p e n s a t i o na u t o m a t i c a l l y , t h e c o l o ra n dl i g h t n e s sv a r yw h e np h o t o sa r et a k e nf r o md i f f e r e n td i r e c t i o n so ft h es a m e s c e n e s e c o n d ，t h eb e s tv i s u a lq u a l i t yo fp h o t o sc a nu s u a l l yb ea c h i e v e dw i t hf o c u s a d j u s t m e n t ，h o w e v e r ，t h i sm a k e sp r e c a l i b r a t i o no fc a m e r a su s e l e s s ，t h i sh a p p e n se v e n u s et h es a m ef o c u s ，s i n c ed i g i t a lc a m e r a sh a v et h ea b i l i t yo fa u t o f o c u s i n g ，w h i c h e f f e c t sf o c u ss l i g h t l yt h i r d ，t h em o t i o no fc a m e r a sa r eu n c o n s t r a i n t ，t h u st h em o t i o n o fr a n d o m2p h o t o sa r eu n p r e d i c t e d a n dt h ee n d ，t h ev a r i a t i o nb e t w e e ns c a l e so f d i f f e r e n tp h o t o se x i s t ，f o rs i z eo f p h o t o sa r ea l s ou n c o n s t r a i n t i no r d e rt oc o p ew i t hs u c hp r o b l e m s ，s i f tm e t h o di su s e dt oe x t r a c ts c a l e i n v a r i a n tf e a t u r e s ，w h i c ha r er o b u s tt os c a l e ，l i g h t n e s s ，a n dc o l o rv a r i a t i o n t h e n p r i o r i t yk - dt r e es e a r c ha l g o r i t h mi su s e dt om a t c hf e a t u r e s ，a n de s t i m a t i n gi n l i e r s r o b u s t l yu s i n gr a n s a cm e t h o d i nt h ep r o c e d u r eo fs t r u c t u r er e c o n s t r u c t i o n ，2 c a m e r a sa r es e l e c t e df i r s ta st h ei n i t i a l p a i ra c c o r d i n gt ot h e i ri n l i e r sn u m ，t h e n i n t r i n s i cp a r a m e t e r sa r ee s t i m a t e du s i n ge x i fi n f o r m a t i o n ，a n de x t r i n s i cp a r a m e t e r sa r e c a l c u l a t e du s i n g5 - p o i n tm e t h o d b u n d l ea d j u s t m e n ti su s e dt oo p t i m i z et h ec a m e r a p a r a m e t e r sa n dt h ep o s i t i o no fr e c o n s t r u c t e dp o i n t s n e wc a m e r a sa n dp o i n t sa r e a d d e dt oe x t e n dr e c o n s t r u c t e dc a m e r a sa n dp o i n t s ，a n db u n d l ea d j u s t m e n ti su s e da f t e r e a c he x t e n s i o n i nt h ee n d ，c o n v e r tr e c o n s t r u c t e dp o i n t st oo r i e n t e dp o i n t s ，w h i c ha r e u s e dt or e c o n s t r u c tt h es u r f a c eu s i n gp o i s s o nm e t h o d t h ee f f e c t i v e n e s so fm e t h o d s p r o p o s e di nt h i st h e s i si sd e m o n s t r a t e db ye x p e r i m e n t s k e y w o r d ：3 dr e c o n s t r u c t i o n ，s c a l ei n v a r i a n tf e a t u r e s ，m u l t i - v i e ws t e r e o ，s t r u c t u r e f r o mm o t i o n ，b u n d l ea d j u s t m e n t 1 1 1 a b s t r a c t i i i 第l 章前言1 1 1 引言1 1 1 1 三维重构概述l 1 1 2 研究背景与意义2 1 2 研究现状2 1 2 1 国外研究进展2 1 2 2 国内研究进展4 1 3 研究内容与结构安排5 1 3 1 论文研究内容5 1 3 2 论文结构安排6 第2 章基础理论7 2 1 引言7 2 2 特征抽取7 2 2 1 理想特征的性质7 2 2 2 角点检测器8 2 2 3 团块检测器l l 2 2 4 区域检测器1 5 2 2 5 高效检测器l7 2 2 6 检测器特性总结1 9 2 3 相机模型2 0 2 3 1 针孔相机模型2 0 2 3 2 中央投影2 l 2 3 3 主点偏移量2 l 2 3 4 相机运动2 2 2 3 5c c d 相机2 3 2 4 双视几何2 3 2 4 1 对极几何2 3 2 4 2 基础矩阵2 4 2 4 3 本质矩阵2 5 2 4 4 单应关系2 6 2 4 5 三角化方法2 8 2 5 数值方法2 9 v 2 5 1 随机取样一致性估计2 9 2 5 2l m 非线性优化2 9 2 5 3 稀疏l m 方法3 2 2 5 4 光束平差法3 6 2 6 本章小结3 8 第3 章几何约束计算3 9 3 i 引言3 9 3 2 尺度不变特征4 0 3 2 1 尺度空间极值检测4 0 3 2 2 关键点精确定位4 2 3 2 3 方向指定4 3 3 2 4 局部图像描述子4 4 3 3 特征匹配4 4 3 3 1 线性搜索4 4 3 3 2 优先级k - d 树搜索4 5 3 4 鲁棒估计4 5 3 4 1 标准化8 点算法4 5 3 4 2r a n s a c 鲁棒估计4 7 3 4 3 非线性优化4 8 3 5 点径生成4 8 3 5 1 生成图像邻居4 9 3 5 2 点径搜索4 9 3 6 本章小结5 0 第4 章结构重建5l 4 1 引言5l 4 2 相机参数估计5 2 4 2 1 内参数估计5 2 4 2 2 外参数估计5 4 4 3 单组重构5 9 4 3 1 初始组合选择5 9 4 3 2 结构和运动6 0 4 4 拓展点云。6 1 4 4 1 基本方法6 l 4 4 2 快速方法6 2 4 5 表面重构6 2 4 5 1 生成有向点6 3 4 5 2 泊松表面重构6 3 v i 4 6 本章小结“ 第5 章结果与讨论6 7 5 1 实验结果6 7 5 1 1 实验l 6 7 5 1 2 实验2 7 4 5 1 3 实验3 8 4 5 1 4 实验4 9 2 5 2 结果讨论9 8 5 2 1 尺度不变特征特性9 8 5 2 2 非线性优化的影响9 9 5 2 3 相机参数估计1 0 1 5 2 4 光束平差法的作用1 0 2 5 2 5 表面重构的讨论10 3 5 3 本章小结10 3 第6 章总结与展望10 5 致谢10 7 参考文献l0 9 作者简介1 1 9 v i i 第1 章前言 1 1 引言 1 1 1 三维重构概述 第1 章前言 在计算机视觉【l 】以及计算机图形掣2 】中，三维重构指获取真实物体表面以及 外形的一个过程。这个过程可以分为主动( a c t i v e ) 以及被动( p a s s i v e ) 两种方 法，其中主动方法是指主动的对被重构物体施加某种影响，这种影响可以是磁场 的或是电波的，基于电波的方法应用更为普遍，将电波向物体方向发射，然后测 量返回部分，以获得物体信息，图1 1 为一种三维镭射( 1 a s e r ) 扫描器，这种扫 描器通过统计激光的往返时间来获取物体表面距离探测器的距离。被动的方法并 不对被重构物体施加影响，仅仅通过传感器探测物体反射或者发出的辐射量来获 取物体的三维结构，通常，这种探测器为相机中的图像传感器，采用这种重构方 法的输入为数字图像序列或者视频，这种方法被称为基于图像序列( 视频) 的重 构。 图1 1 一种镭射扫描器 l 东南大学硕士学位论文 1 1 2 研究背景与意义 随着数码相机的不断普及，涌现出越来越多的数码照片，这其中包含了大量 的关于著名建筑、雕像、文物器皿的照片。这些照片无论是对计算机视觉研究还 是实际应用，都提供了广阔的空间。首先，这些照片提供了巨大的数据库，为高 精度的表面几何建模提供了素材；其次，这些照片为场景外形建模提供了丰富的 统计数据；同时，这些照片也给视觉算法的鲁棒性测试提供了环境。另一个方面， 能够处理这些图像的三维重构算法将产生极其广阔的应用，这些应用包括：三维 可视化、定位、通讯以及识别，这些问题超越了传统的计算机视觉问题，并将产 生广泛的影响。 但是，到目前为止，这些图像素材还没有被研究者广泛使用，一个主要原因 是这些图像并没有达到传统意义上的处理标准。这些图像往往缺乏组织，没有标 定，并且光照、分辨率、图像质量变化极大。开发出一个可以有效处理这些图像 的三维重构算法成了一个巨大的挑战，但也因此使得对于这个问题的研究具有了 非常深远的意义。 1 2 研究现状 1 2 1 国外研究进展 近年来，随着相关理论【3 】【4 1 的不断成熟，有效的方法、新的模型、新的应用 不断涌现，三维重构的研究取得了丰硕的成果。 在重构方法上，b r a d l e y 等提出了基于双目立体匹配的方法【5 j ，通过尺度窗 口进行匹配，以及亚像素优化，获得初始对应点集；表面重构由降采样，清理， 网格化三步构成。随后又通过实验比较说明了该方法的简单有效。f u r u k a w a 等 将重构的结果输出为密集的矩形块( r e c t a n g u l a rp a t c h e s ) 6 j ，这种方法称为块 ( p a t c h ) 方法，该方法将重构分解成匹配，拓展，过滤三步。从稀疏的匹配关 键点开始，通过视觉约束条件滤除错误匹配后，不断拓展匹配点数量。该方法可 自动探测并丢弃外点( o u t l i e r s ) 以及障碍物，并且不需要诸如可视外层( v i s u a l h u l l ) ，深度范围等初始化信息。k o l e v 等人将全局优化用于三维建模【7 l ，他们将 三维形状重构问题作为最小化空间连续顶点( s p a t i a l l yc o n t i n u o u sc o r i v e x ) 方程 问题进行求解，并且从数值以及质量上验证了将连续方程运用于离散图分割 ( g r a p hc u t ) 上的优势，结果表明，由于降低了存储的使用，该方法允许更高分 辨率的重构。为了更好的比较量化比较各种重构算法的优劣，s e i t z 等人构建了6 个测试数据集以及比较和验证方法1 8 j ，目前己成为一个公开的标准。 在重构问题建模方面，g a r g a l l o 等提出了一种解决由长基线标定图像重构场 第1 章前言 景几何特性以及颜色的方法【9 1 ，为了对输入数据进行完全建模，他们将场景表现 为一系列的彩色深度图像( d e p t hi m a g e ) ，将重构问题建模为贝叶斯( b a y e s i a n ) m a p ( m a x i m u map o s t e r i o r i ) 问题，通过能量最小化方法获得问题的解。e s t e b a n 等人通过混合纹理( t e x t u r e ) 以及轮廓( s i l h o u e t t e ) 的方法获得高质量的3 d 重 构模型【l0 1 ，该方法基于可变模型( d e f o r m a b l em o d e l ) ，将两种规则作用于图像， 一种为纹理驱动的规则，另一种为轮廓驱动的规则。纹理驱动由多视相关投票 ( m u l t i s t e r e oc o r r e l a t i o nv o t i n g ) 方法以及梯度向量发散方法计算得到；轮廓驱 动提供了一种将轮廓与进化算法集成的鲁棒性方法。q i a n 等人则利用了序列蒙 特卡洛( s e q u e n t i a lm o n t ec a r l o ) 方法解决结构和运动( s t r u c t u r ef i o mm o t i o n ) 的问题f l l 】。 对于在一些特殊情况下进行三维重构的研究也取得了一定进展。例如针对输 入为无序图像的问题，b r o w n 等提出了利用不变特征进行3 d 物体识别以及重构 的方法【l 引，该方法将物体识别问题处理为图像对应点连续匹配问题，每一幅图像 关联一个相机矩阵，通过特征匹配以及r a n s a c 方法获取基础矩阵，通过使用 稀疏光束平差法( s p a r s eb u n d l ea d j u s t m e n t ) 计算获得物体结构。针对光滑物体的 建模问题，h e r n a n d e z 等详细阐述了一个对表面光滑且缺乏纹理的物体进行重构 的具体方法引，该方法将物体轮廓以及不同光照下的物体影象结合使用。算法从 轮廓开始，恢复出相机的运动，并重构物体的可视外层，随后恢复出光照，并初 始化一个多视几何立体关系，最后生成闭合的重构表面。针对户外被拍摄物体光 照不连贯的问题，t r o c c o l i 等人综合利用测距仪扫描获得的数据与彩色图像信息， 对户外场景进行建模【l4 1 ，为此他们提供了两种解决方案，一种是将所有的照片置 于同一光照情况下，另一种是通过每幅照片的光照情况计算出反射的扩散程度， 随后把光照影响去除。对于动态场景的建模，p o r t s 提出了一种基于视频序列的 针对立体视觉以及非刚性( n o n r i g i d ) 三维运动估计的可变方法【l 5 1 。 在数值计算方法上，h u n g 等研究了通过最小化2 d 重投影误差进行投影重 构( p r o j e c t i v er e c o n s t r u c t i o n ) 的方法【1 6 】，文章中指出了光束平差法( b u n d l e a d j u s t m e n t ) 作为一种非线性优化算法，需要一个比较好估计的起始点，而这个 起始点可以通过拥有更好全局收敛性的半线性( q u a s i 1 i n e a r ) 算法计算得到。 在实际应用方面，p o l l e f e y s 等人开发了一套系统【l7 1 ，可以由手持式摄像机拍 摄获得的非标定图像序列进行三维重构，该方法通过特征匹配获得视图间的相对 关系，经计算获得场景以及相机运动，随着研究的不断深入，后来他们又开发出 实时街景3 d 建模系纠1 8 】，这套系统通过采集视频流以及g p s 信息，可以将重 构好的模型至于地理位置坐标上，由于户外场景的大范围动态变化，因此在特征 匹配阶段估计全局相机增益变化并作出补偿，并不影响实时性。c o m e l i s 等人也 开发出一套快速的3 d 街景建模系统【l9 1 ，该系统可以自动对视频流中的物体( 例 如车辆) 进行识别，并将物体在3 d 模型中定位。 东南大学硕士学位论文 1 2 2 国内研究进展 国内对三维重构的研究起步较晚，目前主要集中于标定相机三维重构的应用， 例如对焊点表面进行重构【11 0 】，针对水泥颗粒的三维重构1 1 ，对脊柱c t 图像的 三维重构【2 1 。清华大学的宽带网数字媒体技术实验室在多视图三维重构中对深 度进行连续估计3 1 ，并将其用于自由视点视频 t t 4 ( f r e e v i e w p o i n tv i d e o ) ，其实 验系统如图1 2 所示，该系统由2 0 个相机以及数个光源组成( 图1 2 ( b ) 中的 每个红色圆圈代表l o 个发光l e d 光源) ( a ) ( b ) 图1 2 多相机多光源穹顶 ( a ) 实物图 ( b ) 示意图 北京大学智能科学系视觉研究室利用先进的仪器设备( 如图1 3 所示) ，进行行 人检测与跟踪【1 1 5 1 ，构造龙门石窟三维模型等。 ( a ) ( b )( c )( d ) 图1 3 北京大学智能科学系视觉研究室三维数据扫描仪 ( a ) 高精度三维激光扫描仪v i v i d 7 0 0 ( b ) v i v i d 9 1 0 ( c ) 三维激光远景扫描仪c y r a x 2 5 0 0 ( d ) 手持式三维数据扫描仪f a s t s c a n 4 第l 章前言 1 3 研究内容与结构安排 1 3 1 论文研究内容 由相机或者摄像机等成像设备获取的数据，这种数据又可分为视频和图像两 类。视频由于其连续的特性，连续帧之间的图像差别很小，这主要表现在： ( 1 ) 连续帧出现尺度突然变化的可能性极小，通常用来三维重构的视频拍摄过程 中，摄像机焦距几乎保持不变，此外摄像机拍摄位置也不可能突变 ( 2 ) 连续帧亮度突变可能性也极小，通常不会出现暗室开关灯的情况，这给重构 计算最重要的点匹配带来了便利 ( 3 ) 此外进行拍摄的摄像机的内参数通常情况下是固定的，只需要预先标定好就 可以在后续的处理中沿用这一参数 而基于数码相片的三维重构要难于基于视频的三维重构，原因有： ( 1 ) 由于数码相机通常会自动进行白平衡以及补偿，因此不同角度拍摄的图像， 亮度以及颜色可能存在差异 ( 2 ) 由于拍摄相片时，距离场景物体的远近不同，通常会使用不同焦距，这会带 来相机内参数的不固定，即使使用了同一焦距，由于相机的自动对焦功能， 焦距仍有可能在一定范围内波动 ( 3 ) 拍摄相片的位置不能保证连续性，也就是相机位置可能是突变的 ( 4 ) 由于可以选择不同的相片保存大小并且不同相机的总像素不同，因此相片间 可能存在较大的尺度差异。 从1 2 节目前的研究现状可以看出，目前大多数三维重构方法都是基于视 频的，这种类型的重构方法，由于特殊的条件要求，只适用于特定的场合，并不 适用于处理由普通民用数码相机拍摄的图像。本文将阐述这样一个系统，它可以 处理由普通数码相机拍摄的场景图片，生成重构模型，并且不需要经过相机标定。 图1 4 描述了这个系统的一个典型应用实例。 为了实现这一系统并解决数码相片给重构过程带来的难题，本文主要研究了 两方面的内容，分别为特征提取与匹配以及结构重构。 特征提取与匹配是为了计算图像间的几何约束关系，这里的几何关系主要指 图像间对应点的关系以及图像间的变换关系，图像间的几何约束关系是结构重构 的基础，本文需要找出可以克服普通数码相机拍摄图片带来的尺度、光照、颜色、 角度等方面变化的特征，并且对特征进行有效的匹配，并对匹配结果进行鲁棒性 估计。 结构重构需要研究的内容主要包括相机内外参数有效的估计方法，以实现不 用预先进行相机标定的目标；由于重构属于计算几何学的范畴，较小的重投影误 东南大学硕士学位论文 差是必不可少的，如何降低重投影误差也属于本文研究的内容；对于三维重构来 说，两视图重构往往是不能满足需求的，因此如何有效地进行多视图重构也是需 要着重考虑的内容；最后还需要考虑如何利用生成的重构点云产生表面重构模型。 鹕 9 瞪醚蔼 峭蝼， 圈囵圈园 图1 4 系统典型应用买例 本文的结构重构的部分方法与文【1 2 】【8 3 1 类似，但是具体实现可能存在差异， 本文细节性的描述了各部分的算法流程，并且本文对文【1 2 】【8 3 1 内容进行了进一步 的补充，即在生成点云后，利用点云进行表面重构，最后通过详细的实验结果以 及相应的分析来证明方法的有效性。本文与文【8 3 】类似，采用了e x i f 信息进行相 机内参数估计，但是本文从理论上对这种估计方法进行了可行性证明，并且用实 验结果对结论进行分析。 1 3 2 论文结构安排 本文正文部分分为6 个章节，第l 章为前言，主要介绍了三维重构的概念， 研究的背景意义，国内外相关研究的进展，以及论文的结构内容安排。第2 章为 基础理论，主要介绍了本文涉及的一些基本概念以及方法，主要介绍了特征抽取 的一部分现有方法以及不同特征检测器的性能比较，相机模型的简单推导过程， 双视几何研究中的一些基本概念以及基本计算方法，r a n s a c 鲁棒性估计的方 法，以及l e v e n b e r g m a r q u a r d t 方法基本原理，光束平差法的基本概念以及简要 推导过程。第3 章为几何约束计算，涉及的内容包括尺度不变特征的提取，特征 匹配方法，以及对应点的鲁棒性估计，最后还介绍了点径的生成方法。第4 章介 绍了结构重建的相关内容，包括相机参数的估计方法，两相机的重构方法，点云 拓展的步骤，以及光束平差法的具体使用方法，最后介绍了表面重构的方法。第 5 章为实验结果与分析，通过4 个实验证明本文的方法有效性，第6 章为总结与 展望。 6 毒 国囝 a 园墨圈圆圈囝 薅蔼。 擎譬巷；誊毒嗽邑擎謦 要检测角点特征，计算几 需要利用特征，因此特征 构的理论基础，本章对其 中的一些基本概念进行了概述。对于相机模型的研究，从很早就开始了， a l o i m o n o s 等在文献1 1 0 5 定义了相机模型的层次关系。l u o n g 等人在文献【1 0 6 】中详 细阐述了基础矩阵( f u n d a m e n t a lm a t r i x ) 相关理论、算法以及稳定性。本质矩阵 ( e s s e n t i a lm a t r i x ) 由l o n g u e t 掣7 5 】首次引入计算机视觉领域，文献【1 0 7 】中阐述了 本质矩阵的相关性质。z e l l e r 等人的文献【1 0 8 】阐述了在计算基础矩阵过程中由于平 面引入单应性( h o m o g r a p h y ) 而导致退化的情况。三角法( t r i a n g u l a t i o n ) 为通 过二维对应点计算三维点坐标的方法，在文【1 0 9 1 有具体的讨论。 在模型的计算中，通常需要采用鲁棒性估计的方法，本章简要介绍了r a n s a c 方法 6 6 1 的基本步骤。对线性方法计算的结果进行非线性优化，可以减小误 差，提升模型精度，本章介绍了常用的l e v e n b e r g m a r q u a r d t 方法【6 9 1 1 7 3 眇, 及该方 法的拓展光束平差法( b u n d l ea d j u s t m e n t ) 【8 0 】的原理。 2 2 特征抽取 特征为一种不同于最临近区域的图像模式，通常与一种或几种图像性质相联 系，图像性质通常包括亮度、颜色以及纹理。t u y t e l a a r s 等将特征检测器分为4 类【2 8 】，分别为角点检测器( c o r n e rd e t e c t o r ) 、团块检测器( b l o bd e t e c t o r ) 、区域 检测器( r e g i o nd e t e c t o r ) 以及计算集约型检测器( c o m p u t a t i o n a l l ye f f i c i e n td e t e c t o r ) 。 2 2 1 理想特征的性质 理想特征应该具有下列性质： 重复性( r e p e a t a b i l i t y ) 给出两幅同样场景或物体的图片，但是拍摄的条件 并不相同，在两者相同的可视部分应检出同样的特征 特殊性( d i s t i n c t i v e n e s s ) ：特征的亮度模式应该有很大的变化，因此特征可 以被区别开并完成匹配 7 东南大学硕士学位论文 局部性( l o c a l i t y ) ：特征应当是局部特征，以减小混叠的概率，并允许通过 简单模型近似由于拍摄条件不同而带来的几何形变 数量性( q u a n t i t y ) ：检测到的特征数量要足够大，即便在很小的物体上也具 有相当数量的特征。当然，理想的特征数量取决于实际应用的需要。理想情 况下，检测到的特征数量应当可以通过一个简单的初始门限进行调控，而特 征的密度则应该反映图像内容信息。 准确性( a c c u r a c y ) ：特征定位应当精确，并且考虑可能出现的尺度以及形状 变化。 高效性( e f f i c i e n c y ) ：检测特征的时间应当满足一定的要求。 其中，重复性为最重要的性质，可以通过以下两种方法获得： 不变性( i n v a r i a n c e ) ：当预计出现大幅度形变时，在可能的情况下通过数学 方法对形变进行建模，数学变换对特征检测方法没有影响。 鲁棒性( r o b u s t n e s s ) ：对于相对较小的形变，通常需要使特征检测方法对于 这些形变并不敏感。通常情况下可用鲁棒性方法克服的形变为图像噪声、离 散化误差、压缩误差、模糊等等。 2 2 2 角点检测器 角点指的是二维图像中的高曲率( h i g hc u r v a t u r e ) 点，角点可以出现在高度 纹理化的表面、混叠的边缘以及其他各种类型的结合处。本节首先介绍h a r r i s 角点检测器，随后介绍s u s a n 检测器，接着介绍h a r r i s 检测器的尺度以及仿射 不变的两个拓展。 1 1h a r r i s 检测器 h a r r i s 检测器由h a r r i s 和s t e p h e n 提出【2 9 】，检测器基于二阶矩矩阵( s e c o n d m o m e mm a t r i x ) ，也被称为自相关矩阵，该矩阵常被用于特征检测以及图像结构 描述，该矩阵将一点的邻域梯度分布表达为式( 2 1 ) m 吨c 咖k 墨勰，“x 反劣叫l 亿， 其中 ( x ，) = 昙g ( ) 宰，( x ) ( 2 2 ) j + y g ( 仃) 2 丽l p 2 ， ( 2 3 ) 局部图像微分由尺度为的高斯核( g a u s s i a nk e r n e l s ) 计算得到，随后微 8 图2 1n a l t i $ 检测器处理过程 2 ) s u s a n 检测器 s u s a n 角点检测器由s m i t h 和b r a d y 提出【3 0 】，s u s a n 检测器使用形态学 ( m o r p h o l o g i c a l ) 方法取代了梯度考量，避免了对噪声敏感以及大计算量的问题。 s u s a n 是s m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n g 的缩写，基本原理如图2 2 所示。对于图像中的每一个像素，考虑一个圆形的固定半径的邻域，中心像素被 称为原子核( n u c l e u s ) ，它的亮度被作为参考，所有处于该邻域内的像素都被划 分为两种类型，取决于它们的亮度是否与原子核亮度相似或者不同。通过这种方 法，每一个像素点都与一个局部亮度相似度联系起来，称为u s a n 。对于平滑区 域，相似度可能包含全部邻域；对于靠近边缘的情况，相似度下降至5 0 ；对于 角点处，相似度可能下降至2 5 。因此角点可以通过检测局部最低相似度来确定。 3 ) h a r r i s l a p l a c e 检测器 h a r r i s l a p l a c e 检测器由m i k o l a j c z y k 和s c h m i d 提出1 2 5 1 ，h a r r i s l a p l a c e 检测 器首先利用多尺度h a r r i s 角点检测器初始化局部特征的位置，随后通过尺度选择 9 东南人学硕士学位论文 图2 2s u s a n 检测器示意图 方法1 3 2 儿3 3 】决定特征尺度，所选择的尺度在数值意义上具有典型( c h a r a c t e r i s t i c ) 意义，因为尺度度量了特征检测子与图像结构间的相似程度，因此区域大小的选 择与各点所处的图像分辨率无关。h a r r i s l a p l a c e 表示将拉普拉斯算符( l a p l a c i a n ) 用于尺度选择，在实验比较【3 4 】【3 5 j 中，h a r r i s l a p l a c e 给出了最好的结果，这些结 果可以通过拉普拉斯算符中的圆形核解释，当核尺度与图像结构尺度适配时，圆 形核可以充当匹配过滤器p 引。图2 3 为由h a r r i s l a p l a c e 检测器检测出的尺度不 变特征。 ( a )( b ) 图2 3h a l t i s - l a p l a c e 尺度不变特征点 ( a ) ( b ) 为尺度不同的两幅图像 4 ) h a r r i s - a f f i n e 检测器 给出一系列由h a r r i s l a p l a c e 检测方法检测的初始点，籍由l i n d e b e r g 等人提 出的椭圆形仿射区域迭代估计【3 7 】【3 8 1 ，可以得到仿射不变角点【3 l 】。处理过程如下： 步骤l ：通过h a r r i s l a p l a c e 检测器检测初始区域 步骤2 ：通过二阶矩矩阵估计仿射形状 1 0 o o 第2 章基础理论 步骤3 ：将仿射区域标准化为圆形 步骤4 ：在标准化图像中重新检测位置以及尺度 步骤5 ：若二阶矩矩阵两特征值不相等，跳转至步骤2 估计仿射形状的初始点可以使用满足下列条件的任意点，首先该点的二阶矩 矩阵的行列式大于0 ，其次信噪比足够高。因此选用了h a r r i s l a p l a c e 检测方法 检测到的尺度不变特征点。图2 4 为h a r r i s a f f i n e 检测器的检测结果。 ( a )( b ) 图2 4h a r r i s a f f i n e 检测的仿射不变特征点 ( a ) ( b ) 为存在仿射变换的图片 5 ) 讨论 h a r r i s 检测器在s c h m i d 等人所做的对比中【3 9 】1 4 0 1 ，被认为是最稳定的检测器， 该方法有多尺度以及尺度和仿射不变的相关拓展，可以作为一个方便的获取大量 特征的方法。s u s a n 检测器的效率更高，但是对于噪声更加敏感。 需要注意的是，仿射变换模型仅仅对于局部平面视角变换或者假设相机距离 很远时才有效。有时，当边缘处亮度变化比较大的时候，角点也会在物体边缘处 检测到，这对于区域提取是有害的，文献【2 5 】中提出一个解决这种问题的方法。 与其他种类的特征相比，角点在图像平面中的定位更精确。这种定位的精确 性对于相机标定或者三维重构是非常有利的，但是它们的尺度不好确定，因为角 点结构随尺度变化较小，之所以尺度选择对于h a r r i s 角点检测器仍然有效，是因 为特征点并不是精确的位于角点边缘上的，而是位于角点内则。 2 2 3 团块检测器 1 ) h e s s i a n 检测器 源于图像亮度方程，( x ) 的泰勒( t a y l o r ) 展开式的2 阶2 2 矩阵为h e s s i a n 矩阵，如式( 2 5 ) 所示 东南大学硕士学位论文 日燃矧糍绷 ( 2 5 ) 其中l 、i l ，为经平滑图像的二阶高斯( g a u s s i a n ) 微分( d e r i v a t i v e s ) 。这 些量将形状信息通过与标准平面( i s o s u r f a c e ) 对比变化进行表达，特别值得研究 的是基于日矩阵的行列式以及迹的滤波器，后者常被称为拉普拉斯算符 ( l a p l a c i a n ) 。两种度量的局部最大值可以被用来检测图像中的团块结构。 由于拉普拉斯算符为一个可以分解的线性滤波器，因此可以被高斯差分 ( d i f f e r e n c eo fg a u s s i a n ) 滤波器近似。但是在图像纹理区域运用拉普拉斯进行 团块提取时，局部最大值往往