（精密仪器及机械专业论文）基于SIFT和NDLT的目标识别技术研究.pdf

中北大学学位论文 基于sif t 和n d l t 的目标识别技术研究 摘要 随着人们生活质量的提高，智能型家庭服务机器人被广泛地应用于代替人进行卫生 清洁、物品搬运、家电控制、电话接听等各种家务劳动，针对其在场景中识别目标物体 时所采集到的图像存在几何畸变( 缩放和旋转) 和噪声干扰的问题，提出了一种基于 s t ( s c a l ei n v a r i a n tf e a t u r ot r a n s f o r m ) 和n d l t ( n o r m a l i z e dd i r 以z tl i n e a rt r a n s f o r m a t i o n ) 的目标识别新算法。 本文首先讨论了目标识别技术中的关键技术特征点提取技术和特征点匹配技 术的国内外发展现状，对目前常用的特征点提取和匹配方法进行了较为详细地介绍。针 对家用智能机器人在目标识别中存在的问题，分析了现有的特征点提取与匹配技术以及 传统的图像对应算法- d l t ( d i r o al i n e a rt r a n s f o r m a t i o n ) 算法的优缺点，在此基础上 完成了目标识别算法的总体设计。同时，在对s i f t 特征匹配理论( 包括s i f t 特征提取 和匹配两个方面) 进行分析的基础上，重点研究了s i f t 特征匹配算法在抵抗图像缩放、 旋转畸变以及抗噪方面的优越性，并将该算子用于目标识别。鉴于传统的d l t 算法用 于目标识别存在精度低的缺点，以及s i f t 特征匹配算法在抵抗图像几何畸变以及抗噪 声方面的优势，提出了一种结合s i f t 和n d l t 的目标识别算法，并基于m a t l a b 给出 了相关的论证实验。 实验结果表明：结合s i f t 和n d l t 的算法用于目标识别不仅能够较为精确地实现 对目标物体的定位，而且在图像缩放、小角度的旋转以及抗噪方面都具有一定的鲁棒性， 满足了家用型智能机器人对目标识别算法的要求。另外，该算法可以根据需要增加模型 数据库中的目标模型图像，实现多视角的目标识别，具有一定的灵活性。 关键词：目标识别，特征提取，特征匹配，s i f t 算法，n d l t 算法 中北大学学位论文 r e s e a r c ho nt h eo b j e c tr e c o g n i t i o nb a s e do hs i f ta n dn d l t a b s t r a c t w i t ht h ei m p r o v e m e n to fl i v i n gs t a n d a r d , i n t e l l i g e n td o m e s t i cr o b o t sh a v ee x t e n s i v e a p p l i c a t i o n si ne l e a n i n g 升m o v i n gg o o d s ，e o n l r o l l i n gh o m ea p p l i a n c e s ，a n s w e r i n gt h ep h o n c ， a n dm a n yo t h e rh o m ew o r k 锄滗a s g e o m e t r i cd i s t o r t i o n s ( i n c l u d i n gs e a l i n ga n dr o t a t i o n ) a n d n o i s ei n t e r f e r e n c ee x i s ti nt h ei m a g e sw h i c ha r ea c q u i r e df r o mt h ei n t e l l i g e n td o m e s t i cr o b o t s a i m e da tt h ep r o b l e m s ，t h eo b j e c tr e c o g n i t i o na l g o r i t h mb a s e do ns i f t ( s c a l ei n v a r i a n t f e a t u r et r a n s f o r m ) a n dn d l t ( n o r m a l i z e dd i r e c tl i n e a rt r a n s f o r m a t i o n ) i sp r o p o s e d i nt h i sp a p e r , f i r s t l y , t h es t a t e - o f - t h e - a r to ff e a t u r ep o i n t se x t r a c t i o na n d m a t c h i n gw h i c h a r et h em o s ti m p o r t a n tt e c h n o l o g i e si n0 b j e c tr e c o g n i t i o ni sd i s c u s s e d , a n dt h ea p p r o a c h e so f e x t r a c t i o na n dm a t c h i n ga l ei n t r o d u c e di nd e t a i l s e c o n d l y , t a r g e t e dt ot h ee x i s t i n gp r o b l e mo f 0 b j e c tr e c o g n i t i o no fi n t e l l i g e n td o m e s t i cr o b o t s ，t h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h e e t a r e n tf e a t u r ee x t r a c t i o na n dm a t c h i n gt e c h n i q u e sa n dl a a d i t i o n a ld l ta l g o r i t h ma l e a n a l y z e d a n dt h eo v e r a l la l g o r i t h md e s i g ni sb r o u g h tf o r w a r d t h i r d l y , b a s e do na n a l y z i n g t h et h e o r yo fs i f tm a t c h i n gi n c l u d i n gt h es i f tf e a t u r ep o i n t se x t r a c t i o na n dm a t c h i n g , t h e s u p e r i o r i t yo fs i f tm a t c h i n ga l g o r i t h ma g a i l l s ti m a g es e a l i n g , r o t a t i o na n dn o i s ea r e d i s c u s s e de m p h a t i c a l l y , a n dt h es i f tf e a t u r em a t c h i n ga l g o r i t h mi su s e di no b j e c tr e c o g n i t i o n f i n a l l y , c o n s i d e r i n gt h es h o r t c o m i n go f t r a d i t i o n a ld l t ( d i r e c tl i n e a rt r a n s f o r m a t i o n ) w i t h l o w 跃a 唧a n dt h ea d v a n t a g eo ft h es i f tm a t c h i n ga l g o r i t h ma g a i n s ti m a g es c a l i n g r o t a t i o na n dn o i s e , ak i n do fo b j e c tr e c o g n i t i o na l g o r i t h mw h i c hu n i f i e ss i f ta n dn d l ti s p r e s e n t e d s i m u l t a n e o u s l y , t h ed e m o n s t r a t i v ee x p e r i m e n ti sg i v e nb a s e d o nm a t l a b t h ee x p e r i m e n t a lr e s u l ti n d i c a t e st h a tt h ea l g o r i t h mp r o p o s e di nt h i sp a p e r , t ob eu s e di n t h eo b j c c tr e c o g n i t i o n , i sb o t hh i g hr e c o g n i t i o na c c m a c ya n d9 0 0 dr o b u s m e s sa g a i n s tv a r i o u s d i s t u r b a n c e ss u c ha ss e a l i n g , r o t a t i o nw i mas m a l la n g l ea n dn o i s e , t h a tm e e t st h er e q u i r e m e n t 中北大学学位论文 o fi n t e l l i g e n td o m e s t i cr o b o t so i lo b j e c tr e c o g n i t i o n ma d d i t i o n , t h eu s e r sc a na d dt a r g e t i m a g e si n t ot h em o d e ld a t a b a s ea c c o r d i n g t ot h e i rn l ，e d si no r d e rt or e a l i z em u l t i - v i e w0 b j c c t r e c o g n i t i o n , s ot h ea l g o r i t h mh a s9 0 0 df l e x i b i l i t y k e y w o r d s ：o b j e ar e c o g n i t i o n , f e a t u r ee x t r a c t i o n , f e a t u r em a t c h i n g , s i f t , n d l t 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 熏至! 塑垒 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包 括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复 制赠送和交换学位论文；学校可以公布学位论文的全部或部分内容 ( 保密学位论文在解密后遵守此规定) 。 签日期： 导师签名：逃垄竺 日期：钞硝尔3 中北大学学位论文 1 1 课题研究背景及意义 第一章引言 本课题是“家用智能机器人抓取物品项目中抓取静态物品的识别部分。 随着人们生活质量的日益提高，智能机器人已经开始进入了家庭服务行业。由智能 型家庭服务机器人代替人来完成清洁卫生、物品搬运、家电控制、家庭娱乐、病况监视、 儿童教育、报时催醒、电话接听等各种家务劳动，不仅是一项极具应用前景的高新技术 行业，也是智能机器人目前研究的一个重要热点；另一方面，世界各国的老龄化问题也 进一步加剧了对智能型家庭服务机器人的需求。因此，家庭服务机器人将在许多以老弱、 病残、独子为主的家庭中占据一席之地，这就使得针对家居智能机器人所开展的各种研 究具有很高的研究价值和应用前景。 智能机器人获取外界信息的一个重要来源是图像，通过这些图像机器人可以对物体 进行识别，进而实现成功抓取该物体的目的。因此，对家用智能机器人抓取物体研究的 一个关键问题就是如何利用计算机系统来模拟真实场景中智能机器人识别物体的能力。 但是，当智能机器人在场景中寻找某一指定目标物体时，因其姿态和距离的变化，会使 采集到的图像具有不同的特征。此外，日益复杂的外界环境所带来的图像噪声、模糊、 光照的变化等干扰也会增加目标识别的难度以及影响识别算法的稳定性。因而，仅仅要 求准确地识别目标是远远不够的，整个的识别算法还需要能够抵抗图像畸变以及噪声的 干扰。 针对上述家用智能机器人识别过程中存在的问题，本文开展了基于s i f t ( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ) 和n d l t ( n o r m a l i z e dd i r e c tl i n e a rt r a n s f o r m a t i o n ) 的目标识 别算法研究。 1 2 国内外研究现状 智能机器人的目标识别技术主要包括目标检索技术和目标定位技术，而目标检索技 l 中北大学学位论文 术又涵盖了特征点提取和特征点匹配两大技术，因此本文的研究现状将从这三方面进行 具体的阐述。 1 2 1 特征点提取技术的研究现状 在特征点提取技术中，主要包括特征点检测和特征点描述两个方面，下面将从这两 方面进行介绍。 ( 1 ) 特征点检测 特征点一般在图像物体的边界处，灰度存在着急剧变化的地方，因此寻找灰度变化 较大的点就能找到特征点，而特征点检测的主要目的是确定特征点的位置和尺度等参 数。常用的特征检测算法主要有基于m o r a v o c 算子、h a r r i s 算子等常用特征提取算子的 传统检测算法、抗尺度缩放的特征检测算法以及抗仿射变换的特征检测算法。 1 ) 传统的特征检测算法 m o m v c c 算子是在四个主要方向上，选择具有最大或者最小灰度方差的点作为特征 点【1 1 。h a r r i s 算子是在二阶混合偏导矩阵的基础上，通过计算该矩阵特征值的一个函数 反应值来确定特征点【2 1 。s h i 和t o m a s i 提出使用二阶偏导矩阵的最小特征值作为特征点 提取的标准【3 j o 上述几种方法不但具有广泛的应用，同时性能也比较好，但是都有一个 不足，就是不具有抗尺度缩放的能力。 2 ) 抗尺度缩放的特征检测算法 鉴于传统特征检测算法在尺度缩放方面的不足，学者们相继提出了基于尺度缩放不 变原理的检测算法，该类方法的核心都是尺度空间的思想。 c r o w l e y 于1 9 8 1 年首先提出了尺度空间的思想并通过建立多尺度金字塔，搜索平面 位置和尺度空间的三维空间中的极值来确定特征点 4 1 。l i n d e b e r g 使用自动尺度选择的方 法来提取特征点，该方法在确定特征点位置的同时也确定了该点的特征尺度i s 。 m i k o l a j c z y k 和s c h m i d 修改了l m d e b e r g 的方法，使用可适应尺度的h a r r i s 或者h 岱s i a n 矩阵来确定特征点的位置，利用l a p l a c i a n 来确定特征尺度，但该方法运算量较大【6 】。 l o w e 在多个尺度上使用d i f f e r e n c e - o f - g a u s s i a n s ( d o g ) 核与图像进行卷积来近似代替 l a p l a c i a n - o f - g a u s s i a n ( l o g ) 进行特征点提取，提高了计算的速度【7 8 1 。j a m e s 提出了一种 2 中北大学学位论文 近似计算d o g 的方法，该近似计算具有更快的速度【9 】。 3 ) 抗仿射变换的特征检测算法 近年来，基于尺度不变思想的方法被相继扩展，在此基础上学者们又提出了抗仿射。 变换的方法。t u y t e l a a r s 和v a n ( 3 0 0 l 使用图像像素值求取仿射区域【l o 1 1 1 。m a t a s 等通过 分水岭分割算法获得一种稳定的仿射区域【1 2 】。m i k o l a j c z y k 提出了h a r r i s a f f i n e 算法，该 算法首先在尺度空间上使用h a r r i s 算子寻找特征点，然后进行迭代求取仿射区域【1 3 】。 ( 2 ) 特征点描述 为了进行比较，需要对特征点进行描述，特征描述符的关键是要对不同区域具有较 好的区分性。特征点描述的方法主要有： 1 ) 最直观的方法 通过直接计算两个特征点邻域像素值的相似度来进行比较，但由于描述符的维数过 高，直接影响该方法计算速度，而且该方法很不稳定。 2 ) 基于区域梯度的方法 基于区域梯度的方法近年来受到广泛关注，理论与实验都表明具有较好的性能。其 中，最具代表性的就是l o w e 提出的s i f t 描述符川。s i f t 描述符采用方向直方图作为 描述符，而该方向直方图就是采用梯度计算出来的。s i f t 的参数是由实验得出的，理 论上讲s i f t 方法并不具备抗仿射变换，然而通过实验得出s i f t 对仿射变换的抵抗性并 没有理论分析的那么差，因而该方法被认为是性能最好的描述符【1 4 】。基于梯度的方法会 对明暗畸变具有较好的抵抗性，同时考虑到了方向，因此对旋转畸变也是鲁棒的。 3 ) 其他一些方法 v a n g o o l 等使用不变矩的方法来表述特征【1 5 1 。同时，文献 1 6 也指出如果在每个通 道中分别计算，该方法也适合彩色图像，但由实验得出，该方法对于几何畸变不是很有 效。f r e e m a n 等使用s t e e r a b l ef i l t e r s 方法【1 刀将获得的局部方向导数作为特征描述符，该 方法通过与一个高斯梯度核进行卷积实现【1 8 】。b a u m b e r g 和s c h a f f a l i t z l c y 等使用一种复 杂的滤波器( c o m p l e xf i l t e r s ) 提取特征描述符，该方法能较好地反映区域特征，但是不能 反映特征的空间信息【1 9 2 0 1 。c a r n d r o 等使用基于相位( p h a s e - b a s e d ) 的方法提取描述符【2 1 1 。 在智能机器人的识别过程中，由于机器人自身的因素以及外界环境的影响，经常会 使采集到的图像产生畸变、噪声以及其他干扰。因此，具有良好的抵抗图像旋转、缩放 3 中北大学学位论文 等几何畸变、明暗畸变以及噪声干扰的特征点提取方法将是今后发展的方向。 1 2 2 特征点匹配技术的研究现状 图像匹配的过程实际是指寻求两幅图像间的映射过程，也就是说，要将两幅不同视 点的同一物体的图像中对应于空间同一位置的点联系起来。对应点就是同一三维空间点 在不同视点图像上的投影。图像匹配主要有基于线特征的匹配和基于点特征的匹配两种 匹配方法，下面将对这两种匹配方法的研究现状进行阐述。 ( 1 ) 基于线特征的匹配方法 无论对于描述目标或者解释图像，线类型的特征都是十分重要的。但是，由于图像 间直线段的匹配除了能得到视点的相对位置关系外，并不能得到任何其它几何约束关 系，因此在已有的文献中，线特征的匹配没有像点特征的匹配那样得到广泛的研究。 m o d i o n i 和n o v a t i a 提出一种迭代的直线段匹配方法。在每次迭代中假设两条直线段 为一对匹配直线段，以这对匹配直线段为基准，存在较多的正确匹配直线段时，则认为 该假设为真，直线段正确匹配的准则为两直线段有相似的位置和方向阎。由于匹配准则 所限，该方法只适用视点改变较小的情况。 g u 等提出一种能适用于摄像机位置变化较大情况下的匹配方法，并且该方法在摄 像机有较大转动时同样适用2 3 1 。该方法首先需要确定图像上直线段所围成的封闭多边 形，然后由索引值来描述该多边形，索引值包含多边形每一顶点的凸凹度，每一个索引 值唯一地确定一个多边形，再通过匹配图像间的索引值得到匹配直线段。 m c i n t o s h 和m u t c h 以线段的长度、方向为基准提出了以图像区域( 指能够提取直线 段的区域，也称为支持区域2 4 1 ) 作为直线段间的相似性度量的直线段匹配方法【2 5 1 。该方 法充分利用了直线段支持区域的几何和灰度特性进行匹配，但是，所得的直线段位置不 一定准确，计算量也较大。 陈宁江等提出一种改进方法，不从支持区域提取直线段，而是先通过c a n n y 算子得 到边缘点，然后从边缘点中提取直线段，当得到直线段的准确位置以后，再确定直线段 的支持区域，计算直线段的特性值，最后进行匹配【2 6 】。但是，该方法对于摄像机的运动 及光照很敏感。 4 中北大学学位论文 h o r a u d 和s k o r d a s 提出将直线段间的匹配转化为直线段结构图的匹配【2 刀。对两幅图 像分别建立直线段结构图，结构图的节点为图像上的直线段，结构图的边包含直线段间 的几何关系：是否共线，是否有相同的连接点，相互之间的位置关系等。由这两幅结构 图建立直线段间的关联图，以此确定对应。 c - r o s 等提出一种十分简单的不变量匹配方法，使用直线段间的交比和角度作为匹配 不变量【捌。假设欲匹配的图像之间存在有仿射变换或相似变换。如果是前者，角度可以 作为匹配的不变量，如果是后者，交比可以作为匹配的不变量。但是，由于该方法所提 出的假设条件在大部分欲匹配图像中并不存在，因而仅在视点改变非常小的情况下适 用。 s c h m i d 和z i s s e l - m a n 提出一种基于线段邻域相关性的匹配方法，该方法假设图像间 的极线几何已知，得到直线段的潜在匹配，再由直线段邻域的灰度相关性得到最终的匹 配【2 9 】。但在实际应用中需要己知图像间的极线几何，并且由于直线段经常处于景物的边 界上，直线两边的邻域视差经常有较大的不连续性。 从上述各种匹配方法可以看出，基于线特征的图像匹配可能在某一领域上比较有应 用价值，但都存在计算量大，适用范围有限的缺点。论文中研究的目标识别技术所应用 的对像是家用型智能机器人取放的指定目标物体，而这些目标物体并不都是直线的，所 以论文中不会考虑使用线特征的图像匹配方法来进行识别。 ( 2 ) 基于点特征的匹配方法 虽然基于点特征的匹配技术起步较晚，但其应用的迫切性和前景的广泛性使它在短 短的十年中得到了长足的发展。按照点特征匹配技术的特点，这些匹配方法大致可分为 两类：基于窄基线的点特征匹配和基于宽基线的点特征匹配。 1 ) 基于窄基线的点匹配方法 张正友等在1 9 9 5 年提出了基于极线约束的匹配方法【刈。他们首先使用传统方法提 取图像中的角点，以固定大小的窗口选取角点的邻域，用互相关建立起始匹配集，通过 估计基本矩阵恢复极线几何，并利用该极线约束对初始匹配集做筛选，最终得到可靠的 匹配集。但是，这种方法无法解决视差较大的情况，当两幅视图之间为平移变换时，匹 配结果较好，当存在旋转、伸缩和尺度变换时匹配效果很差，并且该方法不适用两幅图 像变形较大的情况。 5 中北大学学位论文 针对这一弊端，学者们又提出不同的改进方法。p r i t c h e t t 和z i s s e r m a n 等采用两种 不同的匹配方法，一方面是用单应矩阵( h o m o g r a p h y ) 取代灰度相似性和极线约束作为匹 配准则，该方法假设特征点及其周围的小块邻域是空间中平面的成像，因此匹配点之间 应近似满足单应矩阵的关系；另一方面，寻找一种整体相似变换，以使两幅图像在相差 一个比例因子的情况下具有最大相关性，估计图像间局部区域的仿射变换，用局部变换 寻找匹配点，该方法对某些含有丰富平面信息的图像特别有效【3 1 1 。 l h u i l l i e r 和q u a n 等提出一种稠密匹配的策略，该策略综合了以极线约束为代表的 全局约束和以灰度相似性最大的匹配对，在它的周围小区域内寻找更多的匹配对，最后 再应用极线约束去除错误匹配【3 2 1 。该方法对于纹理稠密的图像效果较好，缺陷是精度不 高。 2 ) 基于宽基线的点匹配方法 鉴于将灰度相似性作为匹配准则的局限性，不少研究者尝试根据特征点的某种不变 特性构造不变的“特征向量”以取代传统的灰度相似，该特征向量应能够描述特征点邻 域周围的局部信息，并且在特征点改变或光照强度发生变化时尽量保持不变。如s c h m i d 和m o h r 等计算特征点的一阶至三阶偏导，联立作为特征向量【3 3 1 。该特征向量在图像平 面的旋转和平移变换下保持不变，但对于仿射、射影等更广泛的变换则不能保持不变， 而且计算该特征量涉及到多尺度下的高斯滤波，计算量较大，并且即使图像经过高斯平 滑的预处理，高阶偏导还是对噪音很敏感。针对于此缺陷，g o u e t 等和m o n t e s i n o s 等提 出在真彩色图像中分别计算真彩色图像中的r 、g 、b 的偏导数，仅需一阶偏导即能组 合不变特征向量【3 4 朝。 l o w e 提出旋转不变量的匹配方法，同时保持尺度不变。算法的关键是特征点的检 测是在尺度空间进行的，而不是在某一特定的尺度下进行的。旋转不变量的取得是通过 将图像旋转使图像坐标系与特征区域的梯度方向一致。 b a u m b e r g 将仿射变换分解为尺度、旋转、伸缩变换，将区域仿射变换分解消除， 通过多尺度角点检测算子得到尺度因子，利用l i n d e b e r g 所描述的仿射高斯尺度空间的 椭圆高斯核【3 6 】消除区域的伸缩变化，得到匹配区域，最后由微分旋转不变算子描述该区 域，得到最终的匹配算子【3 7 1 。但是对于包含纹理信息较为丰富的图像，利用椭圆高斯核 所得到的匹配区域往往不唯一。 6 中北大学学位论文 t u y t e l a a r s 和g o o l 等根据特征点周围的小区域内颜色分量的分布，计算出归一化颜 色矩，以此作为特征向量，通过搜索特征向量分布相似的区域确定匹配关系【3 8 】。该算法 不使用边缘和角点，可以减少局部区域可能处于目标边缘而产生的问题，但造成支持匹 配的特征点数量的减少，对匹配精度有不利影响。 王宇宙提出了一种基于仿射不变量的宽基线匹配算法【3 9 】。该算法采用点定位算子检 测图像中的点特征作为匹配定位点，建立以定位点为中心的分层多尺度各向同性圆形窗 口，并将圆形窗口划分为中央区域、内层区域和外层区域，最后，通过仿射不变特征获 得粗粒度的候选匹配区域，对候选匹配区域按照中央区域的类型进行局部窗口的仿射变 换，对变换后的区域按照局部旋转、尺度不变特征进行匹配。此算法的主要缺点是只采 用角点或交点特征构建窗口，不适用此类特征点较少的图像的立体匹配，并且所提取的 点特征可能是物体的边缘点，因而不满足局部平面假设。 t e l l 和c a r l s s o n 等提出了一新的基于仿射不变量的匹配方法【删。他们使用了h a r r i s 算子提取角点，将该灰度分布的离散f o u r i e r 变换系数作为特征向量，将两幅图像上具 有最大相似性的特征向量进行投票筛选进而找到具有最大可能匹配的向量。该方法的非 局部性使匹配的鲁棒性较好，但由于需要景物中平面物体较多，因而限制了该方法的应 用。 1 2 3 目标识别的研究现状 目标识别的主要任务是通过图像数据确定是否存在感兴趣的目标，若存在则提取目 标并加以识别。经过数十年的研究，目标识别领域涌现了各种各样的方法，目前目标识 别方法主要分为由下而上的数据驱动型和由上而下的知识驱动型4 1 1 。由上而下的知识型 目标识别方法针对图像中具体类型的目标而言，其缺点是代换性和兼容性差，识别目标 改变，知识要随之改变。由下而上的数据驱动型目标识别方法不考虑目标的类型，对图 像进行低层处理，适用面广，具有较强的代换性。由上而下的知识驱动型目标识别主要 指基于模型的目标识别【4 2 】。由下而上的数据驱动型目标识别主要指基于特征的目标识别 【4 3 1 。本论文所提出的目标识别方法主要是基于特征的目标识别。 目前，美国、英国等国家在对目标的识别方面已经开展了大量相关项目的研究。1 9 9 7 7 中北大学学位论文 年在美国国防高级研究项目署设立了以c a r n e g i em e l l o n 大学牵头，麻省理工大学等高校 参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战 场及普遍民用场景进行监控的自动视频理解技术【卅。美国b o s t o n 大学和m a r y l a n d 大学 研制的用于高速公路汽车上的实时视觉系统采用颜色、边缘和运动信息来识别道路边 界、车道和其它车辆等悯。英国的雷丁大学( u n i v e r s i t y o f r e a d i n g ) 己开展了对车辆和行 人交互作用识别的相关研究m l 。美国麻省理工大学在运动物体的检测、识别方面也作了 大量的研究工作。 国内开展相关研究工作的起步较晚，但在民用领域，像视频监控、人脸识别、车辆 识别等场合的应用研究取得了较大的成就。南京理工大学2 0 0 2 年负责开发的大庆油田 “油库区视频图像智能监视和跟踪系统中采用了基于特征点匹配的配准方法，可在监 控范围内自动检测判断有无运动目标。中国科学院自动化研究所模式识别国家重点实验 室、清华大学、上海交通大学、华中科技大学图像识别与人工智能研究所、西安电子科 技大学、四川大学等研究机构和高校也在目标检测、识别方面做了大量的研究工作，取 得了一系列的研究成果 4 7 1 。 1 3 主要研究内容与结构 本文针对家用型智能机器人在场景中识别目标物体时所存在的问题，提出了一种基 于s i f t 和n d l t 的目标识别算法，提高了识别的精度。在m a t l a b 7 5 0 3 4 2 ( r 2 0 0 7 b ) 的环境中搭建了目标识别的软件平台，完成了该算法的可行性验证。全文安排如下： 第l 章引言。主要介绍了课题研究的背景、意义、国内外研究现状以及文章的组 织结构。 第2 章算法总体设计。介绍了目标识别中的两大关键技术目标检索技术和目 标定位技术的相关理论，借鉴相关理论中的优点以及对不足进行改进的基础上，提出了 一种新的适用于家用智能机器人抓取目标物体时的识别算法。 第3 章特征点提取算子性能分析。简要介绍了常用的特征点提取算子，对其中的 s i f t 特征点算子进行了重点介绍，最后针对图像的缩放、旋转畸变以及加噪情况给出 了这些算子的性能比较，得出了s i f t 算子在抵抗图像缩放、旋转畸变以及噪声方面的 8 中北大学学位论文 优越性能。 第4 章目标匹配及识别技术研究。介绍了s i f t 算子的匹配方法并给出了图像在旋 转、缩放以及有噪声情况下的匹配性能分析，并提出了结合s i f t 和n d l t 的目标识别 算法，在p c 机上，对本文提出的识别算法进行了可行性验证并对实验结果进行了具体 分析，结果表明本文提出的算法不仅能够较为准确地实现对目标物体的定位，而且在抵 抗图像缩放、小角度的旋转以及抗噪方面都具有一定的鲁棒性。另外，本文所提出的算 法可以根据需要增加模型数据库中的目标模型图像，进而实现多视角的目标识别，具有 一定的灵活性和可实用性。 第5 章是总结与展望。对本文的工作进行了总结，并对下一步需要做的工作进行了 展望。 9 中北大学学位论文 第二章家用智能机器人的目标识别算法设计 如何以最快最准确的方式在数据库的目标模型中检索到指定的目标，以及如何精确 地实现指定目标在场景图像中的定位是家用智能机器人目标识别算法中的两个关键技 术。提到目标图像检索和目标图像定位，很自然就会想到特征匹配问题和两幅图像之间 对应关系的计算问题。而本文所研究的家用智能机器人取放目标对识别算法的要求很 高，要求识别算法能够抵抗图像缩放、旋转畸变以及抵抗噪声。因此，所提出的目标识 别算法必须在保证算法识别的有效性和准确性的前提下具有良好的鲁棒性。 本章首先介绍了图像的特征提取与匹配技术，并分析了相关方法的优缺点，然后介 绍了用于计算两视图间对应关系的常用方法- d l t 算法。在分析了现有的特征提取与 匹配技术以及d l t 算法的基础上，针对家用智能机器人在识别过程中存在的问题提出 了一种新的目标识别算法。 2 1 图像特征提取与匹配技术 图像特征点是由于景物的物理与几何特性使图像中局部区域的灰度产生明显变化 而形成的。通常理解为，如果某些点的邻域变化比较大，则称之为特征点，如角点，噪 声点等，当然噪声点是我们不希望得到的。因此，特征点的本质问题可以归结为：在抵 抗一定图像畸变的情况下，保证特征点的正确提取和匹配。 2 1 1 图像特征提取技术 图像特征的提取，即从图像中提取有用的信息和视觉特征。特征提取所要满足的约 束条件有： ( 1 ) 样本的可分离性：为了有效的分类，希望同类样本之间的距离越小越好，而不 同类样本之间的距离越大越好； ( 2 ) 特征的有效性：提取出的特征应满足对特征的一般要求和特殊要求，并使分类 1 0 中北大学学位论文 错误率达到给定的指标； ( 3 ) 抗模式畸变能力：通常的模式畸变主要有：噪声、平移、缩放、旋转和仿射等 变化【锅】。 常用的图像特征有颜色特征、形状特征、空间关系特征以及纹理特征。 ( 1 ) 颜色特征 颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质【4 9 】。相 对其它视觉特征，颜色特征对图像内容的描述性强( 颜色与图像所包含的物体或场景十 分相关) ，含义明确，易于提取。此外，颜色特征对图像本身的尺度、旋转、视角的依 赖性较小，从而具有较高的鲁棒性。 但是，由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能 很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大， 常会将许多不需要的图像也检索出来。 常用的基于颜色的特征提取与匹配方法主要有：颜色直方图、颜色集、颜色矩、颜 色聚合向量以及颜色相关图等。 ( 2 ) 纹理特征 纹理特征是所有物体表面所共有的内在特性，是对局部区域像素之间关系的一种度 量，刻画了邻域像素灰度的分布规律，包含了关于物体表面组织结构排列的重要信息以 及它们与周围环境的联系 5 0 l 。在计算机视觉的研究中，纹理特征具有一种依赖于颜色或 亮度的反应图像中同质现象的视觉特征，可以从微观上区分图像中不同的物体，反映了 图像的某种局部性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包 含多个像素点的区域中进行统计计算。这种区域性的特征具有较大的优越性，不会由于 局部的偏差而无法成功匹配。作为一种统计特征，纹理特征具有旋转不变性，并且对于 噪声有较强的抵抗能力。但是，纹理特征也有其缺点，当图像的分辨率变化的时候，所 计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从 2 d 图像中反映出来的纹理不一定是3 d 物体表面真实的纹理。 在检索粗细、疏密等方面具有较大差别的纹理图像时，利用纹理特征是一种有效的 方法，但当纹理之间的粗细、疏密等易于分辨的信息之间相差不大的时候，通常的纹理 特征很难准确地反映出人的视觉感觉不同的纹理之间的差别。 1 1 中北大学学位论文 常用的基于纹理的特征提取与匹配方法主要有：灰度共生矩阵特征分析法、t a m u r a 纹理特征法、自回归纹理模型法以及小波变换法等。 ( 3 ) 形状特征 形状特征是描述高层视觉特征( 如目标、对象等) 的重要手段，而目标、对象对获取 图像语义尤为重要。要把图像的低层特征与高层特征有机地结合起来，必须有好的形状 特征描述与提取算法的支持。但是，现有的形状描述方法并不成熟并且存在一些共同的 问题，包括：1 ) 目前基于形状的检索方法还缺乏比较完善的数学模型；2 ) 如果目标有变 形时检索结果往往不太可靠；3 ) 许多形状特征仅描述了目标的局部性质，若要全面描述 目标对计算时间和存储量都有较高的要求；4 ) 许多形状特征所反映的目标形状信息与人 的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差 别【剐。另外，从2 d 图像中表现的3 d 物体实际上只是物体在空间某一平面的投影，从 2 d 图像中反映出来的形状并不是3 d 物体真实的形状，由于视点的变化，可能会产生各 种失真。要在图像检索中充分使用形状特征，必须对图像中目标物体或区域进行分割， 这将导致形状特征的性能受图像分割效果的影响，同时也对准确而鲁棒的图像分割技术 提出了要求。 常用的基于形状的特征提取与匹配方法主要有：边界特征法、傅立叶形状描述符法、 几何参数法、形状不变距法、有限元法、函数旋转以及小波描述符等。 ( 4 ) 空间关系特征 空间关系是指图像中分割出来的多个目标之间的相互空间位置或相对方向关系 s o l 。 空间关系特征的使用可加强对图像内容的描述区分能力，但空间关系特征对图像或目标 的旋转、反转、尺度变化等比较敏感。另外，实际应用中，仅仅利用空间信息往往是不 够的，不能有效准确地表达场景信息。为了检索，除使用空间关系特征外，还需要其它 特征来配合。 常用的基于图像空间关系特征的特征提取与匹配方法主要有：基于图像分割的方法 和基于图像子块的方法。 2 1 2 图像特征匹配策略 1 2 中北大学学位论文 寻找两幅或多幅图像间的对应点问题也被称为图像特征点匹配，通过对特征点进行 匹配，可以从中得到图像间的相互关系等有用信息。常用的匹配策略主要有： ( 1 ) 基于最近距离的匹配：如果两个描述符的距离最近，而且两个描述符的距离在 阈值之下，认为一次匹配成功，否则为一次匹配失败。在这种匹配方法中，一个点可能 有一个匹配点，也可能没有匹配点； ( 2 ) 基于阈值的匹配：如果两个描述符的距离在阈值之下，认为一次匹配成功，否 则为一次匹配失败。在这种匹配方法中，一个点可能有几个匹配点，或者没有匹配点， 这与阈值大小关系很大； ( 3 ) 基于比值的匹配：这种方法和基于最近距离的匹配很相似，要求两个描述符距 离最近，但是阈值是第一与第二最近距离的比值。 阈值的作用是对匹配结果的一种约束，一般而言阈值的约束越强得到的匹配对越 少，正确率越高。对以上三种匹配策略的阈值选择方法进行如下说明：在“基于阈值的 匹配方法中，把所有描述符的最近欧氏距离按从小到大进行排序，距离越小正确匹配 的可能性越大，因为阈值随着匹配图像间的变化而变化，所以很难确定其具体值，因而 只能对最近距离按从小到大进行排序，通过取5 0 或者其它百分数的匹配对的方法，来 改变阈值，取得百分数越少，准确率越高。“基于比值的匹配 方法中阈值的取法和“基 于阈值的匹配一是一样的，只是通过按比值进行排序的方法来改变阈值【锵】。 2 2 传统的d l t 算法 直接线性变换( d i r e c tl i n e a rt r a n s f o r m a t i o n ，d l t ) 算法是一种用于求解单应性矩阵 的线性方法。 2 2 1 单应性矩阵 单应性矩阵【5 1 1 的具体的求解过程如下： 令x - ( x , y ，1 ) t ，x ，= ( ，) ，1 ) t 分别是平面万上的点x 在两个视点下的对应像素的 1 3 中北大学学位论文 齐次坐标，如果矩阵日使得 x ，= m ( 2 1 ) 则称矩阵日为平面i 关于两个视点间的单应性矩阵( h o m o g r a p h ym a t r i x ) r 简称平面万的 单应性矩阵，它实现了平面万在两个视点下图像点间的一一对应关系。 将对应像素的齐次坐标代入式( 2 1 ) ，可以得到： ，：型叁掣基( 2 2 ) h 3 i x + h 3 2 y + h 3 3 y ，：苎垒壁垒 ( 2 3 ) h 3 1 x + h 3 2 y + h 3 3 其中，h u 表示单应性矩阵第f 行、第j f 列的元素，即 h l l h ：ih 2 l 【k h 1 3 2 3j ( 2 4 ) k j m 恻 亿5 ， x 一( 麓 像6 ， 若有刀对对应点，则式( 2 6 ) 可以写成 一三主主0 r ；三, tl h 1 h r t 0 = 。，= ，刀 c 2 7 ， ix j 叫 = o ，f = 1 ，刀 ( 2 7 ) i _ - y j i i x j 对于任意一对对应点，式( 2 7 ) 可以简写为彳声= 0 。其中，4 是一个3 9 的矩阵， 1 4 中北大学学位论文 观察矩阵4 ，可以发现第三行可以由第一行的z 倍加上第二行的y ：得到，故式( 2 7 ) 可变形为 娥 = 。 ( 2 8 ) 其中，彳，变成一个2 x 9 的矩阵 对于挖对对应点，式( 2 8 ) 可以改写为： a h = 0 ( 2 9 ) 其中，彳为2 n x 9 的矩阵。 因而，任意一对对应点可以由两个方程式表示，所以要解得单应性矩阵日至少需要 4 对对应点。 2 2 2d l t 算法 直接线性变换( d i r e c tl i n e a rt r a n s f o r m a t i o n , d l t ) 算法 5 2 , 5 3 , 5 4 是一种常用的求解单 应性矩阵日的方法，该方法能够在保证约束条件i i h i i = 1 成立的情况下，使得怕h 8 的值最 小。d l