（通信与信息系统专业论文）电力设备图片特征提取和分类方法的研究.pdf

华北电力大学硕士学位论文摘要 摘要 针对电力设备图像检索的需求，本文提出了一种改进的基于兴趣点的匹配算 法，首先利用小波变换对图像降低维数和去除噪声处理，提取其s i f t 兴趣点特征， 同时进行p c a 降维，采用基于k d 树的最近邻法进行快速匹配。通过对各种设备图 像大量的实验，结果表明，该方法具有很强的匹配性和鲁棒性，可以良好的实现设 备图片的检索。分析s i f t 兴趣点点集合分布，提出了一种点集合的描述方法，结 合s i f t 兴趣点的方向信息，实现了对设备图片的分类。最后，构建了一个图片分 类检索的平台，可以采用多种方法对图像进行检索分类，也可为其它算法提供良好 的接口。 关键词：小波变换，s i f t 兴趣点，快速匹配，点集合 a b s t r a c t a c c o r d i n gt ot h en e e d o ft h ee l e c t r i cp o w e re q u i p m e n ti m a g es e a r c h e sa n d r e c o g n i t i o n ，o n ek i n do ft h em a t c h i n ga l g o r i t l l l l lb a s e do ni n t e r e s tp o i n t sh a v eb r o u g h t f 0 州a r d ，f i r s t l ym a k i n gu s eo fw a v e l e t1 r a n s f o n i lt or e a l i z ei m a g ed i m e n s i o nr e d u c t i o n a n dd e - n o i s i n g ， e x t r a c t i n gi t ss i f tc h a r a c t e r i s t i cp o i n t s ，f i n a l l yb a s e df o l l o w s t h e c a r r y i n go u tm a t c h i n gu s i n gn e a r e s tn e i g h b o rm e t h o db a s e do nk dt r c e a d o p t i n gt h e a l g o r i t h mt oc a r r y i n go u tl a 唱en u m b e r so fe x p e r i m e n t st om a n yk i n d so fe q u i p m e n t i m a g e s ，f i n a l l yr e s u l t si n d i c a t et h a tt h ea l g o r i m mi ss u p e r i o r ，姐dh a ss t r o n gm a t c h i n g a b i l i t ya n dr o b u s t n e s s ，i so n ek i n do ff a i r l yg o o di m a g em a t c h i n ga l g o f i t h ma l l dc a nb e r e a l i z e di m a g er e t r i e v a le x c e l l e n t ly a n a l y z i n gs i f ti n t e r e s tp o i n t ss e t sd i s t b u t i o n ，p u t f 0 r w a r dad e s c r i p t i o nm e t h o df o rp o i n ts e t s ，c o m b i n ed i r e c t i o ni n f 0 r m a t i o no fs i f t i n t e r e s tp o i n t s ，r e a l i z ee q u i p m e n ti m a g ec l a s s i f i c a t i o n f i n a l l y ，ap l a t f o mf o ri m a g e s e a r c ha n dc l a s s i f yi sb u i l d ，w h i c hc a na c h i e v es e a r c ha n dc l a s s i 匆a d o p ts e v e r a lm e t h o d s ， a n dp r o v i d ew e l li n t e r f a c et oo t h e ra l g o r i t h m y u 锄h u i ( c o m m u n i c a t i o n 锄di i l f 0 衄a t i o ns y s t e m ) d i r e c t e db ya s s o c i a t ep r o y up i n g k e yw o r d s ：w a v e l e tt r a n s f o r m ，s i f ti n t e r e s tp o i n t f a s tm a t c h i n g ，p o i n ts e t s 华北电力大学硕士学位论文摘要 摘要 针对电力设备图像检索的需求，本文提出了一种改进的基于兴趣点的匹配算 法，首先利用小波变换对图像降低维数和去除噪声处理，提取其s i f t 兴趣点特征， 同时进行p c a 降维，采用基于k d 树的最近邻法进行快速匹配。通过对各种设备图 像大量的实验，结果表明，该方法具有很强的匹配性和鲁棒性，可以良好的实现设 备图片的检索。分析s i f t 兴趣点点集合分布，提出了一种点集合的描述方法，结 合s i f t 兴趣点的方向信息，实现了对设备图片的分类。最后，构建了一个图片分 类检索的平台，可以采用多种方法对图像进行检索分类，也可为其它算法提供良好 的接口。 关键词：小波变换，s i f t 兴趣点，快速匹配，点集合 a b s t r a c t a c c o r d i n gt ot h en e e d o ft h ee l e c t r i cp o w e re q u i p m e n ti m a g es e a r c h e sa n d r e c o g n i t i o n ，o n ek i n do ft h em a t c h i n ga l g o r i t l l l l lb a s e do ni n t e r e s tp o i n t sh a v eb r o u g h t f 0 州a r d ，f i r s t l ym a k i n gu s eo fw a v e l e t1 r a n s f o n i lt or e a l i z ei m a g ed i m e n s i o nr e d u c t i o n a n dd e - n o i s i n g ， e x t r a c t i n gi t ss i f tc h a r a c t e r i s t i cp o i n t s ，f i n a l l yb a s e df o l l o w s t h e c a r r y i n go u tm a t c h i n gu s i n gn e a r e s tn e i g h b o rm e t h o db a s e do nk dt r c e a d o p t i n gt h e a l g o r i t h mt oc a r r y i n go u tl a 唱en u m b e r so fe x p e r i m e n t st om a n yk i n d so fe q u i p m e n t i m a g e s ，f i n a l l yr e s u l t si n d i c a t et h a tt h ea l g o r i m mi ss u p e r i o r ，姐dh a ss t r o n gm a t c h i n g a b i l i t ya n dr o b u s t n e s s ，i so n ek i n do ff a i r l yg o o di m a g em a t c h i n ga l g o f i t h ma l l dc a nb e r e a l i z e di m a g er e t r i e v a le x c e l l e n t ly a n a l y z i n gs i f ti n t e r e s tp o i n t ss e t sd i s t b u t i o n ，p u t f 0 r w a r dad e s c r i p t i o nm e t h o df o rp o i n ts e t s ，c o m b i n ed i r e c t i o ni n f 0 r m a t i o no fs i f t i n t e r e s tp o i n t s ，r e a l i z ee q u i p m e n ti m a g ec l a s s i f i c a t i o n f i n a l l y ，ap l a t f o mf o ri m a g e s e a r c ha n dc l a s s i f yi sb u i l d ，w h i c hc a na c h i e v es e a r c ha n dc l a s s i 匆a d o p ts e v e r a lm e t h o d s ， a n dp r o v i d ew e l li n t e r f a c et oo t h e ra l g o r i t h m y u 锄h u i ( c o m m u n i c a t i o n 锄di i l f 0 衄a t i o ns y s t e m ) d i r e c t e db ya s s o c i a t ep r o y up i n g k e yw o r d s ：w a v e l e tt r a n s f o r m ，s i f ti n t e r e s tp o i n t f a s tm a t c h i n g ，p o i n ts e t s 声明尸明 本人郑重声明：此处所提交的硕士学位论文电力设备图片特征提取和分类方法的 研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取 得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：一羹敬 日期： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日期： 导师签名： 日期： 华北电力人学硕十学位论文 1 1 选题背景及其意义 第一章引言 随着多媒体技术及互联网的高速发展，数字图像的应用、传播越来越广泛，越 来越多的图像数据库被建立随着数字图像信息的急剧增加，图像信息自身的无序 化问题却越来越突出，有效地组织、管理和检索大规模的图像数据成为亟待解决的 问题。 近些年，电力系统也逐渐实现多媒体化和信息化。一方面，大量变电站都采 用了远程监控系统，并在下层形成了许多中小型无人值守变电所，另外，电力机房 也采用了远程监控的方式对设备进行实时管理，从而有效地降低了人力开支，提高 了管理工作的自动化程度，这就需要很好地识别现场的设备，准确的反映设备的运 行状态。 另一方面，电力系统要求对电力设备建立规范统一的台帐，为提高电力设备管 理水平，建立图文并茂的设备资料台帐是电力设备管理的发展趋势瞳1 。但是，电力 设备数量巨大、种类繁多，如何把这些图像或图片组织起来，可以及时、方便地浏 览它们，对其进行分类检索，或者充分利用其中需要的信息是一个亟待解决的问题。 因此，对电力设备图片特征的分析和有效提取的研究具有重要应用价值和学术意 义。 1 2 国内外研究动态 1 2 1 图像特征提取和检索的发展动态 早在七十年代，人们主要通过对图像进行人工分析、文字著录或标引、建立关 键词、文本标题以及一些附加描述信息作为图像的特征进行提取口儿钔，但文本描述 速度慢、效率低，不能充分描述和揭示图像信息，带有人为主观性，使用起来受到 很多限制，越来越不能满足当前的需求，于是从图像本身的内容出发进行分析图像 信息成为了研究的热点，应用遍及犯罪预防、知识产权保护、军事用途、医疗图像 管理、网络销售和时装设计等领域晴，。研究方向主要可分为以下四个方面哺1 ： ( 1 ) 选择合适的全局特征或低层视觉特征去描述图像内容和采用某种相似性 度量方法进行图像匹配 1 。采用这种策略的代表性工作包括：i b m 开发的 q b i c ( q u e r yb yi m a g ec o n t e n t ) ，m i t 多媒体实验室开发的p h o t o b o o k 、哥伦比亚大 学开发的s u a i s e e k 等。m p e g 7 标准中的视觉特征描述子部分( v i s u a ld e s c “p t o r ) 就是专门针对图像底层特征( 如颜色、纹理和形状) 进行研究的，目前许多研究团体 l 华北电力人学硕十学位论文 和研究机构也正从事这方面的研究睛1 ，例如浙江大学计算机系研究的基于图像颜色 的检索系统和基于图像形状的检索系统、清华大学的i n t e r n e t 上静态图像的基于内 容的检索的原型系统，中国科学院计算机技术研究正在研究的多媒体信息检索系 统，可以在i n t e m e t 上按内容对图像影像信息或文本信息进行检索。只使用图像的 某些全局特征，不能完整地描述图像的内容，因此对现实世界的图像检索准确率不 高【9 1 。 ( 2 ) 基于图像的局部区域进行检索，其主要思想是通过图像分割技术提取出 图像中的物体，然后对于每个区域使用局部特征来描述，综合每个区域特征可得到 图像的特征描述u 们。在这一研究领域中具有代表性的工作有：美国加州大学开发的 图像检索原型系统n e t r a ，b e r k e k e y 大学开发的b l o b w o r l d 、斯坦佛大学与宾州大学 开发的图像库的语义敏感集成匹配( s e m a n t i c s s e n s i t i v ei n t e g r a t e dm a t c h i n gf 0 f p i c t u r e l i b r a r i e s ) 等。尽管这些方法更加贴近于用户查询时的思路，但是由于图像分 割的不准确性导致检索准确率并不高。 ( 3 ) 针对用户的需求进行考虑，借助相关反馈的思想，根据用户需求及时调 整系统检索时用的特征和相似性度量方法1 ，从而缩小低层特征和高层语义之间的 差距m 1 。代表性工作有：美国伊利诺斯大学开发的多媒体分析和检索系统m a r s ( m u l t i m e d i a a n a l y s i sa n dr e t r i e v a ls y s t e m ) 、p i c h u n t e r 等，但相关反馈的思想只是根 据结果不断调整相应参数使检索准确率提高，并没有从根本上解决特征的有效提取 问题。 ( 4 ) 研究如何从多种渠道获取图像语义信息n 引。一种途径是将图像低层特征 与图像关键词结合进行图像自动标注以提高检索准确率。m o r i 等人首先提出了同现 模型( c o o c c u l l r e n c em o d e l ) 该模型利用网格( 鲥d ) 方式将被标注图像分解成图像单 元，计算出相同类别中的对象与关键字的频率，进行概率的统计。另外v a i l a y a 利 用一系列2 类b a y e s 分类器的组合，通过全局的低层视觉信息来获取简单的环境分 类信息。对于简单的环境分类，具有较高的分辨率。由于图像语义的研究还要考虑 人对图像的理解机制，人对图像内容的理解是建立在人类已有知识的基础之上的， 而这些底层特征无法反映这些经验知识。由于上述原因，目前还没有一种完整的基 于语义的图像内容描述方案来支持实际检索过程。 总的来说，根据图像低层次特征如颜色、纹理、形状等的检索有了一定的进展， 但仍然局限于特定的应用领域，性能有待进一步改善，根据高层次语义特征的检索 仍有相当大的难度。目前造成图像检索准确率低的一个非常重要原因是图像的底层 特征与高层语义之间的鸿沟，因此如何提取一些更有效的图像特征描述子，从而更 好地反映图像的高层语义显得尤其迫切。 2 华北电力人学硕十学位论文 1 2 2 图像分类技术的发展 当今国际上图像分类技术的发展研究一般有三个方向n 们。一是利用从图像数据 中提取的新信息和新特征进行分类；二是应用新理论进行分类，如基于分形理论、 共生矩阵、小波理论、曲波理论的图像纹理信息提取或基于模糊理论的混和像元分 解方法等；三是设计新的分类方法，其实现途径千差万别，但一般从两个方向入手 改进经典算法，由于经典算法仍存在不足之处，因此对其进行改进是发展新的分类 算法的有效途径构造新算法n 引随着人们对理论知识的深入研究，可以将新的理论 应用于解决问题和创造算法。构造新算法既可以完全抛弃旧算法，从头开始，也可 以借鉴旧算法的优点，抛弃其缺点，逐步改进。总的来说，图像分类研究目前正朝 着精确、快速的方向发展。 典型的分类方法主要包括监督分类和无监督分类n 引，比较常用的无监督分类法 有均值法，监督分类法有最小距离法、马氏距离法、最大似然法。近年来人们又提 出了一些新的分类方法和分类理论，比如聚类分析、神经网络和支持向量机s v m 算 法等。 聚类分析则属于无监督模式识别，是模式识别研究中的一个重要分支。数据聚 类时没有任何关于样本的先验知识，不需要利用已知类的信息，分类系统通过一种 有效的方法发现样本的内在相似性，使同类型的样本尽可能的相似，而不同类型的 样本尽可能的不同它将从图像中提取出的特征向量以聚类的形式分组，达到图像 分类的目的。 统计分类是在模式识别长期研究发展过程中建立起来的经典分类方法。统计分 类主要研究用概率统计模型得到各类别的特征向量进行分类，而特征向量的分布基 于一个已知类别的训练样本集n7 1 ，因此是有监督学习的分类方法。统计分类研究是 基于数据的机器学习，是现代智能技术中一个十分重要的方面。这种方法从一些观 测样本数据出发，得出尚不能通过理论分析得到的规律或分类决策，再将其应用于 对未知的数据样本进行识别分类，因此统计方法是我们面对数据而又缺乏理论模型 时最常用的一种分析手段传统统计学研究的是渐进理论，即当样本数目趋于无穷 大时的极限特性但在实际问题中样本数目通常是有限的，这使得很多方法都难以 取得理想的效果。 目前，图像检索在电力设备图片管理中还没有得到很好的应用，针对电力设备 图片的特征提取方面研究的也不多，电力系统设备数量巨大，种类繁多，同种种类 的设备又可划分为很多不同的类型，所以对电力设备图片的研究难度比较大，包括 设备图片的特征提取、匹配检索和分类等仍未有较有效并可以广泛适用的相关算 法，有待于进一步的研究发展。 3 华北电力人学硕十学位论文 1 3 课题研究内容 本课题研究的对象主要是电力设备，例如变压器、刀闸开关和各种测试仪表等， 分析发现它们的有效特征，将数字图像转换成若干可表示的数字或描述特征进行提 取，从而可以利用这些特征实现检索和分类。具体工作包括以下几个方面： ( 1 ) 针对电力设备图片自身的特点，从设备本身的纹理结构和所在的背景进 行各方面分析，提取出有效的兴趣点或全局特征等图像特征，使其能够足够的表征 设备图片中目标物的内容信息。 ( 2 ) 利用提取的设备图片特征，进行快速有效的特征匹配，从而实现对图像 进行检索和识别。 ( 3 ) 由于电力设备种类繁多，形态各异，电力设备图片管理还要求实现对各 种设备的有效分类。利用提取出的图像特征，找出同一设备或者同类设备的共同特 征，选取合理的分类器实现对电力设备图片的有效分类。 1 4 论文的组织情况 本论文共分五章，具体组织情况如下： 第一章：引言。介绍论文的选题背景和意义，并对图像特征提取和检索的现状 以及在电力图片管理中的应用做了详细分析，最后对论文的主要工作和组织情况进 行了说明。 第二章：电力设备图片的兴趣点特征提取。对电力设备图片进行s i f t 兴趣点 提取，并对该算法的各种良好的不变性做了系统的分析实验，验证了该算法良好的 稳定性。还对该算法进行了进一步的改进，采用小波变换对图像首先进行预处理， 起到了去除噪声和降低维数的功能，大大减少了运算时间的同时仍然提取到了理想 的图像特征。 第三章：图像的兴趣点匹配。采用k d 树和最近邻算法对提取的兴趣点特征进 行快速有效的匹配，实现电力设备图片的检索功能。 第四章：电力设备图片分类的探讨。根据提取出的设备图片特征，找出同一类 设备的共同特征使其区别于其它设备从而实现对该类设备的分类。 第五章：电力设备图片检索分类系统的设计。详细分析了系统各功能块的设计 思路与实现过程，建立一个基于用户交互的界面平台，为相关的各项研究提供良好 的人性化的结果输出与提取平台。 第六章：总结与展望。对论文所做的工作进行了总结，并对课题研究存在的问 题和下一步的工作做了说明。 4 华北电力人学硕+ 学位论文 第二章电力设备图片的兴趣点特征提取 特征提取是模式识别研究的基本问题之一。对于图像识别而言，提取有效的图 像特征是完成图像识别的首要任务。在电力设备图像的识别和检索中，由于设备本 身的复杂性，使得特征的有效提取一直是个亟待解决的问题。例如变压器、电容器、 电抗器、刀闸开关和各种表盘作为在电力系统被广泛使用的设备，其特征各不相同， 即使同一类设备，它们的颜色形状和结构也千差万别。更重要的是这些设备大多在 室外，背景物体的存在对特征的提取一定程度上有或多或少的影响，因此，基于颜 色、纹理、形状的基于内容的特征提取已不能满足设备图像检索尤其是图像分类的 需要。 点特征又被称作为兴趣点u 引，指的是图像中具有特殊性质的像素点，是图像的 重要特征。它具有旋转不变性和不随光照条件变化的优点。一些图像处理中利用点 特征进行处理既可以减少计算量又不会损失重要的灰度信息。在图像匹配中点特征 也有很重要的应用，利用点特征可以大大提高匹配速度。 点特征主要指图像中的明显点，如建筑物角点、边缘两端、折点等，在图像匹 配和遥感影像定位中很有用。常用的提取方法有边缘提取法、角点检测、兴趣算子 法等，方法虽然不同，但基本原则都是选择局部灰度变化最大点作为特征点，这样 可以保持特征点邻域内的纹理细节，减少后续的误匹配率。用于点特征提取的算子 称为有利算子或兴趣算子。针对点特征的提取的算子也有很多，自七十年代以来出 现一系列各不相同有特色的兴趣算子n 引，知名的有m o r a v e c 算子、h a n n a h 算子与 f o i s t n e r 等。基于s i f t ( s c a l ei i l v 撕a n tf e a t u r et r a n s f o 锄) 啪1 点特征的快速匹配算法作 为目前研究的热点和重点，具有优良的匹配性能，采用该算法对各种图像进行试验， 结果表明，该算法具有较强的匹配性和鲁棒性，是一种较好的图像匹配算法，并且 检索准确率也达到了理想的结果。 2 1s i f t 算法 d a v i dg l o w e 2 1 在2 0 0 4 年总结了现有的许多特征检测方法，正式提出了一种基 于尺度空间的在二维图像空间和尺度空间同时提取极值特征的有效算法，对图像缩 放、旋转、平移、亮度变化甚至仿射变换保持不变性的图像局部特征描述算子一s i f t 算子，其全称是s c a l ei n v a r i a n tf e a t u r e t r a n s f o m ，即尺度不变特征变换。 2 1 1s i f t 算法的优点 s i f t 作为一种基于点特征的匹配方法，首先可以在一定程度上排除背景物体的 影响，同时它在尺度空间内提取图像的局部特征，具有一些独特的优点心引： 5 华北电力人学硕十学位论文 ( 1 ) 对旋转、尺度缩放、亮度变化可保持不变性，对三维视角变化、噪声也 保持一定的稳定性； ( 2 ) 信息量丰富，每个特征点用1 2 8 维的特征向量来描述； ( 3 ) 多量性，简单结构的图像也可以产生大量s i f t 特征向量： ( 4 ) 实时性强，可以快速的提取特征进行匹配： ( 5 ) 可辨别性强，克服了其它特征点存在的信息丢失、位置偏移和易受噪、 提取伪特征点等问题； ( 6 ) 匹配能力较强，可以处理两幅图像之间发生平移、旋转、噪声、尺度变 换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的 特征匹配能力。 2 1 2s i f t 算法的数据结构 s i f t 算法提取的图像特征的信息量特别丰富，从整体上说，在确定特征点时， 可以得到特征点坐标、帧、尺度和方向信息，同时每一个特征点又可以用一个1 2 8 维的描述符所表示。 表2 1s i f t 特征点的数据结构 域名类型说明 i m a g e c o o r d md o u b l e 特征点图像坐标 nd o u b l e i m g i d i n t 特征点所在图像帧 s c a l ed o l i b l c 提取特征点时尺度 o r i e n t a t i o nd o u b l e特征点的方向 d e s c r i p t o r d o u b l e 特征点描述符( 1 2 8 维) 2 1 3 图像多尺度空间 尺度空间理论最早出现于计算机视觉领域，其目的是模拟图像数据的多尺度特 征。随后k o e n d e t i n k 心鲫利用扩散方程来描述尺度空间滤波过程，并由此证明高斯核 是实现尺度变换的唯一线性核，而l i n d 曲e r g 乜4 1 等人进一步证明高斯核是唯一的线性 核。因此，尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换，获得 图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间特征的提取。尺度空 间表示是一种基于区域而不是基于边缘的表达，作为尺度空间理论中的一个重要概 念，尺度空间核被定义为： 丘= k 幸厶 ( 2 一1 ) 对于所有信号_ ，抽，若它与变换核k 卷积后得到的信号，训中的极值( 一阶微分 6 华北电力人学硕十学位论文 过零点数) 不超过原图像的极值，则称k 为尺度空问核，所进行的卷积变换称为尺 度变换。 在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺 度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性带来 的含糊性是具有的，不可避免的，不能企求消除，但可以减小，然而，由于高斯核 具有线性、平移不变性、旋转不变性和子集特性等特性，可以证明，高斯核是实现 尺度变换的唯一变换核。 二维高斯核的定义如公式( 2 2 ) 所示，其中。代表了高斯正态分布。 g h 仃) = 寺g 挑忖 ( 2 _ 2 ) 2 1 4s i f t 算法流程 ( 1 ) 建立高斯金字塔 高斯卷积核是实现尺度变换的唯一变换核。一幅二维图像，在不同尺度下的尺 度空间的表示l k 罗，仃) 可由图像，b 夕) 与高斯核卷积得到，如公式( 2 3 ) ： 三少，= g ( 五y ，回拳，少) ( 2 3 ) 其中，l 表示尺度空间，k ) ，) 表示图像i 上的点，仃是尺度因子，其值越小则 表征该图像被平滑的越大。大尺度对应于图像的概貌特征，小尺度对应于图像的细 节特征。因此选择合适的尺度因子平滑是建立尺度空间的关键。高斯会字塔有d 阶， 一般选择四阶，每一阶有s 层尺度图像，s 一般选择5 层，高斯金字塔的构成如图 1 所示，在同一阶中，相邻两层的尺度因子比例系数是七( 这里取七= 2 ) ，第二 阶的第一层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是七2 仃，然后 第二阶的第二层的尺度因子是第一层的七倍，即j 3 盯，第三阶的第一层由第二阶的 中间层尺度图像进行子抽样获得。其它阶的构成以此类推。 ( 2 ) 建立高斯差分d o g 金字塔 d o g ( d i f i f e r e n c e o f g a u s s i a n ) 高斯差分金字塔即相邻两尺度空间函数之差， d o g 金字塔通过高斯金字塔中相邻尺度空间函数相减即可，所以，由高斯金字塔可 知d o g 金字塔是一个四阶四层的结构，在图2 1 中，d o g 金字塔的第一层的尺度 因子与高斯金字塔的第一层是一致的，其它阶也一样 瞰乃o j = ( 礅奶硎一礅只鳓木如力= 如只纠一如只0 j 。 ( 2 4 ) 七可视为两层相近的尺度之间的比例。d o g 金字塔通过高斯金字塔中相邻尺度 7 华北电力人学硕十学位论文 空间函数相减即可，在图中，d o g 金字塔的第一层的尺度因子与高斯金字塔的第一 层是一致的，其它阶也一样。 尺 翼 第 组 j _ ， 2 薹【o 2 a k d g 高期g a u s s i a n d i f k r c n 饼。fg a u s s i 趴 图2 1 高斯差分金字塔 ( 3 ) d o g 空间的极值检测 在上面建立的d o g 尺度空间金字塔中，d o g 函数中的极值点和尺度是无关的， s i f t 正是利用这一特点，为了检测到d o g 空间的最大值和最小值，d o g 尺度空间 中间层( 最底层和最顶层除外) 的每个像素点需要跟同一层的相邻8 个像素点以及 它上一层和下一层的9 个相邻像素点总共2 6 个相邻像素点进行比较，以确保在尺 度空间和二维图像空间都检测到局部极值。图2 2 中，标记号为叉号的像素值若比 相邻2 6 个像素的d o g 值都大或小，则该点将作为一个局部极值点，记下它的位置 和对应尺度。 8 华北电力人学硕十学位论文 图2 2 尺度空间求极值 ( 4 ) 精确定位特征点位置 由于d o g 值对噪声和边缘较敏感，因此，在上面d o g 尺度空间中检测到局部 极值点还要经过进一步的检验才能精确定位为特征点。下面对局部极值点进行三维 二次函数拟和以精确确定特征点的位置和尺度，尺度空间函数d ( 毛弘仃) 在局部极值 点k ，蜘，仃) 处的泰勒展开式如公式所示 。g 刊= 。k 咿。) + 等石+ 筹x ( 2 5 ) 其中，x = h 仃) 7 ，罢= a d 缸 动 砂 扣 a 仃 a 2 d 萨2 塑：鱼釜二望釜! 二鱼笪二坌出 a 仃24 a 2 d 次2 a 2 d 协 a 2 d a 锻 a 2 d a 砂 a 2 d 咖2 a 2 d a 缈 ( 七当前层，七一l 下层，七+ l 上一层) 塑：衄二二望盈：! 二鱼签二二望美_ 叙盯4 a 2 d 缸盯 a 2 d 砂仃 a 2 d a 盯2 公式( 2 5 ) 中的一阶和二阶导数是通过附近区域的差分来近似求出的，列出 其中的几个，其它的二阶导数以此类推。通过对公式( 2 5 ) 求导，并令其为o ，得 出精确的极值位置x 一，如公式( 2 6 ) 所示： 9 华北电力人学硕十! 学位论文 k - - ( 料罢 沿6 ， 在上面精确确定的特征点中，同时要去除低对比度的特征点和不稳定的边缘相 应点，以增强匹配稳定性，提高抗噪声能力。把公式( 2 6 ) 代到公式( 2 5 ) 中， 只要前两项，得到公式( 2 7 ) ： 。似一) = 。畦警 7 ， 通过式( 2 7 ) 计算出d 似一) ，若l d 伍一】o 0 3 ，则该特征点就保留下来，否 则就丢弃。去除不稳定的边缘响应点：海森矩阵如公式( 2 8 ) 所示，其中的偏导 数是上面确定的特征点处的偏导数。它也是通过附近区域的差分来近似估计的。 日= 医 ( 2 8 ) 通过2 宰2 的海森矩阵h 来计算主曲率，由于d 的主曲率与h 矩阵的特征值成 比例，在此，不具体求特征值，求其比例r a t i o 。设口是最大幅值特征，p 是次小的， 7 = 口，则r a t i o 如公式( 2 1 1 ) 所示。 c ) = 叱+ = 口。+ ( 2 9 ) 眈f ) = d 。一瓯) 2 = 筇 ( 2 一l o ) 阳痂：熙：虹嬖：逊 ( 2 - 1 1 ) d e t k h lq 9y 通过公式( 2 一1 1 ) 求出r a t i 0 ，常取产l o ，若r 口行d + 1 ) 2 7 ，则保留该特征点， 否则丢弃 ( 5 ) 确定特征点主方向 利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子 具备旋转不变性。 ，咒g ，y ) = 乜g + l ，y ) 一l g l ，y ) ) 2 + 亿g ，y + 1 ) 一g ，j ，一1 ) ) 2 ( 2 一1 2 ) p g ，y ) = t a n 一1 “g ，j ，+ 1 ) 一g ，夕一1 ) ) q g + l ，y ) 一g l ，y ) ) ) ( 2 一1 3 ) 公式( 2 1 2 ) ( 2 一1 3 ) 为g ，y ) 处的梯度值和方向。l 为所用的尺度为每个特征点 华北电力人学硕十学位论文 各自所在的尺度，g ，y ) 是要确定是哪一阶的哪一层。 ( 6 ) 生成s i f t 特征点描述符 l z f ：! 巧巧xz。吖一p _ 囔 。7 。“。甲l 鼍l ti 忠 ”、 ，；l 鼍i _ p- j ， q - j ，啼 l * f l 尊、 - 0 一 整 l r zl 夕 。n 、：“ 沙j 一1 k 。；矽一山， 八 一 r ! 关 l 券- 领域梯度方向关键点特征向量 图2 3 关键点邻域梯度信息生成特征向量 如图2 3 所示，以特征点为中心取8 8 的窗口，箭头方向表示像素梯度方向，长 度代表梯度模值，圈内代表高斯加权的范围( 越靠近特征点的像素，梯度方向信息 贡献越大) 。然后在每4 4 的图像小块上计算8 个方向的梯度方向直方图，绘制每个 梯度方向的累加值，形成一个种子点。一个特征点由2 2 共4 个种子点组成，每个种 子点有8 个方向向量信息，。可产生2 2 8 共3 2 个数据，形成3 2 维的s i f t 特征向量， 即特征点描述器，所需的图像数据块为8 8 。这种邻域方向性信息联合的思想增强 了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 在实际计算过程中，为了增强匹配的稳健性，对每个特征点使用4 4 共1 6 个种子点 来描述，每个种子点有8 个方向向量信息，这样对于一个特征点就可以产生4 4 x 8 共1 2 8 个数据，最终形成1 2 8 维的s i f t 特征向量。 此时s i f t 特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续 将特征向量的长度归一化，则可以进一步去除光照变化的影响。这种邻域方向性信 息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供 了较好的容错性。 华北电力人学碗十学仲论文 图2 5 提取s i f t 特征点后的图像 图2 4 为电力系统中经常使用到的几种设备图片，由圈2 5 可以看出，s i f t 算 法所提取的特征及其丰富，特征点繁多而且遍布物体的各个部分，并且每个特征点 l2 华北电力人。学硕+ 学位论文 包含的信息量也非常多，s i f t 点特征的数据结构包括提取的关键点的位置坐标、方 向、尺度大小、帧和尺度空间曲率等，同时每个关键点还可以用一个1 2 8 维的特征 向量来描述。 2 2 2s i f t 兴趣点和h a 币s 角点的比较 图像的特征点又被称作为兴趣点，指的是图像中具有特殊性质的像素点，点特 征是最常见的一种图像特征，常用的提取方法有边缘提取法、角点检测法、兴趣算 子法等，方法虽然不同，但基本原则都是选择局部灰度变化最大点作为特征点，这 样可以保持特征点邻域内的纹理细节，减少后续的误匹配率。 角点是图像的另一个重要的局部特征，其直观定义是指在至少两个方向上图像 灰度变化均较大的点。在实际图像中，轮廓的拐角、线段的末端等都是角点。角点 特征因具有信息量丰富，便于测量和表示，能够适应环境光照变化，尤其适用于处 理遮挡和几何变形问题等优点而成为许多特征匹配算法的首选。这里用图像匹配领 域里另一个点特征h a r r i s 和s i f t 算法做比较。 h a r r i s 角点是c h 秭s 和m s t e p h e n s 涵1 在1 9 8 8 年提出的一种基于信号和图像梯 度的点特征提取算子，其原理为：如果某一点向任何一个方向很小偏移都会引起灰 度的很大变化，这就说明该点是角点。h a 嘶s 算子r 为： 尺= d e t ) 一鼢2 ) ( 2 一1 4 ) 黼嘲= 瞄名跚 ，。g ) ，j ，b ) 和，。b ) 分别为图像点x 的灰度在u 和v 方向的偏导以及二阶混 合偏导；k 为经验值，通常取o 0 4 o 0 6 。当某点的h a r r i s 算子r 大于设定阀值t 时，该点为角点 从以上分析可以看出，h a r r i s 角点提取啪1 的过程可以分成以下几步： ( 1 ) 首先对要处理的灰度图像中的每个像素点，计算其在水平方向和垂直方向 上的梯度，以及二者的乘积，这样可以得到三幅新的图像。三幅图像中的每个像素 对应的属性值分别代表j ，、，和，。然后对这3 幅图像进行高斯滤波，再计算原 图像上对应的每个像素点的兴趣值，即r 值。 ( 2 ) 选取局部极值点。h a 仃i s 方法认为，特征点是局部范围内的极大兴趣值对 应的像素点。因此，在计算完各像素点的兴趣值后，要提取原始图像中所有局部兴 趣值最大的点。实际操作中，可依次从以每个像素为中心的窗口区域中提取最大值， 如果中心点像素的兴趣值就是最大值，则该像素点就是特征点。 ( 3 ) 根据需要提取定数目的特征点。局部极值点的数h 往往微多，可以对所 有的撇值点排序，根掘要求选取兴趣值最大的若r 个像素点作为品后的结果。另外 也可以通过设置兴趣值的门限，选取期望的角点，此时选取的角点数日是不确定的。 h a s 算于是一种有效的点特征提取算予，其优点有”“： ( 1 ) 计算简单。h a m s 算子中只用到耿度的一阶差分，操作简单。 ( 2 ) 提取的点特征均匀而且合理。h a m s 算子对图像巾的每个点都计算其兴趣 值，然后在邻域中选择最优点。实验表明，在纹理信息丰富的区域，h a 丌1 s 算子可 以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少。 ( 3 ) 可定量的提取特征角点。 ( 4 ) 稳定。即使存在有图像的旋转、扶度的变化、噪声影响和视角的变换，它 也是很稳定的一种点特征提取算法。 图2 6s i f t 兴趣点提取结果图27h a 盯l s 角点提取结果 针对同一幅变压器图片，分别进行s i f t 点特征和h a r n s 角点特征提取，实验结 果由图26 所示，s i f t 兴趣点数量多，分布均匀，良好的表征了图片中的目标物体 变压器，如图27 所示，h a m s 角点提取数量少主要分柿在物体结构比较复杂的地 方，相对来说比较集中，而且在图像的边界很容易出现一些错误的兴趣点，所以说 表征目标物体的能力就要差一些。 223 天气变化对特征点提取的影响 图2 8 同一刀闸在晴天和阴天情况下拍摄的图片 图29 晴天和阴天情况下的刀闸图像提取的s f i t 兴趣点 分别对同一刀闸在晴天和阴天所拍摄的图片进行s i f t 特征点提取，图28 是同 一刀闸分别在晴天和阴天情况下拍摄的图片，实验结果由图2 9 可知，虽然由于光 照清晰度等原因，阴天拍摄的图片的s i f t 特征点数目较少于晴天的状态，但总体来 说，不管是提取的特征点数目还是特征点的分布情况都是比较理想的。 华北电力人学硕十学位论文 224 抗噪性分析 缪 ： ： 图2l o六种干扰情况下的刀闸图像 圈21 0 是对v 型刀闸图像分别加入斑点、椒盐、高斯三种噪声和进行抖动、模 糊、加亮处理六种情况下的图像。 华此电力人学颐十学位论文 斑点噪声 图21 2 特征点数目随图像变换参数的变化情况 通过对s i f t 算法和目前点特征提取领域研究比较热门的h a s 角点做了相关 的对比，对图像分别加入斑点、椒盐、高斯三种噪声，通过观察随着噪声参数的变 l7 华匕电力人一t 硕 学化论文 化，提取的特征点数目随之所变化的情况，由图2 1 l ，点代表s i f t ， 代表h a m s ， 可以看出两种算法的变化趋势，s i f t 比较稳定，对噪声的敏感度较低，随着噪声参 数的增大，提取的特征点数变化平稳。h 州1 s 随着参数的增加，特征点数呈不同趋 势地相应增加，通过分析，这些增加的特征点是由于噪声的加入而引起的，是错误 的特征点，所以s i f t 算法抗噪声稳定性要明显强于h a s 。另外，在抖动、模糊、 加亮条件下进行了同样的试验，如图2 一1 2 ，抖动和加亮两种情况下s i f t 特征点还 是非常稳定的，虽然模搬情况下s l f t 特征点数目也呈减少的趋势，但总体上比h a r r i s 要多总的结果表明s i f t 算法要大大优于h