（计算机软件与理论专业论文）基于壁画的对象识别技术研究.pdf

浙江人学硕士学位论文 摘要 摘要 敦煌研究是目前文物保护研究的热门领域。利用计算机技术，智能学习敦煌 壁画，意义重大。本文研究面向高精度敦煌壁画的对象识别方法，研究怎样从一 幅高精度壁画中识别各种壁画对象。目的是减轻研究者用肉眼进行识别的劳动强 度，并为以后在建立壁画的语义数据库及关联检索时，提供可参考的研究方法。 本文概述了对象识别的基本原理和方法，介绍当前应用比较广泛的局部描述 子，并将一种具有特征不变性的局部描述子( s i f t ) 应用到壁画对象的识别中。面 向高精度壁画的对象识别研究通过两个层次进行分别研究。首先，从解决高精度 图像识别对系统的高要求出发，本文研究了大图像的快速访问，并提出多尺度的 大图像存储方式及其浏览工具；然后，根据第一步的大图像多尺度存储方式，选 择一定尺度下低分辨率的压缩图，研究基于s i f t 的壁画对象识别。 本文深入研究基于s i f t 的壁画对象识别过程，开发了基于s i f t 的壁画对象 识别的原型系统。并针对s i f t 描述子在壁画对象识别中存在的不足，提出了一 种有效的改进方法：在特征描述中加入形状空间，扩展s i f t 描述子。 关键词：高精度壁画，多尺度，特征不变性，s i f t 描述子，对象识别，形状空 间 浙江大学硕十学位论文 a b s t r a c t a b s t r a c t d u n h u a n gc u l t u r a lr e s e a r c hi so n eo ft h em o s tp o p u l a rf i e l d si nt h ep r e s e r v a t i o n o fc u l t u r a lr e l i c sa tp r e s e n t i t sb e a r i n gm o s t l yt os t u d yi n t e l l i g e n t l yo nd u n h u a n g f r e s c o su s i n gc o m p u t e rt e c h n i q u e t h i sp a p e ri sd e d i c a t e dt ot h er e s e a r c ho fh i 曲 r e s o l u t i o nf r e s c ob a s e do b j e c tr e c o g n i t i o n i ts t u d i e sh o wt or e c o g n i z ek i n d so f o b j e c t s f r o mah i g h r e s o l u t i o nf r e s c o i ta i m st or e l e a s et h er e s e a r c h e r sf r o mr e c o g n i z i n g t h r o u g ht h e i re y e s i ta l s op r e s e n t sam e t h o df o re s t a b l i s h i n gs e m a n t i cd a t a b a s eo i l f r e s c o sa n dr e s e a r c h i n gr e l a t i v e l y t h i sp a p e rs u m m a r i z e st h eb a s i ct h e o r i e sa n dm e t h o d so no b j e c tr e c o g n i t i o n ，a n d i n t r o d u c e st h el o c a lf e a t u r ed e s c r i p t o rw h i c hi su s e dw i d e l yi no b j e c tr e c o g n i t i o n a n i n v a r i a n tl o c a lf e a t u r ed e s c r i p t o rc a l l e ds i f ti s a p p l i e dt or e c o g n i z i n go b j e c t sf r o m f r e s c o si n t h i sp a p e r h i 曲r e s o l u t i o nf r e s c oo r i e n t e d0 b je c t r e c o g n i t i o ni ss e p a r a t e d i n t ot w oa s p e c t s f i r s t ，i no r d e rt or e s o l v et h ep r o b l e mt h a th i 曲r e s o l u t i o ni m a g e r e c o g n i t i o nr e q u i r eh i 曲l ys y s t e m ，t h ep a p e rs t u d i e sh o wt oa c c e s st h ei m a g eq u i c k l y , p r e s e n t sam u l t i s c a l em e t h o do fl a r g e s c a l ei m a g es t o r a g e ，a n df i n a l l yc o m p l e t e sa v i e wt o o lt o l a r g e s c a l ei m a g e s e c o n d ，t h i sp a p e rs t u d i e so ns i f tb a s e do b j e c t r e c o g n i t i o no ft h er e d u c e di m a g e sf r o ma b o v em u l t i - s c a l ei m a g ea r c h i t e c t u r e t h i sp a p e rs t u d i e st h o r o u g h l yt h ep r o c e d u r eo ff r e s c o so r i e n t e do b j e c tr e c o g n i t i o n w h i c hi sb a s e do ns i f t , a n dap r o t o t y p es y s t e mi s d e v e l o p e da c c o r d i n gt o t h e p r o c e d u r e t or e s o l v et h es i f t i n s u f f i c i e n c i e si nf r e s c o s - b a s e dr e c o g n i t i o n ，t h i sp a p e r a l s op r o v i d e sa ni m p r o v e df e a t u r ed e s c r i p t o rw h i c ha d d st h e s h a p ec o n t e x tt os i f t d e s c r i p t o r k e y w o r d s ：h i 曲r e s o l u t i o nf r e s c o ，m u l t i s c a l e ，i n v a r i a n tf e a t u r e ，s i f td e s c r i p t o r , o b j e c tr e c o g n i t i o n ，s h a p ec o n t e x t 浙江大学硕士学位论文图目录 图目录 图2 1 对象识别简单框图7 图3 1 图像金字塔结构1 9 图3 2 图像金字塔结构1 9 图3 3 权值函数的形状与参数a 问的关系图2 1 图3 4 存储结构图2 2 图3 5 图像文件命名规则2 3 图3 6 建塔过程图2 4 图3 7 采样分块间关系图2 5 图3 8 菩萨图像金字塔2 5 图3 9 图像显示过程图2 6 图3 1 0 大图像浏览流程图2 7 图3 1 1c p a r i m a d n o d e 类成员图2 8 图3 1 2c p a r i m a d 类成员图2 8 图3 1 3c l m a g e n o d e 类成员图2 9 图4 1 高斯空间和高斯差分空间图3 2 图4 2 高斯尺度空间极值点检测图3 3 图4 3 由关键点领域梯度信息生成关键点描述图3 6 图4 4 关键点描述文件3 7 图4 5 最近邻与次近邻比值分析图3 9 图4 6 任意边界点的向量表示4 0 图4 7 广义h o u g h 变换参考点检测4 1 图4 8 褪色严重的壁画和保存比较好的壁画4 5 图4 9 原图及其反色的高斯差分绝对图4 6 图4 1 0 形状空间描述4 7 图5 ，l 基于壁画的对象识别系统框图5 0 图5 2 特征点检测与描述流程图5 1 图5 3s i f t 特征点检测模块流程图5 2 图5 4s i f t 用来作为训练对象的菩萨图5 3 图5 5 高斯空间和高斯尺度空间5 4 图5 6 训练佛像的s i f t 特征点检测结果5 5 图5 7 两幅待识别菩萨像的s i f t 特征点检测结果5 5 图5 8 两幅待识别菩萨像的s i f t 特征点检测结果5 6 图5 9 特征匹配流程图5 7 图5 1 0 单个特征点匹配结果5 8 图5 1 1h o u g h 聚类特征点匹配结果5 9 i i i 塑垩查兰堡兰篁堡文 图目录 一 = ： 图5 1 2 快速消错配得到的匹配结果5 9 i v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：钐1 囊竞 签字日期： p 。3 年月1 日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权澎鎏盘堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 刀1 袁妻 导师签名： 动物移 掷期：昭年6 月7 日 槲期：劢年否月7 日 浙江大学硕：上学位论文第1 章绪论 第1 章绪论 1 1 课题背景及意义 敦煌莫高窟融建筑、彩塑、壁画为一体的综合艺术，是我国也是世界现存规 模最宏大、保存最完整的佛教艺术宝库，由此而来的“敦煌学”也成为世界范围 的学术。但是，随着时间的流逝，也随着人类活动的日益影响，这些珍贵的文物 也逐渐被破坏。如何利用先进的技术手段来保护敦煌莫高窟，意义重大。 对敦煌壁画的研究，是属于敦煌研究的一部分。传统的方法是依靠研究者用 人工的方式，靠肉眼来辨别各种纷繁复杂的图案和色彩资源，以期从中能够找出 有用的文化艺术信息；或者把壁画临摹下来，辨别出自什么朝代和仔细分析它的 时代风格，希望以此能够创造出敦煌风格的图画作品；还有的是手工画出壁画的 线描图，分析不同洞窟壁画的线描图的线描风格等来学习当时的绘画手法和了解 当时的绘画水平。但这样的效率是十分低下的。敦煌莫高窟又称千佛洞，包含了 几百个洞窟，而每个或大或小的洞窟里面，四周墙壁，包括穹顶，都被历朝历代 所遗留下来的图案信息所淹没，简直可以说是一个巨型的仓库，仅靠传统的方式 是难以想象的。 本课题的实施可以为敦煌的研究人员提供辅助的工具软件，减轻研究者用肉 眼进行识别的劳动强度，加速研究进展。本课题中识别出的对象可以为将来进一 步风格比较研究提供基础素材。同时，所研究的技术为以后的海量壁画数据库的 语义检索和关联提供技术参考。 1 2 本文研究内容 本文主要研究内容是基于高精度壁画的概念对象识别，从现有的壁画中将各 种壁画形象，如佛祖、飞天、装饰、各种建筑等壁画元素从纷繁复杂的背景图象 中识别并标示出来。目的是从项目现有的技术难点出发，研究基于壁画的对象识 别方法，最终能实现一个简单的壁画元素识别的原型系统。 浙江大学硕上学位论文 第1 章绪论 基于壁画的对象识别面临两个关键问题。首先，本文的研究对象是大尺度高 分辨的壁画图像，一个壁画文件的存储空间高达几百m 甚至几个g 。与普通图像 的对象识别不同，高精度壁画需要的存储空间大，造成系统开销大，处理时间长。 如果按照简单图像的处理方式来分析高精度的壁画，不仅效率低下或根本无法处 理，还可能会造成系统崩溃；其次，敦煌壁画上起十六国，下至元代，历史悠久， 由于原料中铅成分的影响，以及光照、氧气、温湿度、工业气体、霉菌、细菌等 外部自然因素和人为因素的影响，损坏严重，色彩大多褪变，且这种现象仍在持 续。要将这些模糊畸变的壁画形象从复杂背景中进行识别，寻找一种相对有效的 方法，也很具有挑战性。 本文的研究内容主要包括两个部分。首先，针对高精度壁画识别对系统的高 要求，解决大图像快速访问问题，提出了金字塔结构的图像存储方式，实现多尺 度分块存储，并实现基于多尺度的大图像快速浏览工具。然后，以多尺度图像存 储为平台，选取一定尺度下的小图像或图像区域作为壁画识别对象，借助现有新 技术和关键算法，充分发挥它们在壁画对象识别中的作用，提出了基于s i f t 的 壁画对象识别方式，以及研究了更高效的壁画识别方法。 1 3 本文组织结构 本文主要介绍高精度壁画图像的对象识别的相关工作、关键技术和系统实 现，并对完成的情况做总结。分五章进行描述，下面分别介绍一下每章的具体内 容。 第一章，本章概要介绍了本文的研究背景、研究目的和对象、研究 价值、研究中的主要问题以及主要工作内容，并对文章的 组织结构作了介绍。 第二章，概述了对象识别方面的关键技术，以及在对象识别过程中 的关键要素，并分析了该技术领域的发展现状和主要瓶颈 问题。 第三章，作为高精度壁画识别的前提，本章对高精度壁画的高效存 2 浙江大学硕，l 二学位论文 第l 章绪论 储和访问方式进行了研究。首先提出大图像的概念，目前 在大图像处理和分析方面面l 临的困境，然后提出了支持大 图像快速访问的高斯金字塔存储方式，最后对大图像快速 访问的实现作了详细介绍及效果分析。 第四章，详细讨论了基于s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 的壁画对象识别技术过程，包括s i f t 特征点的检测和描 述、基于特征点的图像匹配分析。并提出对s i f t 的改进描 述方法和一个高效的特征点错配消除方法。 第五章，介绍了壁画元素识别系统。对各模块作用作详细介绍，并 详细分析实验结果。对实验效果和目前的问题进行了总结 和讨论。 1 4 本章小结 当前，国家文物保护工作不断发展，但保护和研究水平还比较低，亟需引入 新技术，利用现代科技手段。本文旨在通过计算机技术辅助研究者开展研究工作， 研究基于高精度壁画的对象识别技术。针对高精度壁画识别的难点，分大图像的 快速访问存储研究和面向壁画元素的识别技术研究两个层次来进行研究。 本章还对本文的组织安排作了简要概述：首先提出问题及其研究目的和价 值，再对相关技术发展现状作综述，然后分两章分别介绍两个层次的研究，即大 图像的快速访问存储方式研究和在一定小尺度图像上研究基于s i f t 的壁画识别， 接着对实验结果进行分析和探讨，最后是对本文研究工作的总结。 浙江人学硕：卜学位论文第2 章对象识别相关技术概述 第2 章对象识别相关技术概述 2 1 引言 数字图像识别所提出的问题，是研究用计算机代替人自动地去处理大量的物 理信息，解决人类生理器官所能识别或不易识别的问题，从而部分地替代人的脑 力劳动，它属于模式识别的范畴，也可以把模式识别狭义地理解为图像识别1 1 ，2 1 。 目前，对图像的识别主要集中在对图像中感兴趣的内容( 目标) 的分类、分析和描 述。本文中的对象识别专指针对敦煌壁画中元素的识别，例如敦煌壁画中的佛祖、 飞天等画面元素。 对象识别与图像处理的关系非常密切，互相交错，很难把它们截然分开，为 了进行图像识别，首先要进行图像处理，而有时候处理和识别是同时进行的。一 般来说，图像处理包括图像编码，图像增强，图像压缩，图像复原和图像分割等 内容，对图像处理环节来说，输入是图像，输出也是图像。而对象识别以研究图 像的分类与描述为主要内容，找出图像各个部分的形状和纹理等特征，亦即特征 提取( f e a t u r ee x t r a c t i o n ) ，以便对图像进行分类，并对整个图像作结构上的分析。 因而对对象识别环节来说，输入是图像( 通常是处理过的图像) ，输出是类别和图 像的结构分析，在对象识别的特征提取过程中，常常也包括对图像的分割( i m a g e s e g m e n t a t i o n ) 。 对象识别的研究涉及许多学科，许多不同领域的科技工作者都在从事这方面 的工作，在过去的几十年中，各种对象识别算法相继出现。本章主要就基本的图 像对象识别原理和方法作介绍，并讨论了现在国内外比较热门的局部描述子。 2 2 对象识别概述 2 2 1 对象识别关键要素 由于拍摄时间、拍摄角度、自然环境的变化、多种传感器的使用和传感器本 身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸 变。有时是在不同场景下的对象图像，这时的对象也可以有各种动作表象，比如， 4 浙江大学硕l 学位论文第2 章对象识别相关技术概述 在人脸识别中，人可能有各种各样的表情和动作等。在这种条件下，识别算法如 何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现成为 人们追求的目标。为解决上述图像识别困难，人们提出了许多识别算法，而它们 都是由如下四个要素组合而成【3 】： 1 特征空间 特征空间是由参与匹配的图像特征构成的，选择好的特征可以提高匹配性 能、降低搜索空间、减小噪声等不确定性因素对匹配算法的影响。相似匹配过程 可以使用全局特征或者局部特征以及两者的结合。 2 相似性度量 相似性度量指用什么度量来确定待匹配特征之间的相似性，它通常定义为某 种代价函数或者是距离函数的形式。据统计，到1 9 7 9 年，已经有包括内积、d i c e 系数和j a c c a r d 系数等在内的6 0 多种不同的相似性度量 4 1 。经典的相似性度量包 括相关函数和m i n k o w s k i 距离，近年来人们提出了归一化积相关( p r o d ) 、h a u s d o r f 距离( h d ) 【5 1 、：e n , g ( m i ) t 6 1 作为匹配度量。h a u s d o r f 距离对于噪声非常敏感，分 数h a u s d o r f 距离能处理当目标存在遮挡和出格点的情况，但计算费时；基于互信 息的方法因其对于照明的改变不敏感已在医学等图像的匹配中得到了广泛应用， 它也存在计算量大的问题，而且要求图像之间有较大的重叠区域。 3 搜索策略 搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最 优估计，使得图像之间经过变换后的相似性最大。搜索策略有穷尽搜索、分层搜 索、模拟退火算法、p o w c l l 方向加速法、动态规划法、遗传算法和神经网络等。 遗传算法采用非遍历寻优搜索策略，可以保证寻优搜索的结果具有全局最优性， 所需的计算量较之遍历式搜索小得很多；神经网络具有分布式存储和并行处理方 式、自组织和自学习的功能以及很强的容错性和鲁棒性，因此这两种方法在图像 识别中得到了更为广泛的使用。 在成像过程中，由于噪声及遮挡等原因，导致一幅图像中的特征基元在另一 幅图像中有几个候选特征基元或者无对应基元，这些都是初级视觉中的“不适定 浙江大学硕士学位论文第2 章对象识别相关技术概述 问题”，通常在正则化框架下用各种约束条件来解决。常用的约束有唯一性约束、 连续性约束、相容性约束和顺序一致性约束。文献1 7 1 中首先提取左右图像中的线 段，用对应线段满足的全局约束、相容性约束、邻域约束等表示h o p f i e l d 神经网 络的能量函数，通过最小化能量函数得到两幅图像中的对应线段，提高了匹配的 可靠性。同时人们还采用最小平方中值法和投票算法等后处理来有效地消除误配 点。 4 变换类型 图像几何变换用来解决两幅图像之间的几何位置差别，它包括刚体变换、仿 射变换、投影变换、多项式变换等。有了这些变换关系后，可以对识别出的对象 进行图像定位。 仿射变换是常用的一种图像几何变换。设( 而，咒) 是图像中某一像素点的坐 标，经过仿射变换后的坐标为( 艺，) ，则有如下关系： = 小木隘等心 眩， 其中t x 和f ，是石和y 方向的平移量，9 是旋转角，s 是尺度因子，求解这四个 参数即确定了一个仿射变换。 2 2 2 对象识别系统 一个对象识别系统能够自动处理某些信息的机器系统，以便从一定程度上代 替人完成分类和辨识的任务。对象识别系统可分为四个主要部分，如图2 1 所示， 其基本职能就是对系统所要识别的图像是否包含训练对象做出判决。 6 浙江大学硕上学位论文 第2 章对象识别相关技术概述 数据获取 1r i预处理 1r 信息处理特征提取 r 判决 图2 1 对象识别简单框图 第一部分，信息的获取。它相当于对被研究对象的调查和了解，从中得到数 据和材料，对识别来说就是把图片，底片，文字，图形等用光电扫描设备变换为 电信号已备后续处理。 第二部分，信息预处理。预处理的目的是去除噪声，加强有用的信息，并对 由输入设备或其他因素造成的退化现象进行复原，以利于特征提取的进行。 第三部分，信息的加工与处理。它的作用在于把数据材料进行加工，整理， 分析，归纳以去伪存真，去粗取精，抽出能反映事物本质的特征。当然抽取什么 特征，保留多少特征与采用何种判决有很大关系。经过预处理后的数据维数很高， 为了有效地实现分类识别，需要对原始数据进行变换，得到最能反映原始模式本 质的特征向量。把原始数据组成的空间叫做测量空间，把分类识别赖以进行的空 间叫做特征空间。通过变换可以把在维数较高的测量空间中表示的模式变为在维 数较低的特征空间中表示的模式，这就是特征的提取和选择。一组稳定的、具有 代表性的特征，是一个识别算法的核心，因此，采用不同特征的识别算法尽管分 类策略相同也应属于不同的算法。 第四部分是判决。这相当于人们从感性认识上升到理性认识而做出结论的过 浙江大学硕十学位论文第2 章对象识别相关技术概述 程。它与特征提取得方式密切相关。它的复杂程度也依赖于特征的提取方式。例 如，类似度，相关性，最小距离等。 2 2 3 对象识别方法 2 2 3 1 基于灰度相关的匹配识别 基于灰度相关的匹配算法是一种对待识别图像的像元以一定大小窗口的灰 度阵列按某种或几种相似性度量顺次进行搜索匹配的方法【8 】。这类算法的性能主 要取决于相似性度量及搜索策略的选择上。匹配窗口大小的选择也是该类方法必 须考虑的问题，大窗口对于景物中存在遮挡或图像不光滑的情况会出现误匹配的 问题，小窗口不能覆盖足够的强度变化，因此可自适应调整匹配区域的大小来达 到较好的匹配结果。设参考图像巧的大小为m x b ，输入图像r ( a ，6 ) 打的大小是 m ，其中m m ，n 疗。y ( a ，6 ) 打表示输入图像以( 口，6 ) 为中心，与参考图 大小相等，对应( f ，j ) 位置的像素灰度。 1 归一化积相关灰度匹配 归一化积相判8 】是一种典型的基于灰度相关的算法，具有不受比例因子误差 的影响和抗白噪声干扰能力强等优点，它使用的相似性度量定义如下： r ( a ，b ) = 】，( 口，6 ) 扩 i = 1 ，= i 匦i=1j = l ；丽。； ( 2 2 ) 通过比较参考图像和输入图像在各个位置的相关系数，相关值最大的点就是 最佳匹配位置。 2 序贯相似检测算法( s s d a ) 序贯相似检测算澍9 1 是一种快速图像匹配算法，它使用下式作为相似性度量： 浙江大学硕士学位论文第2 章对象识别相关技术概述 d ( a ，6 ) 2 去善善l y ( a , b ) u - 乃l 2 3 ) s s d a 以随机不重复的顺序选取像元对( f ，j ) ，在进行上述求和时不需要计算 所有像素，只要其和超过某一设定的阈值，则说明当前位置为非匹配位置，停止 本次计算，否则进行下一位置的测试，直到找到匹配点为止。 基于灰度相关的匹配能够获得较高的定位精度，但是它计算量大，难以达到 实时性要求，而且一旦进入信息贫乏区域，会导致误匹配率的上升。 2 2 3 2 基于特征的识别 为克服基于灰度相关匹配方法的缺点，人们提出了基于特征的匹配方法，该 类方法首先从待配准的图像中提取特征，用相似性度量和一些约束条件确定几何 变换，最后将该变换作用于待匹配图像。匹配中常用的特征有边缘、轮廓、直线、 兴趣点、颜色、纹理等。 1 基于兴趣点的识别 人们早先使用图像的边缘特征进行匹配，但是它计算比较费时，因此后来又 提出用信息含量高、数量相对少的局部特征即兴趣点代替边缘来计算两幅图像之 间的相似性。 兴趣点是图像灰度在x 和y 方向都有很大变化的一类局部特征点。它包含角 点、拐点以及t - 交叉点等。定位精度、重复率和信息含量是衡量兴趣点检测算子 的标准。m o r a v e c 【1 q 在1 9 7 7 年就提出t t u 用图像灰度自相关函数的兴趣点检测算 子；h a r r i s 【1 1 1 等人提出了m o r a v e c 算子的改进算子，实验表明，该算子对于图像 存在旋转、照明变化和透视变形时是稳定的。文献【1 2 1 使用h a r r i s 检测器提取兴趣 点，通过变归一化相关，沿极线寻找一幅图像中兴趣点的对应点，接着使用第三 幅图像来得到更准确的对应；j a l l e a 【1 3 】提出了基于小波变换的分层图像匹配算法， 在分解后的每一层图像中提取兴趣点进行匹配，用并行策略进一步提高速度。 2 基于矩特征的识别 矩作为图像的一种形状特征，已经广泛应用于计算机视觉和模式识别等领 浙江大学硕十学位论文第2 章对象识别相关技术概述 域。h u 1 4 】在代数不变量的基础上首先提出了几何矩的概念，并使用几何矩的非线 性组合，导出了具有尺度、平移和旋转不变性的矩不变量。几何矩存在信息冗余 方面的缺欠，而且对噪声比较敏感。后来，人们又推导出了正交的z e m i k c 矩和 l e g e n d r e 矩。文献【l5 】使用矩不变量作为匹配特征，模糊不相似性作为匹配度量， 提出了最优匹配对理论并加以证明；h u a n g 和c o h e n t t 1 6 】提出了一个曲线匹配的算 法，使用加权b 样条曲线矩，解决了仿射变换和遮挡问题。使用矩的匹配方法无 需建立点的对应信息，它的缺点是不能检测图像的局部特征，需要对图像进行分 割，而且只适用于发生了刚体变换的图像。 基于特征的匹配对于图像畸变、噪声、遮挡等具有一定的鲁棒性，但是它的 匹配性能在很大程度上取决于特征提取的质量，而且匹配精度不高。 2 2 3 3 基于模型的识别 模板匹配方法在计算机视觉和模式识别等领域中的应用也非常广泛，它可以 分为刚体形状匹配和变形模板匹配两大类。在刚体形状匹配中，原型模板通过平 移、旋转和尺度化等简单变换达到和目标图像的匹配，但是它不能处理目标形状 存在较大变形时的问题，为此。人们提出使用变形模板匹配方法。j a i n t l 7 】将变形 模型分为自由式变形模型和参数式变形模型。 k a s s 提出的“s n a k e ”模型主动轮廓模型f 1 8 】是比较典型的自由式变形模板模 型。s n a k e 是能量极小化的样条，模板不包含目标的全局结构，它只受局部连续 性和平滑约束。给定一初始轮廓，它在下面三种能量的驱动下改变轮廓的位置和 形状： a ) 约束轮廓形状的内部能量； b ) 将轮廓吸引到显著特征的图像力； c ) 引导它的行为的外力。 当由上述三项构成的能量函数最小时得到最终的图像特征。由于不受全局结 构的限制，所以s n a k e 模型能表示任意的形状，但是该模型对于模板的初始位置 和噪声比较敏感，对于凹边缘的收敛性差，而且容易陷入局部最小值。 1 0 浙江大学硕：i ：学位论文 第2 章对象识别相关技术概述 参数化的变形模板使用了几何形状的一些先验信息，模板用少量的参数来表 示，典型的例子包括：g r e n a n d e r 的模型、活动形状模型和b l a k e 的活动轮廓。两 种方法可以用来表示参数化变形模板： 1 ) 用参数化曲线的集合表示，模板的几何形状通过改变参数值而改变； 2 ) 参数映射下的原型模板图像，它通过指定一个原型模板来描述一类目标 的形状，该类目标的各种形状都是通过对原型进行参数映射而得到的， 不同的参数值可以得到不同的形状。 在上面两种表示方法中，变形模板通过图像力动态调整参数达到和图像特征 之间的交互作用。和主动轮廓模型相似，参数式变形模板用内部能量和外部能量 的加权和构成的目标函数确定一个变形模板和给定图像中目标的匹配程度。 l i 【1 9 1 使用主动轮廓模型对可见光图像和s a r 图像进行匹配。该方法首先提取 可见光图像的轮廓作为s n a k e 的初始模板，对该初始模板进行变形从而提取s a r 图像的轮廓，之后在提取出来的两幅图像的轮廓上选择控制点计算变换参数。此 外，变形模板在图像分割和图像检索中也得到了非常广泛的使用。 2 2 3 4 基于变换域的识别 频域匹配技术对噪声有较高的容忍程度，检测结果与照度无关，可处理图像 之间的旋转和尺度变化【2 0 1 。常用的频域相关技术有相位相关和功率倒谱相关，其 中相位相关技术使用相对广泛。 通常相位相关方法是将参考图像与待识图像分别进行傅立叶变换。当两幅图 像之间存在平移时，他们的傅立叶变换幅值相同，只有一个相位差，用交叉功率 谱表示这一相位差。相位差的傅立叶反变换在平移位置是一个脉冲函数，因此， 相位相关技术就是确定交叉功率谱相位傅立叶反变换的峰值位置。 除了傅立叶变换外，还可以选择更可靠，更符合人眼视觉生理特征的g a b o r 变换以及小波变换进行图像匹配。 2 2 3 5 支持向量机的识别 v v a p n i k 提出的支持向量机( s u p p o r tv e c t o rm a c h i n e ，即s v m ) 的基本思想 浙江大学颂一l j 学位论文第2 审对象识别相关技术概述 是【z i j ：先在样本空问或特征空间，构造出最优超平面，使得超平面与不同类样本 集之间的距离最大，从而达到最大的泛化能力。支持向量机结构简单，并且具有 全局最优性和较好的泛化能力，自2 0 世纪9 0 年代中期提出以来得到了广泛的 研究。支持向量机方法是求解模式识别和函数估计问题的有效工具。s v m 在数字 图像处理方面的应用是：寻找图像像素之间的特征的差别，即从像素点本身的特 征和周围的环境( 1 临近的像素点) 出发，寻找差异，然后将各类像素点区分出来。 识别技术从2 0 世纪2 0 年代发展至今，数学家、信息学专家和计算机科学工 作者近几十年来的努力，已经取得了系统的研究成果。人们的一种普遍看法是不 存在对所有模式识别问题都适用的单一模型和解决识别问题的单一技术，我们必 须把已有的工具袋，结合实际应用，将各种方法取长补短，最终达到解决实际问 题的目的和效果。 2 3 局部特征描述 一个计算机对象识别系统基本上是由三个相互关联而又有明显区别的过程 组成的，即图像预处理、图像分析与提取和特征匹配。图像预处理将输入的原始 图像信息进行图像格式变换、灰度化、增强等图像处理，成为计算机易于进行特 征分析的形式。图像分析是对数据进行n i ，包括特征选择、特征提取、数据维 数压缩和决定可能存在的类别等。对象分类则是利用图像分析所获得的信息，对 计算机进行训练，从而制定判别标准，以期对待识对象进行分类。 对象识别过程中最重要的是找到一种，旋转，缩放，仿射变换不变性的特征 向量，来表示图像的特征。从而以该特征描述作为识别和分类的依据。目前各种 图像处理技术和分类方法都比较成熟了，但寻求一种好的描述算子依然是研究的 热点和重点。本节就当前国内外特征表述比较热门的局部描述子作介绍和分析。 2 3 1 边缘、梯度和角点 在对象识别过程中，对象特征是识别基础。图像基本特征一般表现为图像中 边缘、梯度和角点的关系。 数字图像的边缘检测是图像分割，目标区域识别和区域性状提取等图像分析 浙江火学硕士学位论文第2 章对象识别相关技术概述 领域十分重要的基础，是图像识别中提取图像特征的一个重要方法。图像理解和 分析的第一步往往就是边缘检测。物体的边缘以图像局部特征不连续的形式出 现，也就是指图像局部亮度变化最显著的部分，例如，灰度值的突变，颜色的突 变和纹理结构的突变等，同时物体的边缘也是不同区域的分界处。图像边缘有方 向和幅度两个特性，通常沿边缘走向的像素灰度变化平缓，垂直于边缘走向的像 素灰度变换剧烈，根据灰度变化的特点，可分为阶跃型，房顶型和凸缘型，这 些变化对应图像中不同的景物。需要注意的是，实际分析中图像要复杂得多，图 像边缘的灰度变化情况并不仅限于上述标准情况。 由于边缘是图像上灰度变化最剧烈的地方，传统的边缘检测就是利用了这个 特点，对图像各个像素点进行微分或求二阶微分来确定边缘像素点。一阶微分图 像的峰值处对应着图像的边缘点；二阶微分图像的过零点处对应着图像的边缘 点。根据数字图像的特点，处理图像过程中常采用差分代替导数运算，对于图像 的简单一阶导数运算，由于具有固定的方向性，只能检测待定方向的边缘，所以 不具有普遍性。为了克服一阶导数的缺点，可以计算图像的梯度。图像梯度的重 要性质是，梯度的方向在图像灰度最大变化率上，它恰好可以反映出图像边缘上 的灰度变化。 角点是二维图像亮度变化剧烈的点或图像边缘曲线上具有曲率极大值的点， 其信息含量很高，可以对视觉处理提供足够的约束。角点的数目相对于图像象素 点总数来说十分之少，这样可以极大地提高了计算速度。因此，它非常适合作为 图像特征点。 2 3 2 局部特征的起源和发展现状分析 目前应用比较广泛的特征提取是局部特征提取。不像模板匹配中需要遍历图 像的每个部分，局部特征提取通过从图像中提取能代表图像特性的特征点，然后 对这些特征点进行匹配，要求选取的特征点至少对某些图像变换具有稳定性。 局部特征提取起源于运动分析的跟踪算法，h a n n a h e 2 2 】和m o v a r a c l 2 3 1 提出了关 于角点的最原始的算法。h a r r i s 和s t e p h e n s t 2 4 】把这个原始想法形式化为结构张量 浙江大学硕上学位论文 第2 章对象识别相关技术概述 ( 或称二阶矩矩阵) 的两个特征值的性质问题。在此基础之上，各种不同的角点检 测子被提出来，都是对结构张量两个不同的特征值的不同组合。早期的角点匹配 主要用于运动跟踪和小的视角匹配。因为角点并未附加图像的灰度信息，图像的 匹配是纯粹的几何坐标匹配，通过坐标约束来剔出错误的匹配。这种方法不适合 于大的视角匹配，张正友【z 5 】提出把兴趣点附近的图像区域提出来进行相关匹配。 这之前也有一些候选点检测子被提出，包括线段分割【2 6 1 ，边缘聚类【2 7 】 2 8 】， 区域表达【2 9 】等方法，但这些特征点稳定性不太好，用来进行对象识别效果不理想。 直接对图像块的相关匹配不能解决图像的旋转变化，尺度伸缩，更别提仿射 变换了，s c h m i d 和m o h r 3 0 】也用h a r r i s 角点检测来提取兴趣点，但提出微分不变 量来描述局部图像的信息，以解决旋转不变性的问题。而l o w e 3 l 】基于l i n d e b e r g 的尺度空间理论【3 2 】解决了尺度不变性的问题。l o w e 的一个主要贡献是提出了 s i f t 描述子，这个描述子具有很好的性能。m i k o l a j c z y k 和s c h m i d 3 3 】又基于 l i n d e b c r g 的理论实现了仿射不变性的问题。 图像处理和表示中早期遇到一个很大的困难是图像的描述是依赖于图像的 尺度的。图像的各种结构只存在一定的尺度范围内。所以发展了各种多尺度图像 表示方法，包括图像金字塔、四叉树方法。尺度空间理论是系统解决图像尺度 问题的理论。1 9 8 3 年，w i t l d n 3 5 】在西方最早提出尺度空间理论来解决信号处理的 多尺度问题，主要针对一维信号问题。k o e n d r i n k 给出g a u s s i a n 尺度空间理论是 唯一合理的信号多尺度表示的证明，并推广尺度空间理论到二维以及多维信号。 k o c n d r i n k 进一步提出了可用高斯微分型表式图像的结构，这是s c h m i d 的工作根 源。f l o r a c k 和l i n d e b e r g 等人对尺度空间的公理化进行了系列研究。可以说现在 尺度空间理论有着极其坚实的数学基础。尺度空间形式化为热扩散方程归功于 k o e n d r i n k ，这开辟了用偏微分方程解决图像问题的源头。 小波变换也是图像多尺度处理的方法，但由于信号的小波表示强调没有冗 余，所以对图像的高层语义处理不利。因此，小波表示多用于图像的底层处理， 如图像压缩等。冗余的g a b o r 小波表示常用于纹理分析，也是局部特征表示的方 法之一。l i n d e b e r g 则给出了一个确定图像特征的尺度选择理论，根据这个理论可 1 4 浙江人学硕十学位论文第2 章对象识别相关技术概述 以为图像的各种结构自动获得尺度，为对特征的进一步处理提供基础。这是l o w e 的s t 方法的基础。 局部特征目前的研究检测部分已经比较成熟了。现在关注点是描述部分。目 前最好的描述子是s i f t 描述子。但是这类描述子最大的缺陷是高维，存储和欧 式距离的计算都成问题。对大数据量的问题，比如图像检索，会构成性能的瓶颈。 现在主要方法是进行聚类，生成特征码本，这样在进行特征匹配时候就不用两两 匹配。问题在于码本的码的个数会影响到描述子的独特性。并且k 平均值聚类倾 向于集中于数据高密度区域，使得数据量少但特征显著的区域被合并成一个区 域，导致描述子的独特性极大下降。另外码本的聚类需要极大的数据量，由于高 维大数据量的聚类耗时严重，所以发展了层次聚类来降低这种耗费。然而这些都 是以牺牲描述子的独特性为代价的。 如何获得一个独特性好并且维度低的描述子仍然是个挑战。b r o w n 的c v p r 文纠3 6 】提出一个学习局部描述子的空间结构来提高描述子的性能。对于特征检 测，将图像分割的区域作为特征区域对待，也是研究趋势之一。 2 4 本章小结 通过概述对象识别技术的基本原理和方法，我们对对象识别有了基础认识。 本章介绍了对象识别的关键要素，包括特征空间、相似性度量、变换类型和搜索 策略，这些要素在第四章中都会涉及到。对现有的对象识别方法进行了分类描述， 目前应用比较广的是基于特征的识别，本文的识别就是基于特征的识别，属于兴 趣点的识别。 本章还介绍了对象识别过程中用到的图像关键特征元素，边缘、梯度和角点。 本文的特征点的检测和描述也依赖于这些图像基本特征。目前对象识别方面的难 点就是找到一种稳定的描述子，能很好的描述对象特征，方便分类，可以说特征 点的描述是目前对象识别的瓶颈。因此，重点讨论了局部特征描述子的起源和发 展趋势，同时对特征提取的各种方法进行比较。 浙江大学硕士学位论文第3 章多尺度的大图像快速访问存储研究 第3 章多尺度的大图像快速访问存储研究 3 1 引言 本文的研究对象是大尺度高分辨的壁画图像，一个壁画文件的存储空间高达 几百m 甚至几个g 。如果用普通的图像浏览器，显示速度很慢，或者在有限的内 存空间可能根本无法浏览，或者在运行时由于内存页面的大量换入换出而浪费处 理时间，甚至造成系统崩溃。而且在对高精度的大图像进行图像处理和分析时也 会遇到相同的问题。因此，研究高精度壁画的对象识别，首先必须研究高精度大 图像的快速访问存储方式。 本文在综合分析现有问题的基础上，参照已有相关科研成果，开发了一个大 图像的快速浏览工具，其图像的存储方式是进一步的对象识别基础，并为其它图