（模式识别与智能系统专业论文）基于微分几何方法的动态纹理分析.pdf

硕士学位论文 基于微分几何方法的动态纹理分析 摘要 动态纹理是指具有稳态特征的图像序列( 稳态特征有时间相关性) ，它们描述诸如 波浪、瀑布、烟雾等动态场景。在模式识别中，特征提取是最基本的问题之一。首先， 我们采用基于频谱的方法和基于灰度共生矩阵的方法来抽取动态纹理的特征；其次， 我们选择支持向量机来构造分类器，这种分类器对于小样本分类具有良好的分类效 果。就纹理的频谱特征而言，采用常用核函数的支持向量机能得到良好的分类效果， 分类正确率达到9 6 以上。对于基于纹理灰度共生矩阵的方法来说，由于特征维数较 大，需要采用合适的特征选择方法。针对这一问题，我们采用微分几何的方法来解决： 一是将线性的主成分分析推广到曲线上，即采用微分几何中的主曲率方法，其实质是 在欧氏空间中嵌入一维流形。二是采用微分几何中的切距离，将其引入到核函数中， 构造切距离的核函数，进而构造切距离核的主成分分析方法。这种核主成分分析方法 利用非线性映射将原始数据映射到高维的特征空间，并在高维特征空间实施相应的线 性操作。本文的实验表明，采用核主成分分析方法对动态纹理进行分类获得的效果比 采用线性主成分分析方法的结果要更好些。最后，我们采用切距离的核函数的支持向 量机对动态纹理实施分类。 关键字；动态纹理微分几何流形切距离支持向量机主成分分析 核函数主曲率 硕士学位论文基于微分几何方法的动态纹理分析 a b s t r a c t d y l l l l m i ct e x t u r e sa l et h ei m a g es e q u e n c e sw i t ht i m e - r e l a t e ds t a t i o n a r ye h a r a c t e r i s t i e s 1 1 蟑yd e s c r i b ed y n a m i cs c e n e r i e ss u c ha st h ew a v e s t h ew a t e r f 甜l sa n dt h es m o k e s f e a t u r e e x t r a c t i o ni so n eo ft h ef u n d a m e n t a li s s u e si np a t t e r nr e e o g n i t i o nf i r s t l y , w ec h o s et w o a p p r o a c h e so ff e a t u r ee x t r a c t i o n o n ea p p r o a c hi sb a s e d 瑚o nt h ef e a t u r e so ft h et e x t u r e s s p e c t r a li m a g e s a n o t h e ra p p r o a c hi sb a s e du d o nt h ef e a t u r e so ft h et c x t u r e f fg r a yl e v e l c 0 c u r r e n c ym a t r i c e s t h e nw ec h o s es u p p o r tv e c t o rm a c h i n e ( s v m ) a st h ec l a s s i f i e r s v mi sc h o s e nd u et oi t sn i c ep e r f o r m a n c ea ts m a l ls a m p l es i z e s t h er e g u l a rs v m d a s s i t i c a t i o nk e r n e lf t m e t i o n sh a v ea b o v e9 6 r e c o g n i t i o nr a t ef o rt h ef e a t u r e so ft h e s p e c t r a li m a g e s a p p r o p r i a t ef e a t u r es e l e c t i o nf o rt h e 黟a yl e v e lc o c u r r e n c ym a t r i c e si s n e c e s s a r yb e c a u s eo ft h e i rv a s td i m e n s i o n s w ea p p l yd i f f e r e n t i a lg e o m e t r i cm e t h o d st o a d d r e s st h i si $ $ l l e f i r s tw ee x t e n dt h el i n e a rp r i n c i p a lc o m p o n e n t sa n a l y s i s ( p c a ) t o c i l i v e s ，t h a ti s ，t h ep r i n e i p a lc u r v e sm e t h o di nd i f f e r e n t i a lg e o m e t r y t h ee s s e l l c ei s1 d e m b e d d e dm a n i f o l df nt h ee u e l i d i 勰s o a c e s e c o n d l y , w eu s et h et a n g e n td i s t a n c ec o n c e p t i nd i f f e r e n f i a lg e o m e l r y , i n c o r p o r a t et h et a n g e n td i s t a n c e si n t ot h ek e m e lf u n c t i o n s ，c r e a t e t a n g e n td i s t a n c ek e r n e lf t m c t i o n s , a n df u r t h e rc l e & t et a n g e n td i s t a n c ek p c a ( k e r n e l p r i n c i p a lc o m p o n e n t sa n a l y s i s ) 1 1 l i sa p p r o a c ho f k p c ap r o j e e t st h eo r i g i i l a ld a mi n t ot h e h i g h e r d i m e n s i o n a lf e a t u r e s p a c e sb y n o n l i n e a r p r o j e c t i o n s ，a n di m p l e m e n _ c s t h e c o r r e s p o n d i n gl i n e a ro p e r a d o n si nt h eh i g h e rd i m e n s i o n a 重f e a t u r es p a c e s f o rd y n a m i c t e x t u r e s ，t h ee x p e r i m e n t si nt h i st h e w ss h o wt h a tt h er e s d t so f k p c aa r eb e t t e rt h a nt h a to f t h el i n e a rp c a f i n a l l y , w cu 辩t h e t a n g e n td i s t a n c ek e m ds v m t od oc l a s s i f i e a t i o nf o rt h e d y n a m i ct e x t u r e s k e yw o r d s ：d y n a m i ct e x t u r e s ，d i f f e r e n t i a lg e o m e t r i c ，m a n i f o l d , t a n g e n t d i s t a n c e ，s u p p o r t v e c t o r m a c h i n e ( s v m ) ，p r i n c i p a l c o m p o n e n t sa n a l y s i s ( p c a ) ，k e r n e lf u n c t i o n ，p r i n c i p a l c u r v e s n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：翅妇卅年月班 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：到墨盘叼年6 月咖 颈士学位论文基于徽分几何方法的动态纹理分析 1 绪论 1 1 动态纹理分析的研究背景 1 1 1 纹理分析的研究现状 纹理分析是模式识别领域的一个重要研究内容。无论从理论角度来讲，还是从直 觉常识出发，纹理信息显然是描述和识别图像的一个重要依据。纹理是图像的一个重 要而又难以用数学方式描述的特性，关于图像纹理至今没有公认的严格定义。简单来 说，纹理是图像局部不规则而全局又呈现出某种规律性的物理现象。它反映了物体表 面的颜色和灰度的某种变化，而这些变化又与物体本身的属性相关。一般来说，纹理 有如下3 个基本要素【l 】：( 1 ) 某种局部序列性在更大的区域内不断重复。( 2 ) 序列是由 基本部分非随机排列组成的。( 3 ) 各部分大致都是均匀的统一体，纹理区域内任何地 方都有大致相同的结构尺寸。 同其它图像的特征或描述相比，纹理性质能更好地兼顾图像的宏观和细节两个方 面。因此，图像纹理分析已经在许多领域得到了广泛的应用。例如，通过分析气象卫 星云图的纹理来识别各种云【2 】。在遥感图像中，沙漠图像的灰度空间分布性质与森林 图像的灰度空间分布性质有显著差异，因此分析卫星遥感图像的纹理特征，可以进行 区域识别。在森林的开发利用、城市规划、预防土地荒漠化等领域纹理分析也有非常 重要的应用。在生物信息获取方面，对细胞图像、催化帮表面等显微图像的纹理分析， 可以得到细胞性质的鉴别信息和催化剂的表面活性信息。就海洋波浪而言，波浪的波 长越长，图像的纹理就越粗。由于波浪与浪高有密切关系，因此通过分析波浪的纹 理，就可获得波浪的波长、走向和浪高信息。在计算机动画制作过程中，还可以通过 研究场景中动态纹理的特性来有效地模拟动态的场景【3 】。在医学方面的心电图分析， 地质方面的地层影像追踪以及地表影像的分析与解读都与纹理分析有着密切的关系。 近年来，许多国内外学者把纹理分析应用在物体表面缺陷的无损检测上，以提高工业 产品生产加工的自动化水平。由此可见，纹理的应用遍布了入们的生活领域。 1 1 2 动态纹理的研究 在过去的二十年，统计及相关的方法被广泛地应用于分析和理解图像中。纹理的 统计特征由j u l e s z 4 7 仓l j 始于四十年前，在二维纹理分析、识别和合成领域已经有了大 量的工作。 相比之下，动态纹理和纹理电影( t e x t u r em o v i e s ) 的特定领域的研究工作相对较少。 实际上，动态纹理是动态场景的一组图像序列，它在空间和时间上呈现出静态纹理的 硕士学位论文基于微分几何方法的动态纹理分析 某些性质。动态纹理与静态纹理区别在于：动态纹理由几帧连续的图像组成，在某一 固定时刻，呈现出静态纹理图像的特征。假设 奶) ，t = l 一研是一个图像序列，在时 刻t ，) 们= i ( f ) + 疗( f ) 。朐为t 时刻对图像的观察，哟为f 时刻图像的噪声。这就是 d o r e t t o 等人对动态纹理图像的定义 4 1 。 1 , e v o y 和w e i 5 】建议通过创建可重复的序列将其方法扩展到时变纹理。这个方法 的局限性非常明显，因为它仅能快速合成小部分的纹理，却很少或几乎不能深入的理 解纹理。还有不少基于物理学的算法被用来处理特定的动态纹理，并在粒子系统上运 用了仿真技术。这些方法计算量大，只适用于特殊的纹理。b 盯- j o s e p h 【6 7 l 用多分辨率 分析树来分析和合成二维纹理，并把这思想推广到动态纹理。对于二维纹理，通过从 输入得到的合并m r a 树构建一种新的m r a 树；此算法与d cb o n e r 算法不同，d e b o n e r 的方法是作用于单个纹理样本，利用三维小波变换来构建m r a 树，该方法在 二维情形下褥到了很好的结果，但在计算合并的m r a 树之后只能合成一个有限长度 的序列。b a t - j o s e p h 的方法抓住了动态纹理参数的本质，利用离线计算得到的参数可 以生成无限长的序列。s z m m c r 和p i c a r d s , 9 1 关于时变纹理模型的工作使用了类似的方 法。他们使用时- 空白回归模型。此模型增加了邻域因果关系约束条件，甚至对空问 领域也是如此。文献【1 0 将图像的每个像素表示为一个自身增量值和一个高斯白噪声 的线性组合。文献【1 1 】把纹理图像合成工作推广到视频序列。该方法利用离散转移矩 阵来对动态序列进行建模。由于模型中不包含连续动态特性，因此无法有效处理人体 运动等具有复杂动态特性的序列。文献 1 2 1 q ，s o a t t o 等人提出可以使用a r m a 模型 来描述动态序列。a r m a 模型的方法充分利用了动态序列的固有动态特性，可以很 好合成简单的动态纹理序列。但是如果序列的复杂程度超出了线性动态系统所能表示 的范围，这类方法将不再适用。而且，单一线性系统在一段时间的自然演化之后会收 敛到系统稳态。更糟的是，如果线性动态系统不稳定就会导致发散。针对以上方法的 不足，文献【1 3 】提出一种描述动态序列非线性动态特性的混合模型，即运动纹理模型。 文献【1 3 】研究的动态序列包括人体运动，一些可以用纹理图像描述的自然现象如烟、 水、雾等。这类动态序列包含着共同特性，这个共同特性就是产生这些现象的物理机 制十分复杂。因此，一般很难通过物理分析的方法对它们建模。而在另一方面，可以 很容易收集这类动态序列的样本，这样就可以利用统计方法分析样本来得到描述序列 的统计模型。该文中提出一种新的统计模型，可以利用动态序列样本来学习模型参数， 并利用模型来合成与原始样本统计特性类似的新动态序列。与纹理图像类似，也可以 将动态序列视为一个统计过程。两者的不同点是纹理图像由二维空间随机过程产生， 而动态序列则由一维时空随机过程产生。运动纹理模型是一个两层模型：其底层包括 一组纹理基元( t e x t o n ) ，而高层描述纹理基元的统计分布。该模型通过学习一组运动 基元及其统计分布，可以很好地表示序列的局部线性动态和全局动态特性。使用运动 2 硕士学位论文基于微分几何方法的动态纹理分析 纹理模型，可以方便地合成动态序列。该文作者用一些人体运动合成和视频图像合成 的实例验证了运动纹理模型的效果。运动纹理模型可以自动地将动态序列分解成一些 基本单元并且在分解过程中完成对序列的标记和分割。因此，利用该模型也可以用于 分析动态序列文献【1 3 】还指出，由于运动纹理模型完全基于统计学习方法，没有考 虑动态序列包含的物理特性。因此如何结合物理模型将是今后的研究目标。此外，运 动纹理模型只使用了两层结构。如何进一步得到描述动态序列的具有高层语意结构的 模型，仍是一个尚待解决的问题。 1 2 基于支持向量机的分类器的优点 在模式识别系统中，分类器的选择至关重要。本文选择了在小样本学习和预测中 有良好效果的支持向量机作为分类器。 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据即样本出发 寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。包括模式识别、神 经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。传统统计学研 究的是样本数目趋于无穷大时的渐近理论，现有学习方法也大多是基于此假设。但在 实际问题中，样本数目往往是有限的，因此一些理论上很优秀的学习方法实际中表现 却可能不尽人意。与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y 或 s l t ) 是一种专门研究小样本情况下机器学习规律的理论。v v a p n i k 等人从六、七十 年代开始致力于此方面的研究【1 4 1 。到九十年代中期，随着其理论的不断发展和成熟， 也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越 广泛的重视 t s , t 6 。 统计学习理论建立在一套较坚实的理论基础之上，为解决有限样本学习闯题提供 了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决 的问题( 比如神经网络结构选择问题、局部极小点问题等) 。同时，在这一理论基础上 发展了一种新的通用学习方法支持向量机( s u p p o r tv e c t o rm a c h i n e 或s v m1 ，它己 初步表现出很多优于已有方法的性能。一些学者认为，s v m 正在成为继神经网络研 究之后新的研究热点，并将有力地推动机器学习理论和技术的发展。 支持向量机是一种新颖的小样本学习方法。它基本上不涉及概率测度及大数定律 等，因此不同于现有的统计方法。从本质上看，它避开了从归纳到演绎的传统过程， 实现了高效的从训练样本到预报样本的过程，大大简化了通常的分类和回归等问题。 支持向量机的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向 量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾”。 综上所述，支持向量机方法是建立在统计学习理论的v c 维理论 ( v a p n i k - c c r v o n e n k i st h e o r y ) 和结构风险最小原理基础上的，根据有限的样本信息在模 3 硕士学位论文基于微分几何方法的动态纹理分析 型的复杂性和学习能力之间寻求最佳折衷，以期望模型获得最好的推广能力。支持向 量机方法的几个主要优点有【1 7 1 ： 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅 是样本数趋于无穷大时的最优值； 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最 优点，解决了在神经网络方法中无法避免的局部极值问题； 算法将实际问题通过非线性变换转换到高维的特征空间( f e a t u r es p a c e ) ，在高 维空间中构造线性判别函数来实现原空间中的非线性判别函数，这种特殊性 质能保证分类器有较好的推广能力，同时它巧妙地解决了维数问题，使算法 复杂度与样本维数无关； 在支持向量机方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶 斯分类器、径向基函数( r a d i a lb a s i cf u n c t i o n 或r b f ) 、多层感知器网络等许多学习 算法。 1 3 研究内容和论文的结构 本文从动态纹理分类的角度出发，利用支持向量机作为分类器对动态纹理进行分 析。本文的创新点在于，对纹理的分析结合了微分几何中的一些方法，如流形空间中 的切距离、特殊的一维流形一主曲率等，并改进了支持向量机的核函数。主要的研究 工作包括以下几点： ( 1 ) 研究了纹理在不经过特征提取而直接在灰度级上分类和经过特征提取再分 类的性能，并做了性能分析。通过对纹理的灰度级特征和变换到频域上的特征进行比 较与分析，表明频域特征能较好地反应纹理特性。 ( 2 ) 经典的支持向量机是两类分类问题，针对多类别分类，本文采用了“一对一” 和“一对多”两种分类方法，并对实际结果进行了比较。 ( 3 ) 通过实验对比，分析了采用线性主成分分析对纹理特征降维后的分类结果。 ( 4 ) 比较了使用核的主成分分析和使用线性主成分分析在纹理特征的分类。 ( 5 ) 把切距离核函数应用到支持向量机的纹理分类上。 全文的体系结构如下： 第一章：介绍动态纹理分析的研究现状，支持向量机作为分类器的优点，阐述课 题研究的意义和全文的体系结构。 第二章：介绍了支持向量机的工作原理，研究现状及应用。 第三章：介绍了纹理的特征，对纹理的灰度级特征和变换到频域上以后的特征进 行比较，以及介绍纹理图像灰度共生矩阵。 第四章：对纹理特征进行维数约简，借助主成分分析的方法降维。对原始维数和 t 4 硕士学位论文基于微分几何方法的动态纹理分析 降维后的维数分类结果进行比较。 第五章：介绍主成分分析的非线性推广在纹理分析中的应用，介绍了两种主成分 分析的非线性推广方法。一种是核的主成分分析方法，另一种是主曲率方法提出切 距离及切距离核函数方法，给出使用核的主成分分析和使用线性主成分分析在纹理特 征分类上的比较。 第六章：对支持向量机的核函数进行改进，把切距离核函数应用到纹理分析上。 5 硕士学位论文 基于微分几何方法的动态缝至! 兰堕 2 支持向量机的纹理分类 2 1 小样本的学习与预测 预测学习方法是机器学习的一个重要研究领域，绝大部分机器学习算法的应用都 涉及到对数据的预测性学习，目的是从已知样本数据中估计相关性以达到准确预测将 来的数据变化。经典的模式识别方法，各种统计方法以及近些年来出现的各种神经网 络算法都被应用于估算这种数据中固有的相关性，试图建立一个能预测未来数据的模 型。虽然，这些应用在一些特殊的领域取得了一定的进展，并且提出了一些新的概念 和方法，但是，这些方法有其固有的算法缺陷。例如，由于不知道数据的分布密度以 及有限的训练数据，常常导致了病态的训练结果，预测效果往往不尽人意。人们迫切 需要关于预测学习算法共同的概念和理论框架以及更高效的预测学习方法。 到目前为止，几乎所有的预测学习算法都可以归结为以下三类i l 嚣】： 1 传统的统计预测方法 这类方法是在参数结构形式已知的前提下，通过训练数据，预测各参数的值，例 如最d , - 乘法。应用这些预测方法除了需要很强的先验知识外，还需预先知道模型的 结构形式。但是，在处理大量的实际预测问题时，常常不知道背景知识，面对一大堆 采样来的数据，也不知道模型的结构形式。由于传统统计学研究的前提是样本数目趋 于无穷大时的渐进理论，而参数预测方法几乎都是建立在这一前提基础之上的。因此 只有当采样数据趋于无穷时，参数方法的训练结果才趋于真实的模型。但是由于实际 样本数目是有限的，很难满足这一前提。 2 经验非线性预测方法 8 0 年代发展起来的人工神经网络和柔性统计方法就属于这一类。虽然，这些新 的方法克服了参数预测方法的部分弱点，能够依照需要假设数据内在相关性来构造非 线性模型。然而，这些非线性方法缺乏统一的数学理论基础，通常是从生物学的理论 和一些学术流派中得到灵感，对于诸如神经网络中的结构选择和权重的初值设定，仍 需要借助于经验。而且，得到的模型通常是局部最优解，而非全局最优。 3 统计学习理论 早期的统计学习理论( s t a t i s t i c a ll e a m i n gt h e o r y ) 是从6 0 年代发展起来的，直到 9 0 年代，它一直是作为一种针对有限样本的函数预测问题的纯理论分析工具。虽然 早期的统计学习理论提出了v c 维理论，为衡量预测模型的复杂度，提出了有效的理 论框架。但是，它仍然是建立在经验风险最小化原则基础之上，即：以训练的平均误 差为最小的模型作为期望的最终模型。所以，早期的统计学习理论一直停留在抽象的 6 硕士学位论文基于微分几何方法的动态纹理分析 理论和概念的探索之中，直到9 0 年代初期，v c 维理论还没有得到很好的应用。9 0 年代中期，v a p n i k 和他的a t & tb e l l 实验室小组提出了s v m 算法，迸一步丰富和发 展了统计学习理论，使它不仅是一种理论分析工具，还是一种能构造具有多维预测功 能的预测学习算法的工具，使抽象的学习理论能够转化为通用的实际预测算法。在统 计学习理论基础之上发展起来的s v m 算法，是一种专门研究有限样本预测的学习方 法。与传统统计学相比，s v m 算法没有以传统的经验风险最小化原则作为基础，而 是建立在结构风险最小化( s m x e t u r a l 融s km i n i m i z a t i o n ，s r m ) 原理基础之上，发展成 为一种新型的结构化学习方法。它能很好的解决有限数量样本的高维模型的构造问 题，而且所构造的模型具有很好的预测性能。s v m 算法有很多成功的应用都说明了 这种基于v c 维理论而发展起来的结构化学习方法的潜在优势。更重要的是：作为 s v m 算法基础的v c 维理论和结构最小化原则也为进一步完善传统的统计预测方法 和经验非线性预测方法提供了理论基础和统一的理论框架。如何在此框架下重颏构建 各类预测方法，解决许多原来难以解决的问题，进一步发展和完善s v m 算法是当前 有待解决的一个问题。 2 2 支持向量机的工作原理 支持向量机的基本思想是：通过某种非线性映射，将输入向量x 映射到一个高维 的特征空间，在这个高维的特征空间中，构造最优分离超平面。如图2 2 1 所示 特征空问中的 l 、 ， 输入空闻 图2 2 1 ( a ) 输入空间与高维特征空间之间的映射关系 7 硕士学位论文基于微分几何方法的动态纹理分析 图2 2 1 ( b ) 输入空间与高维特征空间之间的映射关系 首先，考虑一个非线性的映射o ：而_ 刁。其中，一为输入空间的输入向量，z 。 为高维的特征空间z 的向量。如果在z 中求解最优分离超平面，就需要在高维特征空 间计算内积( ( 砷( t ) ) ，则定义这个内积为核函数，墨，功= ( t ) 7 ( 功。这样 可以得到在高维特征空间中的最优分离超平面。“分类规则”可由如下的决策函数来 表示： 7 ( 砷= j f 纠( j ，。哦足( t ，功+ 6 ) ( 2 1 ) 输出 ( 决策规则) 输入向量z 图2 , 2 2 支持向量机网络 s 硕士学位论文 基于徽分几何方法的动态纹理分析 图2 2 2 形象化地给出了支持向量机工作的逻辑概念框架。它与神经元网络最大 的差别是，神经元网络中的节点是。无结构单元”，这样，在进行训练学习过程中无 法控制其学习能力，这种学习能力可能是无穷大，因而容易出现过学习现象。而支持 向量机网络，其中的学习单元是有结构的，而且通过结构风险最小化归纳原理控制了 此学习单元的v c 维的上界。也就是限制了学习单元的学习能力，因此不易出现过学 习现象。 支持向量机的重要特征之一是解的稀疏性，即多数最优值口。为0 ，只有少量的吼 不为0 ，也就是说只需少量样本( 支持向量) 就可构成最优分类器，这样有用的样本 数据大大压缩。这也就是本文选择支持向量机作为分类器的原因。 总之，支持向量机具有结构简单、推广性能好、学习速度快、优化求解时具有唯 一的极小点等优点：另外，通过修正核函数，可以得到各种不同的分类曲面。 2 3 支持向量机的研究现状及应用 2 3 1 支持向量机的研究现状 由于支持向量机方法较好的理论基础和它在一些领域的应用中表现出来的优秀 的推广性能，近年来，许多关于s v m 方法的研究，包括算法本身的改进和算法的实 际应用，都陆续提了出来。尽管s v m 算法的性能在许多实际问题的应用中得到了 验证，但是该算法在计算上存在着一些问题，包括训练算法速度慢、算法复杂而难以 实现以及检测阶段运算量大等等。传统的利用标准二次型优化技术解决对偶问题的方 法可能是训练算法慢的主要原因：首先，s v m 方法需要计算和存储核函数矩阵，当 样本点数目较大时，需要很大的内存，例如，当样本点数目超过4 0 0 0 时，存储核函 数矩阵需要多达1 2 8 兆内存；其次，s v m 在二次型寻优过程中要进行大量的矩阵运 算，多数情况下，寻优算法占用了大量的算法时间。s v m 方法的训练运算速度是限 制其应用的主要原因，近年来人们针对方法本身的特点提出了许多算法来解决对偶寻 优问题。大多数算法的一个共同的思想就是循环迭代：将原问题分解成为若干子问题， 按照某种迭代策略，通过反复求解子问题，最终使结果收敛到原问题的最优解。根据 子问题的划分和迭代策略的不同，又可以大致分为两类【m 。 第一类是所谓的“块算法”( c h u n k i n ga l g o r i t h m ) 。“块算法”基于的是这样一个 事实，去掉l a g r a n g e 乘子等于零的训练样本不会影响原问题的解。对于给定的训练 样本集，如果其中的支持向量是已知的，寻优算法就可以排除非支持向量，只需对支 持向量计算权值( 即l a g r a n g e 乘子) 即可。实际上支持向量是未知的。因此“块算 法”的目标就是通过某种迭代方式逐步排除非支持向量的样本点。具体的作法是：选 9 硕士学位论文基于微分几何方法的动态纹理分析 择一部分样本构成工作样本集进行训练。剔除其中的非支持向量的样本点，并用训练 结果对剩余样本进行检验，将不符合训练结果( 一般是指违反k k t 条件) 的样本， 或其中的一部分样本与本次结果的支持向量样本合并成为一个新的工作样本集。然后 重新训练如此重复下去直到获得最优结果。当支持向量的数目远远小于训练样本数 目时，“块算法”显然能够大大提高运算速度。然而，如果支持向量的数目本身就比 较多，随着算法迭代次数的增多，工作样本集也会越来越大，算法依旧会变得十分复 杂。因此第二类方法把问题分解成为固定样本数的子问题：工作样本集的大小固定在 算法速度可以容忍的限度内，迭代过程中只是将剩余样本中部分“情况最糟的样本” 与工作样本集中的样本迸行等量交换，即使支持向量的个数超过工作样本集的大小， 也不改变工作样本集的规模，而只对支持向量中的一部分进行优化。 固定工作样本集的方法和块算法的主要区别在于：块算法的目标函数中仅包含当 前工作样本集中的样本，而固定工作样本集方法，虽然优化变量仅包含工作样本，其 目标函数却包含整个训练样本集，即工作样本集之外的样本的l a g r a n g e 乘子固定为 前一次迭代的结果，而不是像块算法中那样设为o 。而且固定工作样本集方法还涉及 到一个确定换出样本的问题，因为换出的样本可能是支持向量。这样，这一类算法的 关键就在于找到一种合适的迭代策略使得算法最终能收敛并且较快地收敛到最优结 果。 2 3 2 支持向量机的应用 支持向量机主要有以下几个方面的应用嗍 1 文本分类【捌 文本分类的任务是将自然文本( 超文本) 文件根据内容分为预先定义的几个类别。 很多领域都有这种问题，包括邮件过滤、网页搜索、办公自动化、主题索引和新闻故 事的分类因为一个文件可以分给不止一个类别，所以尽管这不是一个多分类问题， 但可以视作一系列两分类问题，分别属于各类。 2 二维图像分类 目前的二维图像分类，主要是针对自然景物的分类。文献 2 l 】以彩色直方图为输 入特征，利用支持向量机对c o r a l 数据库中的自然景物图像进行分类。 3 手写数字识别 支持向量机在现实世界应用的第一个例子就是手写字符识别问题。这个问题通常 用作分类器的测试平台，最初是为满足美国邮政服务局使用手写邮政编码自动分类邮 件的需要提出的。s v m 的不同模型在两个数字集做过测试，这两个数字集分别由 u s p s ( 美国邮政服务局) 和n i s t ( 家标准技术局) 公开提供。u s p s 数据集包含7 2 9 1 个调练样本，2 0 0 7 个测试样本，用2 5 6 维的向量( 1 6 1 6 矩阵) 表示，每个点的灰度值 1 0 硕士学位论文基于微分几何方法的动态纹理分析 从0 到2 5 5 n i s t 数据集是为了做测试平台用的，包括6 0 0 0 0 个训练样本和1 0 0 0 0 个测试样本。图像用2 0 x 2 0 的矩阵表示，其中各项也是灰度值。v a p r l i l 【和他的合作 者处理过这个问题，实验结果在b a r g e s ，c o r t e s ，v a p n i k 等学者的一些系列论文中报 告过圈。 4 三维物体识别 三维物体识别是模式识别的重要应用领域，包括从人脸识别p 1 到自动目标识别。 5 其他应用 除了上述应用领域外，支持向量机还被用于语音鉴定嗍、时序预测、函数优化 与回归嘲、生物信息学等领域中。 支持向量机的应用同其理论的发展相比要滞后许多，因此，如何将支持向量机更 好的应用到实践当中去，这是一个尚待解决的课题。 硕士学位论文 基于微分几何方法的动态纹理分析 3 纹理的特征提取 3 1 纹理特征 纹理是物体表面的固有特征之一，因而也是图像区域的一种重要属性。纹理信息 显然是描述与识别图像的一个重要依据。纹理是图像分析中常用的概念，在生活中也 常常能够用到它。但是，目前对纹理尚无正式的，统一的定义。人们常常可以判断出 纹理的存在性，但却缺少对纹理比较严格的定义。一个原因是人们对纹理的感受是与 心理效果相结合的，所以用语言或文字来描述纹理通常很困难。纹理可认为是在灰度 或颜色空间以一定形式周期性变化而产生的图案州。它是一种不依赖于颜色或亮度 且能反映图像中同质现象的视觉特征。一般来说，可以认为纹理是由许多相互接近的、 相互编制的元素构成( 它们常常富有周期性) ，所以直观来说，纹理描述可提供图像 区域的平滑、稀疏、规则性等特征。从心理学的观点，人类观察到的纹理特征包括粒 度、方向性和重复性等。纹理和图像频谱中的高频分量是密切联系的，光滑的图像( 主 要包括低频分量) 一般不被当作纹理图像来看待。纹理与尺度有密切联系，一般仅在 一定尺度上可以观察到。要分析纹理，首先需要确定特定的尺度。任何物体的表面， 如果一直放大下去进行观察的话一定会显现出纹理。云彩、树木，砖、织物等都有各 自的纹理特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环 境的联系。 纹理还具备区域性质的特点，这个特点使纹理可以被看作对局部区域中像素之间 关系的一种度量，对单个像素来说讨论纹理是没有意义的。纹理可用来辨识图像中的 不同区域。要描述一个图像中的纹理区域，常使用区域的尺寸、可分辨灰度元素的数 目以及这些灰度元素的相互关系等。对于纹理的表达常需用矢量，或者说一个纹理可 用多维特征空间的点表示。 3 2 纹理特征的提取方法 t u e e r y a n 和j a i n u q 总结出五类常用的纹理特征表述方法，它们是：基于统计、 基于几何、基于结构、基于模板和基于信号处理等方法。其中，基于统计、基于模板 和基于信号处理的方法最为常用。运用上述方法得到纹理特征并从中总结出不同类别 纹理之间的明显差异，再用合适的分类器进行分类，就成为纹理分类的研究内容。研 究工作概括为两个步骤：第一步，确定图像中不同纹理的特征表述，从方便分类判别 的角度出发对这些特征表述进行处理；第二步，建立分类器对纹理特征进行分类。 统计分析方法是从图像有关属性的统计分析出发。无论从历史发展还是从当前进 1 2 硕士学位论文基于微分几何方法的动态纹理分析 展来看，统计的方法仍然占据主导地位。空间灰度共生矩阵法就是一种已经有了较长 研究历史的统计方法，也是当前人们公认的一种重要的纹理分析方法。在纹理图像中， 在某个方向上相隔一定距离的一对像素灰度出现的统计规律，能具体反应这个图像的 纹理特性。灰度共生矩阵正是建立在估计图像二阶组合条件概率密度基础上的一种重 要的纹理分析法。比较常用的纹理特征系数有五种：角二阶矩、惯性矩、相关性、熵 和局部均匀性 就模型方法来说，人们常采用诸如m a r k o v 随机场模型、j u l e s z 模型、自回归模 型和线性规划模型来为图像建模。m a r k o v 随机场模型是一种表征图像数据空间相关 性的模型，其显著特点是通过恰当定义邻域系和相应连通系上的能量函数而引入结构 信息。m a r k o v 随机场模型用于分析纹理时，假设纹理场为随机、平稳和条件独立的。 m a r k o v 随机场模型利用有限的参数描述了图像中每个像素与其邻域内的像素的统计 相关性。它可以有效地描述纹理的结构特性和统计特性。文献【2 8 】中利用m a r k o v 随 机场模型来提取物体表面的纹理特征。作者采用的是一种基于m a r k o v 因果邻域系统 的纹理综合算法，此算法采用m a r k o v g - i b b s 模型描述纹理，避免了复杂的概率函数。 通过确定韵搜索过程逐像素地生成纹理，减小了运算量，提高了纹理综合效率，使纹 理分析可以应用在受限纹理综合和运动纹理综合等领域。例如利用该方法可以通过纹 理替代修补图片中缺损或者被除去的部分。 纹理基本上是区域特性，图像中的区域对应景物中的表面，纹理基元在尺寸和方 向上的变化，可以反应出景物中表面相对于照相机的转动倾斜【2 9 】。通常将利用纹理 基元的变化去确定表面法线方向的技术，称为纹理梯度技术，也就是常说的从纹理到 形状的研究。 举个简单的例子，假定景物中的表面为平面，研究这个平面上的纹理，可以有以 下几种方法： 第一种方法将纹理图像分割成纹理基元，这些基元投影尺寸的变化速率决定了这 个方向上投影基元变化最快的方向是纹理梯度的方向，这个方向可以确定该表面相对 于相机转动了多少。如果给出了照相机的几何知识，利用纹理梯度的幅度还能帮助确 定表面到底倾斜了多少。 第二种方法要了解纹理基元自身的形状，由圆做纹理基元时，在成像过程中以椭 圆形式出现，椭圆的主轴方向决定了椭圆所在的表面相对于相机的转动，而短轴和长 轴的比反映了椭圆所在表面的倾斜程度。 第三种方法假定纹理是纹理基元的规则网，纹理基元是平面上的小线段，小线段 的方向是景物中平面上的两个正交方向。根据几何投影，景物同一平面上有相同方向 的直线，在投影成像平面上将会聚成点，这些点即为收敛点，这两个收敛点的连线提 供了图像所在平面的方向，而平面对z 轴的垂直位置确定了该平面的倾斜。 硕士学位论文 基于微分几何方法的动态纹理分析 还有一种基于称为马赛克( m o s a i cm o d e l s ) 的方法结合了统计和结构的方法1 2 9 j 。 这些模型代表了随机几何过程。例如，一个平面规格或随机地嵌入一个有界的凸多边 形就得到单元结构的纹理。马赛克模型可以定义一些规则将一个平面分成不同的单 元，其中每个单元包含一个几何图形，它的特征( 例如中心或方向) 具有前面所述的 概率分布。例如，固定半径。位于定义在一个平面上的根据泊松分布的圆可以代替一 个马赛克纹理。通常，马赛克模型会给出比随机场模型更高的分辨率。然而，量化潜 在的几何模式和确定排列过程更为困难。对纹理基元排列呈现规则特性的纹理，可以 用文法规则模型。文法给出了一些结合特定基元形状或符号的规则以产生几个复杂的 模式。 5 3 基于支持向量机的灰度纹理图像的分类 文献【3 0 】中使用了支持向量机进行纹理分类，但该文没有进行先期的纹理特征提 取，而是直接把纹理原始图像数据送入支持向量机进行训练和分类。 k i mk l j u n g 基于这样的考虑：训练支持向量机的过程实际上包含了形成纹理 特征提取机制的成分。因此，输入到支持向量机的纹理数据经过非线性映射后能够作 为纹理的某种特征使用，并且根据我们前面所论述的支持向量的原理，实施这种非线 性映射的核函数本身就具备了纹理特征提取的能力。从信号处理的角度来讲，训练支 持向量机实际上就是根据训练样本数据的具体特点来形成支持向量。而支持向量在分 类中所起的作用和传统的特征提取过程中滤波器的作用非常相像。所以，出于节省时 间的考虑该算法没有做先期的特征提取而直接用原始纹理图像样本数据来训练支持 向量机。但必须指出的是支持向量毕竟不是传统意义上真正的滤波器，它不像普通滤 波器那样能直接从纹理中提取出诸如特定频率和方向等信息，而只能够得到一定数量 的可以用作分类标准的度量数据。虽然支持向量机的训练过程，即支持向量点的生成 过程与后面的分类判别过程是紧密联系的有机整体，但这并不能弥补这种方法缺少有 针对性的先期特征提取算法的先天不足。 经本人实验验证，如果把纹理原始图像数据送入支持向量机进行训练不但训练的 时间长( 因为输入的数据维数巨大) ，而且训练的结果并不令人满意。在把每类样本 各5 0 个样本送入支持向量机训练，训练的结果是支持向量的点的个数为1 0 0 ，这样 的结果说明支持向量机分类的优势并没有发挥出来。而且训练好的分类器识别效率也 非常的低，识别率才到达5 5 。 1 4 硕士学位论文基于微分几何方法的动态纹理分析 3 4 基于频谱的纹理特征 自然纹理通常是随机的，而人造纹理大多具有周期性分布的特点。本文所使用的 纹理是自然形成的纹理，因而纹理样本图像的随机性大，不像人造纹理特征那么有规 律，识别起来有一定难度。 图3 4 1 为本文使用的纹理样本，原样本是6 个a v i 格式的动态纹理视频序列。 样本e 为平稳流动的河流；样本f 为湍急流动的河流；样本h 为激烈沸腾的水，样 本l 为刚烧沸的水；样本p 为被风吹的幕布：样本s 为被风吹的烟幕。第一步，对 a v i 视频提取各帧图像，生成了每类1 2 0 幅样本图像。第二步，从原始图像尺寸中以 图像的几何中心为中心截取1 2 8 x 6 4 的子图像。第三步，把所有图像调整为2 5 6 级灰 度图像。得到共6 类纹理样本，每类1 2 0 幅，共7 2 0 幅样本图像。图3 4 1 给出的样 本是每类1 2 0 幅连续的图像的第1 8 帧。因为给出的是连续的样本，因此，从图3 4 1 可以看出，每一帧与下一帧之间图像相差不大。 图3 4 1 ( 0 样本e图3 4 k b ) 样本