基于支持向量机的遥感图像分类研究

基于支持向量机的遥感图像分类研究朱海洲贾银山(辽宁石油化工大学计算机与通信工程学院 ,抚顺 113001 )摘 要 支持向量机 ( Suppo rt V ec to r M ach ine, SVM )是一种基于统计学习理论的新型机器学习算法 。通过解算最优化问题 ,在高维特征空间中寻找最优分类超平面 ,从而解决复杂数据的分类及回归问题 。将支持向量机理论应用到遥感图像分类的 研究还处在初级阶段 ,传统分类算法应用于遥感图像分类存在运算速度慢 、精度比较低和难以收敛等问题 。从支持向量机基 本理论出发 ,建立了一个基于支持向量机的遥感图像分类器 。用遥感图像数据进行实验 ,并将结果与其它方法的结果进行了 比较分析 。实验结果表明 ,利用 SVM 进行遥感图像分类的精度明显优于神经网络算法和最大似然算法分类精度 。关键词 支持向量机中图法分类号V443. 5;遥感图像分类神经网络最大似然法文献标志码A遥感技术是当前人类研究地球资源环境的一种主要技术方法 ,遥感图像的分类一直被从事地理 信息研究人员所重视 。早期的图像分类是依靠研 究人员的目视 , 这种分类方法主要依靠个人经验 , 但存在着时效性差 , 容易受人为因素干扰等缺点 。20世纪 90年代以来 ,人们将人工神经网络模型应 用到遥感图像分类中并取得了很大的进展 ,但神经 网络算法有其固有的缺点 ,如网络结构的确定尚无 可靠的规则 ,易陷入局部极小等 。为了提高遥感图 像分类精度 , 有必要寻找一些新的遥感图像分类 算法。支持向量机作为一种新的也是有效的统计学 习方法 ,近年来成为模式识别与机器学习领域一个 新的研究热点 。 SVM 具有小样本学习 、抗噪声性 能、学习效率高 、推广性好等优点 1 , 2 。它根据 V ap 2 n ik的结构风险最小化原则 , 由有限训练样本得到 的决策规则对独立的测试集仍能够得到较小的误 差。 SVM 算法是一个凸二次优化问题 ,能够找到的 极值解就是全局最优解 3 。本文研究了基于支持 向量机的遥感图像分类 ,建立了一种基于支持向量 机的遥感图像分类模型 , 结果表明 , 该分类器具有一定的优势 ,是一种有效的遥感图像分类方法。1 支持向量机1. 1 线性和非线性支持向量机的基本思想是将实际问题通过非 线性变换将输入空间变换到一个高维的特征空间 , 然后在这个新的高维特征空间中构造线性判别函 数来实现原空间中的非线性判别函数 ,求取最优分 类超平面 ,该分类超平面不但能够将训练样本尽可 能正确分类 ,而且使训练样本中离分类面最近的点 4 到分类面的距离最大 ,即分类间隔最大。应用 SVM 理论对线性问题分析评估时 ,设给定n训练集为 ( x1 , y1 ) , ( xi , yi ) ,其中 xi R , yi + 1 , - 1 。假设该训练集可被一个超平面线性划分 ,该超平面记为 : w x + w0 = 0 。其中 w 为权向 量 , w0 为阈值 。其中一类 1 中 yi = + 1 ,另一类 2中yi = - 1 ,这个超平面方程为 :yi (w xi + w0 ) - 1 0。 将许多超平面拟合成一个超平面使其将两个类分开 ,这个超平面优于其它任何一个超平面 (见图 1 ) 。我们的目的就是在分类间隔中找到这个最 优分类超平面 ,支持向量到超平面的距离叫做分离2010 年 2 月 20 日收到第一作者简介 : 朱海洲 ( 1983 ) ,辽宁抚顺人 ,硕士研究生。2间隔 ,间隔等于, 因此构造最优超平面使分w 科学技术与工 程10卷3660类间隔最大问题转化为 :Ni yi= 0C i 0, i = 1, 2, N 。s. t.1 w 2i = 1m ax2在非线性问题中 , SVM 采用映射方法解决非线性问题 ,即通过非线性变换将输入空间不可分问题 转化为某个高维空间中的线性问题 ,在变换空间中 求解最优分类面。只要满足 M e rce r条件的核函数 K ( xi xj ) 就可以实现某一非线性变换后的线性 分类。s. t.yi (w xi + w0 )1 0; i = 1, 2, N 。-目标函数是严格上的凹的二次型 ,约束函数是下凹的 ,这是一个严格凸规划。按照最优化理论中 凸二次规划的解法 ,可以把它转化为 W o lfe 对偶问 题来求解 。构造 L agrange函数 :NN 1 ij yi yj K ( xi xj )m ax-i2 i, j = 11i = 1NL (w , w0 ) = w 2-2Ni yi= 0C i 0, i = 1, 2,s. t.,Ni = 1i yi (w xi+ w0 ) + iN 。i = 1i = 1Ni yi= 0;i 0, i, N 。s. t.= 1, 2,i = 1式中i 是 Lagrange乘子 ,它应满足 V wL (w , w0 ) =0, 5 L (w, w= 0 , ( Kuhn2Tucke r条件 ) 1 ,即 w =)05w0NNi yi xi 和i yi= 0 。将这两式带回 Lagrange函i = 1i = 1数中 ,消去 w 和 w0 ,经运算得到原最优化问题的 Wo lfe对偶问题 ,即图 1 分类超平面NN1. 2 核函数支持向量机的基本思想可以概括为 : 首先通过 非线性变换将输人空间变换到一个高维空间 ,然后 在这个新空间中求取最优线性分类面 ,而这种非线 性变换是通过定义适当的内积函数实现的。常用 的核函数有以下几种 5 : 1i- ij yi yj ( xi xj )2m axi = 1Ni, j = 1i yi= 0;i 0, i, N 。s. t.= 1, 2,i = 1最终得到最优分类超平面判别函数为 :f ( x ) = i yi ( xi x ) + w0 。is若训练集是线性不可分的 ,或之前不知道它是否线性可分情况下 ,我们可以引入非负松弛变量 , 同时通过惩罚因子 C 来控制对错分样本惩罚的程 度 ,此时分类间隔和约束条件转化为 :线性核函数 : K ( xi , xj )多项式形式内积函数 := ( xi xj ) ;K ( xi , xj ) = ( xi ( 1 )( 2 )q+ 1 ) ;( 3 )xj= exp ( - xi -RB F 函数 : K ( xi , xj )N12 ) 0;xj J (w , w0 ,) =| w |+ C i2,m ax2i = 1S型函数 : K ( xi , xj ) = tanh ( xi , xj ) + c) 。(4)yi (w x + w0 ) 1 - i 。s. t.1. 3 分类器对于多分类问题 ,通常可以按照两种算法来构 造或组合多个两类分类器来进行分类。一是将多 个分类面的参数求解合并到一个最优化问题当中 , 通过求解最优化问题一次性的实现多类分类。二 是通过某种方式构造一系列的二类分类器将它们求解这个二次规划问题 ,最终推导所得的 W o lfe对偶问题与线性可分的情况类似 ,唯一的区别是对i 加了一个上限限制。NN 1m a s i-ij yi yj ( xi xj )2i = 1i, j = 1 1994-2013 China Academic Journal Electronic Publishing House. All rights reserved. 15期朱海洲 ,等 :基于支持向量机的遥感图像分类研究3661组合在一起从而实现多分类。实际常用 SVM 多类别分类是第二种方法 ,二类别的分类器组合有一对 一 ,一对多组合方法 。一对一方法一般在 N 类分 类中 ,需构造 N ( N - 1 ) /2 个分类器 , 计算量较大 且存在混分样本问题 6 ; 本文使用一对多方法 ,该 方法是用一类和剩下其它所有类判别分类 , 一个 分类器分出其中某一类 。在 N 类中构造 N 个分类 器 ,这种方法相对计算量较小 ,比较简单且达到同 样多类别分类效果 , 缺点就是存在混分和漏分样 本问题 。 ( ij) P ( i, j) - xy i j ( 3 )相关 : f3 =。x yf 、f 、f 关于 四个方向的平均值计算特征1 2 3xf , xf , f , f , f ,得到六个T和方差 : xf ,1 2 3 1 2 3具有旋转不变特性的纹理特征。各波段图像灰度特征 ( 6 个波段 ) 组成 6 1 灰度特征向量 : x , x1 2,Tx6 , 灰度特征与纹理特征一起组合成x3, x4, x5,12 1特征向量 :xf , xf , f , f , f , x1 , x2 , x3 , x4 ,x = xf ,1x5 ,2 3 1 2 3Tx6 。2 图像特征提取3 实验及结果分析图像特征包含图像的灰度特征 、纹理特征以及结构特征等 7 。由于遥感影像中的空间特征信息 单元不仅是光谱属性的反映 ,更主要是空间域上多 个像元的光谱特性的组合 ,因此空间特征信息的提 取和分类一般是通过目标像元为中心的一定大小 的窗口区域来表示空间特征单元 8 。本文采用灰 度和纹理共生矩 (记为 W 阵 )的方法 ,为了获取某波 段的纹理特征 , 需要计算灰度共生矩阵 P ( i, j,实验按照支持向量机的分类原理进行。实验数据采用 google 地图采集的图像 ,针对四大类土地 利用类型 ,即水域 (A 类 ) 、绿地 ( B 类 ) 、居民地 ( C 类 ) 、交通用地 (D 类 ) 。共选取了 1 500 个标注样 本 ,将其中的 500个作为训练样本 ,其余 1 000 个样 本作为测试样本。使用一对多分类器划分四类 ,需 要构造四个分类器 ,实验中选择使用 RB F 核函数 , 此类 SVM 的训练模型效果取决于两个参数 ,其一是 惩罚因子 C ,其二是核参数 。在支持向量机的训练过程中 , 加载训练样本 , 确定分类目标 (根据训练目标的不同 , 得到每一类 与另三类的分类器 ) ,先给出一个初始的训练参数 , 按交叉选择方式确定参数 C 和 ,训练四个 SVM 分 类器。以某个分类器为例 ,训练以后测试这四类共1 000个样本 ,不仅要保证正类样本被正确分类 ,还 要保证负类样本尽量不被错分 , 反复调整训练参 数 ,重复训练直至在测试集中达到满意效果 , 也即 找到了较优的支持向量机参数。经过测试参数值 分别为 C = 2. 0 , = 0. 125 ,测试样本的分类精度较 高 。最后利用调整好的参数对整幅图像进行测试 , 以原始图像中未知空间单元特征向量作为各类别 特征判别函数的输入 , 然后输出属于各类别的结 果 ,最后通过分类后的矩阵反演为图像 。分类效果 明显。说明加入了灰度值和纹理的空间特征单元 具有比较好的分类性 (见图 2 ) 。),对灰度共生矩阵作归一化处理 , 灰度共生矩阵用数学公式表示则为 :P ( i, j,) = ( x, y) , ( x +Dx , y +Dy ) | f ( x, y)i, f ( x + D x , y + D y ) = j 。=式中 x = 0 , 1 , 2 , N - 1 是图像的像元坐标 , D x 、D y 是位置偏移量 , i, j = 0 , 1 , 2 ,是灰度级数 , 为 W阵的生成步长 , 为 W 阵的生成方向 ,取 0、45、90 、135 四个方向偏移参数 , 作为其灰度共生矩阵 ,然后分别求取其特征值 , 再对这些特征指标计 算其均值和方差。这样处理就抑制了方向分量 ,使 得到的特征与方向无关。利用灰度共生矩阵可以 定义图像的纹理特征 ,其目的就是使用所得的纹理 特征 辅 助 遥 感 影 像 纹 理 分 类。以 下 三 种 统 计 量为 9 :角二阶矩 : f1 = P ( i, j) ;2( 1 )ij对比度 : f2 = ( i - j) P ( i, j) ;2( 2 )ij 1994-2013 China Academic Journal Electronic Publishing House. All rights reserved. 科 学 技术与 工 程10卷36624 结论针对遥感图像的支持向量机分类法、神经网络法和最大似然法分类实验结果表明 :利用支持向量机分类方法进行遥感图像分类 精度为 96. 90 % ,明显高于神经网络方法和最大似 然方法。利用灰度特征与纹理特征相结合的方法进行特 征提取适合支持向量机分类中特征向量条件的选择。该方法首先要人工标注大量的样本 ,工作量相 对来说比较大 ,下一步要在如何减少人工干预量方 面进行研究 。图 2 一对多 SVM 多类分类器分类后的结果输出分类结果。统计出四类样本测试结果如表 1 所示 。将 SVM 方法实验分类精度结果与神经 网络方法和最大使然方法分类精度对比 ,对比结果 见表 2。表 1 利用 SVM 法进行分类的混淆矩阵分类器 1 分类器 2 分类器 3 分类器 4参 考 文 献输出测试混分 /漏分样本识别率/ %(分出A 类 )(分出B 类 )(分出C类 )(分出D 类 )1A n thony G, R u the r H. L and cover m app ing: op tim izing remo te sen sing da ta fo r SVM C la ssification. 遥感学报 , 2007; 11 ( 5 ) : 694 701(美 ) C ristian in i N , (英 ) Shawe2Tayo r J. 支持向量机导论 (英文版 ) . 北京 :机械工业出版社 , 2005徐 磊 ,李朝峰 ,杨蒙召. SVM 结合模糊方法在遥感图像分类中 的应用. 计算机工程与应用 , 2005; 36 ( 4 ) : 79 82李晓宇 ,张新峰 ,沈兰荪. 支持向量机 ( SVM ) 的研究进展. 测控技 术 , 2006; 25 ( 5 ) : 7 12张学工. 关于统计学习理论与支持向量机. 自动化学报 , 2001; 26 ( 1 ) : 32 41骆剑承 ,周成虎 ,梁 怡 ,等. 支撑向量机及其遥感影像空间特征 提取和分类的应用研究. 遥感学报 , 2002; 6 ( 1 ) : 50 55汪 闽 ,骆剑承 ,周成虎 ,等. 结合高斯马尔可夫随机场纹理模型 与支撑向量机在高分辨率遥感图像上提取道路网. 遥感学报 ,2005; 9 ( 3 ) : 271 276李朝峰 , 曾生根 , 徐 磊. 遥感图像智能处理. 北京 : 电子工业出 版社 , 2007张 翔 ,田金文 ,肖晓玲 ,等. 支持向量机及其在医学图像分类中 的应用. 信号处理 , 2004; 20 ( 4 ) : 208 212A 类样本( 94 )86600291. 492B 类样本( 231 )422400396. 963C类样本( 316 )4013090697. 78D 类样本( 204 )5000202299. 026表 2 SVM 法 、神经网络法与最大使然法分类精度对比 / %7类别水域绿地居民地道路总量SVM91. 4996. 9697. 7899. 0296. 90神经网络887. 2388. 7491. 1497. 0691. 40最大似然89. 3690. 0489. 2496. 0890. 909Rem o te Sen s in gIm a ge C la ss if ica t ionBa sed on Suppor t Vec tor M a ch in e sZHU H a i2zhou,J IA Yin2shan( Schoo l of Comp u te r & Comm un ica tion Enginee ring, L iaon ing Sh ihua U n ive rsity, Fu shun 113001 , P. R. Ch ina)Suppo rt V ec to r M ach ine ( SVM ) is a sta te2of2the2a rt m ach ine lea rn ing a lgo rithm ba sed on sta tistica l A b stra c t 1994-2013 China Academic Journal Electronic Publishing House. All rights reserved. 15期朱海洲 ,等 :基于支持向量机的遥感图像分类研究3663lea rn ing theo ry. It trie s to find the op tim a l c la ssifica tion hyp e rp lane in h igh d im en siona l fea tu re sp ace to hand lecomp lica ted c la ssifica tion and regre ssion p rob lem s by so lving op tim iza tion p rob lem s. The SVM theo ry app lied to re2 mo te sen sing im age c la ssifica tion is still in the in itia l stage. Trad itiona l a lgo rithm s u sed in remo te sen sing im age c la ssifica tion have som e p rob lem s such a s low comp u ting ra te, low accu racy and m uch d ifficu lty fo r conve rgence.A cco rd ing to SVM theo ry, the c la ssifica tion mode l ba sed on SVM wa s con struc ted. B y exp e rim en ting w ith remo te sen sing da ta and comp a ring the re su le s w ith o the rs, the re su lts ind ica te tha t the rad ia l ba sis ke rne l func tion of SVM ha s the h ighe st accu racy. SVM c la ssifie r ha s mo re advan tage s in the c la ssifica tion in con tra st w ith rad ia l ba sis func2 tion neu ra l ne two rk c la ssifie r and m axim um like lihood c la ssifie r. A s the in2dep th re sea rch on SVM con tinue s, it w illbe mo re w ide ly u sed in remo te sen sing im age c la ssifica tion.Suppo rt V ec to r M ach ine ( SVM ) Key word sm ach ine lea rn ingsta tistica l lea rn ing theo ryremo tesen sing im age c la ssifica tionm axim um like lihood c la ssifie r(上接第 3648 页 )6 孙秀君. 油气分离器内油滴轨迹的数值模拟. 应用科技 , 2006 , 33 ( 10 ) : 69 727 Feng J , Chang Y, Peng X, et a l. Inve stiga tion of the o il2ga s sep a ra tionin a ho rizon ta l sep a ra to r fo r o il - in jected comp re sso r un its, J Powe r andEne rgy, I M ech E, 222 (A ) : 403 4128 Ea stw ick C N , Simmon s K, W ang Y, Study of ae ro - engine o il2a ir sep 2ara to rs. U n ive rsity of No ttingham , 2006; 220: 707 717A Num er ica l S tudy of A ero2en g in e L ubr ica t ion Sy stem C en tr ifuga l2sepa ra torZHAN G N an, L IU Zhen2xia, L Ya2guo, L IU B ao2ru i( Co llege of Powe r and Ene rgy, No rthwe ste rn Po lytechn ical U n iversity, X ian 710072 , P. R. Ch ina) A b stra c t N um e rica l sim u la tion is u sed to study