(论文)基于最小二乘支持向量机的数据挖掘应用研究

1 8 7 8情报科学2 3 卷 大优势，它能够解决少样本学习问题，已应用于模 式识别、函数拟合和信号处理等领域，表现出了优 良的性能。在模式识别方面，其应用主要集中在图 象处理领域，包括文本识别、人脸识别、三维物体 识别、遥感图像分析等。在函数逼近方面则用于样 本分类与趋势分析，通过选择不同的范数、代价函 数、核函数、权重系数等，支持向量机可以等价于 不同的方法，如基于核函数的主成分分析、非线性 去噪、非线性模式重建等。最小二乘支持向量机作 为支持向量机理论的一种改进算法，与最小二乘估 计结合运用，能够有效提高其泛化能力与求解速 度【4 。：。对于海量信息进行数据挖掘，最小二乘支 持向量机是一种有发展前途的新方法，本文将着重 其在数据分类方面的研究。 1 支持向量机与最小二乘支持向 量机的原理和算法6 7 1 若给定的两类训练数据样本集( X i ，Y I ) ，i = 1 ，2 ，nx R d ，Y + 1 ，一1 ，其中n 为训练样本的个数；d 为每个训练样本向量的维 数；y 为类别标号( 其值等于+ l 为一类，等于一l 为另一类) 。 对于非线性分类，首先使用一个非线性映射中 把数据样本从原空问R d 映射到一个高维特征空间 n ，再在高维特征空间Q 求最优分类面。高维特征 空间Q 的维数可能是非常高的为了避免高维特 征空间中的“维数灾难问题”，采用H i l b e r t 空间中 内积的回旋形式，用输入空间的一个核函数等效高 维特征空间的内积。 根据泛函数的有关理论，只要一种核函数K ( 】【i ，墨) 满足M e r c e r 条件，它就对应某一变换空问 的内积，即K ( 】【i ，】【 ) = 西( 】【i ) 西( ) 【f ) ，这样在 高维空间实际上只需进行内积运算，而这种内积运 算是可以用原空问中的函数实现的。无需知道变换 垂( x ) 的具体形式。因此，在最优分类面中采用 适当的内积函数K ( 墨，墨) 就可以实现某一非线 性变换后的线性分类，而计算复杂度却没有增加。 这样在原空间分类面的方程的w 垂( x ) + b = O 分类面应满足的约束为 y i ( w 垂( 墨) + b ) 1 一e 。i = l ，2 ，n( 1 ) 式中：w 是分类面的权系数向量；b 为分类的 域值；e i O 为松弛变量。 此时分类间隔等于2 0w0 ，使间隔最大等价 于使1 1wl I2 ，2 最小，分类间隔2 I l wl I 最大化的分 类面称为最优分类面。因此，构造最优分类面的问 题被转化为在式( 1 ) 的约束下，求函数告1 1w | | 2 + 7 e ； 的最小值，即在确定最优分类面时折 中考虑最小错分样本和最大分类问隔。其中，常数 7 O 控制着对错分样本惩罚的程度。这是一个凸 二次优化问题，能够保证找到的极值解就是全局最 优解，可利用蛳嚣函数使原问题转化为较简单 的对偶问题，即在约束条件五y i a i = o 和7 a i o ， i = 1 ，2 ，n 之下求解下列函数的最大值： Q ( a ) = 蓦a 1 一专蓦a i a jy iy j K ( K 均) ( 2 ) 根据K u h n T u c k e r 条件，优化系数凼须满足： a i ( y ，( w 函( 鼍) + b ) 一l + e i ) = O ，i = 1 ，2 ， “，n 。因此，多数啦值必为0 ，少数值为非0 的 啦对应于使式( 1 ) 等号成立的样本为支持向量， 只有为支持向量的样本才能决定最终的分类结果， 实现函数估计。 按式( 2 ) 求出优化系数q 后，对于给定的测 试样本x ，标准支持向量机分类器的分类函数的一 般形式为 f ( x ) 2 唧 支菇量a i y i K ( 墨x ) “ ( 3 ) 式中：s 印I 为符号函数，由分类函数f ( x ) 的正负即可判定x 所属的类别。 由于支持向量机具有良好的泛化能力，而最小 二乘估计作为函数回归最基本的工具之一，在数据 估计中占有举足轻重的地位，并得到了广泛应用。 将最小二乘问题转化为支持向量机形式的问题加以 解决，就可以保证得到的函数具有最小的预测风 险，换句话说，具有最好的泛化能力。S u v k e 璐首 先提出了最小二乘支持向量机( 1 5 一s v M ) 理论， 即通过将最小二乘线性系统引入支持向量机，代替 传统的支持向量机采用二次规划方法解决分类和函 数估计问题。最小二乘支持向量机仍是基于多类核 的机器学习，即采用核函数，根据一r c e r 条件，从 原始空问中抽取特征，将原始空间中的样本映射为 高维特征空问中的一个向量，以解决原始空问中线 性不可分的问题。最小二乘支持向量机是传统支持 向最机的一种扩展，它是支持向量机在二次损失函 数下的一种形式。最小二乘支持向量机只求解线性 1 8 8 0情报科学 训练次数5 0 0 0 ，步数1 0 0 。 判别分析采用F i s I l e r 线性判别函数。测试完成 后，运用受试者工作特性( R e c e 岫O p e 功t i n g C h a r 。 a c t e r i s 血，R o C ) 曲线进行测试方法比较，R O C 曲 线是一种非常有效的评价方法，也可为选定临界值 给出定量提示【9 J 。将灵敏度( S e n 亩t i v i 移) 设在纵 轴，l 一特异性( 1 一s p e c i i 畔) 设在横轴，就可得 出R O C 曲线图。该曲线下的积分面积( A r e a ) 大 小与每种方法优劣密切相关，反映各分类器正确分 类的统计概率。图2 为各模型测试结果的R o C 曲 线，表2 为各模型测试结果的数据值及预测的准确 率( A c c u m c y ) 。 图2 各模型测试结果的R O C 曲线 表2 模型测试结果及预测的准确率 R 巾 一 s t d A 叩咖d c佃呷跏c 9 5 v l 畦l b l e ( 8 )哪椭晰( a ) 洲b ) 嘶d h 酬 b w 目U p p 。 B 【t m dB 刊 l S s v M O 鄹8 9 4 50 1 3o 。0 9 2 09 刁o S V M0 8 4 59 1 00 1 8 0 0 08 8 0 9 4 9 脚 O 7 8 3 8 8 50 2 10 0 0 8 4 3 9 凹 姒0 8 3 S9 2 80 1 50 0 08 9 89 5 8 du 妇t I e 舢1 p m m I 商c 瑚即咖b f 岫h ) p o 出商8 ：h u ea r 忸= O 5 仿真结果表明，I S S 、w 与S 、W 分类器在精 度、收敛速度、泛化能力和样本数据依赖上要好予 咖神经网络和判别分析。虽然M ”前馈型神经 网络与S v M 都具有很强的模式分类和非线性函数 逼近能力，并且S 、M 可以看作具有个隐含层的 前馈型神经网络。但神经网络基于经验风险最小化 理论，而S v M 基于结构风险最小化理论，具有小 样本学习能力强、模型泛化性能好、高维数据处理 能力等特性。S v M 球解一个凸二次规划，所得的 解是唯一的最优解，然而当数据量较大时，求解过 程所需计算资源很大。这是由于S v M 算法计算复 杂度与训练样本个数有关，当样本数目越来越大 时，求解相应的二次规划问题就越复杂，计算速度 越慢。L S S 、砌则利用线性方程求解，区别于 s v M 的损失函数项和等式约束，虽然不能保证其 解为所求问题的全局最优解，但线性方程的求解速 度要比二次规划快，且所需计算资源少。因此，I S S 蹦分类器在处理大规模、实时数据挖掘时， 在保证精度的前提下能够实现更快的收敛速度，具 有更大的优势，而S V M 较适用于小样本量的处理。 3 结论 作为一种新的机器学习方法，最小二乘支持向 量机可以应用于数据挖掘的分类、回归和未知模式 的探索等领域。其实现步骤比较简单，不需要长时 间的训练过程，通过求解线性方程，最小二乘支持 向量机具有更快的求解速度，求解所需的计算资源 较少，能够有效避免大规模数据库和高维数据同 题，克服了人工神经网络的主要不足，在数据挖掘 中具有很大应用潜力。 参考文献 l J 删陆腼啦曲a l l d l l I I i 畔【M J M 唧 K a l 面n n ，2 1 4 8 6 2 V 删k VN S t a d 鲥c a lh 咖脚 M 砒：汹 w 崎，1 9 9 8 3 9 9 3 张学工关于统计学习理论与支持向量机 J 自动化学 报，2 0 0 0 ，( 1 ) ：3 2 4 2 4 J A K S 哪I 娜，J V 8 n d 翻 r a U e L 凹s t 践p a r e s 乳甲p c I n v d 加r 耻出l i I l ec l a 麓击c 玛 J 恻h 咄，1 9 9 9 ，9 ( 3 ) ： 2 9 3 3 0 0 5 周辉，张学工等支持向量机与最小二乘法的关系研究 J 】清华大学学报( 自然科学版) ，2 0 0 l ，( 9 ) ：7 7 一踟 6B s c h ? l k o p f ，A s n d a ，R ，w i l l i 硼n s o n 埘l dP L B 8 m 眦N e w s u p p 唧I v e c t o r a l g p l i t h J u 耐G 唧u t 8 d ，2 0 0 0 ，( 1 2 ) ： 1 2 0 7 1 2 4 5 7 J A K s u y 妇堪，T V 缸C 髂t e l ，J D e B r a b a 址盯，B D eM 嘟，J V 础讪e h tS q S I 】p p o n 姐M a c M ，w o d d S c i e 蚯& ，I g 叩o I e 2