并行支持向量机

1、并行支持向量机在统计学理论的基础上， 发展出来的机器学习方法支持 向量机（Support Vector Machine , SVM。支持向量机算法是 基于结构风险最小化原则上， 尽量提高学习机的泛化能力， 具有 良好的推广性能和较好的分类精确性。近年来，人们越来越多的将目光集中在支持向量机的可扩展 性上， 也提出了很多关于支持向量机的并行算法， 主要是通过将 数据集分割为小的数据模块， 对每个小的数据模块进行支持向量 机训练，通过多次迭代形式，形成级联式SVM实现并行处理样本 数据，或者是通过多线程处理，得到训练模型。这些方法充分利 用现阶段硬件的一些新特性， 在不同程度上提高了支持向量机的

2、性能。但是，通过这种方式并行处理数据来提高训练速度，由于 计算步骤地设计和在每个小的数据子集训练状态的不同， 导致再 想进一步提高算法效率明显是比较难的。 解决这一问题， 一种有 效的方式，就是利用云计算平台集群的优势， 提高算法运算效率， 加快算法运算时间。1 PSVM算法1.1 SVM 简介支持向量机是一种二类分类模型。 SVM学习的基本思想是求 解能够正确划分训练数据集并且几何间隔最大的分离超平面， 等 价于构造并求解最优化问题求得最优解，由此得到分离超平面。在线性可分的情况下， 训练数据集的样本点中与分离超平面距离 最近的样本点的实例称为支持向量（ support vector ）。支

3、持向 量是约束条件式成立的点，即：对的正例点，支持向量在超平面 上，对的负例点，支持向量机在超平面上。1.2 SMO快速学习算法 - 序列最小最优化算法（ sequential minimal optimization , SMQ，是一种启发式算法，其基本思想是，如 果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。否则，选择两个变量，固定其他变量，针 对这两个变量构建一个二次规划的问题。SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。2 PSVM实现过程2.1 PSVM 方法本文中并行支持向量机算法是基于云计算平台实现的。 根据 Had

4、oop平台Map/Reduce实现机制的特点，采用类似级联 SVM的 方法对训练数据进行处理。PSVMS现方式是：（1）首先将训练 数据分割成子集（依照级联方式逐次减少），对每个子集分别进 行独立训练，得到支持向量。（ 2）对运行过程进行判断，如果 没有结束，则对得到的支持向量结合后，再进行分块处理，进行 操作（ 1 ）；否则，训练结束，则进行操作（ 3）。（ 3）训练结 束，将训练得到的训练模型输出。在训练过程中，尽可能早地消 除非支持向量来加速支持向量机过程。下图以三层级联支持向量机训练过程为例， 说明算法的实现 过程。3 实验结果3.1 实验环境3.2 实验数据3.3 实验结果实验使用的数据是 libsvm 的自带数据集， heart_scale 数 据集。4 结束语针对SVM对大规模训练样本存在的训练速度缓慢的问题，提出了基于Hadoop的Mapreduce机制进行SVM训练，通过 Map将 训练样本分块，再在 Reduce中进行SVM训练，输出支