svm的并行计算结构

svm的并行计算结构

1svm硬件实现随着f（字段程序的临床方法）技术的发展，f的并行重建特征在算法的平行性和分布计算结构的研究和实现中得到了广泛应用。文献[1]提出了一种可扩展的f框架，用于加快svm的分类。文献[2]使用平行思维在fp-ga上执行部分重建的svm分类器，以证明svm硬件实现的可能性。SVM算法一般分为训练过程和决策过程两个部分,因此硬件实现的研究通常也分为两个方面.本文主要研究训练部分的硬件实现,提出了一种用于SVM硬件实现的并行计算结构,之后利用VerilogHDL语言在XilinxSpartan6XC6SLX45的FPGA硬件平台上实现了支持向量机训练部分的功能,决策部分在MATLAB上进行.该并行计算结构能对线性不可分的样本数据进行有效地分类,并能提高系统的训练速度.2svm的数学模型SVM的数学模型可以用如下公式表示:式中,核函数K(w,x之后构造Lagrange函数并根据KKT条件求得最优分类函数:式中,N3硬件实现的并行计算结构支持向量机的硬件实现对提高样本的分类性能具有重要作用.针对SVM的硬件实现一般可采用两种架构,即串行结构和并行结构.串行结构在资源面积上占有优势,而并行结构在运算速度方面占有优势.本文从高速运算的需求考虑提出了一种用于SVM硬件实现的并行计算结构,其总体结构如图1所示,该结构核心可分为3个主要部分,分别是并行计算模块(ParallelComputerModule,PCM)、核函数计算模块(KernelComputerModule,KCM)以及控制模块(ControlModule,CM).并行计算模块主要负责参数拉格朗日乘子a此外该结构还包括串口通信(UART)模块、数据控制模块以及数据存储模块,这三个模块主要负责数据的存储与传输,例如串口通信模块负责读取数据传入输给FPGA并传输显示计算结果,数据控制模块负责从串口接收训练样本数据并预先存入数据存储器里,同时也控制参数的初始化比如训练样本的标签、训练样本的维数、核函数参数等值的初始设置,并存入数据存储模块,为训练阶段做好准备.3.1计算模块的构建并行计算模块主要用于拉格朗日乘子a图中N个样本的标签、乘子与核函数值分别用Y此外,乘子a3.2核函数计算模块设计核函数计算模块包括核函数预处理和指数函数计算这两个子模块,其中核函数预处理子模块也用到了并行的计算思想.核函数计算模块结构如图3所示,它主要负责样本间特征系数差值的平方和计算.计算公式如下:输入的训练样本通常有多个特征维度,通常用循环来求解样本间多个特征系数差值的平方和,相比于这种串行结构同样可以考虑改用并行结构以提升运算速度.例如对于二维的样本数据x完成加法运算后可用寄存器存储结果,然后将结果sum3.3控制模块设计控制模块主要用于控制各个模块的工作状态,它会产生控制各模块的信号并以并行的方式传输给各个模块,图4为控制模块的有限状态机实现.首先在训练开始之前将初始乘子alpha值和b值存入RAM中,初始值都设为0,初始状态设为S_wait的空闲等待状态.在完成样本数据的输入以及参数初始化后,训练学习过程开始,初始阶段会遍历所有乘子并选定第一个需要更新的乘子a4svm的分类性能基于上述模块设计,本文在软件平台ISE上完成Verilog代码的调试后,利用软件仿真平台Isim进行了功能验证并在XilinxSpartan6XC6SLX45的FPGA硬件平台上进行了实验测试.证明了本系统的功能性是正确的.用Libsvm工具进行该样本训练所需的时间为1.205×10图5为60组线性不可分的二维数据的分类测试结果,每组160个数据样本,其中80个作为训练样本,80个作为预测样本.样本的训练学习在FP-GA平台上进行通过图6可看出60组实验结果的变化趋势基本相同,表明在相同参数条件下,硬件化后的SVM的分类性能与Libsvm的分类性能相近,根据表1可知ISE综合后LUTs的资源利用率达到了83%,最大时钟频率为190.331MHz,完全能达到文献[5]提出的非线性SVM训练加速至160MHz~200MHz目标频率的设计要求,即很好地达到了计算加速的目的.基于表1得到的结果,本文在资源使用以及最大时钟频率方面与文献[6]做了进一步对比.表2即为LUTs资源的使用对比以及最大时钟频率的对比.由表中结果可知,随着系统采用的定点数位数的增大,使用的LUTs资源在递减,得到的最大时钟频率一般会越高.本文设计的系统结构采用了32位定点数,所使用的硬件资源最少,得到的最大时钟频率最高,具有较高的计算精度与计算效率.图7是SVM硬件实现和Libsvm这两者分类正确率的实验次数分布图,从图中可看出60组实验的分类正确率基本分布在[0.85,1.00]区域上,即均能达到较高的分类正确率,其中对于SVM硬件实现而言60%的实验结果分布在[0.90,1.00]范围内,并且在[0.90,1.00]区域本文提出的SVM硬件结构的分类表现要略优于Libsvm.由图可知以上两者的分类效果存在一定的偏差,通过实验分析发现主要原因在于参数C和g的设置,优化后的参数对于基于MATLAB实现分类而言精确度较高,而在FPGA上实现时,本文考虑到硬件资源以及系统的复杂度等因素,通过移位相加的方式来实现涉及参数C和g的乘法运算,这样既可以减少资源的消耗又可以提高计算速度,但此时的参数值会损失一定的精度,即C和g的值会偏离最优值从而产生误差.一般移位相加的次数越多结果会越精确,因此选择合理的移位相加次数能提高分类的正确率.5仿真结果实验本文提出了一种用于SVM硬件实现的并行计算结构,该结构降低了算法硬件实现的系统复杂度,提高了计算效率.仿真和实验的结果表明,该并行结构能加速