模糊支持张量机在模式识别中的应用.doc

模糊支持张量机在模式识别中的应用摘要：支持张量机是一种新的机器学习技术，它是在支持向量机的基础上发展而来，两类的模糊支持张量机则是在支持张量机的基础上加上模糊隶属度函数。多类的则采用一对一和一对多的方法构建多分类的模糊支持向量机和模糊支持张量机，本文采用支持向量机、模糊支持向量机、支持张量机和模糊支持张量机四种方法对UCI数据集和ORL人脸库的数据进行分类，并取得了较好的分类效果。关键词：支持向量机 模糊支持向量机 张量 模糊支持张量机 模糊支持张量机Multi-Class SVM，Pattern Recognition1 introductionSupport tensor machine is a new machine learning technology, which is based on support vector machines, two types of fuzzy support tensor machine is in support of the tensor on the basis of machine with fuzzy membership function. multi-class recognition, used multiple classifiers of the method of fuzzy support vector machines and fuzzy support tensor machine constructed by one to one and one to many methods, this paper uses support vector machines, fuzzy support vector machine, support tensor machine and fuzzy support tensor machine to classify UCI data sets and ORL face database, and achieved good results of classification.1支持张量机原理支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(GeneralizatinAbility)。SVM是从线性可分情况下的最优分类面发展而来的，对线性可分的样本集，i = 1, n，xRd，yi+1,-1，满足： i=1,n此时分类间隔等于，使间隔最大等价于使最小。满足以上条件且使最小的分类面就叫做最优分类面。利用 Lagrange 优化方法可以把上述最优分类面问题转化为其对偶问题，即：在约束条件下对求解下列函数的最大值： 为原问题中与每个约束条件对应的Lagrange乘子。这是一个不等式约束下二次函数寻优的问题，存在唯一解。容易证明，解中将只有一部分（通常是少部分）不为零，对应的样本就是支持向量。解上述问题后得到的最优分类函数是式中的求和实际上只对支持向量进行。是分类阈值，可以用任一个支持向量求得，或通过两类中任意一对支持向量取中值求得。1.2二分类模糊隶属度支持向量机是一个很好的解决分类问题的工具，尤其是其泛化能力很好，而且求得的结果是全局最优解，在实际应用中，训练集中的不同的样本的影响力是不同的，而我们需要把那些重要的样本正确的分类，而将不重样的样本忽略。这就引入了训练样本的模糊属性，取值范围是(0,1,值越大说明越属于这一类，加入了这个模糊属性之后支持向量机就成为了模糊支持向量机。约束条件为不等式类型： i=1,n， 0其中C为常数。1.3多类分类1.3.1 投票对于一个样本，测试时，如果一共有N类，使用第一类与任意一类的训练数据，1v1的识别如果结果是1，则投给第一类一票，否则投给第一类一个反对票，最后得到此测试数据属于第一类的票数，然后开始统计这个样本属于第二类的票数，最终得到这个样本属于1-N类的票数选择靠前的最大的票数的类别作为这一个样本的类别。1.3.2 FSVM 1v多一对多多类分类方法：在垂直于分类超平面 的方向上设置一维成员函数mij(x)：.i=j时.ij时其中i,j=1,n。利用mij(x)，定义第i类的隶属度函数：最终，一个测试样本的x的隶属于类别：1.3.3 FSVM 1v1再看在“一对一”分类模式下，假设最优决策面方程为Dij(x) = 0( j i, i,j=1,n) ，在垂直于Dij(x)=0方向上定义了一维成员函数(或称模糊因子)：其中，ji，i,j=1,n。利用，定义第i类隶属函数为：最终，一个测试样本x隶属于类别：1.4 用张量表示数据一般情况下，我们将一个样本用一个向量来表示，就像将一个ORL人脸图片转换成一个10034维的向量，然后再利用分类算法进行分类，这里的支持张量机使用的是用一个92*112的二维张量来表示一幅图片。1.5 多类支持张量机算法例如：分类训练样本是ORL人脸库Xi，Xi为112*92的矩阵。. 初始化: 令u=ones(112,1)维数与每个训练样本的行数相同。. 计算v令 xi=(XTu)，每一个Xi对应的xi组成一个n*92的矩阵x（n为训练样本数），作为新的训练样本集，得到得到需要求解的二次规划问题：f(X) = uTXv + b = vTxT+ b因此, 根据支持向量机原理求出向量v。. 计算uv确定了以后，令xi =( X*v)每一个Xi对应的xi组成一个n*92的矩阵x（n为训练样本数），得到需要求解的另一个二次规划问题：f(X)=uTXv + b = uTx + b同样利用支持向量机原理计算出u。根据（3）确定的u，再回到（2）和（3）步迭代一定的次数得到新的u和v，阈值b则取最后一步计算u得到的值。根据u，v，b对任意样本进行测试。如果测试的过程中，对每个样本采用多类模糊支持向量机一对一和一对多的分类方法，进行分类。2实验资料：四种算法识别率的比较1) wine数据集机器训练方法机器识别方法参数C正确识别数识别率SVMVote158+49+47=15486.52%FSVM1v1159+36+48=14380.34%FSVM1v多1054+42+43=13978.09%FSTMVote10058+55+47=16089.89%FSTM1v110058+17+47=12268.54%FSTM1v多100058+65+48=17196.07%2) iris数据集机器训练方法机器识别方法参数C正确识别数识别率SVMVote1050+50+46=14697.33%FSVM1v110050+37+50=13791.33%FSVM1v多100049+33+40=12281.33%STMVote1050+50+43=14395.33%FSTM1v110050+44+50=14496.00%FSTM1v多100050+42+36=12885.33%3) ORL数据集机器训练10样本8样本6样本4样本2样本FSVM1v188.5%86%81.5%80.5%69%FSVM1v多89%87%82%79.8%68%FSTM1v186%83%74%71.5%62%FSTM1v多71.5%61.5%71.5%64%56.5%4总结与展望通过对wine数据集和iris数据集进行相同的几种方法的实验，可以无论是投票的识别方法还是模糊支持向量机中一对一和一对多的识别方法都模糊支持张量机都较模糊支持向量机取得了更好的效果。5参考文献1 Nello Cristianini, John Shawe Taylor. An Introduction to Support Vector Machines and Other Kernel-based Learning MethodsM. Cambridge University Press ,20002 M. Tim Jones. Al Application ProgrammingM. Charles River Media,20033 Chih-Chung Chang, Chih-Jen Lin. LIBSVM: a Library for Support Vector MachinesM. Software available