设计基于SVM分类器_第1页
设计基于SVM分类器_第2页
设计基于SVM分类器_第3页
设计基于SVM分类器_第4页
设计基于SVM分类器_第5页
已阅读5页,还剩26页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

基于SVM基于SVM互联网的飞速发展使得人们对信息、的速度和规模达到史无前次,对统计学习理论的主要内容、SVM:文本分类,SVMTherapiddevelopmentoftheInternetmakespeopleofinformationcollection,disseminationspeedandscalereachedunprecedentedlevels,toachievetheglobalinformationsharingandin ction.However,italsobringsmanysideeffects,suchasmassiveinformationsometimesmakepeoplefeelatlooseends,howtointheshortestpossibletimegettousersthemostusefulinformationhas ethehotspotofcurrentresearch.Textclassificationtechnologyofdatamininginthefieldofaverytask,itcanhelpusersfromthenumerousandcomplicatedinformationquicklyand ypositioningtheneededinformation.Thispaperwithtextclassifierfortheoverallmodel,mainlyincludingtextpreprocessing,featureselection,featurevectorextraction,classifiertrainingandtestandevaluationoftheclassificationperformance.Focusonfeatureselection,featurevectorextraction,textalgorithm.Secondly,themaincontentofstatisticallearningtheory,thebasicprincipleofSVMalgorithmanditsadvantages,andthecorefunctionsandotherhotissuesare:textclassification,SVMalgorithm,statistical,learning本章简单介绍了文本分类的目的、意义以及国内外的发展状况。并对SVM 、文本分类是基于内容的自动信息管理的技术。应用于信息过滤、信息检索、搜索引擎、文本数据库、数字管等领域,有着广泛的应用前景。而SVM是基于统计学习理论的新一代机器学习技术,能很好地处理非线性数、局决,降低了算法的复杂度。现有的文本分类模型主要有决策树(DecisionTree,DT)、支持向量机(SupportVectorMachineSVM)、神经网络算法、、想并应用于文本分类中。1960年,Maron教授了一篇《onrelevance,probabilisticindexingandinformationretrieval》,该对文本的自动自动分类。1970,Salton(VectorSpaceModel,识工程技术的方法;80国内对于文本分类的研究起步较晚。1980年,候汉清教授从计算机管理分等教授对基于词典法的分类系统进行了研究武等教授对基于专家系统的自动分类系统进行了研究。等人用了n-gram方法对英文文本进行分19901998Joachims(SVM),一系列小的二次规划问题,简化了算法的运行成本。C-SVM系列算法、υ-SVM法通过增加函数项、变量或系数等方法使变形,形成具有某一方面优势或本主要对基于SVM况,支持向量机的发展应用以及整个的组织结构。第三章:本的部分,主要介绍了支持向量机算法的基本概念和理第四章:设计并实现一个英文文本的自动分类系统,并对该系统进试文本分类(Textcategorization)就是在给定分类类别的情况下,将未预处理去停用词、词频统预处理(去停用特征项选特征向量提对分类器性能文本分类训练过 文本分类测试过2.1停用词(StopWords)指虽然在文本中出现的频率很高,但是对文本分类the、a、an、that、those词频并按出现的频率排序,词频(termfrequency,TF),是指给定单词在该文件中出现的次数,使用出现频率较高的N,NBFST,利用计数指针ij前字符位置。从主串Sn1;1次只处理一个单词,占用空间小且稳定,但其消耗的时间与集合的大小2,树的每个节点不是包含一个或几个关键字,而是含有组成关键字的符号。词频统计时,对集合中的找、计算各个词的相关信息。此方法的分为两部分:树的构造算法和词频下面对模型和向量空间模型这两种特征表示的方法做一简单介绍。(Boolean)模型是基于集合论和代数的一种比较简单的文本表示1,0。缺点是对于一篇待分类的样本,只有相关和不相关两种状态,限制了文本的检索性能。另外,很难将用户所需的查询信息转换成表达式。一个文本所属的类型只与其出现的频率有关,而与它出现的先后次序的没有关系的,文本的长度、上下文关系、位置以及出现的顺目前文本表示最常用的方法是向量空间模型(VectorSpaceModel,简称VSM),它是由G.Salton于1988年,SMART系统就是该模型的成功应VSM文本():是由训练集、测试集组成的语料库中的任意一篇文章,(featureterm):能准确表示文本特征的单词。一个文章可以被看(termweight):在向量空间模型中,每篇文档都被表示成向量形式,对于含有nD(t1t2↑⋯t𝑛),每一个特征项t𝑘wk2.12.1123…wordFile…File…File…File…在词频矩阵中,word𝑎𝑖𝑗是特征项的权重,表示第ij特征空间具有稀疏性、性等特点,这大大提高了文本分类的复杂程度,增加了分类时间,并且很大程度降低了文本分类的性能。在空间中,TF-IDF(termfrequency-inversefrequency)词频-反转文件频越大。说明该单词t

=

(2-𝑖𝑑𝑓=

(2- 都是基于机器学习的方法。大致可分为三类:1.KK文档集中各个文档的向量的相似度,得到K档,根据这K0。KNN算法的思想是:如果一个样本在特征空间中的k个最相邻的样本,别中样本的特性。KNNKNN来说,KNN朴素算px,θp(x),p(θ)。一般情况 P(θ|𝓍)

=∫𝜋(𝜃)

式中,𝜋(𝜃)是θ2.1SVMVapnik为决策面,使得正例和反例之间的边缘被最大化。该算法以统计学习理论VC一项的值为零,并且使第二项最小化。SVMx(i)x偏置偏置⋮2.2决策树(decisiontree)是一个预测模型,运用树状图表示各决策的期望T1T1F22.3一种是人工神经网络(ArtificialNeuralNetworksANNs),也简称为神经网络(NNs)或称作连接模型(ConnectionModel),它是一种模仿动物元可调的连接权值连接而成,具有大规模并行处理、分布式信息、良好的自组织习能力等特点。这种网络依靠系统的复杂程度,通过调整内部大量输入 隐含 输出图 性能评价是文本分类中的重要环节。主要是率(recall)、准确(precision)、以及用于评价全局性能的宏平均(macro-average)(micro-average)10,2.21AB0CD率R R100𝐴𝐶准确率P P100𝐴𝐵个指标是互补的,想要提高准确率,率就会将低,反之亦然。MP和MRmP和mR𝑎𝑖代表类别i文本数,𝑏𝑖代表被分类器错分给类别i𝑐𝑖代表把属于类别i mP=∑𝑎𝑖/(∑𝑎𝑖+∑ mR=∑𝑎𝑖/(∑𝑎𝑖+∑ 1MP=𝑛∑11MR=𝑛∑1VC就越强。VCVCh2^hh3.23.33.1R^23.2R^2R^2VC关系即推广误差边界。对于两类分类问题,经验风险R𝑚𝑝(𝑎)和实际风险R(𝑎)之间以至少1η( (

(

R

≤R𝑒𝑚𝑝𝑎

1 1

𝐵𝜀(𝑛)

3−ℎ(ln(2𝑛)+1)−𝑙𝑛𝜀(𝑛)=4

R(𝑎)≤R𝑒𝑚𝑝(𝑎)+Φ

(3−ℎ其中hVC,nVCVCh,n,n/h较小时,3.13.2n/h较大时,置信范围Φ就会n/h在结构风险最小化中,先把函数集S={𝑄(𝑧𝑎)𝑎∈Λ}𝑆1⊂𝑆2⊂⋯⊂𝑆𝑘⊂⋯⊂式中,𝑆𝑘={𝑄(𝑧𝑎)𝑎∈Λ𝑘}S=⋃设输入样本集{𝑥𝑖}⊂R由两类点组成,如果𝑥𝑖属于正类,记为1,如果𝑥𝑖属于负类,则记为-1。若训练集Ω={(𝑥𝑖,𝑦𝑖)}𝑙 ,这里𝑦𝑖=+1或,𝑦𝑖=−1,样本数为𝑙。支持向量机首先将向量映射到一个更的空间里,在其中建立最大间最后,分隔超平面,使两个平行超平面的距离最大化。SVM假定平行超平面的ω𝒳+b= ω𝒳+b=0的法方向ω已经给定,平行的向右上方或左下方移动这个超平面α1可以碰到某个训练点的输入,这样就得到了两个的超平其中𝒳是超平面上的点,ω3.3ω∙𝒳+b=ω𝒳+b= ω∙𝒳+b=0 ω∙𝒳+b=−1ω∙𝒳+b=1ω α2α 3.3α1能够将上述两类样本正确地分隔开来,α2α3α1,并且经过了各类中α1最近的样本。ω∙𝑥𝑖+b≥ω𝑥𝑖b≤ ω∙𝒳+b=0,使得ω∙𝑥𝑖+b≥ 𝑦𝑖=ω𝑥𝑖b≤ 𝑦𝑖= 对于一个固定的超平面,参数(ωb)不是唯一确定的(相差一个常数因子),因此总能找到一对参数(ωb),使得上述不等式中至少有一个以等式成立,为此,只需令{(𝑥𝑖,𝑦𝑖)}到该超平面的最小距离为1/‖𝜔‖。1SVM{(𝑥𝑖𝑦𝑖)}𝑙 ,找到权值向量ω和偏置b,3.7Φ(ω)=12α𝑖≥0i=1,⋯,α𝑖VapnikVCh≤‖𝜔‖2𝑟2+式中rSVMVCf(𝓍)=∑𝛼𝑖𝑦𝑖𝑥𝑇𝑥+引入一组新的非负变量{ξi}𝑙来处理不可分的样本点,ξi也称为松弛变量。给定训练样本{(𝑥𝑖, ,寻找权值向量ω和偏置b的最优值,使得它

𝑦𝑖(𝜔𝑇𝑥𝑖+𝑏)≥1−ξ≥0i=1,⋯𝑙𝜔𝜉𝑖Φ(ω)=1𝜔𝑇𝜔+𝐶∑ 其中,惩罚系数C>0函数概念,就可以避免在特征空间中的运算。要解决非线性可分的情况,就是 𝒳为输入空间的向量,则通过事先确定好的非线性映射函数:Φ:𝒳→Φ(𝒳),𝑅𝑛→𝐻把𝒳映射到一个特征空间(Hilbert空间)中,然后在空间H中寻求最优分类超平面。给定训练样本{(𝑥𝑖,𝑦𝑖)}𝑙 1 Lagrange乘子 ,满足约束条

∑𝛼𝑖𝑦𝑖=0≤𝛼𝑖≤C,i=1,⋯f(𝓍)=∑𝛼𝑖𝑦𝑖𝑘(𝑥𝑖,𝑥)+SVMm3.4k(𝓍,k(𝓍,k(𝓍,k(𝓍,⋮ k(𝓍,k(𝓍,3.4K(∙Φ∙),把样本空间映射到一个甚至无穷维的特征空间中(Hilbert空间),使得在原Hilbert空间,相当于选择了不同的内积。核函数将空间的內积运算转化为低的核函数计算,巧妙地解决了“维数”等问题,并且核函数的为了用线性的学习器学个非线性的关系,需要选择一个非线性特f(𝓍)=∑𝜔𝑖Φ𝑖(𝑥)+其中,Φ𝓍→H是从输入空间到某个特征空间的映射。所以,建立非学习器分Hf(𝓍)=∑𝛼𝑖𝑦𝑖(Φ(𝑥𝑖)∙Φ(𝑥))+SVM,4线性核函数径向基核函数:K(x,y)=exp(-|x-SVM该方法是通过构造一系列二分类器来解决多分类问题的。对于k构造kSVMiSVMi第iiDi(𝓍)=ωTΦ(𝓍)+bi=i当采用离散判别函数时,决策规则为:把样本𝓍Di(𝓍)>的第iDi(𝓍)>0当采用连续判别函数时,其决策规则为:把样本𝓍argmax i=1,…,的第iDi(𝓍)为了解决离散的不可分区域问题,InoueAbeSVMKk(k-1)/2SVMij为训练样本数据集,并将属于类别ij负。第ijDij(𝓍)=ωTΦ(𝓍)+bij=0Dij(𝓍)=−Dji(𝓍)当采用离散判别函数时,对于给定的样本𝓍cDi(𝓍)=∑ Dij(𝓍)≥sng(Dij(𝓍))={

(𝓍)<k=argmax(Di(𝓍𝓍) i=1,…,那么就把𝓍归为第kk𝓍是不可分的。该算法存在的Vapnik1995VC法相比,SVM用内积的回旋巧妙地构造核函数,克服了特征空间中的维数问题,通尽管在文本分类领域中,SVMSVM在训练分类器时,SVM们的存在还可能造成过学习,使泛化能力减弱。LIBSVM篇,放在名为测试集的文件夹中,方便系统进试。所有语料库样本为英文文本,文本的格式为.txtLIBSVM是大学(LinChih-Jen)等开发设计的一个简单、供了交互检验(CrossValidation)C-SVMSVM类、-SVMSVM通过综合考虑,我决定采用该软件作为工作软件。SVMSVM方法及其参数、核函数及其参数的选择,目前国际上还没有形成一个统一SVMLIBSVMRBF采用交叉验证选择最佳参数Cg采用最佳参数Cg利用获取的模型进试与预测<label><index1>:<va

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论