SVM在入侵检测中的应用课件

SVM在入侵检测中的应用中山大学计算机科学系张钢2004-10-14SVM在入侵检测中的应用中山大学计算机科学系张钢1入侵检测的特点研究正常数据与有入侵发生时的异常数据的分类问题正常数据与异常数据相比，数据量要大得多大多算法都需要使用历史数据进行训练用于学习的历史数据是有限的数据高维、小样本和线性不可分入侵检测的特点研究正常数据与有入侵发生时的异常数据的分类问题2SVM的特点SVM：支持向量机(SupportVectorMachine)解决两类的分类问题是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值有较为完善的理论基础：建立在统计学习理论的VC维理论和结构风险最小原理基础上SVM的特点SVM：支持向量机(SupportVecto3SVM应用在入侵检测中的可行性入侵检测是一个分类问题，通过检测把正常数据和异常数据分开需要分类的数据复杂：高维、小样本和不可分性SVM是在小样本学习的基础上发展起来的分类器设计方法，专门用于小样本数据，而且对数据维数不敏感SVM适合于入侵检测领域高维异构不均衡数据集中的分类器设计和异常发现SVM应用在入侵检测中的可行性入侵检测是一个分类问题，通过检4SVM简介-1基本思想：输入空间中非线性可分的情形，选择一个适当的非线性映射，将输入空间中的样本点映射到一个高维的特征空间，使得对应的样本点在该特征空间中是线性可分的。SVM简介-1基本思想：输入空间中非线性可分的情形，选择5SVM简介-2SVM简介-26SVM简介-3SVM简介-37SVM简介–解决非线性分类问题SVM简介–解决非线性分类问题8SVM简介-5SVM解决非线性分类问题核函数解决影射所带来的潜在“维数灾难”SVM简介-5SVM解决非线性分类问题9SVM在入侵检测中的应用目标数据集：主机的审计数据步聚：A.定义样本的距离B.选取核函数C.训练支持向量机D.性能比较SVM在入侵检测中的应用目标数据集：主机的审计数据10定义样本距离目标数据集中既有连续的属性，也有离散的属性核函数中需要对两个向量做点积点积操作对离散值无法进行定义样本距离目标数据集中既有连续的属性，也有离散的属性11定义样本距离样本：属性1、属性2…..属性n属性有连续型和离散型两种连续型属性：

离散型属性：样本距离：

定义样本距离样本：属性1、属性2…..属性n12核函数的选择多项式核函数径向基函数(RBF)多层感知器动态核函数核函数的选择多项式核函数13核函数核函数14训练算法SVM问题最终归结为求解一个二次规划问题在维数很大和训练样本有一定规模的情况下，直接求解时间和运算量很大解决方法：迭代法A.块算法B.固定工作样本集算法训练算法SVM问题最终归结为求解一个二次规划问题15我的论文建立基于SVM的针对主机审计数据的入侵检测模型引入RoughSet理论*(主要是数据预处理）基于自己定义的样本距离(AVDM)设计策略动态改进核函数增量训练算法我的论文建立基于SVM的针对主机审计数据的入侵检测模型16参考文献基于SVM分类机的入侵检测系统陈光英.张千里.李星.通信学报2002年05期基于支持向量机的网络入侵检测李辉.管晓宏.昝鑫.韩崇昭.计算机研究与发展2003年06期基于支持向量机的异常检测谭小彬.奚宏生.王卫平.殷保群.中国科学技术大学学报2003年05期基于SVM技术的入侵检测李昆仑.赵俊忠.黄厚宽.田盛丰.信息与控制2003年06期基于支持向量机的入侵检测系统饶鲜.董春曦.杨绍全.软件学报2003年04期参考文献基于SVM分类机的入侵检测系统陈光英.张千里17参考文献Hsuan-TienLinandChih-JenLin.Astudyonsigmoidkernelsforsvmandthetrainingofnon-psdkernelsbysmo-typemethods.Technicalreport,DepartmentofComputerScienceandInformationEngineering,NationalTaiwanUniversity,Taipei,Taiwan,2003.Availableat.tw/~cjlin/papers/tanh.pdf.JuweiLu,K.N.Plataniotis,andA.N.Venetsanopoulos.``Facerecognitionusingkerneldirectdiscriminantanalysisalgorithms''.IEEETransactionsonNeuralNetworks,14(1),January2003.IngoSteinwart.Sparsenessofsupportvectormachines.Technicalreport,2003.EmmanuelVazquezandEricWalter.Multi-outputsupportvectorregression.2003.AndredˇAlmeidaMonteiro.Interestratecurveestimation:afinancialapplicationforsupportvectorregression.Technicalreport,2004.参考文献Hsuan-TienLinandChih-Je18参考文献AndreasChristmannandIngoSteinwart.Onrobustnesspropertiesofconvexriskminimizationmethodsforpatternrecognition.Technicalreport,2003.LawrenceK.SaulFeiShaandDanielD.Lee.Multiplicativeupdatesfornonnegativequadraticprogramminginsupportvectormachines.InSebastianThrunSuzannaBeckerandKlausObermayer,editors,AdvancesinNeuralInformationProcessingSystems15,Cambridge,MA,2003.MITPress.F.FleuretandH.Sahbi.Scale-invarianceofsupportvectormachinesbasedonthetriangularkernel.2003.SuykensJ.A.K.,VanGestelT.,VandewalleJ.,andDeMoorB.Asupportvectormachineformulationtopcaanalysisanditskernelversion.IEEETransactionsonNeuralNetworks,14(2):447-450,March2003.F.R.BachK.FukumizuandM.I.Jordan.Dimensionalityreductionforsupervisedlearningwithreproducingkernelhilbertspaces.Technicalreport,2003.参考文献AndreasChristmannandIn19参考文献MatthiasSeeger.Gaussianprocessesformachinelearning.InternationalJournalofNeuralSystems,14(2):1-38,2004.VanGestelT.,SuykensJ.,DeMoorB.,andVandewalleJ.Automaticrelevancedeterminationforleastsquaressupportvectormachineclassifiers.InProc.oftheEuropeanSymposiumonArtificialNeuralNetworks(ESANN'2001),Bruges,Belgium,pages13-18,Apr.2001.J.A.K.Suykens.Suppor