支持向量机SVM-简介PPT课件

SupportVectorMachines,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),Howwouldyouclassifythisdata?,线性分类器,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),Howwouldyouclassifythisdata?,线性分类器,线性分类器,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),Howwouldyouclassifythisdata?,线性分类器,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),Howwouldyouclassifythisdata?,线性分类器,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),Anyofthesewouldbefine.butwhichisbest?,线性分类器,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),线性分类器的间隔（margin）：到超平面最近的样本与此超平面之间的距离。,最大间隔,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM),线性支持向量机,f,x,y,+1-1,f(x,w,b)=sign(w.x-b),支持向量(SupportVectors):是那些距离超平面最近的点。,具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM),线性支持向量机,最大间隔,Why最大间隔?,+1-1,f(x,w,b)=sign(w.x-b),支持向量(SupportVectors):是那些距离超平面最近的点。,具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是一种最简单的支持向量机(SVM)(称为线性支持向量机，即LSVM),线性支持向量机,直观上感觉很好.学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系：,具体化分类超平面及其间隔,如何在数学上表示?在m位空间中?,Plus-Plane,Minus-Plane,ClassifierBoundary,zone“PredictClass=+1”,“PredictClass=-1”zone,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1,具体化分类超平面及其间隔,Plus-Plane,Minus-Plane,ClassifierBoundary,zone“PredictClass=+1”,“PredictClass=-1”zone,计算间隔,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=Margin,我们怎样利用w与b计算margin?,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1,注:向量w与PlusPlane垂直.为什么?,设u和v是PlusPlane上的两个向量.则w.(uv)是多少?,所以w也垂直于MinusPlane,注:向量w与PlusPlane垂直.为什么?,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=Margin,我们怎样利用w与b计算margin?,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1,计算间隔,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1向量w与PlusPlane垂直设x-是minusplane上任意一点设x+是plus-plane上距离x-最近的点,x-,x+,计算间隔,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=Margin,我们怎样利用w与b计算margin?,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1向量w与PlusPlane垂直设x-是minusplane上任意一点设x+是plus-plane上距离x-最近的点注:对于某实数l，x+=x-+lw.为什么?,x-,x+,计算间隔,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=Margin,我们怎样利用w与b计算margin?,Plus-plane=x:w.x+b=+1Minus-plane=x:w.x+b=-1向量w与PlusPlane垂直设x-是minusplane上任意一点设x+是plus-plane上距离x-最近的点注:对于某实数l，x+=x-+lw.为什么?,x-,x+,计算间隔,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=Margin,我们怎样利用w与b计算margin?,x-与x+的连线与planes垂直.于是x-在w的方向上移动一段距离就可与到达x+.,现在我们知道:w.x+b=+1w.x-+b=-1x+=x-+lw|x+-x-|=M于是很容易由w和b得到M,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=MarginWidth,x-,x+,计算间隔,现在我们知道:w.x+b=+1w.x-+b=-1x+=x-+lw|x+-x-|=M于是很容易由w和b得到M,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=MarginWidth,w.(x-+lw)+b=1=w.x-+b+lw.w=1=-1+lw.w=1=,x-,x+,计算间隔,现在我们知道:w.x+b=+1w.x-+b=-1x+=x-+lw|x+-x-|=M,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-1,M=MarginWidth=,M=|x+-x-|=|lw|=,x-,x+,计算间隔,学习最大间隔分类器,我们现在需要找到一种算法，来求出w与b，并且能匹配上所有的样本点.怎么做?梯度下降?退火算法?矩阵求逆?牛顿法?,Zone“PredictClass=+1”,“PredictClass=-1”zone,wx+b=1,wx+b=0,wx+b=-