模式识别与MATLAB.ppt

模式识别与MATLAB,-信息0603康叶,主讲内容,Fisher算法及MATLAB实现,Svm（supportvectormachine）与优化,通过MATLAB编程进一步熟悉一下模式识别中的一些典型算法,典型算法,聚类算法：1、层次聚类2、划分聚类,分类器算法3、线性判别函数4、Bayes算法,W2,W1,W3,L1,L3,L2,1、层次聚类,单连接算法第一步：将n个样本分配到n个簇中，计算距离矩阵；第二步：计算最新距离矩阵，将拥有最小簇间距离的两个簇合并，得到新簇集合；第三步：若簇数大于1，重复第二步；若为1，则结束。,Matlab代码,样本：x数据标准化：xn=zscore(x)计算样本间距离：Y=pdist(xn,distance)距离矩阵：squareform（y)调用z=linkage（y,method）dendrogram(z)生成层次图调用T=cluster（z，c）对样本进行分类,Distance:Euclid：欧拉距离Hamming:汉明距离Function：DISTFUN,Y=(1:6)X=0123104524063560,squareform(Y)=X,squareform(X)=Y.,MethodSingle：最小距离Complete：最大距离Average、weighted：平均距离Centroid、median：重心法,Example：,clearX=5.8090.597.4467.148.1165.4810.2158.889.5159.249.8160.47;Xn=zscore(X);Y=pdist(Xn,euclid)squareform(Y)figureZ=linkage(Y,centroid);dendrogram(Z);T=cluster(Z,3),Clusterdata,k-均值(k-means)算法给定k，算法的处理流程如下:第一步：随机的把所有对象分配到k个非空的簇中；第二步：计算每个簇的平均值，并用该平均值代表相应的簇中心；第三步：将每个对象根据其与各个簇中心的距离，重新分配到与它距离最近的簇中；第四步：重复2,3直到k个簇的中心点不再发生变化或准则函数Je收敛。,2、划分聚类,Matlab代码,直接调用库函数kmeans（）IDX,C,SUMD,D=KMEANS(X,K,PARAM1,val1,PARAM2,val2,.)DistanceStartReplicatesDisplay,Example:X=randn(20,2)+ones(20,2);randn(20,2)-ones(20,2);cidx,ctrs=kmeans(X,2,dist,city,rep,5,disp,final);plot(X(cidx=1,1),X(cidx=1,2),r.,.X(cidx=2,1),X(cidx=2,2),b.,ctrs(:,1),ctrs(:,2),kx);,3、线性判别函数,现抽取n个特征为：判别函数：判别条件：,g1(x)g2(x)和g1(x)g3(x),实现步骤第一步：初始化各权值矢量W=0；第二步：将所有样本x（k）进行计算，求的g(x(k)；第三步：若x（k）判断gi（k）是不是最大值，若是，权值不用修改；否则权值需修正；W+x（k）,Wj-x（k）第四步：重复2,3直到权值不再修正。第五步：求的gij=gi-gj,Matlab代码,g=sample(i,:)*w;length(find(d=max(d)=1|find(d=max(d)=y(i);%判断是否是最大值w=w+sample(i,:)*2*(y(i)=1)-1,2*(y(i)=2)-1,2*(y(i)=3)-1;%修正权值flag=1;%设标志位w=w(:,1)-w(:,2),w(:,2)-w(:,3),w(:,3)-w(:,1);%求的gij,例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率，从而。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即，从而可知，正常人阳性反映的概率为0.01即,可知。,4、Bayes算法,对于两类1，2问题，直观地，可以根据后验概率做判决：,随机模式分类识别，通常称为Bayes(贝叶斯)判决。,主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。,将P(i|x)代入判别式，判别规则可表示为,根据Bayes公式，后验概率可由类i的先验概率P(i)和条件概率密度来表示，即,最小误判概率准则下的判决规则：,如果则判,另一个等价形式是：如果则判,由贝叶斯定理,对于多类问题，最小误判概率准则有如下几种等价的判决规则:,实现步骤,1、先验概率：2、类概率：3、后验概率：4、判别：,Fisher算法,二维模式向一维空间投影示意图,o,x,y,o,y,x,映射Y空间Y=WTX-W00X1Y=WTX-W0W0则X1;Y=WTXW0则X2。分类问题就解决了,实现步骤第一步：把来自两类1/2的训练样本集X分成与1对应的子集X1和与X2对应的子集；第二步：由计算xi；第三步：由计算各类的类内离差阵S1，S2第四步：计算类内总离差阵Sw=S1+S2第五步：计算的逆矩阵第六步：按求解W,第七步：第八步：第九步：对未知模式x判定模式类,Svm（supportvectormachine）与优化,首先看一下它处理分类问题的情况：,判别函数,判别准则,核函数,解决线性不可分问题：,低维空间的线性不可分,非线性转换,高维空间的线性可分,由于维数是升高，很大程度上增大了计算量，所以引进多项式内积核函数。,线性核函数（linear）,高斯径向基核函数（rbf）,D阶（非）齐次多项式核函数（poly）,指数型径向基核函数（erfb）,example:,线性判别：,二阶多项式判别：,clearloadlineardatac=100;ker=linear;nsv,alpha,bias=svc(x,y,c)s