基于LMSE的分类器设计

1、主主 讲：周润景讲：周润景 教授教授单单 位：电子信息工程学院位：电子信息工程学院基于LMSE的分类器设计目目 录录 LMSE算法简介算法简介算法的原理算法的原理算法的实现步骤算法的实现步骤实现算法的实现算法的MATLAB编程过程编程过程算法的算法的MATLAB仿真情况仿真情况结论结论 LMSE算法简介算法简介 LMSE是Least Mean Square Error的英文缩写,中文的意思是 最小均方误差, 常记做LMS算法。 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网

2、络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。 LMSE算法是对准则函数引进最小均方误差这一条件而建立起来的。这种算法的主要特点是在训练过程中判定训练集是否线性可分，从而可对结果的收敛性做出判断。 LMSE算法属于监督学习的类型, 而且是“模型-无关”的，它是通过最小化输出和期望目标值之间的偏差来实现的。一、算法的原理一、算法的原理( (一一) ) LMSE算法属于自适应算法中一种常用的算法,它不同于C均值算法和ISODATA算法那样属于基于距离度量的算法,直

3、观容易理解,它是通过调整权值函数求出判别函数,进而将待测样品代入判别函数求值最终做出判定得解。一、算法的原理一、算法的原理( (二二) ) 一、算法的原理一、算法的原理(二二)准则函数: 准则函数在 时得 的最小值。 准则函数对Wi的偏导数为:21(,)() 2TJ Wi XEi XWi Xr0)(XWiXriT),(XWJiXWiXriXEWiJT)(一、算法的原理一、算法的原理(二二)求取迭代方程: 将上式偏导数代入迭代方程，得到: 对于多类问题来说，M类问题应该有M个权函数方程，对于每一个权函数方程来说，如 ，则 否则 )()()()()() 1(kXkWikXrikXakWkWTkii

4、ikX)(1)(kXriijMjkXri,.,2 , 10)(二、二、 LMSE算法算法步骤步骤1.设各个权矢量的初始值为0，即：2.输入第k次样品 ，计算 3.确定期望输出函数值：若 ，则 ，否则 4.计算迭代方程，其中 。5.循环执行第2步，直到满足条件：属于 类的所有样品都满足如下不等式： 。 0)0(.)0()0()0(9210WWWW)(kX)()()(kXkWkdTiiikX)(1)(kXri0)(kXrikk1iijXdXdji)()(三、实现三、实现LMSE算法的详细过程算法的详细过程l1.首先给定四类样品，各样品的特征向量经过增1(这里以第一类为例)lpattern=stru

5、ct(feature,)lp1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 864.45 1647.31 2665.9; 877.88 2031.66 3071.18; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12; 1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;lpattern(1).feature=p1三、实现三、实现LMSE算法的详细过程算法的

6、详细过程lpattern(1).feature(4,:)=12.设权值向量的初始值均为0lw=zeros(4,4);%初始化权值3.计算di(k)lfor k=1:4l m=pattern(i).feature(:,j)l m=m/norm(m)l d(k)=w(:,k)*m %计算d4.调整权值lfor k=1:4l if k=il if d(i)=d(k)%d(i)不是最大，则继续迭代l flag=1;三、实现三、实现LMSE算法的详细过程算法的详细过程lendl endl endl %调整权值l for k=1:4l w(:,k)=w(:,k)+m*(r(k)-d(k)/num 5. 通

7、过判别函数将待分类数据分类 调用function函数，将待测数据分类，因为调用一次只能判别一个样品的类别，所以循环30次完成分类：lfor k=1:30l sample=sampletotall(:,k)l y=lmseclassify(sample)l x=sample(1)三、实现三、实现LMSE算法的详细过程算法的详细过程lyy=sample(2)l z=sample(3)l ac(k)=y6.用三维效果图将结果直观显示laxis(0 3500 0 3500 0 3500) l if y=1 plot3(x,yy,z,g*); %一类表示为绿色l elseif y=2 plot3(x,y

8、y,z,r*) %二类表示为红色l elseif y=3 plot3(x,yy,z,b*) %三类表示为蓝色l elseif y=4 plot3(x,yy,z,y*) %四类表示为黄色lendlhold on四、算法四、算法的的MATLAB仿真仿真情况情况最终的分类结果：lac =l1 至 15 列l3 3 1 3 4 2 2 3 4 1 3 2 1 2l4l16 至 30 列l2 4 3 4 2 2 1 3 1 1 4 1 3 3l3四、算法四、算法的的MATLAB仿真仿真情况情况数数据据编编号号原原始始分分类类预预测测分分类类数数据据编编号号原原始始分分类类预预测测分分类类数数据据编编号号

9、原原始始分分类类预预测测分分类类数数据据编编号号原原始始分分类类预预测测分分类类数数据据编编号号原原始始分分类类预预测测分分类类133722131119442511233833142220222644311944154421222711433101116222231283354411331744233329336221232183324113033结果分析：从表中可以看出有结果分析：从表中可以看出有2个分类结果是错的，正确率为个分类结果是错的，正确率为93.3%。四、总结四、总结学习样本的维数问题： 因为样品类别不均匀（第一类4个样品，第二类8个样品，第三类9个样品，第四类10个样品），程序不

10、运行，后来将数据重复添加进去，保证了程序的正常运行。lfor j=1:10l 。l for k=1:4l m=pattern(i).feature(:,j)l d(k)=w(:,k)*m %计算dl end 。end四、总结四、总结p1=864.45 1647.31 2665.9; 877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.58 1641.58 3405.12;864.45 1647.31 2665.9;877.88 2031.66 3071.18;1418.79 1775.89 2772.9; 1449.581641.58 3405.12;1418.79 1775.89 2772.9; 1449.581641.58 3405.12; 注意：其中864.45 16