感知器算法有代码

1、基于模式识别的判别函数分类器的设计与实现摘要：本文主要介绍了模式识别中判别函数的相关概念和感知器算法的原理 及特点，并例举实例介绍感知器算法求解权向量和判别函数的具体方法，最后按照线性函数判决函数的感知算法思想结合数字识别，来进行设计，通过训练数字样本(每个数字样本都大于 120)，结合个人写字习惯，记录测试结果，最后通 过matlab编码来实现感知器的数字识别。关键字：模式识别判别函数感知器matlab1引言模式识别就是通过计算机用数学技术方法来研究模式的自动处理和识别。对于人类的识别能力我们是非常熟悉的。因为我们在早些年就已经会开发识别声 音、脸、动物、水果或简单不动的东西的技术了。在开发

2、出说话技术之前，一个 象球的东西，甚至看上去只是象个球，就已经可以被识别出来了。所以除了记忆， 抽象和推广能力是推进模式识别技术的关键技术。最近几年我们已可以处理更复 杂的模式，这种模式可能不是直接基于通过感知器观察出来的随着计算机技术的 发展，人类对模式识别技术提出了更高的要求。本文第二节介绍判别函数分类器，具体介绍了判别函数的概念、特点以及如 何确定判别函数的正负；第三节介绍了感知器的概念、特点并用感知器算法求出 将模式分为两类的权向量解和判别函数，最后用matlab实现感知判别器的设计。2判别函数分类器2.1判别函数概念直接用来对模式进行分类的准则函数。若分属于，血的两类模式可用一 方程

3、d(X) =0来划分，那么称d(X)为判别函数，或称判决函数、决策函数。如,一个二维的两类判别问题，模式分布如图示，这些分属于 用一直线方程 d(X)=0来划分。其中d (X) w1x1 w2x2 w3 坐标变量。，血两类的模式可0式中：X2为将某一未知模式Xd (X ) w1x1若d(X) 0，若d(X) 0，若d(X) 0，d(X) 0+图2-1两类二维模式的分布代入:w2x2W31类;2类;Q或X W2或拒绝x1维数=3时：判别边界为一平面。维数3时：判别边界为一超平面。2.2判别函数正负值的确定判别界面的正负侧，是在训练判别函数的权值时确定的。如图2-2x20图2-2判别函数正负的确定

4、Xi图中d(X)=0表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的。2.3确定判别函数的两个因素1)判决函数d(X)的几何性质。它可以是线性的或非线性的函数，维数在特征提取时已经确定。已知三维线性分类判决函数的性质就确定了判决函数的形式:00d(X) W|X| w2x2 W3X3 w4O2-3所示:Xi图:2-3非线性判决函数图示2)判决函数d(X)的系数，由所给模式样本确定的3感知器算法设计与实现对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题， 由于无法实现非线性分类而下马。但“赏罚概念(reward-punishment concept) 得到广泛应用，

5、感知器算法就是一种赏罚过程。3.1感器算法原理及特点3.1.1感知器算法原理两类线性可分的模式类1，2 ，设d(X) WTX其中W W1,W2, ,wn,wn 1 T，XXX2,Xn,1 T应具有性质d(X) WTX0,若X0,若X(3-1)对样本进行规范化处理，即 32类样本全部乘以(-1)，则有：d (X ) W TX 0(3 - 2)感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向 量。感知器算法步骤:(1)选择N个分属于3 1和3 2类的模式样本构成训练样本集 X1，,XN 构成增广向量形式，并进行规范化处理。任取权向量初始值W(1)，开始迭代。迭代次数k=1。(2)

6、用全部训练样本进行一轮迭代，计算 WT(k)X的值，并修正权向量。 分两种情况，更新权向量的值：1.若WT kXi < 0,分类器对第i个模式做了错误分类，权向量校正为:W k 1 W k cXiC：正的校正增量。2.若W k Xi 0分类正确，权向量不变： W k 1 W k统一写为:Jw k i W k， WTk Xk 0(3-3)(3)分析分类结果：只要有一个错误分类，回到(2)，直至对所有样本正W k CX k, WT k Xk 0确分类感知器算法是一种赏罚过程:分类正确时，对权向量“赏”分类错误时，对权向量“罚”这里用“不罚”，即权向量不变;叹寸其修改，向正确的方向转换。3.1

7、.2感知算法特点-收敛性收敛性：经过算法的有限次迭代运算后，求出了一个使所有样本都能正确分 类的W,则称算法是收敛的。感知器算法是在模式类别线性可分条件下才是收 敛的。3.1.3感知器算法用于多类情况采用多类情况3的方法时，应有：若 Xi，则 di(X) dj X , j i, j 1, ,M对于M类模式应存在M个判决函数：di, i 1, ,MJ J J J J算法主要内容：设有M中模式类别：1, 2, , M设其权向量初值为：Wj 1 , j 1, ,M训 练样本为增广向量形式，但不需要规范化处理。第 K次迭代时，一个属于CD i类 的模式样本X被送入分类器，计算所有判别函数dj kW j

8、T k X , j 1, M(3-4)分二种情况修改权向量： 若di k dj k, j i; j 1,2, ,M，则权向量不变;Wj k 1 Wj k , j 1,2, ,M若第L个权向量使dik w d| k，贝U相应的权向量作调整，即:W ik1W ikCXW 1k1W ikCXW jk1W jk ,ji , l(3-5)其中c为正的校正增量，只要模式类在情况 3判别函数时是可分的，则 经过有限次迭代后算法收敛。3.2实例说明为了说明感知器算法的具体实现，下面举出实例加以说明:已知两类训练样本1 : X1 0,0 T X2 0,1 T 2： X3 1,0 T X4 1,1 T用感知器算法

9、求出将模式分为两类的权向量解和判别函数。解：所有样本写成增广向量形式；进行规范化处理，属于CD2的样本乘以（- 1)。1, 1, 1TX10,0,1T X20,1,1T X31,0, 1T X4任取W=0，取c=1,迭代过程为: 第一轮：WT(1)X1OQO0,0,故 W(2) W(1)X10,0,1TWT(2)X20,0,11,0,故 W(3) W(2)0,0,1TWT( 3)X30,0,1-10-1-1,0,故 W(4) W(3) X3-1,0,0TWt(4)X4-1-1,0,0 -1-11,0,故 W(5) W(4)-1,0,0T有两个WT（k）X W0勺情况（错判），进行第二轮迭代。第

10、二轮：Wt(5)X100,故 W(6)W(5) X1-1,0,1 TWT(6)X210,故 W(7)W(6)-1,0,1 TWT(7)X300,故we)W(7) X3-2,0,0Wt(8)X420,故 W(9)W(8)-2,0,0T第三轮：Wt(9)X100,故 W(10)W(9) X1-2,0,1WT(10)X210,故 W(11)W(10)Wt(11)X310,故 W(12)W(11)WT(12)X410,故 W(13)W(12)第四轮：WT(13)X110,故 W (14)W(13)WT(14)X210,故 W(15)W(14)Wt(15)X310,故 W(16)W(15)WT(16)X

11、410,故 W(17)W(16)TT该轮迭代的分类结果全部正确,故解向量 W2,0,1 T相应的判别函数为：d(X)2x1 1dX2xiX20,1(卜八°X41,1x1 0,0XiX3 1,0图3-1判决函数示意图判别界面d(X)=0如图示。当c、W(1)取其他值时，结果可能不一样，所以感知器算法的解不是单值的3.3 matlab的感知器算法设计与实现本设计是按照线性函数判决函数的感知算法思想结合数字识别，来进行设计，通过训练数字样本(每个数字样本都大于120)，结合个人写字习惯，记录测试结果，最后通过 matlab编码来实现感知器的数字识别。3.3.1 Matlab代码设计func

12、tion y=jia ngche ng(sample)clc;load templet patter n;w=zeros(26,10);d=；maxpos=0;maxval=0;f=1;n=;m=;%依次输入样本for j=1:100for i=1:10f=1;pattern(i).feature(26,j)=1;for k=1:10m=pattern(i).feature(:,j);d(k)=w(:,k)*m;end%判断是否为最大值，如果是，f=1，否则f=0；for=1:10if k=iif d(i)<=d(k)I=0;endendend%修正权值if ffor k=1:10if

13、k=iw(:,k)=w(:,k)+pattern(i).feature(:,j);3.3.2 matlab 实现AjI图3-2数字训练样品洋址O趺: 气品1小剂; ira? r.> 挥品”-*； 禅品4世箍; 坪皿貳 FTiSS' fi 祥目7忙敛: 样晶3十献: 样3 -數=首先通过，手写输入0-9个数字的训练样例各130个，如下图所示训练样本准备好后，进行数字识别测试，其测验如下elsew(:,k)=w(:,k)-pattern(i).feature(:,j) endendendendendsample(26)=1;h=；%计算各类别的判别函数for k=1:10h(k)=w(:k)'*sample'endmaxval,maxpos=max(h);y=maxpos-1;图3-3数字测验结果正确样例131131i羊昂卅st*UayTSSt；131130r * t13012013&130I, "*图3-4数字测试不正确样例3.3.3设计结果分析通过多次手写验证测试，有65%通过，其结果如节显示，由于模式识别的算 法复杂，步骤较多，实现起来有一定的难度。为了使样品库少一些，将精力着重 放在算法的理解及编程实现上，此次设计用的是 6x6的设计模