判别函数及几何分类法

1、判别函数及几何分类法第1页，共129页，2022年，5月20日，20点25分，星期一第3章 判别函数及几何分类法3.1 判别函数3.2 线性判别函数3.3 广义线性判别函数3.4 线性判别函数的几何性质3.5 感知器算法3.6 梯度法3.7 最小平方误差算法3.8 非线性判别函数第2页，共129页，2022年，5月20日，20点25分，星期一3.1 判别函数聚类分析法（第七章）判决函数法几何分类法确定性事件分类（第三章）概率分类法随机事件分类（第二章）线性判决函数法统 计 决 策 方 法非线性判决函数法复习与引申：模式识别统计第3页，共129页，2022年，5月20日，20点25分，星期一若分

2、属于1，2的两类模式可用一方程d(X) =0来划分，那么称d(X) 为判别函数，或称判决函数、决策函数。3.1 判别函数(discriminant function) 直接用来对模式进行分类的准则函数。例：一个二维的两类判别问题，模式分布如图示，这些分属于1，2两类的模式可用一直线方程 d(X)=0来划分。为坐标变量，为方程参数。式中：图3.2 两类二维模式的分布1判别函数的定义第4页，共129页，2022年，5月20日，20点25分，星期一若 ，则若 ，则 类；若 ，则 类； 或拒绝将某一未知模式 X 代入：维数=3时：判别边界为一平面。维数3时：判别边界为一超平面。第5页，共129页，20

3、22年，5月20日，20点25分，星期一 d(X) 表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的。 判别界面的正负侧，是在训练判别函数的权值时确定的。2判别函数正负值的确定图3.3 判别函数正负的确定第6页，共129页，2022年，5月20日，20点25分，星期一1）判决函数d(X)的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。如：已知三维线性分类 判决函数的性质就确定了判决函数 的形式：3. 确定判别函数的两个因素例：非线性判决函数2）判决函数d(X)的系数。用所给的模式样本确定。第7页，共129页，2022年，5月20日，20点25分，星期一3.

4、2 线性判别函数3.2.1 线性判别函数的一般形式将二维模式推广到n维，线性判别函数的一般形式为： (3-2)式中：增广向量的形式：式中：为增广权向量，为增广模式向量。权向量第8页，共129页，2022年，5月20日，20点25分，星期一3.2.2 线性判别函数的性质1. 两类情况d(X) = 0：不可判别情况，可以） 对M个线性可分模式类，1， 2， M，有三种划分方式：2. 多类情况 两分法两分法两分法特例第9页，共129页，2022年，5月20日，20点25分，星期一两分法(1)多类情况1： 用线性判别函数将属于i类的模式与其余不属于i类的模式分开。将某个待分类模式 X 分别代入 M 个

5、类的d (X)中，若只有di(X)0，其他d(X)均0，则判为i类。识别分类时：第10页，共129页，2022年，5月20日，20点25分，星期一 全部不属任何类 IR，可能 属于1w或3w 1w2w3w0)(2=Xd0)(3=Xd+IR，可能 属于3w或2w +-0)(1=Xd0,0312ddd0,0321ddd0,0,321dddIR，可能属于1w或2w 0,0213ddd2x1x+对某一模式区，di(X)0的条件超过一个，或全部的di(X)dd001312dd002321dd3w+- d23(X)=0d12(X)=0d13(X)=0IR000231312dd001312dd002321d

6、d3w+- d23(X)=0d12(X)=0d13(X)=0IR000231312dj(X)就相当于多类情况2中的dij(X) 0。两分法特例(3)多类情况3： 因此对具有判别函数 的M类情况，判别函数性质为：或： 第20页，共129页，2022年，5月20日，20点25分，星期一识别分类时： 判别界面需要做差值。对i类，应满足： di其他所有dj2313dddd01w2w2x1x()0)(21=-XdXd+-()0)(31=-XdXd()0)(32=-XdXd3212dddd3121dddd3w第21页，共129页，2022年，5月20日，20点25分，星期一 除边界区外，没有不确定区域。特

7、点： 是第二种情况的特例。由于dij(X)= di (X) dj(X) ，若在第三种情况下可分，则在第二种情况下也可分，但反过来不一定。2313dddd01w2w2x1x()0)(21=-XdXd+-()0)(31=-XdXd()0)(32=-XdXd3212dddd3121dddd3w 把 M 类情况分成了(M -1)个两类问题。并且 类的判别界面全部与 类的判别界面相邻（向无穷远处延伸的区域除外）。特别的定义第22页，共129页，2022年，5月20日，20点25分，星期一例3.5 一个三类模式（M=3）分类器，其判决函数为： 试判断X0=1,1T属于哪一类，且分别给出三类的判决界面。解：

8、 第23页，共129页，2022年，5月20日，20点25分，星期一类的判决函数：判决界面如图所示。类的判决函数：类的判决函数：-()0)(21=-XdXd2313dddd0.5x2+-()0)(31=-XdXd()0)(32=-XdXd3212dddd3121dddd110.5w1w2w3x1+第24页，共129页，2022年，5月20日，20点25分，星期一-O2x1x()0)(21=-XXdd+-()0)(31=-XXdd()0)(32=-XXdd例3.6 已知判决界面的位置和正负侧，分析三类模式的分布 区域 。第25页，共129页，2022年，5月20日，20点25分，星期一(1) 明

9、确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以作为模式分类的基础。3. 小结(2) 分法的比较： 对于M类模式的分类， 两分法共需要M个判别函数，但 两分法需要M(M-1)/2个。当时M3时，后者需要更多个判别式（缺点），但对模式的线性可分的可能性要更大一些（优点）。 原因： 一种类别模式的分布要比M-1类模式的分布更为聚集， 分法受到的限制条件少，故线性可分的可能性大。第26页，共129页，2022年，5月20日，20点25分，星期一两分法 全部不属任何类 IR，可能 属于1w或3w 1w2w3w0)(2=Xd0)(3=Xd+IR，可能 属于3w或2w +-0)(1

10、=Xd0,0312ddd0,0321ddd0,0,321dddIR，可能属于1w或2w 0,0213ddd2x1x+若只有di(X)0，其他d(X)均dd001312dd002321dd3w+- d23(X)=0d12(X)=0d13(X)=0IR00023131201w2w2x1x()0)(21=-XdXd+-()0)(31=-XdXd()0)(32=-XdXd3212dddd3121dddd3w第29页，共129页，2022年，5月20日，20点25分，星期一1非线性多项式函数 非线性判别函数的形式之一是非线性多项式函数。 3.3 广义线性判别函数目的： 对非线性边界：通过某映射，把模式空

11、间X变成X*，以便将X空间中非线性可分的模式集，变成在X*空间中线性可分的模式集。 设一训练用模式集，X在模式空间X中线性不可分，非线性判别函数形式如下： (3-9)式中 是模式X的单值实函数， 。fi(X)取什么形式及d(X)取多少项，取决于非线性边界的复杂程度。 第30页，共129页，2022年，5月20日，20点25分，星期一广义形式的模式向量定义为： (3-10)这里X*空间的维数k高于X空间的维数n，(3-9)式可写为上式是线性的。讨论线性判别函数并不会失去一般性的意义。 (3-11) 随着小样本学习理论和支持向量机的迅速发展，广义线性判别函数的 “维数灾难”问题在一定程度上找到了解

12、决的办法。非线性变换可能非常复杂 。问题：维数大大增加： 维数灾难。 第31页，共129页，2022年，5月20日，20点25分，星期一例3.7 假设X为二维模式向量， fi(X)选用二次多项式函数，原判别函数为定义：d(X)线性化为：即：广义线性判别函数：第32页，共129页，2022年，5月20日，20点25分，星期一3.4 线性判别函数的几何性质3.4.1 模式空间与超平面模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间。 模式向量的表示：点、有向线段。 线性分类：用d(X)进行分类，相当于用超平面d(X)=0把模式空 间分成不同的决策区域。 2. 讨论1. 概念式中， ， 。设

13、判别函数：超平面：第33页，共129页，2022年，5月20日，20点25分，星期一(1) 模式向量X1和X2在超平面上 W0是超平面的法向量，方向由超平面的负侧指向正侧。 设超平面的单位法向量为U： 第34页，共129页，2022年，5月20日，20点25分，星期一(2) X不在超平面上 将X向超平面投影得向量Xp，构造向量R：r：X到超平面的垂直距离。有 (r) 判别函数d(X) 正比于点X到超平面的代数距离。第35页，共129页，2022年，5月20日，20点25分，星期一X到超平面的距离： 点X到超平面的代数距离（带正负号）正比于d(X)函数值。(3) X在原点得 超平面的位置由阈值权

14、wn+1决定：wn+1 0时，原点在超平面的正侧；wn+1 0时。 用负梯度向量的值对权向量W进行修正，实现使准则函数达到极小值的目的。 第58页，共129页，2022年，5月20日，20点25分，星期一基本思路： 定义一个对错误分类敏感的准则函数J(W, X)，在J的梯度方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1)：其中c是正的比例因子。 梯度法求解步骤：（1）将样本写成规范化增广向量形式，选择准则函数，设置初始权向量W(1)，括号内为迭代次数k=1。 第59页，共129页，2022年，5月20日，20点25分，星期一权向量修正为：迭代次数k加1，输入下一个训练样本，计算

15、新的权向量，直至对全部训练样本完成一轮迭代。 （3）在一轮迭代中，如果有一个样本使 ，回到(2)进行下 一轮迭代。否则， W不再变化，算法收敛。（2）依次输入训练样本X。设第k次迭代时输入样本为Xi，此时 已有权向量W(k)，求 ：第60页，共129页，2022年，5月20日，20点25分，星期一例3.10 选择准则函数 ， ，简单地考虑X为一维增广模式的情况X=1，此时W=w，两者均为标量，错误分类时： ， 对权向量校正。正确分类时：， 对权向量不做修正。第61页，共129页，2022年，5月20日，20点25分，星期一说明： 随着权向量W向理想值接近，准则函数关于W的导数 ( )越来越趋近

16、于零，这意味着准则函数J 越来越接近最小值。当 最终 时，J达到最小值，此时W不再改变，算法收敛。 将感知器算法中联立不等式求解W的问题，转换为求函数J极小值的问题。 c) 梯度算法是求解权向量的一般解法，算法的具体计算形式取决于准则函数J(W, X)的选择，J(W, X)的形式不同，得到的具体算法不同。a) b) c值的选择很重要，如c值太小，收敛太慢；但若太大，搜索又可能过头，甚至引起发散。第62页，共129页，2022年，5月20日，20点25分，星期一3.6.2 固定增量法准则函数：求W(k)的递推公式：1. 求J的梯度方法：函数对向量求导=函数对向量的分量求导，即该准则函数有唯一最小

17、值“0”，且发生在 的时候。 设 ，第63页，共129页，2022年，5月20日，20点25分，星期一部分：首先求另：矩阵论中有第64页，共129页，2022年，5月20日，20点25分，星期一其中 由的结论 有： 第65页，共129页，2022年，5月20日，20点25分，星期一2. 求W(k+1)将 代入得：第66页，共129页，2022年，5月20日，20点25分，星期一 由此可以看出，感知器算法是梯度法的特例。即：梯度法是将感知器算法中联立不等式求解W的问题，转换为求函数J极小值的问题，将原来有多个解的情况，变成求最优解的情况。上式即为固定增量算法，与感知器算法形式完全相同 。即：只要

18、模式类是线性可分的，算法就会给出解。第67页，共129页，2022年，5月20日，20点25分，星期一线性分类器设计步骤线性分类器设计任务：给定样本集K，确定线性判别函数g(x)=wTx的各项系数w。步骤：抽取类别标志明确的样本集合 K=x1,x2,xN作为训练样本集。确定一准则函数J(K,w)，其值反映分类器的性能，其极值解对应于“最好”决策。用最优化技术求准则函数J的极值解w*，从而确定判别函数，完成分类器设计。对于未知样本x，计算g(x)，判断其类别。第68页，共129页，2022年，5月20日，20点25分，星期一4.2 Fisher线性判别线性判别函数y=g(x)=wTx:样本向量x

19、各分量的线性加权样本向量x与权向量w的向量点积如果| w |=1，则视作向量x在向量w上的投影 Fisher准则的基本原理：找到一个最合适的投影方向，使两类样本在该方向上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。第69页，共129页，2022年，5月20日，20点25分，星期一Fisher线性判别图例Fisher判别x1x2w1H: g=0w2Fisher准则的描述：用投影后数据的统计性质均值和离散度的函数作为判别优劣的标准。第70页，共129页，2022年，5月20日，20点25分，星期一d维空间样本分布的描述量Fisher判别各类样本均值向量mi样本类内离

20、散度矩阵Si与总类内离散度矩阵Sw 样本类间离散度矩阵Sb：离散度矩阵在形式上与协方差矩阵很相似，但协方差矩阵是一种期望值，而离散矩阵只是表示有限个样本在空间分布的离散程度第71页，共129页，2022年，5月20日，20点25分，星期一一维Y空间样本分布的描述量Fisher判别各类样本均值样本类内离散度和总类内离散度样本类间离散度 以上定义描述d维空间样本点到一向量投影的分散情况，因此也就是对某向量w的投影在w上的分布。样本离散度的定义与随机变量方差相类似 第72页，共129页，2022年，5月20日，20点25分，星期一Fisher准则函数定义的原则为，希望投影后，在一维空间中样本类别区分

21、清晰，即两类距离越大越好，也就是类间离散度越大越好；各类样本内部密集，即类内离散度越小越好，根据上述准则，构造Fisher准则函数。第73页，共129页，2022年，5月20日，20点25分，星期一样本与其投影统计量间的关系Fisher判别第74页，共129页，2022年，5月20日，20点25分，星期一类内离散度第75页，共129页，2022年，5月20日，20点25分，星期一Fisher准则函数Fisher判别评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内尽可能密集的要求Fisher准则函数的定义：Fisher最佳投影方向的求解第76页，共129页，202

22、2年，5月20日，20点25分，星期一Fisher最佳投影方向的求解Fisher判别采用拉格朗日乘子算法解决 m1-m2是一向量，对与(m1-m2)平行的向量投影可使两均值点的距离最远。但是如从使类间分得较开，同时又使类内密集程度较高这样一个综合指标来看，则需根据两类样本的分布离散程度对投影方向作相应的调整，这就体现在对m1-m2 向量按Sw-1作一线性变换，从而使Fisher准则函数达到极值点第77页，共129页，2022年，5月20日，20点25分，星期一判别函数的确定前面讨论了使Fisher准则函数极大的d维向量w*的计算方法，判别函数中的另一项w0（阈值）可采用以下几种方法确定： 分类

23、规则:Fisher判别第78页，共129页，2022年，5月20日，20点25分，星期一Fisher公式的推导Fisher判别第79页，共129页，2022年，5月20日，20点25分，星期一3.7 最小平方误差算法（least mean square error, LMSE；亦称Ho-Kashyap算法） 上述的感知器算法、梯度算法、固定增量算法或其他类似方法，只有当模式类可分离时才收敛，在不可分的情况下，算法会来回摆动，始终不收敛。当一次次迭代而又不见收敛时，造成不收敛现象的原因分不清，有两种可能：a) 迭代过程本身收敛缓慢b) 模式本身不可分对可分模式收敛。对于类别不可分的情况也能指出来

24、。LMSE算法特点：第80页，共129页，2022年，5月20日，20点25分，星期一1. 分类器的不等式方程 两类分类问题的解相当于求一组线性不等式的解。如果给出分属于 ， 两个模式类的训练样本集 ，应满足：其中，Xi是规范化增广样本向量， 。上式分开写为：第81页，共129页，2022年，5月20日，20点25分，星期一写成矩阵形式为 ： 令N (n+1) 的长方矩阵为X，则 , 变为：第82页，共129页，2022年，5月20日，20点25分，星期一式中：0为零向量 感知器算法是通过解不等式组 ，求出W。第83页，共129页，2022年，5月20日，20点25分，星期一2. LMSE算法

25、1) 原理的求解。式中： 两式等价。为各分量均为较小正值的矢量。LMSE算法把对满足 XW 0 的求解，改为满足 在方程组系数矩阵中当行数列数时，通常无解，称为矛盾方程组，一般求近似解。在模式识别中，通常训练样本数N总是大于模式的维数n，因此方程的个数(行数)模式向量的维数(列数)，是矛盾方程组，只能求近似解W*，即说明：第84页，共129页，2022年，5月20日，20点25分，星期一 LMSE算法的出发点：选择一个准则函数，使得当J达到最小值时，XW=B 可得到近似解（最小二乘近似解）。 LMSE算法的思路：转化为转化为准则函数定义为： “最小二乘”： 最小：使方程组两边误差最小， 也即使

26、J最小。 二乘：次数为2，乘了两次最小平方（误差算法）第85页，共129页，2022年，5月20日，20点25分，星期一考察向量(XWB) 有：第86页，共129页，2022年，5月20日，20点25分，星期一可以看出： 当函数J达到最小值，等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。 因为J有两个变量W和B，有更多的自由度供选择求解，故可望改善算法的收敛速率。XW=B 的近似解也称“最优近似解”： 使方程组两边所有误差之和最小（即最优）的解。准则函数：第87页，共129页，2022年，5月20日，20点25分，星期一使J 对W求最小，令 ，得：2) 推导LMSE算法递推公式

27、与问题相关的两个梯度： (3-46)(3-47)由(3-47)式可知：只要求出B，就可求出W。求递推公式：(1) 求W 的递推关系X为N(n+1)长方阵，X#为(n+1) N 长方阵。称为X的伪逆，式中： (3-45)第88页，共129页，2022年，5月20日，20点25分，星期一(2) 求B(k+1)的迭代式(3-46)代入，得 令，定义(3-49)(3-50)(3-46)利用梯度算法公式有：第89页，共129页，2022年，5月20日，20点25分，星期一(3) 求W(k+1)的迭代式将(3-50)代入(3-47)式W=X#B 有：=0(3-49)(3-50)第90页，共129页，202

28、2年，5月20日，20点25分，星期一总结：设初值B(1)，各分量均为正值，括号中数字代表迭代次数 。W(k+1)、B(k+1)互相独立，先后次序无关。求出B，W后，再迭代出下一个e，从而计算出新的B， W。或另一算法：先算B(k+1)，再算W(k+1)。第91页，共129页，2022年，5月20日，20点25分，星期一3）模式类别可分性判别 如果e(k)0 ，表明XW(k)B(k) 0， 隐含有解。继续迭代， 可使e(k) 0 。 如果e(k)0，有解。分以下几种情况：第92页，共129页，2022年，5月20日，20点25分，星期一情况分析：e(k)0，线性可分，若进入(5)可使e(k)

29、0 ，得最优解。如果e(k)0，线性不可分，停止迭代，无解，算法结束。如果e(k)=0，线性可分，解为W(k)，算法结束。否则，说明e(k)的各分量值有正有负，进入(5)。第95页，共129页，2022年，5月20日，20点25分，星期一(5) 计算W(k+1)和B(k+1)。方法1：分别计算方法2：先计算再计算迭代次数k加1，返回(4)。3. 算法特点(1) 算法尽管略为复杂一些，但提供了线性可分的测试特征。(2) 同时利用N个训练样本，同时修改W和B，故收敛速度快。(3) 计算矩阵 复杂，但可用迭代算法计算。第96页，共129页，2022年，5月20日，20点25分，星期一例3.11 已知

30、两类模式训练样本： 试用LMSE算法求解权向量。解：(1) 写出规范化增广样本矩阵：第97页，共129页，2022年，5月20日，20点25分，星期一 Aij是aij的代数余子式，注意两者的行和列的标号互换。 (2) 求伪逆矩阵求逆矩阵：若，则 |A|A的行列式A*A的伴随矩阵第98页，共129页，2022年，5月20日，20点25分，星期一 划去aij所在的行和列的元素，余下元素构成的行列式做aij的余子式，记作Mij ，将 叫做元素aij的代数余子式。例：代数余子式定义： 行列式: 第99页，共129页，2022年，5月20日，20点25分，星期一(3) 取 和 c=1 开始迭代：解为 W

31、(1) ，判断函数为：第100页，共129页，2022年，5月20日，20点25分，星期一图示如下：第101页，共129页，2022年，5月20日，20点25分，星期一例3.12 已知模式训练样本： ，( 2) 求 ：解：(1) 规范化增广样本矩阵：(3) 取 和c=1，迭代：用LMSE算法求解权向量。 第102页，共129页，2022年，5月20日，20点25分，星期一 e(1)全部分量为负，无解，停止迭代。为线性不可分模式。 第103页，共129页，2022年，5月20日，20点25分，星期一小结：(1) 感知器法、梯度法、最小平方误差算法讨论的分类算法都是通过模式样本来确定判别函数的系数

32、，所以要使一个分类器设计完善，必须采用有代表性的数据，训练判别函数的权系数。它们能合理反映模式数据的总体。(2) 要获得一个有较好判别性能的线性分类器，所需要的训练样本的数目的确定。用指标二分法能力N0来确定训练样本的数目：通常训练样本的数目不能低于N0 ，选为 N0的510倍左右。二维：不能低于6个样本，最好选在3060个样本之间。三维：不能低于8个样本，最好选在4080个样本之间。n为模式维数如第104页，共129页，2022年，5月20日，20点25分，星期一3.8 非线性判别函数3.8.1 分段线性判别函数线性判别函数的特点：形式简单，容易学习； 用于线性可分的模式类。非线性判别函数：

33、用于线性不可分情况。分段线性、超曲面。 特点基本组成为超平面。* 相对简单；* 能逼近各种形状的超曲面。第105页，共129页，2022年，5月20日，20点25分，星期一1一般分段线性判别函数设有M类模式，将i类（i=1,2, ,M）划分为li个子类：其中第n个子类的判别函数： i类的判别函数定义为：M类的判决规则： 若，则用各类判别函数进行分类判决实际是用各类选出的子类判别函数进行判决判别面由各子类的判别函数决定第106页，共129页，2022年，5月20日，20点25分，星期一若i类的第n个子类和j类的第m个子类相邻，判别界面方程为：子类之间的判别界面组成各类之间的判别界面类间判别界面分

34、段线性第107页，共129页，2022年，5月20日，20点25分，星期一2基于距离的分段线性判别函数设 1类均值向量：2类均值向量：N1，N2：两类样本数。 任一模式X到M1和M2的欧氏距离平方：判决规则：若， 则若， 则判别界面方程：1）最小距离分类器第108页，共129页，2022年，5月20日，20点25分，星期一化简得： X的线性方程，确定一个超平面。 最小距离分类器 第109页，共129页，2022年，5月20日，20点25分，星期一2）分段线性距离分类器 设：M类模式，其中i类划分为li个子类，第n个子类的均值向量为 。每个子类的判别函数：每类的判别函数： 判决规则：若则第110

35、页，共129页，2022年，5月20日，20点25分，星期一3.8.2 分段线性判别函数的学习方法1已知子类划分时的学习方法* 每个子类看成独立的类；* 在一类范围内根据多类情况3，学习各子类判别函数；* 继而得到各类判别函数。 2已知子类数目时的学习方法 用类似于固定增量算法的错误修正算法学习分段线性判别函数 3未知子类数目时的学习方法树状分段线性分类器 第111页，共129页，2022年，5月20日，20点25分，星期一 树状分段线性分类器判别函数的学习及分类过程 第112页，共129页，2022年，5月20日，20点25分，星期一暂停点：，； ：，第113页，共129页，2022年，5月

36、20日，20点25分，星期一3.8.3 势函数法1. 势函数概念划分属于1和2类模式样本： 样本是模式空间中的点， 将每个点比拟为点能源，在点上势能达到峰值，随着与该点距离的增大，势能分布迅速减小。 1类样本势能为正势能积累形成 “高地”； 2类样本势能(-1)势能积累形成 “凹地”； 在两类电势分布之间，选择合适的等势面（如零等势面），即可认为是判别界面了。借用点能源的势能概念解决模式分类问题。 第114页，共129页，2022年，5月20日，20点25分，星期一一个样本xk的势能分布用势函数K( x , xk )表示积累势函数一维情况示例第115页，共129页，2022年，5月20日，20

37、点25分，星期一2. 势函数法判别函数的产生依次输入样本，利用势函数逐步积累势能的过程。 判别函数由模式空间中样本向量 的势函数K(X, Xk)累加产生，分类器计算积累势K(X)，最后取d(X)=K(X)。设初始积累势函函数 ，下标为迭代次数。势函数法：第一步：加入训练样本 X1 ，K1(X) 描述了加入第一个样本后的边界划分。第116页，共129页，2022年，5月20日，20点25分，星期一第二步：加第二个训练样本X2，分三种情况：分类正确，势函数不变：，错误分类，修改势函数：，错误分类，修改势函数： 第117页，共129页，2022年，5月20日，20点25分，星期一第k步：设Kk(X) 为加入训练样本X1 ，X2 ，Xk后的积累势函数， 则加入第k+1个样本，有：正确分类， ，错误分类： ，错误分类：以上决定积累位势的迭代算法可写为：其中rk+1 为校正项系数，定义为：(3-57)(3-58)第118页，共129页，2022年，5月20日，20点25分，星期一从所给的训练样本集 中略去不使积累势发生变化的那些样本，可得一简化样本序列 （校正错误的样本），算法可规纳为：即：由(k+1)个训练样本产生的积累势，等于两类中校正错误 的样本的总势能之差。 式