WJ-CH03-模式识别-线性分类-01英文版教学

1、2020年8月12日星期三,1,王杰(博士/教授/博导) 郑州大学电气工程学院13837106273 ,模式识别 Pattern Recognition Chapter 3(I),2020年8月12日星期三,2,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.1 线性分类器(LINEAR CLASSIFIERS)-引言,The Problem: Consider a two class task with 1, 2,Hence:,3.2

2、 线性判别函数和决策超平面,2020年8月12日星期三,3,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,Fig.3-1 Graph of Decision Line；One side satisfys g(x)0(+) and the other side g(x)0(-),3.2 线性判别函数和决策超平面,(3-1),2020年8月12日星期三,4,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pat

3、tern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),2020年8月12日星期三,5,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),2020年8月12日星期三,6,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3

4、 线性分类器,3.3 感知器算法(The Perceptron Algorithm),如果在上式中定义：,(3-7),则有：,当代价函数取最小值0 时，则意味着所有的训练向量的分类都是正确的。 事实上，式(3-6)表示的代价函数是分段线性的，平滑改变权向量也导致 代价函数线性变化，直到分类向量个数改变代价函数会有非线性改变。 在这些点，其梯度没有意义。为计算代价函数的最小值，梯度下降法是一 个合理的方法，即：,(3-8)、(3-9),(3-10)、(3-11),这就是著名的感知器算法(Perceptron Algorithm),2020年8月12日星期三,7,Fig.3-2 感知器算法的几何解

5、释，在唯一错误分类点x，x =-1,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),Perceptron 在x方向修正 权向量，其作用是修正超 平面，使x能够被正确分到 1类。修正的幅度和迭代 次数取决于修正系数，满 足分类的超平面不唯一，且 不是一般的梯度算法，因 而有必要证明其收敛性。,2020年8月12日星期三,8,王杰(博士/教授/博导)郑州大学电气工程学院13

6、837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),2020年8月12日星期三,9,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),2020年8月12日星期三,10,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Patte

7、rn Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),另外一种有用的感知器算法：,(3-18),It is a reward and punishment type of algorithm,感知器：,It is a learning machine that learns from the training vectors via the perceptron algorithm,The network is called perceptron or neuron,2020年8月12日星期三,11,王杰(博士/教授/博导

8、)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),Example: At some stage t the perceptron algorithm results in The corresponding hyperplane is,=0.7,(中间结果，决策线， 绿色),有两个点分类仍然错误,(新决策线，黑色),2020年8月12日星期三,13,王杰(博士/教授/博导)郑州大学电气工程学院

9,模式识别,Pattern Recognition Ch. 3 线性分类器,3.3 感知器算法(The Perceptron Algorithm),感知器算法要求的基本条件是类的线性可分。在类非线性可分的情况 下，袋式算法(Pocket Algorithm, Gallant S. I, Perceptron based learning Algorithms, IEEE Trans. Neural Networks, 1(2), 1990:179-191)、热量感 知器算法(Thermal Perceptron Algorithm, Frean M., A therma

10、l perceptron learning rule, Neural Computation, Vol.4, 1992:946-957)、损失最小算法 (Loss Minimization Algorithm, Hrycej T., Modular learning in neural networks, New York：Wiley,1992)和重心修正法(Barycentric Correction Procedure, Poulard H., Barycentric correction procedure: A fast method of learning threshold uni

11、ts, Proc. WCNN95, Vol.1, Washington, D.C., July, 1995:710-713)等，也可以以概率1收敛于最佳分类结果(线性分类方 法能够达到的最佳分类结果),2020年8月12日星期三,14,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.4 最小二乘法(Least Squares Method),If classes are linearly separable, the perceptron output result

12、s in,If classes are NOT linearly separable, we shall compute the weights,so that the difference between The actual output of the classifier, , and The desired outputs, e.g. to be Minimized,2020年8月12日星期三,15,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.4 最小二

13、乘法(Least Squares Method),Minimization, 在均方差意义上,意味着选择 使得代价函数,Minimizing,(3-19),2020年8月12日星期三,16,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.4 最小二乘法(Least Squares Method),(3-20),向多类推广： 目标是根据MSE(最小方差)计算M个线性判别函数,考虑期望输出：,令：,计算,2020年8月12日星期三,17,王杰(博士/教授/博导)郑州大学电气工程学院13837106273 ,模式识别,Pattern Recognition Ch. 3 线性分类器,3.4 最小二乘法(Least Squares Method),