Chapter_2_Perceptron.doc

Chapter 2 Perceptron一、Introduction感知器：MP模型 + Learning Algorithm；F. Rosenblatt, 1958;贡献：给出了网络的学习算法；第一个应用于实际的神经网络（模式识别）；功能：分类，线性分类器。二、Perceptron ArchitecturesSingle-neuron Perceptrons Multi-neuron Perceptron Figure. Single-neuron Perceptron Figure. Multi-neuron Perceptron Output , or where Functions： 两类分类 多类分类三、模式识别简介 Sections 34参阅：1. 模式识别系统的四个组成部分（统计）数据获取预处理特征提取分类器的设计(1) 数据获取 Acquire Data 模式用计算机能接受的形式表示，主要有三种表示类型：A. 一维信号（波形）语音信号、心电图、机械震动信号等。B. 二维图象数字、文字、指纹、CT图等。C. 物理参量各种实验数据。(2) 预处理 Pre-processing去除噪声、加强有用信息。(3) 特征提取 Abstract Features对原始数据进行变换选取最能反映分类本质的特征，构成特征向量。(4) 分类器的设计 Design of Classifiers神经网络、统计方法（Bayes 分类器）例题. 说明性实例 (S. Theodoridis, Pattern Recognition,模式识别,机械工业出版社，2006. p4)设计恶性肿瘤识别仪：模式：肿瘤；训练样本（CT图）：标准数据库。数据获取：CT图黑点白+黑点良性肿瘤 恶性肿瘤图 特征提取： 良性 恶性Figure. 特征向量分布图分类器设计：使用训练样本，通过某种学习算法确定直线L.新模式识别： 新的CT图象：良性肿瘤。Remark: 此例取自 S. Theodoridis and K. Koutroumbas, 模式识别，机械工业出版社，2006. p4classAClasB2. 关于分类的一些基本概念以两类为例：.(1) 线性可分 Linear SeparableHyperplane S决策面（边界） Decision Boundary 决策函数 Discriminant Function决策规则对于新的模式,如果决策函数取为决策规则 (2) 非线性可分 Nonlinear Separable (3) 不可分 Nonseparable g0 g0g=0四、感知器的分类功能1. 单神经元感知器-两类线性分类器classAclassBy=1y=0Known: 是线性可分的,Goal: 设计单神经元感知器（），使.2. 多神经元感知器-多类线性分类器(1) 多类分类方案l 方案1 以三类为例，假设Class1, Class2, Class3是线性可分的。神3神2神1Class1Class3Class2缺点：模式空间中存在不确定区域。l 感知器实现Known: 是线性可分的。Objective：设计M神经元感知器（求），使.Remark: M个单神经元感知器分别训练。 五、感知器学习规则 (Perceptron Learning Rule)1. 问题的陈述 (Statement of problem) 仅考虑两类分类问题。KnownTraining Samples: ,线性可分,Where, Goal: 给出求的算法，使.2. 说明性例子Known：Training Samples （感知器形式）：， W学习规则的构造 （考虑）初值化权值：随机产生(1) 输入网络实际输出：目标输出：，错分。 W(0)调节规则：（2）输入网络实际输出：目标输出： W(1)，错分。调节规则：(3) 输入同理：.(4) 输入网络实际输出：目标输出： ，正确分类，调节规则：可验证：正确分类所有样本.归纳得到设If ， then If ， thenIf ， then统一式：，where .一般情形（带阈值） 中的决策边界转化为中过原点的决策边界。 3. 学习规则where4. 收敛定理定理、如果训练样本是线性可分的，则，有限次迭代，其中正确分类了训练样本。Remark: 可加入步长，加速收敛。五、例子例1、 考虑下面定义的分类问题（p52）,(a )画出能求解此问题的单神经元感知器结构图；(b) 应用感知器学习规则求解此问题，使用如下初值权值与阈值：，(c) 写出决策边界方程。解 (a) (b) (1) 输入(2) 输入 。（6）输入(7) 输入，均有 实际输出=目标输出。因此，.（c） 决策边界为：.Remark: 此决策边界不是较优。六、感知器的局限性局限性：仅可用于线性可分问题。(1) XOR问题 (逻辑运算) 不能用感知器实现！真1，假0. 同逻辑运算AND Gate 一样可化为如下两类分类问题：RemarkMinsky, Papert, Perceptrons, 1969.如此简单的问题无法解决研究陷入低潮。(2) 解决办法: 用两层感知器 映射成线性可分神1神2神元1： 神元：神元2：网络结构 如取 ，七、多层感知器