第2章+前向多层人工神经网络01.ppt

1、2020/7/8，第1页，第2章，正向多层人工神经网络，2.1总结了模式识别，人工神经网络的主要功能之一。模式识别是人类的一种基本智能行为，我们在日常生活中几乎无时无刻不在进行“模式识别”。广义地说，存在于时间和空间中的可观察到的事物，如果它们可以相互区分，就可以被称为模式。狭义上，模式是通过观察特定的个体事物而获得的具有时间和空间分布的信息；模式类：模式所属的类别或同一类中的整个模式称为模式类(或简称类)；模式识别：根据一定的测量或观察，将待识别的模式划分为它们自己的模式类别的过程称为模式识别；模式识别是处理和分析代表事物或现象的各种形式的信息(数字、文字和逻辑)以描述、识别、分类和解释事物

2、或现象的过程，是信息科学和人工智能的重要组成部分。购买西瓜：西瓜可以分为两种类型：生的和熟的。此时，研究类别是“西瓜”，其中定义了两种类型的模型：熟瓜和生瓜；西瓜：西瓜分为早熟品种和晚熟品种，即定义了两种模式：早熟和晚熟；河北省早熟品种分类：河北省常见品种有“新红宝”、“油印”、“京欣”、“冀早2号”；此时的研究范畴是“河北省常见早熟西瓜品种”，其中定义了多种模式：新红宝、油印、京欣、冀早2号等。购买西瓜是一个两种模式的分类问题，生瓜和熟瓜是通过声音频率x1和声音持续时间x2来判断的。向量元素Xi=(x1i，x2i) T是通过对编号为1的甜瓜进行敲击试验获得的，n个数据可以通过对n个成熟甜瓜进

3、行试验获得：X=X1，X2，X3，XN。根据未成熟和成熟的瓜类，x中的元素可分为两类，一类是生瓜类，另一类是成熟瓜类。因此，模式实际上是具有特定属性的向量/数据。如果C1代表生瓜，C2代表熟瓜，那么X中的任何元素Xn必须满足： Xn属于C1或Xn属于C2。2020/7/8，第2页，模式识别，例如：水果分级系统。水果质量参数：重量、大小、比重、水果形状、颜色等。特征向量：X=x1，x2，x3，x4，x5T，特征空间：由参数开发。模式：每个苹果都是一个模式，它的特征向量是特征空间中的一个点；模式类：一级是一个类，一种模式分布在特征空间的特定区域；模式识别：找出不同类型之间的接口。2020/7/8，

4、第3页，联想记忆，人工神经网络的第二个主要功能，联想的心理学定义：当一个事物的表征被激活时，也就是说，当表征中包含的几个属性单位同时有效时，我们的注意力将集中在这个表征上。如果该表示被该表示的处理所拒绝，也就是说，当一些属性单元失败(或者被抑制，或者处于高阻力中)，使得该表示不能被建立，则剩余的属性单元可能构成另一个事物的表示，并且可能有必要组合那些已经被激活(或者被外部事物的新属性激活，或者通过减少某些属性的抑制而被激活)的新属性。当你看到一个柠檬，你会感觉到嘴里的水增加了。因为柠檬和酸味有关。字符识别：2020/7/8，第4页，重新讨论模式识别：处理和分析代表事物或现象的各种形式的信息(数

5、字、文字或逻辑)以描述、识别、分类和解释事物或现象的过程称为“模式识别”，它是信息科学和人工智能的重要组成部分。当人们区分不同种类的事物时，他们提取相似事物之间的相似性和不同种类事物之间的差异；汉字识别：例如，汉字“中”可以用多种方式书写，但它们都属于同一类别。更重要的是，即使钟的具体写法以前从未出现过，也可以归入钟一类。目标识别：当人们去一个目的地时，他们总是观察周围的风景，判断他们选择的路线是否正确。事实上，这是对眼睛看到的“正确”和“不正确”图像的分类判断。人脑的这种思维能力构成了“模式”的概念和“模式识别”的过程。模式是与范畴(集合)的概念分不开的。只要你知道这个集合中有限数量的事物或

6、现象，你就可以识别这个集合中任意数量的事物或现象。为了强调整体可以从特定的事物或现象中推断出来，我们称个别的事物或现象为“模式”，而整体则称为范畴或范畴。特征向量：在最简单的情况下，目标对象由一组称为“特征参数”的数字信息来表示。例如，水果质量分类中使用的大小、重量、比重、水果类型和颜色都是数值。以特征向量的形式表示：xi=xi1，xi2，xi3，xi4，xi5样本：通过观察特定物体获得的特征向量称为“样本”，Xi称为ith样本或ith样本的特征向量。特征空间：即由特征向量构成的空间，每个样本对应于特征空间上的一个点。对于特定的模式识别问题，特征参数的选择非常重要，它关系到模式识别的成败。国际

7、著名大师傅教授曾说过，特征提取是模式识别的关键。特征参数应该能够区分定义的模式，以及是否有太多的重复，即完整但不冗余。选择特征参数的过程称为“特征提取”。没有统一的特征提取方法。事实上，特征提取在不同的专业领域都是一个问题。正因为如此，模式识别的应用通常是一个跨学科的项目。傅(1930-1985)出生于溧水县。1954年，他毕业于台湾大学电机工程系，获得学士学位。在加拿大多伦多大学学习后，他获得了应用科学硕士学位。1956年，他转到美国伊利诺伊大学，获得博士学位。自1961年以来，他一直是普渡大学电气工程系的助理教授、副教授和教授，以及加利福尼亚大学伯克利分校和斯坦福大学的客座教授。自1971

8、年以来，他被选为美国电气工程学会的荣誉会员。同年，他获得了顾根汉基金会的研究资助。自1975年以来，他一直是普渡大学高斯工程的教授。后来，他开启了概率论，创立了图形识别、图像处理及其在遥测和医学中的应用，并担任了第一届图形识别国际会议的主席。1976年，他被选为美国国家工程学院的院士，并获得了麦考伊科学贡献奖。1977年，他获得了美国计算机学会杰出论文奖。1978年，他担任台湾中央研究院院士。2020/7/8，第5页，模式类：当合理选择特征参数时，不同类型的模式在特征空间中占据不同的分布区域；模式识别需要做两个方面的工作：在不同类型的样本点集之间找到一个合理的接口，即“决策函数”。因为决策函数

9、来自实际观测数据，这一阶段称为“学习”或“训练”；给定未知模式，判断样本的类别，称为“工作”或“应用”。特征选择的质量是模式识别成败的关键，但如何选择“特征”，即选择什么物理量作为特征，是具体专业“领域”的问题，需要利用“领域”的专业知识来解决。例如，语音识别，如何从自然语音中提取“特征”是语音识别的一个专业问题；图像识别是图像处理领域的一个难题，如何从CCD图像中获取合适的特征。即使在图像处理领域，不同的特征也用于不同的应用目的。模式识别的整个过程应该包括特征提取阶段。然而，我们将在这里讨论的所有智能方法仅涉及特征提取之后的工作。上述“学习”或“训练”指的是根据一些这种“学习”也称为“监督”

10、学习，即通过学习已知样本Xi和易，找到一个合理的判别函数。所谓“工作”是指为一个未知类别的样本Xi寻找易的价值。Xi是一个客观物体的观察结果，它的价值不能预先定义。然而，“一”范畴的价值是离散的、有限的，是事先主观规定的。2020年7月8日，第6页，神经元模型，神经元输入：完成的操作是：其中：被称为神经元的“权重向量”；称为神经元的“功能功能”;称为神经元的“净输入”;称为神经元的“输出”;称为神经元的“阈值”;2020/7/8，第7页，常用的神经元函数类型，线性函数，也称“恒等式函数”，硬极限函数，s函数(Sigmoid)，fs值在0和1之间。2020/7/8，第8页，人工神经网络的拓扑结构

11、在前一段中，前一层的输出作为后一层的输入；每层神经元的数量可以不同；有两层以上，目前大多为三层；输入向量x表示从目标物体观察到的特征；输出层包含一个或多个神经元来表达更复杂的运算结果；同一层的神经元不能连接，后一层也不能与前一层反向连接；连接强度(即重量大小)可以是0，而强度0实际上是没有连接的；2020/7/8，第9页，2.2具有硬限幅功能的单神经元的分类功能，线性可分，具有C0和C1模式R0:C0模式的样本集；R1:C1类模式样本集；分类的第一步：在两种类型的样本分布区域之间找到一个分类函数(分类线和分类面)，使两种类型的样本都在一边；实现这一目标的过程称为“学习”或“训练”，所用的计算策

12、略称为“学习算法”；样本集R0和R1被称为学习样本集。分类的第二步：获得分类函数l后，可以进入工作阶段。给定未知模式x，如果它位于R0侧，它被判定为C0类；如果它位于R1一侧，则被判定为C1级；如果它落在分类线l上，它是不可识别的。给定C0和C1的两组学习样本R0和R1，如果有一个线性分类函数(直线、平面、超平面)l无误差地将这两类学习样本分开，那么这个分类问题就称为“线性可分问题”。2020/7/8，第10页，假设二维分类问题的分类函数是l:并且任何给定的样本X=x1，x2，l应该满足：让：则模式识别问题可以表示为：将其作为权重和阈值，并且使用神经元来表示上述二维分类问题，然后：其中：X=x

13、1，x2。重量X q=w0.x0 w1.x1 q=0是一条直线的矢量方程。如果w是单位矢量，即w02 w12=1，q的含义如图所示。2020/7/8，第11页，学习算法，如下扩展输入向量x和权重向量w:神经元模型变为：(2-7)，学习的目的是找到权重向量w。对于前面的例子，它是为了找到直线参数W0、W1和Q，它们可以无误差地分离两种类型的样本。对给定的一组学习样本进行学习，不同的样本组可以得到不同的学习结果。对于两类可分问题，分别学习样本而没有错误的结果是正确的。2020/7/8，第12页，用学习样本建立二维分类问题：其中训练样本k；训练样本的价值；首先，我们随机分配一个权重向量：这相当于在特

14、征空间上随机画线。将样本X(k)输入神经元，并用y(k)表示输出。显然，y(k)不一定等于X(k)的实际类值d(k)，所以如果fh是硬限幅函数，就必须有：(2-29)，2020/7/8，第13页，学习算法。通过这种重复，随着迭代次数k的增加，W(k)趋向于正确答案，(2-7)，如果输出y (k)与样本类别值d (k)相同，即， W(k 1)=W(k)，则W不被调整。如果输出y(k)不同于样本类别值d (k)，即，根据e (k)的正负来调整： W；2020/7/8，第14页，算法的几何原理：为了直观起见，让：理想分类线穿过原点，即阈值q为0。训练样本：权重向量：从直线方程出发，W(k)是直线l的

15、法线，即：如果X在L上是对的，那么：如果Xa高于L，那么：如果Xb低于L，那么：2020/7/8，第15页，假设已经输入，假设y(k)=1是通过输入X(k)获得的，但是给定的X(k)属于C1类，即d(k)=0，那么：因此，可以看出分类线L已经被合理地调整。让我们假设下一个输入X(k 1)属于C0类，即d(k)=1，它被错误地分类为C1类，即y(k 1)=0:由X(k 1)和W(k 1)计算，所以有：错误地把C1当作C0；2020/7/8，第16页，2.3线性函数神经元的最小二乘分类算法是线性和不可分的。在误差最小的前提下，找到分类函数并给出样本集：其中，在2020年7月8日第17页，使用了线性

16、函数的神经元，即输入样本向量：权重向量：(2-10)，2020/7/8，第18页，假设学习样本集(X0，d0)，(X1，d1)，(XK-1，dK-1)，x的估计为：并且以x最小化为目标的优化过程被统称为“最小均值”。显然，给定样本的分布，x是权重向量w的函数，即x=x(w)；首先，需要证明W*的存在使得x min=x (W*)成立。因为它是线性函数，神经元的输出可以写成：(2-11)，并代入(2-10)得到：(2-12)，2020年7月8日，第19页。公式中的一些参数由以下符号表示：为简化起见，我们考虑二维情况，阈值q=0，包括：将上述符号代入(2-12)并得到：(2-15)，2020/7/8，第20页。显然，如果W*存在，x最小值=x (W*)成立。此外，x相对于W的所有元素w 0、w 1(在二维情况下只有w0和w1)的偏导数都是0，或者x相对于向量W的梯度在W*处是零向量。即，(2-15)被分级得到：(2-16)，或用多元函数的微分得到梯度，并改写误差公式：2020/7/8，第