模式识别 与物联网

1、模式识别 与物联网第1页，共33页，2022年，5月20日，6点25分，星期四目录1.神经网络概念及优点2.神经网络数学模型3.神经网络分类4.神经网络的学习系统5.介绍神经网络分类和传统分类器6.神经网络的学习和泛化7.特征变量选择8.误分类代价第2页，共33页，2022年，5月20日，6点25分，星期四什么是人工神经网络？国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入状态进行信息处理。” 第3页，共33页，2022年，5月20日，6点25

2、分，星期四人工神经网络有什么优点？(1)可以充分逼近任意复杂的非线性关系； (2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性； (3)采用并行分布处理方法，可以进行快速大量的运算； (4)可学习和自适应不知道或不确定的系统； (5)能够同时处理定量、定性知识。 第4页，共33页，2022年，5月20日，6点25分，星期四优点表现？第一，具有自学习功能，预期未来 。第二，具有联想存储功能。 第三，具有高速寻找优化解的能力。第5页，共33页，2022年，5月20日，6点25分，星期四神经网络数学模型X1，X2，Xn是神经元的输入，即是来自前级n个神经元的轴突的信

3、息A是i神经元的阎值；Wi1，Wi2，Win分别是i神经元对X1，X2，Xn的权系数，Yi是i神经元的输出；f是激发函数，它决定i神经元受到输人X1，X2，Xn的共同刺激达到阀值时以何种方式输出。 第6页，共33页，2022年，5月20日，6点25分，星期四激发函数f有多种形式，其中最常见的有阶跃型、线性型和S型三种形式：阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散输出模型。 线性激发函数，它的输出是随输入的激发总量成正比的；这种神经元称线性连续型模型。s型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型。 第7页，共33页，2022年，5月20日，6点25分，星期

4、四 在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(自适应共振理论)网络。 Hopfield网络是最典型的反馈网络模型，它由相同的神经元构成的单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最多的模型之一。第8页，共33页，2022年，5月20日，6点25分，星期四 BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP网络需有教师训练。Koh

5、onen网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络SOM。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使Kohonen网络可以作为模式特征的检测器。 第9页，共33页，2022年，5月20日，6点25分，星期四 ART网络也是一种自组织网络模型。这是一种无监督学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用ART网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。 第10页，共33页，20

6、22年，5月20日，6点25分，星期四神经网络的学习规则可以粗略分成3类:1.相关学习规则 这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如Hopfield网络2.纠错学习规则 这种规则根据输出节点的外部反馈改变权系数。按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则例如BP算法。用于统计性算法的模拟退火算法也属于这种学习规则。3.无监督学习规则。它是一种对输入测检进行自适应的学习规则。ART网络的自组织学习算法即属于这一类。 第11页，共33页，2022年，5月20日，6点25分，星期四神经网络信息处理的数学过程 这个过程可分为两个阶

7、段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。 1执行阶段 :指神经网络对输入信息进行处理，并产生对应的输出过程。第12页，共33页，2022年，5月20日，6点25分，星期四2学习阶段 : 学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权系数Wij，以使到结定的测度函数E达到最小。 神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。 第13页，共33页，2022年，5月20日，6点25分，星期四神经网络学习系统框图输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由

8、输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。 第14页，共33页，2022年，5月20日，6点25分，星期四感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图所示。 感知器的最大作用就是可以用于分类，可以用做分类器A 类B类第15页，共33页，2022年，5月20日，6点25分，星期四上面感知器的传递函数是阶跃函数，它可以用作分类器。由于感知器学习算法因其传递函数的简单而存在局限性。 存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。 解决办法：提出另一种算法

9、梯度算法(也即是LMS法)。 为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例如Sigmoid函数， 第16页，共33页，2022年，5月20日，6点25分，星期四反向传播学习的BP算法 ；感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。 BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而有时也称无反馈多层前向网络为BP模型。 BP算法是目前最广泛用的神经网络学习算法之一 第17页，共33页，2022年，5月20日，6点25分，

10、星期四BP算法是用于前馈多层网络的学习算法， 第18页，共33页，2022年，5月20日，6点25分，星期四反向传播算法分二步进行，即正向传播和反向传播。 1正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。第19页，共33页，2022年，5月20日，6点25分，星期四传统的分类

11、过程基于概率模型的贝叶斯决策理论，其局限性是只有当满足已知的概率条件时才能够取得很好的效果。由于神经网络的优点，神经网络用于分类可以取代若干传统的分类方法。在先验概率不知道的情况下，也可以取的很好的效果。第20页，共33页，2022年，5月20日，6点25分，星期四神经网络用于后验概率估计考虑一个映射函数对函数F应用最小均方估计理论，最小期望均方误差 是给定x，y的条件期望 ，在分类问题中，输出y是二进制值向量，如果x属于第j类，那么第j个基向量是 F(x)的第j个元素 由上得出，映射函数的最小二乘估计在分类问题中就是后验概率第21页，共33页，2022年，5月20日，6点25分，星期四神经网

12、络和传统的分类器统计模式分类是基于贝叶斯决策理论的后验概率，是线性的，而神经网络分类是非线性的，两者没有直接关系，但是当神经网络采用阶梯函数的分类器时，神经网络分类器的判决函数可以和贝叶斯后验概率分类器等价。逻辑回归也是分类工具，实际上它是标准的统计方法，它的性能优于判决分析。逻辑回归可以认为是后验概率。第22页，共33页，2022年，5月20日，6点25分，星期四学习和泛化是神经网络研究的最重要的主题之一，学习通过数据的训练后输出近似于输入的能力，泛化是预测未知的能力。过拟合对训练样本的输出很好，但预测能力差，欠拟合预测能力强，但是和期望输出的误差大。简单的模型，比如线性分类器一般会欠拟合，

13、复杂灵活的模型，比如神经网络趋向于过拟合。欠拟合和过拟合可以通过预测错误偏差和协方差的分解来分析。第23页，共33页，2022年，5月20日，6点25分，星期四对于一个确定的数据集，模型的偏差和协方差是矛盾的，一个减少，另一个就会增大，比较好的神经网络分类器一般根据情况选择一个折中的办法。不失一般性，设输入x，输出为y，由后验概率模型可知，第24页，共33页，2022年，5月20日，6点25分，星期四设训练数据集DN的尺寸为N，输出的实际值是f（x;DN）， 那么均方误差错误均方估计误差对数据集很敏感，改变数据集或采样大小，都会影响均方误差，第25页，共33页，2022年，5月20日，6点25

14、分，星期四模型的总体预测误差ED表示样本大小为N的所以可能随机样本的期望。右面第一项 独立于训练样本和基函数，它反映了由于数据的固有噪声而产生的固有误差。右面第二项可以分解为上面第一项是模型偏差的平方，第二项是模型协方差第26页，共33页，2022年，5月20日，6点25分，星期四减少预测误差的方法：神经网络模型对于给定的训练数据一般输出的偏差很小，但是潜在的风险是其泛化的协方差比较大。D和K指出，在机器学习背景下，协方差的指标性能比预测性能差的学习偏差更重要。为此，我们要求找到一些减少协方差方法。减少过拟合的方法1.交叉验证法 2.处罚训练法 3.权值衰减和节点变化法第27页，共33页，20

15、22年，5月20日，6点25分，星期四多分类器结合使用，可以减少泛化错误。而且性能比单个分类器单独使用效果要好，条件是各个分类器是无偏且独立的。结合多分类器方法：不同网络结构相同网络结构，但1.算法不同，2.初始权值不同，3.分类器不同。结合多分类器可以减少误差主要是减少了模型的输出方差，而不是输出的偏差。分类器彼此之间越不相关，结合后综合效果越好第28页，共33页，2022年，5月20日，6点25分，星期四减少相关性的方法：选择不同的特征变量（比相同特征变量不同结构效果好）训练不同的数据集虽然结合分类器的方法比使用单个分类器要好，但还有一些问题存在，包括： 结合中分类器的选择 结合规模大小

16、结合分类器的最佳方式 上面这些问题还没有一个确定标准，都要凭借经验来确定。第29页，共33页，2022年，5月20日，6点25分，星期四在建立神经网络模型和其它分类器中，特征变量的选择很重要。特征变量选择的目的是寻找最小的特征集，使它可以满足预测性能。在模式识别里的一些关于统计特征选择标准和算法不能直接用于神经网络分类器中，由于神经网络是非线性网络。特征变量选择中一个比较流行的方法是主成分分析法（PCA）,PCA是一个统计技术，它可以减少特征变量维数而不损失包含在原始数据中的固有信息。PCA是一个无监督学习过程，它不考虑输入变量和目标输出之间的关系，另外，PCA是一个线性维数减少的技术，它不适于非线性的复杂结构。第30页，共33页，2022年，5月20日，6点25分，星期四在大部分文献中，对误分类代价研究的比较少，一般都是考虑误分类代价是相等的，最后找到总的最小误分类代价。但是这个结果并不可靠。而实际应用中，比如银行破产预测，信用危机分析，医疗诊断等，误分类错误在不同组的不同类别中的代价显著不同。它们对分类结果