第11章人工神经网络以及在模式识别中的应用

第11章人工神经网络以及在模式识别中的应用

Chapter11:Artificialneuralnetworksanditsapplicationinpatternrecognition周亚同河北工业大学信息工程学院2008年3月本章主要内容11.1人工神经网络的发展历程

11.3人工神经元的基本概念及学习算法

11.2生物神经元的机理

11.4前馈神经网络的类型与拓扑结构11.6径向基函数网络

11.7神经网络在模式识别中的应用(熟悉)(重点)(了解)(重点)(重点)(了解)11.5前馈神经网络的反向传播算法

(熟悉)11.1人工神经网络的发展历程

11.1.1人类大脑的优势

人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。

人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一种非线性并行信息处理系统。

尽管单个生物神经元的反应速度比构成计算机的基本单元——逻辑门——慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对有些问题的处理速度比计算机还快。

感知：获取外界信息，是智能的基础；学习：取得经验与积累知识，是人类不断发展的基本能力；理解：分析与解决问题，是智能的高级形式；11.1.2人工神经网络研究的必要性

计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、识别、联想、决策和适应环境等人脑具备的能力。

计算机能否象人脑那样工作？人工神经网络做了一个有益的尝试。

人工神经网络是对人类大脑功能的一种模拟；

这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。

11.1.2人工神经网络研究的必要性（续）相异点传统的人工智能技术人工神经网络

基本实现方式

串行处理；由程序实现控制

并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制

基本开发方法

设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）

定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）

适应领域

精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象

左脑（逻辑思维）右脑（形象思维）

人工神经网络与传统的人工智能技术思路迥然不同：11.1.3人工神经网络的研究历史第一阶段：萌芽期（20世纪40年代）1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权模型，简称M-P模型，成为人工神经网络研究的开端。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律，为神经网络奠定了基础。第二阶段：第一高潮期（1950~1968年）1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸工程实践，引起了人们的极大关注。

人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。第三阶段：反思期（1969~1982年）11.1.3人工神经网络的研究历史（续）第四阶段：第二高潮期（1983~1990年）1990年12月在北京举行了国内首届神经网络大会；1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评，认为它连最简单的线性不可分问题——异或问题都解决不了；

早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重要性；1982年，J.Hopfield提出了循环网络的概念；1986年提出了多层感知器的反向传播算法，较好地解决了多层网络的学习问题。第五阶段：再认识与应用研究期（1991年~）11.1.3人工神经网络的研究历史（续）（1）局部极小问题；（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法；（2）开发现有网络应用，并在应用中根据实际运行情况对网络加以改造，以提高网络的训练速度和运行的准确度。（3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。

当前人工神经网络的研究任务：

当前人工神经网络存在的主要问题：（2）模型选择问题；（3）计算速度和准确度问题；11.1.4人工神经网络的研究范围网络模型感知器误差反传网径向基函数网自组织映射Hopfield网自适应共振网波尔茨曼机英文缩写——BPRBFSOM——ARTBM提出时间1957198619881982198219871984学习方式有监督有监督有监督无监督无监督无监督有监督拓扑结构前向前向前向前向反馈反馈反馈活动方式确定型确定型确定型确定型确定型确定型随机型11.2生物神经元的机理

胞体(Soma)枝蔓（Dendrite）胞体(Soma)

轴突（Axon）突触（Synapse）11.2.1生物神经元的构成

胞体：是神经细胞的本体，用于普通细胞的生存；

枝蔓：含有大量分支，用于接受其它神经元的信号；

轴突：用于输出信号，可与多个神经元联结；

突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。11.2.2生物神经元的工作机制

一个神经元有“兴奋”和“抑制”两种状态；

平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元传来的兴奋电位；

如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状态，并发出输出脉冲；

神经元之间的联接强度取决于“兴奋”程度的强弱；神经元A神经元B神经元A神经元B（抑制状态）（兴奋状态）11.3人工神经元的基本概念及学习算法

是构成人工神经网络的最基本单元,是对生物神经元的模拟，它具备生物神经元的部分特征。11.3.1人工神经元的基本概念胞体(Soma)枝蔓（Dendrite）胞体(Soma)

轴突（Axon）突触（Synapse）生物神经元人工神经元轴突胞体枝蔓人工神经元:11.3.1人工神经元的基本概念（续）输入：输出：连接权值：激活函数：

激活阈值：输出：11.3.1人工神经元的基本概念（续）激活函数：对神经元输入的一种变换；连接权值：激活函数：

激活阈值：（1）线性函数netoocy=k*net+cy11.3.1人工神经元的基本概念（续）连接权值：激活函数：

激活阈值：（2）阶梯函数ynet当当11.3.1人工神经元的基本概念（续）连接权值：激活函数：

激活阈值：（3）Sigmoid函数ynet（1）非线性，单调增函数；（2）无限次可微函数；（3）当net很小时近似于线性函数；（4）当net很大时近似于阶梯函数；优点：11.3.2人工神经元的学习规则

学习规则是为了求取连接权值；Hebb规则：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度（权值）应增强。神经元i神经元jHebb规则的定量描述：假设第i和第j个神经元的状态分别为和，则两个神经元间的权值修正量为

为学习因子.

11.3.2人工神经元的学习规则(续)

误差修正规则：使网络中某一神经元的实际输出在均方意义上最逼近于期望输出。

误差修正规则的定量描述：神经元i神经元j令第个神经元的期望输出为，实际输出为，则第个输入结点与第个神经元间的权值修正量为：

11.3.3用人工神经元进行两类样本分类测试：

在第二次实验时会涉及；类类训练：根据前面所讲的规则，对神经元进行训练，得到最佳的权值。测试样本11.4前馈神经网络的类型与拓扑结构11.4.1前馈神经网络的拓扑结构前馈神经网络（感知器）（多层感知器，MLP）双层前馈网多层前馈网（误差反传网，BP）……………（输入层）（隐层）（输入层）（隐层）（输出层）

双层前馈网（感知器）不能解决异或问题。异或问题(经典的线性不可分问题)（1）在第4章已经讲过感知器；11.4.2前馈神经网络的类型

多层前馈网能解决异或问题。（2）1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评；11.5前馈神经网络的反向传播算法

11.5.1反向传播算法的难点与基本思路多层前馈网的中间隐层不直接与外界连接，其误差无法估计。算法难点：（1）从输入层经隐层逐层“前向”计算各单元的输出；基本思路：……………（2）由输出误差逐层“反向”计算隐层各单元的误差，并用此误差修正前层的权值。（输入层）（隐层）（输出层）前向反向11.5.2反向传播算法的计算步骤……………（输入层）（隐层）（输出层）（1）网络参数的初始值选择；（2）前向计算：求出所有神经元的输出（3）反向计算：求出各隐层的局部梯度（4）利用迭代公式更新网络权值：前向反向11.5.3反向传播算法的推导过程实际输出期望输出误差推导采用的模型11.5.3反向传播算法的推导过程（续）第j个神经元的输出：11.5.3反向传播算法的推导过程（续）（1）多层前馈网的权值初值选择会影响收敛速度；（2）当多层前馈网的层数大于三层时，反向传播算法陷入局部极小点的可能性很大。由于不能保证算法收敛到全局最优点，需利用先验知识缩小搜索范围。11.5.4反向传播算法的缺陷……………（输入层）（隐层）（输出层）（3）多层前馈网要解决的问题越复杂，需要的隐层结点数越多；但过多的结点会导致“过学习”或者说“过拟合”，从而使网络的泛化能力变差。

“过拟合”实例？11.5.4反向传播算法的缺陷（续）11.6径向基函数网络

11.6.1函数逼近问题已知样本函数逼近问题示意图基函数解决逼近问题的一般解决思路：将被逼近函数表示成一组基函数的加权和

函数逼近问题可以和模式分类问题统一起来。是基函数的中心

为基函数的宽度

11.6.2用径向基函数网络解决函数逼近问题基函数的加权和：

径向基函数基函数的加权和：

径向基函数网络的拓扑结构1111.6.3径向基函数网络待定参数的确定11待定参数：是径向基函数的中心

为径向基函数的宽度

网络权值事先确定隐层单元的个数：是径向基函数的中心

为径向基函数的宽度

网络权值用最小二乘法确定通过聚类确定通过聚类确定11.7