《神经网络课堂讲义》

1、人工神经网络 主要内容 人工神经网络 人工神经网（Artificial Neural Network，ANN）是20世纪80 年代后期迅速发展起来的人工智能技术，对未经训练的数据具有分 类模拟的能力，因此在网站信息、生物信息和基因以及文本的数据 挖掘等领域得到了越来越广泛的应用。 人工神经网络分为前馈和递归。 在前馈神经网络中,每一层的节点仅和下一层的节点相连。其中最 简单的模型是感知器。 在递归神经网络中，允许同一层节点或一层的节点连到前面各层中 的节点。 感知器感知器 人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息 量的8085%。 感知器是模拟人的视觉，接受环境信息，并由神经冲

2、动进行信息 传递的神经网络。 感知器分单层与多层，是具有学习能力的神经网络。 单层感知器单层感知器 单层感知器模型三要素单层感知器模型三要素 常见形式的激活函数 符号函数符号函数 线性函数线性函数 用于多层感知器模型。 双曲正切函数 以符号函数为例 学习单层感知器模型 学习单层感知器模型(续) 单层感知器学习算法的流程图 单层感知器训练步骤可总结如下： 线性可分问题 000 100 010 111 线性不可分问题 2 u 1 u 异或（异或（XOR）问题）问题 在二维平面中不存在一条直线，将输入模式分为两类。在二维平面中不存在一条直线，将输入模式分为两类。可见可见 ：单层感知器不能解决：单层感

3、知器不能解决异或问题异或问题。 单层感知器的局限性 由于单层感知器的激活函数是符号函数，则感知器神经网络的输 出只能取-1或1。因此单层感知器只能用于简单的分类问题。 只能解决线性可分问题，而大量的分类问题是线性不可分的。 当输入矢量中有一个数比其他数都大或小得很多时，可能导致较 慢的收敛速度。 多层感知器 多层感知器(MLP)是一种多层前馈网络模型，它通常由三部分组成： (1)一组感知单元组成输入层 (2)一层或多层计算节点的隐藏层 (3)一层计算节点的输出层 它广泛应用于模式识别、图像处理、函数逼近、优化计算等领域。 根据Kolmogorov定理，只要给定足够数量 的隐藏层节点、适当的非线

4、性函数、 以及权重，任何由输入向输出的连续映射 函数均可用一个三层前馈神经网络三层前馈神经网络实现。 三层感知器的预测公式 三层感知器解决异或(XOR)问题 网络拓扑结构 网络拓扑结构(续) 网络拓扑结构(续) 学习多层感知器模型 学习多层感知器模型(续) 学习多层感知器模型(续) 人工神经网络的特点 具有自学习功能。例如实现图像识别时，只在先把许多不同的图 像样板和对应的应识别的结果输入人工神经网络，网络就会通过 自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有 特别重要的意义。 至少含有一个隐藏层的多层神经网络是一种普适近似，即可以用 来近似任何目标函数 。 可以处理冗余特征。 神经网络对训练数据中的噪声非常敏感。 训练ANN是一个很耗时的过程，特别当隐藏节点数量很大时。 可以建构非线性的模型，模型的准确度高。 数据的准备问题 神经网络对数据量有最低要求，一般情况下，一个权重至少需要 10个训练数据。 通过输入节点将输入变量加以标准化，标准化后的变量数值落在 0和1之间，或者是-1和1之间。 数据不能含有缺失值和离群点。 属性变量必须是数值型。 当有成百上千个属性变量时，神经网络效果就不是很好。 最近邻分类器 右图中显示的