机器学习第04讲

1 机器学习 神经网络 智能工程研究室计算机科学与技术学院 2 TrainingaClassifier classifierclassifierclassifier notMarks classifierclassifierclassifier notMarks 3 RecallfromaTrainedClassifier Classifier MarksNote Thetestimagedoesnotappearinthetrainingdata Learning Memorization 4 ClassifierInFeatureSpace AfterTraining representation concept truth trainingdata Marks notMarks testdata Marks 5 神经网络 6 神经元 生物神经网络 BiologicalNeuralNetwork BNN 神经元 neuron神经元经突触传递信号给其他神经元 胞体或树突 1011个神经元 人脑104个连接 神经元神经元基本工作机制 状态 兴奋与抑制互联 激励 处理 阈值 9 神经元状态转移函数的类型 10 神经网络的拓扑结构 典型应用或者特征 模式分类 函数回归 b 神经认知机 用来存储某种模式序列 系统辨识 c 神经元可以分组进行激励相应 d 网络最终进入一种动态平衡状态 可能是周期振荡或者混沌状态 11 感知器 单层前馈神经网络 输入层 输出层 12 感知器 多层前馈神经网络 隐层 3 4 2Network 输入层 输出层 13 感知器的学习规则 1 Err T OO是预测得到的输出T是实际值 即教师信号Wj Wj Ij ErrIj是第j个输入节点的输入值 是一个常数 表示学习率 14 感知器学习过程 随机在区间 0 1 内选取权值W将样本数据中的输入值输入到感知器的输入节点得到网络的输出值O 根据学习公式 由O与T的差 即误差信号来调整网络权值W如果误差小于给定阈值或运行次数达到限定次数 则停止 否则转2 再次运行 15 一个简单例子 样本 x 0 y 0 T 0 x 0 y 1 T 0 x 1 y 0 T 1x 1 y 1 T 1 0 0 1 1 初值 w1 0 1 w2 0 1 w0 1取步长 0 1 则 w Ij T O 16 一个简单例子 x 0 y 0代入 v 0 0 1 0 0 1 1 1 O 0 Err T O 0 W1 W1 I1 Err 0 1 W2 W2 I2 Err 0 1 W0 W0 1 Err 1 0 0 1 1 17 一个简单例子 x 0 y 1代入 v 0 0 1 1 0 1 1 0 9 O 0 Err T O 0 W1 W1 I1 Err 0 1 W2 W2 I2 Err 0 1 W0 W0 1 Err 1 0 1 0 1 1 0 0 1 1 x y 0 9 0 0 1 18 一个简单例子 x 1 y 0代入 v 1 0 1 0 0 1 1 0 9 O 0 Err T O 1 W1 W1 I1 Err 0 1 0 1 1 1 0 2 W2 W2 I2 Err 0 1 0 1 1 0 0 1 W0 W0 1 Err 1 0 1 1 1 0 9 0 1 0 1 0 0 1 1 x y 1 0 0 2 0 9 0 9 1 0 19 一个简单例子 x 1 y 1代入 v 1 0 2 1 0 1 0 9 0 6 O 0 Err T O 1 W1 W1 I1 Err 0 2 0 1 1 1 0 3 W2 W2 I2 Err 0 1 0 1 1 1 0 2 W0 W0 1 Err 0 9 0 1 1 1 0 8 0 2 0 9 0 0 1 1 x y 1 1 0 3 0 8 0 6 0 0 2 0 1 20 一个简单例子 x 0 y 0代入 v 0 0 3 0 0 2 0 8 0 8 O 0 Err T O 0 W1 W1 I1 Err 0 3 0 1 0 0 0 3 W2 W2 I2 Err 0 2 0 1 0 0 0 2 W0 W0 1 Err 0 8 0 1 1 0 0 8 0 3 0 2 0 8 0 0 1 1 x y 0 8 0 0 0 21 一个简单例子 x 0 y 1代入 v 0 0 3 1 0 2 0 8 0 6 O 0 Err T O 0 W1 W1 I1 Err 0 3 0 1 0 0 0 3 W2 W2 I2 Err 0 2 0 1 1 0 0 2 W0 W0 1 Err 0 8 0 1 1 0 0 8 0 3 0 2 0 8 0 0 1 1 x y 0 6 0 0 1 22 一个简单例子 x 1 y 0代入 v 1 0 3 0 0 1 0 8 0 5 O 0 Err T O 1 W1 W1 I1 Err 0 3 0 1 1 1 0 4 W2 W2 I2 Err 0 2 0 1 1 0 0 2 W0 W0 1 Err 0 8 0 1 1 1 0 7 0 3 0 2 0 8 0 0 1 1 x y 1 0 0 4 0 7 0 5 0 23 一个简单例子 x 1 y 1代入 v 1 0 4 1 0 2 0 9 0 3 O 0 Err T O 1 W1 W1 I1 Err 0 4 0 1 1 1 0 5 W2 W2 I2 Err 0 2 0 1 1 1 0 3 W0 W0 1 Err 0 7 0 1 1 1 0 6 0 4 0 2 0 7 0 0 1 1 x y 1 1 0 5 0 6 0 3 0 0 3 24 一个简单例子 x 0 y 0代入 v 0 0 5 0 0 3 0 6 0 6 O 0 Err T O 0 W1 W1 I1 Err 0 5 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 6 0 5 0 3 0 6 0 0 1 1 x y 0 6 0 0 0 25 一个简单例子 x 0 y 1代入 v 0 0 5 1 0 3 0 6 0 3 O 0 Err T O 0 W1 W1 I1 Err 0 5 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 6 0 5 0 3 0 6 0 0 1 1 x y 0 3 0 0 1 26 一个简单例子 x 1 y 0代入 v 1 0 5 0 0 3 0 6 0 1 O 0 Err T O 1 W1 W1 I1 Err 0 5 0 1 1 1 0 6 W2 W2 I2 Err 0 3 0 1 1 0 0 3 W0 W0 1 Err 0 6 0 1 1 1 0 5 0 5 0 3 0 6 0 0 1 1 x y 1 0 0 6 0 5 0 1 0 27 一个简单例子 x 1 y 1代入 v 1 0 6 1 0 3 0 5 0 4 O 1 Err T O 0 W1 W1 I1 Err 0 6 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 5 0 6 0 3 0 5 0 0 1 1 x y 1 1 0 3 0 28 一个简单例子 x 0 y 0代入 v 0 0 6 0 0 3 0 5 0 5 O 0 Err T O 0 W1 W1 I1 Err 0 6 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 5 0 6 0 3 0 5 0 0 1 1 x y 0 5 0 0 0 29 一个简单例子 x 0 y 1代入 v 0 0 6 1 0 3 0 5 0 2 O 0 Err T O 0 W1 W1 I1 Err 0 6 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 5 0 6 0 3 0 5 0 0 1 1 x y 0 3 0 0 1 30 一个简单例子 x 1 y 0代入 v 1 0 6 0 0 3 0 5 0 1 O 1 Err T O 0 W1 W1 I1 Err 0 6 W2 W2 I2 Err 0 3 W0 W0 1 Err 0 5 0 6 0 3 0 5 0 0 1 1 x y 1 0 0 1 0 31 一个简单例子 V 0 6 x 0 3 y 0 5O sign v sign 0 6 x 0 3 y 0 5 0 6 0 3 0 5 0 0 1 1 x y 1 1 0 3 0 5 3 5 6 32 线性不可分情况 0 0 1 1 x y 33 感知器的学习规则 2 定义误差函数为 输入层 输出层 则权值更新公式为 34 当取f 为线性连续函数时 感知器的学习规则 2 误差函数为 输入层 输出层 35 则 感知器的学习规则 2 则权值更新公式为 36 当取f 为sigmoid函数时 感知器的学习规则 3 输入层 输出层 37 则 感知器的学习规则 3 则权值更新公式为 38 interconnect weights wjk l neurons states sj l hiddenlayer l output l L input l 0 BP的学习算法 多层前馈网络 定义误差函数为 定理 假定 多层感知器 隐层的节点可以根据需要自由设置 那么用三层的阈值网络可以实现任意的二值逻辑函数 39 误差反传过程 dEdwjk l Problem 对于任意权值 wjk l 更新wjk l wjk l ASolution 误差反传 偏微分链式法则d d dsj l dsumj l dwmjdsj l dsumj l dwmj 40 偏导数的计算 完美的数学 s l 1 m n l 1 sn l 1 1 sn l 1 wnj l n dsj l d1dsumj l dsumj l 1 exp sumj l sj l 1 sj l dsumj l dwmjdEdsj l 41 权值更新 dEdwjk l wjk l wjk l d d dsj l dsumj l dwmjdsj l dsumj l dwmj j l sj l 1 1 sj l 1 sk l 1 42 步骤1 数据输入与前向传播 s1 2 o1s2 2 o2 s1 1 s2 1 s3 1 i1i2 s2 0 所有神经元的状态由其前一层神经元和连接权值确定 43 步骤2 计算输出误差 反向确定各神经元修正量 o1 t1o2 t2 1 2 2 2 s1 1 s2 1 s3 1 1 1 2 1 3 1 i1i2 s2 0 1 0 2 0 各权值修正量由反向传播的输出误差确定 44 步骤3 更新权值 o1 t1o2 t2 1 2 2 2 s1 1 s2 1 s3 1 1 1 2 1 3 1 i1i2 s2 0 1 0 2 0 45 动量项 Steepestdescentwjk l wjk l wjk l WithMomentum wjk l wjk l wjk l wjk l NewstepeffectedbypreviousstepmistheiterationnumberConvergenceisimproved m m m 1 m 1 46 批处理BP算法 在每次更新权值之前 计算所有样本的误差真正的最速梯度下降方法每代更新一次每计算一个样本点的误差就更新权值一次需将数据每个循环随机打乱 47 学习 记忆 训练误差都为0 goodgeneralization learning concept truth badgeneralization memorization trainingdata testdata 48 concept learning memorization overfitting 学习 记忆 续 49 好的学习 能够识别出训练集之外的数据 如测试集训练好的神经网络必须能成功地对未见到过的数据进行分类 如何保证我们的训练结果 交叉验证适当地选择网络结构剪枝遗传算法训练网络结构 学习 记忆 续 50 交叉验证 iterations m testerror trainingerror minimum 51 自组织神经网络 输入层 竞争层 无导师学习方式自动寻找样本中的内在规律和本质属性 自组织 自适应地改变网络参数与结构竞争学习策略 52 自组织神经网络 竞争学习策略侧抑制与竞争 在生物的神经细胞中存在一种侧抑制现象 即当一个神经细胞兴奋后 会对其周围的神经细胞产生抑制作用 从而产生竞争 开始时可能多个细胞同时兴奋 但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也越强 其结果使周围细胞兴奋度减弱 这种抑制作用一般满足某种分布关系 最简单是 胜者为王 53 自组织神经网络 胜者为王 学习规则1 向量归一化 2 寻找获胜神经元 等价于求最大点积问题 正是竞争层神经元的净输入 3 网络输出与权值调整 54 自组织神经网络 自组织映射神经网络 Self OrganizingFeatureMap SOFM Kohonen教授 芬兰 Helsink大学 1981 又称Kohonen网络 权值调整域 由近及远 由兴奋转为抑制 墨西哥帽型 大礼帽型 厨师帽型 正态分布型 55 自组织神经网络 自组织映射神经网络 SOFM 的学习算法 1 初始化 2 接受输入 从训练集中随机选取一个输入模式并归一化 3 寻找获胜神经元 4 定义优胜邻域 一般初始时较大 以后逐渐收缩 可正方形 六角形等5 调整权值 如 6 结束检查 是否衰减到足够小 不存在输出误差概念 56 自组织神经网络 自组织映射神经网络 SOFM 用于聚类 57 径向基 RBF 神经网络 属于局部逼近网络插值问题描述 考虑一N维空间到一维空间的映射 设N维空间有P个输入向量Xp p 1 2 P 它们在输入空间相应的目标值为dp p 1 2 P 插值的目的是寻找一个非线性映射函数F X 使得满足下述插值条件F Xp dp p 1 2 P 58 径向基 RBF 神经网络 径向基函数解决插值问题 选择P个基函数 对应每个训练数据 基函数的自变量为X与中心Xp的距离 由于距离是径向同性的 因此称径向基函数 基于径向基函数的插值函数定义为基函数的线性组合 代入插值条件得到关于wp的P阶线性方程组 令 59 径向基 RBF 神经网络 写成向量形式为 称为插值矩阵 若其可逆 则可由上式解出W Micchelli定理给出了的可逆性条件 对于一大类函数 如果X1 X2 XP自各不相同 则其可逆 大量径向基函数满足Micchelli定理 如1 Gaussian 高斯函数 2 ReflectedSigmoidal 反演S型 函数3 Inversemultiquadrics 逆多二次 函数 60 径向基 RBF 神经网络 完全内插存在的问题 正则化RBF网络 1 经过所有训练数据点 当存在噪声时 泛化能力差2 径向基函数数目与训练样本数相同 当训练样本数远远大于系统的固有自由度时 问题是超定的 插值矩阵求逆容易不稳定 61 径向基 RBF 神经网络 模式可分性 设F为P个输入模式Xp p 1 2 P 的集合 每个模式必属于F1和F2的某一类 若存在一个输入空间的超曲面 使得分别属于F1和F2的点分成两部分 就称这些点的二元划分关于该曲面是可分的 若该曲面为线性方程确定的超平面 则称这些点的二元划分关于该平面是线性可分的 62 径向基 RBF 神经网络 模式可分性 设由一组函数构成的向量将原来N维空间的P个模式点映射到新的M维空间 M N 的相应点上 若在该M维空间上存在M维向量W 则由线性方程确定了M维空间中的一个分界超平面 该超平面使得映射到M维空间的P个点线性可分 而在N维X空间 描述的是X空间的一个超曲面 它将原空间的P个模式点分成两类 63 径向基 RBF 神经网络 RBF网络将输入空间的模式点非线性映射到一个高维空间的做法是 设置一隐层 令为隐节点的激活函数 并令隐节点数M大于输入节点数N 若M足够大 则在隐空间是线性可分的 从隐层到是输出层可采用与感知器类似的解决线性可分问题的算法 如 0 0 0 1 1 0 1 1 1 1 0 0 0 1 1 0 64 径向基 RBF 神经网络 广义RBF网络 1 径向基函数数目M与训练样本数N不同 且一般M N2 径向基函数的中心不再限制在数据点上 由训练确定3 各径向基函数的扩展常数不再统一 由训练确定4 输出函数的线性表达式中包含阈值参数 用于补偿函数在样本集上的平均值与目标之平均值之间的差别 65 径向基 RBF 神经网络 广义RBF网络的学习算法 结构设计 多凭经验 和参数设计 3类参数 各基函数的中心 扩展常数以及输出节点的权值 输出节点的权值一般由有监督的学习算法确定各基函数的中心及扩展常数可由下列三种方法确定 1 数据中心从样本中选取 样本密集的地方中心多些 稀疏的地方少些 若数据均匀分布 中心也可均匀分布 总之 选出的数据中心应有代表性 扩展常数由分布确定 如 dmax是数据中心的最大距离 M是中心数目 2 数据中心的自组织选择 k means聚类算法 3 数据中心的监督学习算法 66 径向基 RBF 神经网络 广义RBF网络的k means聚类学习算法 首先估计中心的数目M 设C k 表示第k次迭代时的中心 1 初始化中心 c1 0 c2 0 cM 0 2 计算各样本点与聚类中心的欧氏距离 3 相似匹配 当时被归为第j 类 4 更新各类聚类中心 i 均值方法 ii 竞争学习算法 67 径向基 RBF 神经网络 广义RBF网络的k means聚类学习算法 5 k 若不满足终止条件 C k 的改变两小于阈值 转2扩展常数的确定 设则扩展常数可取为输出层权值的确定 i 最小均方算法 类似感知器算法 ii 伪逆法 令则隐层输出矩阵为 令则 68 径向基 RBF 神经网络 广义RBF网络的数据中心的监督学习算法 类似BP算法的梯度下降方法 假定单输出 69 径向基 RBF 神经网络 广义RBF网络的数据中心的监督学习算法 类似BP算法的梯度下降方法 每个数据修正一次 70 径向基 RBF 神经网络 RBF网络与多层感知器 MLP 的比较 RBF 1个隐层MLP 至少一个隐层RBF 隐层是非线性的 输出是隐层的线性加权MLP 对于分类问题 隐层和输出层都是非线性的 对于回归问题 输出层是线性的RBF 容易得到解析解MLP 很难得到解析解RBF 具有局部快速近似学习的能力 作业 1 写出遗传算法的基本步骤和两种以上 至少两种 遗传操作的实现细节 并举例说明 71 72 作业 2 什么是交叉验证 为什么要进行交叉验证 试比较RBF网络与多层前馈网络的异同 73 作业 3 考虑Hermit多项式的逼近问题F x 1 1 1 x 2 x x exp x x 2 训练样本由以下方法产生 样本数P 100 其中输入样本xi服从区间 4 4 内的均匀分布 样本输出为F xi ei ei为添加的噪声 服从均值为0 标准差为0 1的正态分布 1 试用聚类方法求数据中心和扩展常数 输出权值和阈值用伪逆法求解 隐节点重叠系数为 1 初始聚类中心取前10个训练样本 2 试用梯度算法训练RBF网络 设 0 001 M 10 初始权值为 0 1 0 1 内的随机数 初始数据中心为 4 4 内的随机数 初始扩展常数取 0 1 0 3 内的随机数 目标误差为0 9 最大训练次数为5000 作业1 2可选做一个 74 局部递归神经网络 Elman网络 Elman网络 Elman 1990 结构如图所示 它除了输入层 隐层 输出层之外 还有一个特殊的结构单元 结构单元是用来记忆隐层单元以前时刻的输出值 可认为是一时延算子 因此这里前馈连接部分可以进行连接权修正 而递归部分则是固定的即不能进行学习修正 Elman网络结构示意图 75 数学模型 局部递归神经网络 Elman网络 学习算法 设网络的结构为q n m 输入层 隐层 结构单元 输出层 定义误差函数为 通过E对连接权W求偏导 由最速梯度下降法得出学习算法 只能刻画一阶线性动态系统 因为标准BP仅有一阶梯度 76 局部递归神经网络 Elman网络 于是可以得到动态反向传播算法如下 77 局部递归神经网络 Elman网络 78 Elmannetwork Elman网络结构 ElmanJ L FindingStructureinTime CognitiveScience 14 179 211 1990 局部递归神经网络 Elman网络 79 Modified Elmannetwork Elman网络结构 Pham D T andX Liu 1992 Dynamicsystemmodelingusingpartiallyrecurrentneuralnetworks J ofSystemsEngineering 2 90 97 局部递归神经网络 Elman网络 80 激活函数分别取为 和 Elman网络数学模型 局部递归神经网络 Elman网络 81 这里 定义误差函数为 将E对W求偏导 按梯度下降算法 可得Elman网络的学习算法 Elman网络学习算法 局部递归神经网络 Elman网络 82 OIFElmannetwork 具有输出 输入反馈机制的Elman网络 OIFElman 局部递归神经网络 Elman网络 83 OIFElman网络数学模型 局部递归神经网络 Elman网络 84 这里 与Elman网络的学习算法推导过程类似 可以得到W4的学习公式 OIFElman网络学习算法 局部递归神经网络 Elman网络 85 OHFElmannetwork 具有输出 隐层反馈机制的Elman网络 OHFElman 具有输出 隐层反馈机制的Elman网络 1 局部递归神经网络 Elman网络 86 OHFElman网络数学模型 具有输出 隐层反馈机制的Elman网络 2 局部递归神经网络 Elman网络 87 与Elman网络的学习算法推导过程类似 可以得到W5的学习公式 OHFElman网络学习算法 具有输出 隐层反馈机制的Elman网络 3 局部递归神经网络 Elman网络 时小虎 梁艳春 徐旭 改进的Elman模型与递归反传控制神经网络 软件学报 2003年Vol 14 No 6 p 1110 1119 ShiXH LiangYC LeeHP LinWZ XuX LimSP ImprovedElmannetworksandapplicationsforcontrollingultrasonicmotors AppliedArtificialIntelligence 2004 18 7 603 629 88 什么是人工神经网络 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统 计算机 人是地球上具有最高智慧的动物 而人的指挥均来自大脑 人类靠大脑进行思考 联想 记忆和推理判断等 这些功能是任何被称为 电脑 的一般计算机所无法取代的 长期以来 许多科学家一直致力于人脑内部结构和功能的探讨和研究 并试图建立模仿人类大脑的计算机 虽然到目前对大脑的内部工作机理还不甚完全清楚 但对其结构已有所了解 89 粗略地讲 大脑是由大量神经细胞或神经元组成的 每个神经元可看作是一个小的处理单元 这些神经元按某种方式连接起来 形成大脑内部的生理神经元网络 这种神经元网络中各神经元之间联结的强弱 按外部的激励信号做自适应变化 而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程 而大脑处理信息的结果则由神经元的状态表现出来 什么是人工神经网络 90 按美国神经网络学者Nielsen的定义人工神经网络是一个并行 分布处理结构 它由处理单元及其称为联接的无向讯号通道互连而成 这些处理单元具有局部内存 可以完成局部操作 即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值 每个处理单元有一个单一的输出联接 输出信号可以是任何需要的数学模型 什么是人工神经网络 91 人工神经网络与一般计算机的区别 在一般的计算机中 处理器可取一条指令和该指令所需的数据 并执行该指令 最后将计算结果存入指定的存储单元中 任何动作都按照确定的操作程序 以串行方式执行 在人工神经网络中 操作既不是串行的 也不是预先确定的 它根本没有确定的存储器 而是由许多互连的简单处理单元组成 每个处理单元的处理功能只是求其所有输入信号的加权和 当该和值超过某一阈值时 输出呈现兴奋状态 高电平 否则低于阈值时呈现抑制状态 低电平 人工神经网络当它达到某种平衡状态后 网络的整个状态就是所求的结果 92 人工神经网络的两种操作过程 训练学习训练时 把要教给神经网络的信息 外部输入 作为网络的输入和要求的输出 使网络按某种规则 称为训练算法 调节各处理单元间的连接权值 直至加上给定输入 网络就能产生给定输出为止 这时 各连接权已调接好 网络的训练就完成了 正常操作 回忆操作 对训练好的网络输入一个信号 它就可以正确回忆出相应输出 得到识别结果 93 人工神经网络的发展 初始 萌发 期 人工神经网络的兴起1943年 美国神经生理学家WarrenMcculloch和数学家WalterPitts合写了一篇关于神经元如何工作的开拓性文章 ALogicalCalculusofIdeasImmanentinNervousAcitivity 该文指出 脑细胞的活动像断 通开关 这些细胞可以按各种方式相互结合 进行各种逻辑运算 1949年 心理学家DonalaHebb写了一本书 TheOrganizationofBehavior 在该书中 他强调了心理学和生理学间的联系和沟通 指出脑细胞间的思路每当通过参与某种活动时将被加强 这就是后来的Hebb学习规则 94 到了二十世纪50年代 随着计算机的发展和软硬件的进步 有些神经系统功能的理论开始在计算机上进行模拟 拓宽了研究的路子 IBM的研究室在Hebb工作的基础上 对神经网络的模型进行了软件模拟 虽然开始时失败了 但在使得模型像人那样适应环境的实验上取得了一定程度的成功 1956年 一个人工智能研究项目 DartmouthSummer 给人工智能领域 同时也给神经计算领域以巨大推动 人工神经网络的发展 人们提出两条研究思路采用高级人工智能方法 试图建立描述智能机功能的计算机程序 根据低水平的大脑处理方式构成结构模型 以实现智能化 这宣告了人工神经网络的诞生 95 人工神经网络的发展 96 第一次高潮期 感知器模型和人工神经网络1957年 计算机专家FrankRosenblatt开始从事感知器的研究 并制成硬件 通常被认为是最早的神经网络模型 1959年 两位电机工程师BernardWidrow和MarcianHaff开发出一种叫作自适应线性单元 ADALINE 的网络模型 并在他们的论文 AdaptiveSwitchingCircuits 中描述了该模型和它的学习算法 Widrow Haff算法 该网络通过训练 可以成功用于抵消通信中的回波和噪声 也可用于天气预报 成为第一个用于实际问题的神经网络 人工神经网络的发展 97 1962年 Rosenblatt出版了一本书 ThePrinciplesofNeurodynamics 详述了他的感知器模型 该感知器具有输入层 输出层和中间层 通过实验可以模仿人的某些特性 并断言它可以学会任何它可以表示的功能 1967年 StephenGrossberg通过对生理学的研究 开发了一种称作雪崩网的神经网络模型 可以控制机器人手臂的运动 在这一时期 由于感知器的某些进展和对神经网络的宣传 人们乐观地认为几乎已经找到了实现智能的关键 人们夸大了神经网络的潜力 有人甚至担心制造机器人的人类会很快受到机器人的攻击 人工神经网络的发展 98 反思期 神经网络的低潮1969年 MarvinMinsky和SeymourPapert合著了一本书 Perception 分析了当时的简单感知器 指出它有非常严重的局限性 甚至不能解决简单的 异或 问题 为Rosenblatt的感知器判了 死刑 此时 批评的声音高涨 导致了停止对人工神经网络研究所需的大量投资 不少研究人员把注意力转向了人工智能 导致对人工神经网络的研究陷入低潮 人工神经网络的发展 99 第二次高潮期 Hopfield网络模型的出现和人工神经网络的复苏1982年 JohnHopfield向美国科学院递交了有关神经网络的报告 主要内容就是建议收集和重视以前对神经网络的工作 其中特别强调了每种模型的实用性 Hopfield揭示了以往的网络是如何工作的 可以做些什么 并提出了他自己的模型 能从失真的或不完善的数据图像中获得完整的数据图像 引起了美国军方的兴趣 当时 人工智能对自动制导车的研究失败 而利用神经网络有可能解决这个问题 从而使人们的注意力重新投向人工神经网络 导致了人工神经网络的第二次高潮 人工神经网络的发展 100 1984年 Hopfield设计研制了后来被人们称为Hopfield网的电路 较好地解决了TSP问题 找到了最佳解的近似解 引起了较大轰动 1985年 Hinton Sejnowsky Rumelhart等研究者在Hopfield网络中引入随机机制 提出了所谓的Bolziman机 1986年 Rumelhart等研究者重新独立地提出多层网络的学习算法 BP算法 较好地解决了多层网络的学习问题 1990年12月 国内首届神经网络大会在北京举行 人工神经网络的发展 101 再认识与应用研究期二十世纪90年代后 研究趋于平缓 主要问题 应用面还不够宽结果不够精确存在可信度的问题主要研究内容开发现有模型的应用 并在应用中根据实际运行情况对模型 算法加以改造 以提高网络的训练速度和运行的准确度 充分发挥每种技术各自的优势 寻找更有效的解决方法 希望在理论上寻找新的突破 建立新的专用或通用模型和算法 进一步对生物神经系统进行研究 不断丰富对人脑的认识 人工神经网络的