人工神经网络01绪论.ppt

1 张凯副教授 武汉科技大学计算机学院 人工神经网络 ArtificalNeuralNetwork 2 第一章神经网络概述 1 人工智能与神经网络 2 人工神经网络的基本概念 3 人工神经网络研究的历史 4 人工神经网络的应用领域 人工智能 人工智能 ArtificialIntelligence 简记为AI 最初在1956年被引入 它研究怎样让计算机模仿人脑从事推理 设计 思考 学习等思维活动 以解决和处理较复杂的问题 智能的概念 智能是个体有目的的行为 合理的思维 以及有效的适应环境的综合能力 智能是个体认识客观事物和运用知识解决问题的能力 人类个体的智能是一种综合能力 研究人工智能的目的模拟人的智能 将人类从复杂的脑力劳动中解脱出来 4 感觉器官 神经系统 认知 效应器官 外部世界 决策 神经系统 思维器官 典型的 智力生成过程 信息获取 信息传递 信息认知 信息执行 外部世界 信息再生 信息传递 认识论信息 知识 智能策略 狭义智能 本体论信息 认识论信息 智能策略 智能行为 人类智力的信息本质 人工智能 7 1 感知与认识客观事物 客观世界和自我的能力2 通过学习取得经验与积累知识的能力3 理解知识 运用知识和经验分析 解决问题的能力4 联想 推理 判断 决策的能力5 运用语言进行抽象 概括的能力6 发现 发明 创造 创新的能力7 实时 迅速 合理地应付复杂环境的能力8 预测 洞察事物发展变化的能力 人工神经网络的提出 智能可以包含8个方面感知与认识客观事物 客观世界和自我的能力感知是智能的基础 最基本的能力通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力 理解知识 运用知识和经验分析 解决问题的能力这一能力可以算作是智能的高级形式 是人类对世界进行适当的改造 推动社会不断发展的基本能力 2020 3 25 9 人工神经网络的提出 联想 推理 判断 决策语言的能力这是智能的高级形式的又一方面 预测和认识 主动 和 被动 之分 联想 推理 判断 决策的能力是 主动 的基础 运用进行抽象 概括的能力上述这5种能力 被认为是人类智能最为基本的能力 2020 3 25 10 人工神经网络的提出 作为5种能力综合表现形式的3种能力发现 发明 创造 创新的能力实时 迅速 合理地应付复杂环境的能力预测 洞察事物发展 变化的能力 人工神经网络从以下四个方面去模拟人的智能行为 1 物理结构 人工神经元将模拟生物神经元的功能2 计算模拟 人脑的神经元有局部计算和存储的功能 通过连接构成一个系统 人工神经网络中也有大量有局部处理能力的神经元 也能够将信息进行大规模并行处理3 存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能 同时为概括 类比 推广提供有力的支持4 训练 同人脑一样 人工神经网络将根据自己的结构特性 使用不同的训练 学习过程 自动从实践中获得相关知识 人工智能 生物神经元及其网络 生物神经元及其网络 生物神经元及其网络 人工神经元及其网络 人工神经元及其网络 2020 3 25 17 人工神经网络的概念 定义 1 Hecht Nielsen 1988年 人工神经网络的概念 人工神经网络是一个并行 分布处理结构 它由处理单元及其称为联接的无向讯号通道互连而成 这些处理单元 PE ProcessingElement 具有局部内存 并可以完成局部操作 每个处理单元有一个单一的输出联接 这个输出可以根据需要被分枝成希望个数的许多并行联接 且这些并行联接都输出相同的信号 即相应处理单元的信号 信号的大小不因分支的多少而变化 人工神经网络的概念 处理单元的输出信号可以是任何需要的数学模型 每个处理单元中进行的操作必须是完全局部的 也就是说 它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值 2020 3 25 20 人工神经网络的概念 强调 并行 分布处理结构 一个处理单元的输出可以被任意分枝 且大小不变 输出信号可以是任意的数学模型 处理单元完全的局部操作 人工神经网络的概念 定义 2 Rumellhart McClelland Hinton 人工神经网络的概念 1 一组处理单元 PE或AN 2 处理单元的激活状态 ai 3 每个处理单元的输出函数 fi 4 处理单元之间的联接模式 5 传递规则 wijoi 6 把处理单元的输入及当前状态结合起来产生激活值的激活规则 Fi 7 通过经验修改联接强度的学习规则 8 系统运行的环境 样本集合 2020 3 25 23 人工神经网络的概念 Simpson 1987年 人工神经网络是一个非线性的有向图 图中含有可以通过改变权大小来存放模式的加权边 并且可以从不完整的或未知的输入找到模式 什么是神经网络 由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统 该系统是靠其状态对外部输入信息的动态响应来处理信息的 一种由许多简单的并行工作的处理单元组成的系统 其功能取决于网络的结构 连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统 24 神经网络的计算能力有以下优点 1 大规模并行分布式结构 2 神经网络学习能力以及由此而来的泛化能力 泛化是指神经网络对不在训练 学习 集中的数据可以产生合理的输出 25 神经网络的优点 非线性人工神经网络可以是线性的也可以是非线性的 一个由非线性神经元组成的神经网络自身是非线性的输入输出映射每个样本由一个惟一的输入信号和相应期望响应组成 从一个训练集中随机选取一个样本给网络 网络就调整它的突触权值 自由参数 以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差 神经网络的性质和能力 适应性神经网络具有调整自身突触权值以适应外界变化的能力 VLSI 超大规模集成 实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力 适用于VLSI技术实现 神经生物类比神经网络是由对人脑的类比引发的 可以用神经生物学来作为解决复杂问题的新思路 神经网络的性质和能力 神经网络的分类 从结构分类前馈神经网络 FeedforwardNeuralNetwork 反馈神经网络 FeedbackNeuralNetwork 从学习方式分类有教师学习无教师学习 28 有教师学习 事先有一批正确的输入输出数据对 将输入数据加载到网络输入端后 把网络的实际响应输出与正确 期望的 输出相比较得到误差 根据误差的情况修正各连接权 使网络朝着正确响应的方向不断变化下去 直到实际响应的输出与期望的输出之差在允许范围之内 这种学习方法通称为误差修正算法 典型的有误差反向传播 BackPropagation 简写为BP 算法 29 无教师学习 自组织学习 使网络具有某种 记忆 能力 以至形成 条件反射 当曾经学习过的或相似的刺激加入后 输出端便按权矩阵产生相应的输出 如自组织映射 SelfOrganizationMapping 简写为SOM 算法 无监督竞争学习 将处理单元划分为几个竞争块 在不同的块之间有刺激连接 而同一块的不同节点之间有抑制连接 从而当外界对不同块的一个单元施加刺激后 将激活不同块中互联最强的一组单元 得到对该刺激的一个整体回忆 神经网络发展的四个时期启蒙时期 1890 1969 低潮时期 1969 1982 复兴时期 1982 1986 高潮时期 1987 31 从19世纪末开始神经网络的发展历史 可以看出它与神经生理学 数学 电子学 计算机科学以及人工智能学之间的联系 人工神经网络的研究历史 1890年 美国心理学家WilliamJames发表了第一部详细论述人脑结构及功能的专著 心理学原理 PrinciplesofPsychology 对相关学习 联想记忆的基本原理做了开创性研究 32 启蒙时期 33 启蒙时期 1943 心理学家麦克洛奇 McCulloch 和数理逻辑学家皮兹 Pitts 从信息处理的角度出发 提出了形似神经元的著名的阈值加权和模型 简称为M P模型 发表于数学生物物理学会刊 BulletinofMethematicalBiophysics 从此开创了神经科学理论的新时代 启蒙时期 这种单个神经元模型功能较弱 但连接而成的网络可以实现逻辑运算 包括三种基本运算 逻辑乘法 又称 与 运算 逻辑加法 又称 或 运算 和逻辑否定 又称 非 运算 它开创了神经网络模型的理论研究 为各种神经元模型及网络模型的研究打下了基础 2020 3 25 34 35 启蒙时期 1949年 心理学家赫布 Hebb 在 行为构成 OrganizationofBehavior 一书中提出了连接权训练算法 即Hebb算法 启蒙时期 Hebb提出神经元之间突触联系强度可变的假设 他认为学习过程是在突触上发生的 突触的联系强度随其前后神经元的活动而变化 根据这一假说提出了改变神经元连接强度的Hebb规则 它对以后人工神经网络的结构及算法都有很大影响 Hebb的学习算法在不少人工神经网络中应用 2020 3 25 36 启蒙时期 1957年 罗森布兰特 Rosenblatt 提出了感知器 Perception 的概念 试图模拟人脑的感知学习能力 启蒙时期 Rosenblatt提出的感知器模型 第一次把神经网络的研究付诸工程实践 这是一种学习和自组织的心理学模型 它基本上符合神经生理学的知识 模型的学习环境是有噪声的 网络构造中存在随机连接 这符合动物学习的自然环境 这是第一个真正的人工神经网络 他给出了两层感知器的收敛定理 后来的一大类神经网络模型都是感知器模型的变形 启蒙时期 1962年 韦德罗 Widrow 和胡佛 Hoff 提出了自适应线性单元 Adaline 这是一个连续取值的线性网络 TedHoff BernardWidrow 2020 3 25 40 启蒙时期 MarvinMinsky FrankRosenblatt BernardWidrow等为代表人物 代表作是单级感知器 Perceptron 可用电子线路模拟 人们乐观地认为几乎已经找到了智能的关键 许多部门都开始大批地投入此项研究 希望尽快占领制高点 低潮时期 1969年 人工神经网络的创始人之一明斯基 Minsky 和佩珀特 Papert 发表了 感知器 一书 对感知器的能力表示了怀疑态度 使神经网络的研究受到了影响 神经网络的研究从此走向低谷 低潮时期 60年代末 美国著名人工智能学者Minsky和Papart对Rosenblatt的工作进行了深入的研究 写了很有影响的 感知器 一书 指出感知器的处理能力有限 单层感知器只能作线性划分 对于非线性或其他分类会遇到很大的困难 这时应采用含有隐单元的多层神经网络 但引入隐单元后找到一个有效的学习算法非常困难 Minsky断言这种感知器无科学研究价值可言 包括多层的也没有什么意义 2020 3 25 42 低潮时期 汇编语言中xoreax eax1xor1 0因为1和1相同0 xor0 0因为0和0相同1xor0 1因为1和0不同0 xor1 1因为1和0不同初始化清0 速度比赋值快 低潮时期 一 交换两个整数的值而不必用第三个参数二 奇偶判断三 格雷码 Graycode 格雷码 Graycode 是由贝尔实验室的FrankGray在1940年提出 用于在PCM PusleCodeModulation 方法传送讯号时防止出错 四 奇数分频电路 低潮时期 这个结论对当时的神经网络研究无疑是一个沉重的打击 客观上对神经网络的研究起了一定的消极作用 同时当时的微电子技术也无法为神经网络的研究提供有效的技术保障 故在其后的十几年内 从事神经网络研究的人数及经费支持大大下降 神经网络研究处于低潮 2020 3 25 45 低潮时期 然而在此期间 仍有为数不多的学者致力于神经网络的研究 1969年Grossberg等提出了自适应共振理论模型 1972年Kohenen提出自组织映射的理论模型 并称神经网络为联想存贮器 所有这些理论为神经网络的进一步发展奠定了理论基础 2020 3 25 46 47 低潮时期 1969年 美国学者格诺斯博格 Grossberg 和卡普特尔 Carperter 提出了自适应共振理论 ART 模型 低潮时期 ART竞争神经网络见到一个人 如果我们认识这个人 我们马上就能知道认识他 该怎么理解呢 其实 大脑已经存在了这个人的面孔的印象 看到这个人 我们的大脑有个搜索对比的过程或者说是回忆的过程 如果能够搜索到 回忆 那么恭喜你 你认出这个人了 相反 如果这个人是陌生人 大脑惨了 搜索了半天 没有搜到 回忆 罢工了 不认识 还是陌生人 不要生气 大脑没有罢工 它已默默将这个人的面孔存储起来了 如果你后续跟这个人还有更多联系的话 比如再见面或者一起说话 交往 大脑对这个人的记忆会逐渐加强 实际生活中 我们会有对某个人好像在哪儿见过面的感觉 其实这种感觉正是大脑对这个人的记忆还不够强烈所产生的 49 低潮时期 1972年 芬兰学者克豪南 Kohonen 提出了自组织映射 SOM 理论 50 低潮时期 脑科学的研究表明 人类大脑皮层中的细胞群存在着广泛地自组织现象 处于不同区域的神经元具有不同的功能 它们具有不同特征的输入信息模式 对不同感官输入模式的输入信号具有敏感性 从而形成大脑中各种不同的感知路径 并且这种神经元所具有的特性不是完全来自生物遗传 而是很大程度上依赖于后天的学习和训练 低潮时期 自组织映射网络 Self OrganizingFeatureMaps SOM 就是根据这种理论而提出的 现在已成为应用最为广泛的自组织神经网络方法 Kohonen认为处于空间中不同区域的神经元有不同的分工 当一个神经网络接受外界输入模式时 将会分为不同的反应区域 各区域对输入模式具有不同的响应特征 这种网络模拟大脑神经系统自组织特征映射的功能 它是一种竞争型神经网络 采用无监督学习算法进行网络训练 此网络广泛地应用于样本分类 排序和样本检测方面 低潮时期 1979年 福岛邦彦 Fukushima 提出了认知机 Necognitron 理论 认知机 Neocognitron 由Fukushima于1972年提出 是迄今为止结构最复杂的多层网络 通过无导师学习 具有选择性注意能力 对样品的平稳 旋转不敏感 缺点是参数不易选择 主要用于字符识别 低潮时期 1977 神经心理学家安德森 Anderson 提出了BSB Brain State in a Box 模型 BSB模型是一种结点之间存在横向连接和结点自反馈的单层网络 可用最自联想离邻近分类器 并可存储任何模拟向量模式 低潮时期 1974 韦伯斯 Werbos 提出了BP理论 为神经网络的发展奠定了基础 复兴时期 1982年 美国加州工程学院物理学家Hopfield在美国科学院院刊上发表论文 提出了一个用于联想记忆及优化计算的新途径 Hopfield模型 复兴时期 1982年 J Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数 建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上 复兴时期 1984年对Hopfield模型进行修改 提出了利用模拟电路的基础元件构成了人工神经网络的硬件原理模型 为实现硬件奠定了基础 1985年Hopfield和Tank提出用神经网络解决TSP组合优化问题 复兴时期 Hopfield模型的动作原理是 只要由神经元兴奋的算法和神经元之间结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定 那么该状态就会一直变化下去 直到预先定义的一个必定减小的能量函数达到极小值时 状态才达到稳定而不再变化 58 复兴时期 1984年 Hopfield设计并研制了他提出的神经网络模型的电路 并指出网络中的每一个神经元可以用运算放大器来实现 他同时进行了神经网络应用研究 成功解决了旅行商 TSP 问题 引起世人震惊 这些成果使对神经网络的研究重新进入了一个新的兴盛时期 复兴时期 1985年 UCSD的Sejnowsky Rumelhart Hinton等人所在的并行分布处理 PDP 小组的研究者在Hopfield网络中引入了随机机制 提出所谓的Boltzmann机 复兴时期 1986年 Rumelhart和McClelland提出了多层网络学习的误差反向传播学习算法 BP算法 较好地解决了多层网络的学习问题 历史总结 神经网络的研究已有50多年的历史 它的发展道路是曲折的 几经兴衰 目前已在许多领域得到了成功的应用 2020 3 25 62 历史总结 上世纪40年代兴奋与抑制型神经元模型 Mcculloch Pitts 神经元连接强度的修改规则 Hebb 上世纪50年代 60年代感知机 Rosenblatt 和自适应性元件 Widrow 上世纪70年代Perceptron一书出版 Minsky和Papert 研究处于低潮上世纪80年代后Rumelhart Mcclelland以及Hopfield等取得突破性进展 1 开发现有模型的应用 并在应用中根据实际运行情况对模型 算法加以改造 以提高网络的训练速度和运行的准确度 2 充分发挥两种技术各自的优势是一个有效方法 3 希望在理论上寻找新的突破 建立新的专用 通用模型和算法 4 进一步对生物神经系统进行研究 不断地丰富对人脑的认识 新时期研究热点问题 理论方面支持向量机和核方法 SVMandKernelMethods 图模型 GraphicalModels 统计学习方法 StatisticalLearningAlgorithm 高斯过程 GaussianProcess 泛化问题和模型选择 GeneralizationandModelSelection 贝叶斯学习 BayesianLearning 递归神经网络 RecurrentNeuralNetworks 等 65 新时期研究热点问题 66 实际应用图象处理 ImageProcessing 人脸识别 FaceRecognition 语音信号处理 VoiceProcessing 时间序列分析 TimeSeriesAnalysis 机器人控制 RobotControl 等 新时期研究热点问题 国家自然科学基金资助 2006年有42项研究课题2005年有40项研究课题2004年有32项研究课题2003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题 67 神经网络研究的比重逐年增加 已经引起越来越多的国内学者的关注 并成为信息学科的一个研究热点和重点 68 1988年 NeuralNetworks 创刊1990年 IEEETransactionsonNeuralNetworks 创刊 国际学术期刊 IEEETrans onNeuralNetworks NeuralNetworks 主要内容 第一章 引论智能的概念 智能系统的特点及其描述基本模型 人工神经网络的特点 发展历史 及其应用领域 主要内容 第二章神经元模型和网络结构生物神经网络模型 人工神经元模型与典型的激励函数 人工神经网络的基本拓扑特性 存储类型及映象 主要内容 第三章感知器感知器与人工神经网络的早期发展 单层网能解决线性可分问题 而无法解决线形不可分问题 要想解决这一问题 必须引入多层网 Hebb学习律 Delta规则 感知器的训练算法 主要内容 第四章线性神经网络和LMS算法自适应线性神经元ADALINE AdaptiveLinearNeuron 它是线性神经网络最早的典型代表 其学习算法称之为LMS leastmeansquares最小均方差 算法或Widrow Hoff学习规则 主要内容 第五章BP神经网络BP rrorBackpropagation 网络的构成及其训练过程 隐藏层权调整方法的直观分析 BP训练算法中使用的Delta规则 最速下降法 的理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 主要内容 第六章Hopfield网络离散型Hopfield网络和连续性Hopfield网络 Hopfield网络是以电路方式提出的反馈网络 可用于联想记忆和优化计算 用能量函数评价网络的稳定性 可用于求解组合优化问题 TSP问题 主要内容 第七章Boltzmann机网络Boltzmann机将模拟退火算法引入Hopfield网络 可以利用模拟退火的优点跳出局部最优 而达到全局最优化 学习以统计学和概率方法研究随机神经网络 2020 3 25 78 主要内容 第八章自适应共振理论人脑的稳定性与可塑性问题 ART模型的总体结构与分块描述 比较层与识别层之间的两个联接矩阵的初始化 识别过程与比较过程 查找的实现 训练讨论 神经网络的基本特征 神经网络的特征归纳为结构特征和能力特征 1 结构特征 并行处理 分布式存储与容错性2 能力特征 自学习 自组织与自适应性 79 2020 3 25 80 学习能力 Learning 人工神经网络可以根据所在的环境去改变它的行为自相联的网络异相联的网络 它在接受样本集合A时 可以抽取集合A中输入数据与输出数据之间的映射关系 抽象 功能 不同的人工神经网络模型 有不同的学习 训练算法 2020 3 25 81 基本特征的自动提取 由于其运算的不精确性 表现成 去噪音 容残缺 的能力 利用这种不精确性 比较自然地实现模式的自动分类 泛化 Generalization 能力与抽象能力 神经网络的基本功能 联想记忆 82 由于神经网络具有分布存储信息和并行计算的性能 因此它具有对外界刺激信息和输入模式进行联想记忆的能力 这种能力是通过神经元之间的协同结构以及信息处理的集体行为实现的 神经网络是通过其突触权值和连接结构来表达信息的记忆 这种分布式存储使得神经网络能存储较多的复杂模式和恢复记忆的信息 联想记忆 自联想记忆网络中预先存储 记忆 多种模式信息 当输入某个已存储模式的部分信息或带有噪声干扰的信息时 网络能通过动态联想过程回忆起该模式的全部信息 神经网络的基本功能 异联想记忆网络中预先存储了多个模式对 每一对模式均由两部分组成 当输入某个模式对的一部分时 即使输入信息是残缺的或迭加了噪声 网络也能回忆起与其对应的另一部分 联想记忆 神经网络的基本功能 85 神经网络的基本功能 86 神经网络的基本功能 非线性映射 设计合理的神经网络通过对系统输入输出样本对进行自动学习 能够以任意精度逼近任意复杂的非线性映射 87 神经网络的基本功能 非线性映射 88 神经网络的基本功能 分类与辨识 对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域 每个区域内的样本属于一类 89 神经网络的基本功能 优化计算 指在已知的约束条件下 寻找一组参数组合 使由该组合确定的目标函数达到最小值 90 神经网络的基本功能 知识处理 神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征 发现规律 并通过自组织过程加强自身 构建适合于表达所发现的规律 信号处理神经网络广泛用于自适应信号处理 自适应滤波 时间序列预测等 和非线性信号处理 非线性滤波 非线性预测等 模式识别模式识别涉及模式的预处理变换和将一种模式映射转为其他类型的操作 神经网络在这两个方面都有许多成功的应用 例如对图象 语音的处理以及手写字的识别等 ANN应用领域 信息领域 数据压缩神经网络可以对待传送 或待存储 的数据提取模式特征 只将该特征传出 或存储 接收 或使用 时再将其转换为原始模式 92 ANN应用领域 信息领域 汽车工程神经网络已经成功应用于挡位选择系统 刹车智能控制系统以及柴油机燃烧系统中 军事工程神经网络已应用于飞行器的跟踪 水下潜艇位置分析 密码学等军事领域 化学工程神经网络在制药 生物化学 化学工程领域取得了不少成果 例如 谱分析 化学反应生成物的鉴定等 ANN应用领域 工程领域 水利工程水力发电过程辨识和控制 河川径流预测 河流水质分类 水资源规划等实际问题中都有神经网络的应用 94 ANN应用领域 工程领域 检测数据分析利用神经网络多道脑电棘波检测系统可用来提供脑电棘波的实时检测和癫痫的预报 生物活性研究用神经网络对生物学检测数据进行分析 可提取致癌物的分子结构特征 建立分子结构和致癌活性之间的定量关系 并对分子致癌活性进行预报 医学专家系统利用神经网络学习功能 联想记忆功能和分布式并行信息处理功能 来解决医学专家系统中的知识表示 获取和并行推理等问题 ANN应用领域 医学领域 信贷分析神经网络评价系统将公司贷款申请表中的关键数据编码为输入向量 将实际的信用情况作为输出评价 用数以千计的历史数据对网络进行训练后 可给出准确的评价结果 市场预测神经网络的市场预测已经广泛应用于股票和期货价格的预测中 ANN应用领域 经济学领域 自动控制是上世纪中形成和发展起来的一门新兴学科 它是一门涉及到诸如数学 计算机 信息 电工 电子等众多领域的交叉学科 它的应用和影响 已经遍及很多的技术和社会科学领域 在自动控制发展的过程中 计算机科学一直对它产生着巨大的影响 随着科学技术的发展 对控制系统智能化的要求也越来越高 97 人工神经网络与自动控制 神经网络的应用已经渗透到自动化控制领域的各个方面 包括系统辨识 系统控制 优化算法以及控制系统的故障诊断与容错控制等 系统辨识传统的辨识方法 对于一般的非线性系统的辨识是很困难的 而神经网络却为此提供了一个有力的工具 与传统的基于算法的辨识方法相比 神经网络系统辨识具有如下特点 1 由于神经网络可以任意精度逼近非线性函数 故它可以为非线性系统的辨识提供一个通用的模式 人工神经网络与自动控制 2 神经网络系统辨识是非算法式的 神经网络本身就是辨识模型 其可调参数反映在网络内部的连接权上 不需要建立以实际系统数学模型为基础的辨识格式 故可以省去辨识前对系统建模这一步骤 3 神经网络作为实际系统的辨识模型 实际上也是系统的一个物理实现 可应用于在线控制 99 人工神经网络与自动控制 神经控制器控制器在实施控制系统中起着大脑的作用神经网络具有自学习和自适应的等智能特点 非常适合做控制器 对于复杂的非线性系统 神经控制器所能达到的控制效果往往明显好于常规控制器 故障诊断与容错控制神经网络故障诊断与容错控制有两种途径 一种是在传统的方法中使用神经网络 另一种是用神经网络直接构成具有容错能力的控制器 人工神经网络与自动控制 机器学习 T M Mitchell 驾驶汽车的人工神经网络 人脸识别的人工神经网络 手写数字识别的人工神经网络 神经网络的收敛性和稳定性问题在逼近非线性函数问题上 神经网络的现有理论只解决了存在性问题神经网络的学习速度一般比较慢 为满足实时控制的需要 必须予以解决对于控制器和辨识器 如何选择合适的神经网络模型与确定的结构 尚无理论指导 难点问题 105 参考书目 参考书目 107 参考书目 SimonHaykin著 叶世伟 史忠植译 神经网络原理 机械工业出版社 2004GeorgeF Luger著 史忠植等译 人工智能 复杂问题求解的结构和策略 机械工业出版社 中信出版社蒋宗礼 人工神经网络导论 高等教育出版社 2001胡守仁 余少博 戴葵 神经网络导论 国防科技大学出版社 1993韩力群 人工神经网络理论 设计及应用 化学工业出版社 2002王旭 王宏 王文辉 人工神经元网络原理与应用 东北大学出版社 2000徐丽娜 神经网络控制 哈尔滨工业大学出版社 1999阎平凡 张长水 人工神经网络与模拟进化计算 清华大学出版社 著名学者 108 Prof MichaelI Jordan美国加州大学伯克利分校获加州大学博士学位研究方向 图模型 变分方法 机器学习等 曾在麻省理工学院工作11年 已发表200多篇科技论文 国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授 包括香港中文大学的徐雷教授 著名学者 109 Prof BernhardScholkopf德国MaxPlanck生物控制论研究院1997年获柏林科技大学博士学位研究方向 机器学习 感知器 支持向量机和核方法 Scholkopf教授是国际著名杂志JournalofMachineLearningResearch IEEETrans OnPatternAnalysisandMachineIntelligence 和InternationalJournalofComputerVision编辑委员会成员 著名学者 110 Prof LawrenceSaul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向 机器学习 模式识别 神经网络 语音处理等 Saul教授的高维数据的分析方法和可视化 非线性维数化简已被应用于很多实际科学和工程领域 他发表文章的引用率已经进入计算机科学的前1 另外他也是