第一章神经网络概述PPT参考课件.ppt

神经网络导论 连捷大连理工大学电信学院E mail jielian 1 2 第一章神经网络概述第二章神经网络基础第三章前馈神经网络第四章反馈神经网络第五章支持向量机第六章自组织竞争神经网络第七章神经网络辨识与控制 教学安排 3 第一章神经网络概述 1 1智能的概念 1 2神经网络的基本概念 1 3人工神经网络研究的历史 1 4神经网络研究的意义 1 5人工神经网络的应用领域 1 6人工神经网络与自动控制 1 7小结参考书目 4 1 1智能的概念 智能是个体有目的的行为 合理的思维 以及有效的适应环境的综合能力 也可以说 智能是个体认识客观事物和运用知识解决问题的能力 1 感知与认识客观事物 客观世界和自我的能力2 通过学习取得经验与积累知识的能力3 理解知识 运用知识和经验分析 解决问题的能力4 联想 推理 判断 决策的能力5 运用语言进行抽象 概括的能力6 发现 发明 创造 创新的能力7 实时 迅速 合理地应付复杂环境的能力8 预测 洞察事物发展变化的能力 5 人工智能 人工智能 ArtificialIntelligence 简记为AI 最初在1956年被引入 它研究怎样让计算机模仿人脑从事推理 设计 思考 学习等思维活动 以解决和处理较复杂的问题 研究人工智能的目的模拟人的智能 将人类从复杂的脑力劳动中解脱出来 6 人工神经网络从以下四个方面去模拟人的智能行为 1 物理结构人工神经元将模拟生物神经元的功能2 计算模拟人脑的神经元有局部计算和存储的功能 通过连接构成一个系统 人工神经网络中也有大量有局部处理能力的神经元 也能够将信息进行大规模并行处理3 存储与操作人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能 同时为概括 类比 推广提供有力的支持4 训练同人脑一样 人工神经网络将根据自己的结构特性 使用不同的训练 学习过程 自动从实践中获得相关知识 7 1 2神经网络的基本概念 什么是神经网络 由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统 该系统是靠其状态对外部输入信息的动态响应来处理信息的 一种由许多简单的并行工作的处理单元组成的系统 其功能取决于网络的结构 连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统 8 1 2神经网络的基本概念 神经网络的优点神经网络的计算能力有以下优点 大规模并行分布式结构神经网络学习能力以及由此而来的泛化能力 泛化是指神经网络对不在训练 学习 集中的数据可以产生合理的输出 9 1 2神经网络的基本概念 神经网络的性质和能力非线性人工神经网络可以是线性的也可以是非线性的 一个由非线性神经元组成的神经网络自身是非线性的输入输出映射每个样本由一个惟一的输入信号和相应期望响应组成 从一个训练集中随机选取一个样本给网络 网络就调整它的突触权值 自由参数 以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差 10 1 2神经网络的基本概念 神经网络的性质和能力适应性神经网络具有调整自身突触权值以适应外界变化的能力VLSI 超大规模集成 实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力 适用于VLSI技术实现神经生物类比神经网络是由对人脑的类比引发的 可以用神经生物学来作为解决复杂问题的新思路 11 神经网络的一般框架结构 图中每一个圆圈代表一个神经元 也称处理单元或节点node 每个节点之间通过相互连接形成一个网络拓扑 这个拓扑的模式称为神经网络的互联模式 神经网络以外的部分 虚线方框以外的部分 统称为神经网络的环境 12 神经网络的分类 从结构分类前馈神经网络 FeedforwardNeuralNetwork 反馈神经网络 FeedbackNeuralNetwork 从学习方式分类有教师学习无教师学习 13 有教师学习 事先有一批正确的输入输出数据对 将输入数据加载到网络输入端后 把网络的实际响应输出与正确 期望的 输出相比较得到误差 根据误差的情况修正各连接权 使网络朝着正确响应的方向不断变化下去 直到实际响应的输出与期望的输出之差在允许范围之内 这种学习方法通称为误差修正算法 典型的有误差反向传播 BackPropagation 简写为BP 算法 14 无教师学习 自组织学习使网络具有某种 记忆 能力 以至形成 条件反射 当曾经学习过的或相似的刺激加入后 输出端便按权矩阵产生相应的输出 如自组织映射 SelfOrganizationMapping 简写为SOM 算法 无监督竞争学习将处理单元划分为几个竞争块 在不同的块之间有刺激连接 而同一块的不同节点之间有抑制连接 从而当外界对不同块的一个单元施加刺激后 将激活不同块中互联最强的一组单元 得到对该刺激的一个整体回忆 返回 15 1 3人工神经网络的研究历史 从19世纪末开始 神经网络的发展史可以分为四个时期 启蒙时期 1890 1969 低潮时期 1969 1982 复兴时期 1982 1986 高潮时期 1987 从神经网络的发展历史可以看出它与神经生理学 数学 电子学 计算机科学以及人工智能学之间的联系 16 启蒙时期 1890年 美国心理学家WilliamJames发表了第一部详细论述人脑结构及功能的专著 心理学原理 PrinciplesofPsychology 对相关学习 联想记忆的基本原理做了开创性研究 20世纪40年代 心理学家麦克洛奇 McCulloch 和数理逻辑学家皮兹 Pitts 从信息处理的角度出发 采用数理模型的方法对神经细胞的动作进行研究 提出了形似神经元的数学模型 M P模型 从此开创了神经科学理论的新时代 17 1949年 心理学家赫布 Hebb 在 行为构成 OrganizationofBehavior 一书中提出了连接权训练算法 即Hebb算法 1957年 罗森布兰特 Rosenblatt 提出了感知器 Perception 的概念 试图模拟人脑的感知学习能力 1962年 韦德罗 Widrow 和胡佛 Hoff 提出了自适应线性单元 Adaline 这是一个连续取值的线性网络 启蒙时期 18 1969年 人工神经网络的创始人之一明斯基 Minsky 和佩珀特 Papert 发表了 感知器 一书 对感知器的能力表示了怀疑态度 使神经网络的研究受到了影响 神经网络的研究从此走向低谷 启蒙时期 19 低潮时期 1969年 美国学者格诺斯博格 Grossberg 和卡普特尔 Carperter 提出了自适应共振理论 ART 模型 1972年 芬兰学者克豪南 Kohonen 提出了自组织映射 SOM 理论 1979年 福岛邦彦 Fukushima 提出了认知机 Necognitron 理论 在此之后 神经心理学家安德森 Anderson 提出了BSB模型 韦伯斯 Webos 提出了BP理论 为神经网络的发展奠定了基础 20 复兴时期 1982年 美国物理学家Hopfield在美国科学院院刊上发表论文 提出Hopfield神经网络模型 1984年 Hopfield设计并研制了他提出的神经网络模型的电路 并指出网络中的每一个神经元可以用运算放大器来实现 他同时进行了神经网络应用研究 成功解决了旅行商 TSP 问题 引起世人震惊 这些成果使对神经网络的研究重新进入了一个新的兴盛时期 21 Hopfield模型的动作原理是 只要由神经元兴奋的算法和神经元之间结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定 那么该状态就会一直变化下去 直到预先定义的一个必定减小的能量函数达到极小值时 状态才达到稳定而不再变化 22 新时期研究热点问题 理论方面支持向量机和核方法 SVMandKernelMethods 图模型 GraphicalModels 统计学习方法 StatisticalLearningAlgorithm 高斯过程 GaussianProcess 泛化问题和模型选择 GeneralizationandModelSelection 贝叶斯学习 BayesianLearning 递归神经网络 RecurrentNeuralNetworks 等 23 实际应用图象处理 ImageProcessing 人脸识别 FaceRecognition 语音信号处理 VoiceProcessing 时间序列分析 TimeSeriesAnalysis 机器人控制 RobotControl 等 新时期研究热点问题 24 2006年有42项研究课题2005年有40项研究课题2004年有32项研究课题2003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题 国家自然科学基金中的神经网络研究 神经网络研究的比重逐年增加 已经引起越来越多的国内学者的关注 并成为信息学科的一个研究热点和重点 25 1988年 NeuralNetworks 创刊1990年 IEEETransactionsonNeuralNetworks 创刊 国际著名期刊 26 IEEETrans onNeuralNetworks 27 NeuralNetworks 28 著名学者 Prof MichaelI Jordan美国加州大学伯克利分校获加州大学博士学位研究方向 图模型 变分方法 机器学习等 曾在麻省理工学院工作11年 已发表200多篇科技论文 国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授 包括香港中文大学的徐雷教授 29 著名学者 Prof BernhardScholkopf德国MaxPlanck生物控制论研究院1997年获柏林科技大学博士学位研究方向 机器学习 感知器 支持向量机和核方法 Scholkopf教授是国际著名杂志JournalofMachineLearningResearch IEEETrans OnPatternAnalysisandMachineIntelligence 和InternationalJournalofComputerVision编辑委员会成员 30 著名学者 Prof LawrenceSaul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向 机器学习 模式识别 神经网络 语音处理等 Saul教授的高维数据的分析方法和可视化 非线性维数化简已被应用于很多实际科学和工程领域 他发表文章的引用率已经进入计算机科学的前1 另外他也是著名国际期刊JournalofMachineLearningResearch编委会成员和发起人之一 31 著名学者 Prof YoshuaBengio加拿大蒙特利尔大学1991年获加拿大麦基尔大学博士学位研究方向 多层感知机 核方法 递归神经网络等Bengio教授是IEEETransactionsonNeuralNetworks JournalofMachineLearning NeuralComputingSurveys的编委 值得一提的是Bengio教授在1994年的一篇著名文章中逆转了递归神经网络梯度学习算法的研究方向 极大地影响了该网络的研究 32 著名学者 Prof FrankL Lewis美国德克萨斯大学获美国乔治亚技术学院博士学位研究方向 反馈系统控制 神经网络和模糊智能控制等现任德克萨斯大学自动化与机器人研究院副院长 IEEEFellow InternationalJournalofControl NeuralComputingandApplications等期刊的编委 他共获得超过6百万美元的资助 发表174篇杂志论文 285篇会议论文 12本专著 33 著名学者 ChristopherM Bishop微软剑桥研究院研究方向 模式识别 基于推理的概率方法和学习Bishop教授是美国电子学会关于应用神经计算中心的带头人 是剑桥大学达尔文学院的会士 Fellow 不列颠计算机协会的会士 Fellow 和英国计算研究委员会成员 2004年当选英国皇家工程院会士 Fellow 1995年曾出版著名专著 NeuralNetworksforPatternRecognition 34 著名学者 Prof LeiXu 徐雷 香港中文大学研究方向 模式识别 神经网络 统计学习等现任香港中文大学讲座教授 IEEEFellow 国际模式识别学会Fellow 欧洲科学院院士 已发表的学术论文被引用总量逾1300次 最大单篇被引用量达255 SCI 次 应邀在国际主要学术大会做大会报告 特邀报告 学术讲座40余次 曾任国际神经网络学会理事 亚太地区神经网络学会主席 IEEE神经网络学会计算金融学术委员会主任 35 著名学者 刘德荣教授伊利诺大学芝加哥分校1994年获美国圣母大学博士学位研究方向 非线性动态系统 递归神经网络等 刘教授是该校电机与计算机工程系和计算机科学系的终身正教授 2005年 他因在非线性动态系统和递归神经网络方面作出的贡献而被选为IEEEFellow 自1992年起 共发表40多篇国际学术杂志论文 90多篇国际会议论文 合作出版五本学术专著 担任多个国际期刊的编委 36 著名学者 Prof JunWang 王钧 香港中文大学1991年凯斯西储大学博士研究方向 递归神经网络和工程应用现任香港中文大学自动化与计算机辅助工程系计算智能实验室主任 已发表120多篇期刊论文 多本书籍的11个章节的编写 SCI引用次数超过1300次 现在担任多个著名期刊的编委 是亚太地区神经网络联合会会长 2007年王钧教授因为在递归神经网络及其在优化和工程方面的应用的突出成绩被评为IEEEFellow 37 1 4神经网络研究的意义 神经网络的基本特征神经网络的特征归纳为结构特征和能力特征 1 结构特征 并行处理 分布式存储与容错性2 能力特征 自学习 自组织与自适应性 38 神经网络的基本功能 联想记忆 由于神经网络具有分布存储信息和并行计算的性能 因此它具有对外界刺激信息和输入模式进行联想记忆的能力 这种能力是通过神经元之间的协同结构以及信息处理的集体行为实现的 神经网络是通过其突触权值和连接结构来表达信息的记忆 这种分布式存储使得神经网络能存储较多的复杂模式和恢复记忆的信息 39 自联想记忆网络中预先存储 记忆 多种模式信息 当输入某个已存储模式的部分信息或带有噪声干扰的信息时 网络能通过动态联想过程回忆起该模式的全部信息 神经网络的基本功能 联想记忆 40 异联想记忆网络中预先存储了多个模式对 每一对模式均由两部分组成 当输入某个模式对的一部分时 即使输入信息是残缺的或迭加了噪声 网络也能回忆起与其对应的另一部分 神经网络的基本功能 联想记忆 41 神经网络的基本功能 联想记忆 42 神经网络的基本功能 非线性映射 设计合理的神经网络通过对系统输入输出样本对进行自动学习 能够以任意精度逼近任意复杂的非线性映射 43 神经网络的基本功能 分类与辨识 对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域 每个区域内的样本属于一类 44 神经网络的基本功能 优化计算 指在已知的约束条件下 寻找一组参数组合 使由该组合确定的目标函数达到最小值 45 神经网络的基本功能 返回 知识处理 神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征 发现规律 并通过自组织过程加强自身 构建适合于表达所发现的规律 46 1 5人工神经网络的应用领域 信号处理神经网络广泛用于自适应信号处理 自适应滤波 时间序列预测等 和非线性信号处理 非线性滤波 非线性预测等 模式识别模式识别涉及模式的预处理变换和将一种模式映射转为其他类型的操作 神经网络在这两个方面都有许多成功的应用 例如对图象 语音的处理以及手写字的识别等 信息领域 47 数据压缩神经网络可以对待传送 或待存储 的数据提取模式特征 只将该特征传出 或存储 接收 或使用 时再将其转换为原始模式 信息领域 48 工程领域 汽车工程神经网络已经成功应用于挡位选择系统 刹车智能控制系统以及柴油机燃烧系统中 军事工程神经网络已应用于飞行器的跟踪 水下潜艇位置分析 密码学等军事领域 化学工程神经网络在制药 生物化学 化学工程领域取得了不少成果 例如 谱分析 化学反应生成物的鉴定等 49 工程领域 水利工程水力发电过程辨识和控制 河川径流预测 河流水质分类 水资源规划等实际问题中都有神经网络的应用 50 医学领域 检测数据分析利用神经网络多道脑电棘波检测系统可用来提供脑电棘波的实时检测和癫痫的预报 生物活性研究用神经网络对生物学检测数据进行分析 可提取致癌物的分子结构特征 建立分子结构和致癌活性之间的定量关系 并对分子致癌活性进行预报 医学专家系统利用神经网络学习功能 联想记忆功能和分布式并行信息处理功能 来解决医学专家系统中的知识表示 获取和并行推理等问题 51 经济学领域 信贷分析神经网络评价系统将公司贷款申请表中的关键数据编码为输入向量 将实际的信用情况作为输出评价 用数以千计的历史数据对网络进行训练后 可给出准确的评价结果 市场预测神经网络的市场预测已经广泛应用于股票和期货价格的预测中 返回 52 1 6人工神经网络与自动控制 自动控制是上世纪中形成和发展起来的一门新兴学科 它是一门涉及到诸如数学 计算机 信息 电工 电子等众多领域的交叉学科 它的应用和影响 已经遍及很多的技术和社会科学领域 在自动控制发展的过程中 计算机科学一直对它产生着巨大的影响 随着科学技术的发展 对控制系统智能化的要求也越来越高 53 神经网络的应用已经渗透到自动化控制领域的各个方面 包括系统辨识 系统控制 优化算法以及控制系统的故障诊断与容错控制等 系统辨识传统的辨识方法 对于一般的非线性系统的辨识是很困难的 而神经网络却为此提供了一个有力的工具 与传统的基于算法的辨识方法相比 神经网络系统辨识具有如下特点 1 由于神经网络可以任意精度逼近非