1人工神经网络模型.ppt

第一讲从生物神经网络到人工神经网络 FromBiologicalNeuralNetworkToArtificialNeuralNetwork What sthis 大脑Brain 重量 约1200 1500g体积 约600Cm3神经元数 约1011个 大脑的组织结构和功能是人体器官中最为复杂的 它接受外界信号 产生感觉 形成意识 进行逻辑思维 发出指令产生行为 掌管着人们的语言 思维 感觉 情绪 运动等高级活动 虽然人们还并不完全清楚生物神经网络是如何进行工作的 但幻想构造一些 人工神经元 进而将它们以某种方式连接起来 以模拟 人脑 的某些功能 早在1943年 心理学家W McCulloch和数学家W Pitts合作 从数理逻辑的角度 提出了神经元和神经网络最早的数学模型 MP模型 标志着神经网络研究的开端 半个多世纪以来 神经网络经历了萌芽期 第一次高潮期 反思低潮期 第二次高潮期 再认识与应用研究期五个阶段 目前 神经网络已成为涉及计算机科学 人工智能 脑神经科学 信息科学和智能控制等多种学科和领域的一门新兴的前沿交叉学科 生物神经元 树突 从细胞体延伸出象树枝一样向四处分散开来的的许多突起 称之为树突 其作用是感受其它神经元的传递信号 相当于信息的输入通道 轴突 神经元从细胞体伸出一根粗细均匀 表面光滑的突起 长度从几个 m到1m左右 称为轴突 它的功能是传出从细胞体来的神经信息 相当于信息的输出通道 神经末梢与突触 轴突末端有许多细的分枝 称之为神经末梢 每一条神经末梢可以与其它神经元连接 其连接的末端称之为突触 其功能是将轴突传出来的信息传给其它神经细胞 相当于信息的输入 输出接口 神经细胞单元的信息 宽度和幅度都相同的脉冲串 兴奋与抑制 轴突输出的脉冲串的频率高与低 决定神经细胞是兴奋还是抑制 兴奋性的突触可能引起下一个神经细胞兴奋 抑制性的突触使下一个神经细胞抑制 生物神经元的信息传递与处理 膜电位 神经细胞的细胞膜将细胞体内外分开 从而使细胞体内外有不同的电位 一般内部电位比外部低 其内外电位差称之为膜电位 膜电位加权 突触使神经细胞的膜电位发生变化 且电位的变化是可以累加的 该神经细胞膜电位是它所有突触产生的电位加权 当该神经细胞的膜电位升高到超过一个阈值时 就会产生一个脉冲 从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数 突触延迟 突触传递信息需要一定的延迟 对温血动物 延迟时间为0 3 1 0ms 生物神经元的信息传递与处理示意图 甲 这样便宜就有水用了 乙 想得美 交了钱别人才放水的 生物神经元的基本特征 神经元具有感知外界信息或其它神经元信息的输入端 神经元具有向外界或其它神经元输出信息的输出端 神经元之间的连接强度 连接权 决定信号传递的强弱 而且联接强度是可以随训练改变的 信号可以是起刺激作用的 也可以是起抑制作用的 即连接权的值 权值 可正 可负 每个神经元有一个阈值 神经元可以对接受的信号进行累积 加权 神经元的兴奋程度 输出值的大小 取决于其传输函数及其输入 输入信号的加权与阈值之和 人工神经元的一般模型 甲 讲了半天 人工神经元就是一个公式 太简单了吧 乙 还是听听再说 What sthis It saplane Wait Idon tknow Don taskme 神经网络的特点 信息的分布式存储及其与信息处理的合二为一 信息的并行协同处理 具有学习能力以及自组织 自学习性 善于联想 综合和推广 问题 即便是Pentium II微处理器 其时钟频率也高于200MHz 相反地 一个神经元的脉冲发放率典型值仅仅在100Hz的范围内 计算机要快上百万倍 但为何大脑能够瞬间完成对飞机图像的识别 计算机反而对此的反应却如此迟钝呢 为什么100天的小孩没有成人一样的识别能力呢 人工神经网络的一般结构 简单公式中的复杂问题 人工神经网络的分布式存储是如何实现的 信息分布存储在众多神经元的权值和阈值中 神经元的权值和阈值是如何确定的 人工神经网络的学习与训练 神经元的传输函数代表什么含义 它对神经元和神经网络有什么影响 传输函数表示了神经元对输入信号加权的响应 不同的传输函数 代表不同的神经元模型 进而影响神经网络的结构 人工神经网络 ANN ArtificialNeuralNetworks 是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统 未来的脑科学将加强与行为科学 认知科学和信息科学的联系 脑科学与信息科学及技术的结合将引起以脑为中心的科技革命 智能革命 ANN定义 从生物神经网络到人工神经网络的探索 虽然经历了半个多世纪的里程 但探究大脑 思维 计算之间的关系还刚刚开始 关于脑的计算原理及其复杂性 关于学习 联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长 第二讲人工神经网络模型应用与仿真 Applications SimulationofArtificialNeuralNetworkModels 人工神经网络的应用领域极其广泛 比较擅长的应用领域包括 人工神经网络的应用 模式识别人工智能控制工程优化计算和联想记忆信号处理 甲 神经网络真那么神奇吗 乙 我听说 在人工神经网络的发展过程中 从不同的角度对生物神经系统不同层次的描述和模拟 提出了各种各样的神经网络模型 其中具有代表性的网络模型有 人工神经网络的模型 感知器线性神经网络BP网络径向基函数网络自组织网络反馈网络 关于神经网络的实现技术 神经网络的实现技术可以分为全硬件实现和虚拟实现两个方面 全硬件实现研究的核心是神经器件的构造 其主要研究方向有 电子神经芯片的研究光学神经芯片的研究分子 生物神经芯片的研究 虚拟实现主要分为以下几类 传统计算机上的软件仿真神经计算的多机并行实现神经网络加速器 神经网络的软件仿真系统 基于传统计算机的软件仿真系统 通用性强 为用户研究和设计神经网络提供了很好的开发平台 因而被迅速推广 最有代表性的神经计算商用软件有 RCS 1987年 Rochester大学研制P3 1986年 Ziper Rabin研制MIRRORS 1988年 Maryland大学研制NeuralNetworks 1989年 NeuralWare公司GKD 1990年 国防科技大学研制 MATLAB及其工具箱 MATLAB是MathWorks公司于1982年推出的一套高性能的数值计算的可视化软件 意为 矩阵实验室 MATrixLABoratory 其强大的扩展功能为各个领域的应用提供了基础 由各领域的专家学者相继推出了各种MATLAB工具箱 目前主要的工具箱包括 CommunicationsToolboxControlSystemToolboxFilterDesignToolboxFuzzyLogicToolboxImageProcessingToolbox MATLAB及其工具箱 目前主要的工具箱 续 InstrumentControlToolboxMappingToolboxModel BasedCalibrationToolboxPredictiveControlToolboxNeuralNetworkToolboxOptimizationToolboxDifferentialEquationToolboxSignalProcessingToolboxSystemIdentificationVirtualRealityToolboxWaveletToolbox MATLABNeuralNetworkToolbox NeuralNetworkToolbox4 0 2包含了170多种工具箱函数 另外还提供了神经网络动态仿真环境SIMULINK 允许用户自定义神经网络和自定义网络函数 在MATLAB神经网络仿真程序的设计中 主要用到以下几个方面的NNToolbox函数 神经网络的创建 设计函数初始化函数训练 学习函数网络仿真函数 感知器模型 感知器神经元模型 单层感知器神经网络模型 感知器神经网络特点 阈值型传输函数 单层网络 只适于解决线性可分问题 甲 什么是感知器 乙 我在网上看见 感知器神经网络的学习 训练 权值和阈值的调整过程被称为 训练 学习 神经网络在训练的过程中 便学到了把输入空间影射到输出空间的能力 称之为神经网络的 学习 调整权值和阈值的算法称之为学习规则或训练算法 感知器的学习规则 感知器的学习是一种有教师学习方式 其学习规则称之为 规则 若以t表示目标输出 a表示实际输出 则 网络训练的目的 就是要使t a 当e 0时 得到最优的网络权值和阈值 当e 0时 说明得到的实际输出小于目标输出 应增加网络权值和阈值 当e 0时 说明得到的实际输出大于目标输出 应减小网络权值和阈值 感知器的学习规则 从 规则中可以看出 感知器神经网络的训练 需要提供训练样本集 每个样本由神经网络的输入向量和目标向量对构成 n个训练样本构成的训练样本集为 每一步学习过程 感知器神经元的权值阈值进行调整的算法可表示为 感知器的MATLAB仿真 单层感知器的MATLAB仿真主要步骤 以newp创建感知器神经网络以train训练所创建的网络以sim对训练后的网络进行仿真 单层感知器应用实例 设计一单层单输出感知器神经网络 进行二值化图像卡片上数字0 9的奇偶分类 感知器的MATLAB仿真 问题分析从数字1和0的二值化图像卡片可以看出 每一个图像卡片可以分成4 3的矩形方块 假设每个小方块有数字的笔画划过 即在小方块内二值图像元素的值至少有一个不为0 则记为1 否则记为0 那么图像卡片上所有小方块表达了有0 1二值组成的一个模式 或向量 可以作为感知器神经网络的输入向量 如果我们设计的感知器神经网络使得网络的输出在图像卡片上的数字为奇数时输出为0 偶数时输出为1 则可以完成其奇偶分类 感知器的MATLAB仿真 设计感知器神经网络 根据以上分析 按本题要求设计的感知器神经网络的基本结构为 网络有1个输入向量 包括12个元素 对应图像卡片上12个小方块的值 输入元素的取值范围为 01 训练样本集必须包括0 9图像卡片样本 为单层 单神经元感知器神经网络 输出是一个二值向量0或1 它的两种不同取值分别表示分类结果的奇偶情况 所以 神经元的传输函数可以取为hardlim函数 感知器的MATLAB仿真 设计的感知器神经网络结构 感知器神经网络的MATLAB程序实现 神经网络的创建与训练 神经网络的仿真 线性神经网络 线性神经元模型 线性神经网络模型 线性神经网络特点 与感知器一样 只适于解决线性可分问题 但比感知器的抗噪能力强 具有较广泛的实际用途 特别是在数字信号处理方面 比如 实现高性能的自适应滤波器 一般为单层 也可为多层网络 MADALINE 线性神经网络的学习 线性神经网络采用均方误差最小的学习规则 即LMS LeastMeanSquares 算法 来调整网络的权值和阈值 它是一种沿误差的最陡下降方向对前一步权值向量进行修正的 对Q个训练样本构成的训练样本集为 LMS算法的基本思想是找到合适的权值和阈值 使下列均方误差最小 线性神经网络的学习规则 每一步学习过程 线性神经元的权值阈值进行调整的算法可表示为 式中 是决定权值和阈值的收敛速度和稳定性参数 称之为学习速率 学习率越大 学习的速度越快 但过大的学习率会使修正过度 造成不稳定 反而使误差更大 在MATLAB神经网络工具箱中 可以通过maxlinlr函数确定最大的学习率 线性神经网络的MATLAB仿真 线性神经网络的应用实例 以自适应线性网络实现噪声对消 问题分析利用自适应线性网络实现噪声对消的原理框图如图所示 对消原理 MATLAB仿真程序设计 假设信号为一正弦信号 受到随机噪声的污染 根据以上分析 ADALINE自适应线性神经元的输入向量为随机噪声 正弦波信号与随机噪声之和为ADALINE神经元的目标向量 输出信号为网络调整过程中的误差信号 本例线性神经网络MATLAB仿真程序设计的主要步骤 以newlin创建线性神经网络构造训练样本集以adapt自适应调整所创建的网络 获得网络训练的误差信号 即为输出信号 BP神经网络 BP神经元模型 BP神经网络特点 多层网络 理论上 如果隐层神经元数不加限制 两层BP网络可以完成输入到输出的任意函数影射 传输函数为非线性函数 多为logsig和tansig函数 最后一层也可为purelin函数 BP网络广泛应用最为广泛 80 90 的人工神经网络模型是采用BP网络或它的变化形式 体现了人工神经网络最精华的部分 BP网络的学习规则 标准的BP算法和LMS学习规则一样是一种梯度下降学习算法 其权值的修正是沿着误差性能函数梯度的反方向进行的 针对标准BP算法存在的一些不足 出现了几种基于标准BP算法的改进算法 如变梯度算法 牛顿算法等 BP网络的MATLAB仿真 BP网络的应用实例 设计基于BP神经网络的印刷体字符0 9的识别系统 BP网络的MATLAB仿真 问题分析识别的对象是印刷体数字 这里我们以画图工具获得的不同字体 字号的数字0 9的BMP图形作为原始数据 编程对其进行预处理 获得16 16的二值图像 如图所示 其二值图像数据作为神经网络的输入 BP网络的结构设计 我们选用两层BP网络 其输入节点数为16 16 256 隐层传输函数为logsig函数 假设采用一个输出节点表示10个数字 则输出层传输函数为pureline 隐层节点数取为25 BP网络的MATLAB仿真程序设计 本例MATLAB仿真程序设计的主要步骤 构造训练样本集 并构成训练所需的输入矢量p和目标矢量t 对原始图像进行预处理 创建和训练BP网络 对训练后的网络进行仿真 Hopfield网络 离散Hopfield神经网络模型 Hopfield神经网络特点 引入了网络能量函数概念 使网络稳定性研究有了明确的判据 善于联想记忆