神经网络讲义第二章第一章

1、神经网络原理第一章1第一章 概论神经网络种类生物神经网络（Biological Neural Networks）人工神经网络（Artificial Neural Networks)神经网络原理第一章21.1 生物神经元及生物神经网络 （Biological Neuron and Biological Neural Networks）1.2 人工神经网络(Aritificial Neural networks)1.3 ANN的发展 (Development of ANN)1.4 ANN与AC (ANN and Automatic Control)神经网络原理第一章31.1 生物神经元网络1.1.

2、1生物神经元 1.1.2人脑神经网络神经网络原理第一章41.1.1 生物神经元。 人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体1873年, 意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效应形状图神经元类型原则突触传递信息特点神经网络原理第一章5形状图神经网络原理第一章6类型单极无脊椎动物双极视网膜神经元neuron多极脊椎、锥体、小脑蒲根神经网络原理第一章7原 则Cajai将Golgi方法用于神经元研究，得到两条原则，奠定了神经元间信息传递的理论基础原则1 动态极化原则（即信号沿确定方向流动） 树突 轴突 突触 其他神经元原

3、则2 连接的专一性原则 神经元之间元细胞质的连续 神经元不构成随机网络 每一神经元与一些神经元形成特殊的精确的联系 神经网络原理第一章8突触传递信息特点1 时延性 :（0.31ms）2 综合性 ：时间与空间的累加3 类型：兴奋与抑制4 脉冲与电位转换: （D/A功能）5 速度：1150m/s6 不应期（死区）：35ms7 不可逆性（单向）8 可塑性 :强度可变 ,有学习功能 神经网络原理第一章91.1.2 人脑神经网络脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Self-Organizati

4、on） 子功能模块的并行关系 a) 连接形式 b) 大脑处理信息的特点 C) 生物学研究成果 神经网络原理第一章10连接形式辐射式：一到多聚合式：多到一链锁式：空间上加强与扩大作用环式：反馈作用（可正可负）神经网络原理第一章11辐射式：一到多神经网络原理第一章12聚合式：多到一神经网络原理第一章13链锁式：空间上加强与扩大作用神经网络原理第一章14环式：反馈作用（可正可负)神经网络原理第一章15 大脑处理信息的特点 分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上（weights）。并行处理：NN既是处理器又是存储器（并行处理

5、不同于并行机）。信息处理与存储合一：每个元兼有二者功能。可塑性与自组织性：可塑性是学习记忆的基础。鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。神经网络原理第一章16BNN研究成果H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等神经网络原理第一章171.2 人工神经网络研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域（生物神经网络的模型化：ANN） BNN modelingANN AN

6、N非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。 神经网络原理第一章18神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。神经网络原理第一章19人工神经网络内容1.2.1人工神经元模型 （Artificial Neuron model）1.2.2人工神经网络的构成 （structure of ANN）1.2.3人工神经网络的学习 （learning or training of ANN）1.2.4 ANN与BNN的特

7、点比较 (Comparison of features of ANN and BNN)神经网络原理第一章20 1.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。 神经网络原理第一章21 BNN 脉冲， ANN 模拟电压ANN等效模拟电压近似BNN脉冲密度，仅有空间累加无时间累加（可认为时间累加已隐含于等效模拟电压之中）ANN中未考虑时延、不应期及疲劳等 可建立更为精确的模型，但一般NN研究无此必要（方法论）神经网络原

8、理第一章22神经元模型（1）神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。神经网络原理第一章23神经元模型（2） 。 神经网络原理第一章24抽象可得数学表达式： 数值（weights) 阀值（threshold） 作用函数（activated transfer function） 神经网络原理第一章25作用函数的基本作用1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的

9、输入变换成指定的有限范围内的输出。 神经网络原理第一章26几种常用的作用函数 1、阀值型（硬限制型) 2、线性型 3、S型函数（Sigmoid） 4、辐射基函数神经网络原理第一章271、阀值型（硬限制型） 神经网络原理第一章28神经网络原理第一章292、线性型a) 全线性 神经网络原理第一章30b) 正线性神经网络原理第一章313、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1)神经网络原理第一章32b)双曲正切 y=tanh(n)神经网络原理第一章334.辐射基函数a) 高斯函数神经网络原理第一章34b)三角波函数神经网络原理第一章35人工神经网络的构成基本模型连接的几种基本

10、形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合神经网络原理第一章36神经网络基本模型 神经网络原理第一章37前向网络结构图神经网络原理第一章38前向网络特点 1. 神经元分层排列，可又多层 2. 层间无连接 3. 方向由入到出 感知网络（perceptron即为此） 应用最为广泛 神经网络原理第一章39回归网络全反馈结构图神经网络原理第一章40 Inner RNN结构图神经网络原理第一章41回归网络特点Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到

11、输入 例： Fukushima网络Inner recurrent 特点：层间元互相连接神经网络原理第一章42互联网络结构图 神经网络原理第一章43互联网络特点每个元都与其它元相连 例： Hopfield Boltzmann机 神经网络原理第一章441.2.3人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数)学习规则简介 神经网络原理第一章45学习规则1）直接设计计算 e.g. Hopfield 作优化计算2）学习得到,即通过训练(training)神经网络原理第一章46常用学习规则a) Hebb学习 D.Hebb1949年提出：两元

12、同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种） 神经网络原理第一章47c) 相近学习规则 使 ART SOFM 自组织竞争用此规则神经网络原理第一章48ANN 与BNN比较 数学观点 ANN的8项特征 ANN与BNN的比较神经网络原理第一章49数学观点ANN使一个以处理单元（PE： process element）为节点，用加权有向弧连接而成的有向图。（1）每个节点有一个状态变量;（2）节点i到节点j有一个连接权值;（3）每个节点有一个阀值；（4）每个节点定义一个变换函数。 PE是对BN的模拟，有向弧是对“轴突树突”对的模拟。综合全部有向弧形成的互连矩阵强度

13、对应于人脑中信息的长期记忆。PE由NL函数实现单元I/O的NL映射，即时活跃值对应于人脑中的短期记忆。神经网络原理第一章50ANN的8项特征处理单元活跃状态连接模型传递规则参考 胡守仁 书活跃规则输出规则学习规则环境 神经网络原理第一章51ANN与BNN的比较BNNANN单元上差别影响因素多忽略了影响关系简单信息上差别脉冲模拟电压规模及智能大, 高I小 个元 低I 神经网络原理第一章521.3 ANN的发展ANN的发展史ANN的现状 1）NN研究学术机构 2）NN研究的主要问题方向： 1. 理论研究 2. 应用研究神经网络原理第一章53ANN的发展史20世纪40年代：兴起与萧条 1943年 M

14、-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则：神经网络原理第一章5420世纪50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮神经网络原理第一章5520世纪60年代,低潮1969年 Minsky和Pa

15、pert编写的Perceptron 出版，使NN的研究进入低潮 Problems：single lager P.仅可解线性问题， NL XON无法求解； 应该是MLP，但SLP MLP是否有 意义，理论上不能得到有利证明 当时现状：数学机发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未停止。 神经网络原理第一章561975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦

16、彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学神经网络原理第一章5720世纪80年代 第二次高潮Reasons: 1）AI理论 Neumann计算机功能受挫（智能、视觉处理等） 2）ANN有新成果、脑科学、神经科学 VLSI、光电技术的发展 神经网络原理第一章58J.J.Hopfield 1982年 Hopfield网络模型：网络能量数据、网络稳定性判据 1984年 HNN用电子线路实现 HNN用途：联想记忆、优化计算机的新途径1984年 Hilto

17、n 引入模拟退火法，提出Boltzmann机网络1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层 weights 学习问题（error Back-Propagation）神经网络原理第一章591987年 Nielson提出了对向传播（Counter Propagation）神经网络1988年 L.O.Chua提出细胞神经网络（CNN）模型自1958年来已有近40种NN model神经网络原理第一章60NN研究学术机构 1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Network 创刊 1990.12 C

18、CNN（中国）第一次会议 1991年 中国神经网络学会神经网络原理第一章61理论研究利用神经生物和认知科学研究大脑思维及智能的机理利用上一项成果，用数理方法探索智能水平更高的ANN model 1）深入研究网络算法和性能 e.g.稳定 性、收敛性、容错性、鲁棒性 2）开发性的网络数据理论：神经网络 动力学、非线性神经场 神经网络原理第一章62应用研究神经网络软件模拟和硬件实现的研究NN在各个技术领域中应用研究 e.g.模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等神经网络原理第一章63 1.4 ANN 与自动控制需求是发明之母 控制领域的三个需求AC历史NN在AC上应用的吸引力NN在AC上的应用神经网络原理第一章64AC需求处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求神经网络原理第一章65AC历史1932年 Nyquist反馈放大器 20世纪60年代 状态空间理论20世纪90年代 智能控制方法及理论神经网络原理第一章66NN在AC上应用的吸引力任何精度逼近任意连接非线性函数（NL系统统一描述）对复杂不确定问题具有自适应、学习能力并行机制解决实时计算，并行机制冗余性容错能力信息融合（Fusion），多媒体技术神经计算 AC 优化 矩阵网络计算易于VLSI、光学IC、计算机虚拟实现NN神经网络原理第一章67NN