神经网络的基本原理

1、 本章主要从电生理学的角度介绍生物 神经元的基本工作原理，以及它们之间 的相互作用由此概述大脑的基本构造和 它的信息处理特征并在上述的基础上研 究生物神经元的数学模型及其学习法则。 基本原理 第一节第一节 大脑的基本组成单元大脑的基本组成单元 神经元神经元 基本原理 脑神经系统无论从构造和功能上来讲，脑神经系统无论从构造和功能上来讲， 都称得上是一个非常复杂的巨系统。都称得上是一个非常复杂的巨系统。 正常大脑的神经细胞正常大脑的神经细胞( (神经元神经元) )的数目的数目 约在约在100100亿到亿到10001000亿个左右。亿个左右。 基本原理 图图2.1 2.1 神经元的构造神经元的构造

2、基本原理 l细胞体细胞体是神经元的主体，它包括细胞核、细胞是神经元的主体，它包括细胞核、细胞 质和细胞膜三部分。质和细胞膜三部分。 l树状突起树状突起主要起感受器作用，接受来自其它神主要起感受器作用，接受来自其它神 经元的信号。经元的信号。 l轴突轴突用来输出细胞体产生的电脉冲信号。用来输出细胞体产生的电脉冲信号。 l轴突的末端形成许多分枝，称作轴突的末端形成许多分枝，称作神经末梢神经末梢，每，每 一条神经末梢与其它神经元通过突触相连并传一条神经末梢与其它神经元通过突触相连并传 递信号。递信号。 基本原理 细胞体相当于一个信息处理器，对来自 其它神经元的信号求和，并产生神经脉 冲输出信号。 观

3、看动画观看动画神经元刺激与反应的过程神经元刺激与反应的过程 由于细胞膜将细胞体内外分开，因此细 胞体内外具有不同的电位，通常是内部 电位比外部低，内外电位之差称为膜电 位。 观看动画观看动画动作电位的形成动作电位的形成 基本原理 图图2.2 2.2 细胞膜等效电路细胞膜等效电路 漏电流支路 基本原理 细胞膜内外细胞膜内外离子分布很不相同离子分布很不相同。在正离子方面，细胞内。在正离子方面，细胞内K+K+浓浓 度高，约为膜外的度高，约为膜外的20-4020-40倍，而细胞外倍，而细胞外Na+Na+浓度约高于膜内的浓度约高于膜内的 2020倍。负离子方面，细胞外倍。负离子方面，细胞外Cl-Cl-浓

4、度较细胞内高，而细胞内大浓度较细胞内高，而细胞内大 分子有机物（分子有机物（A-A-）较细胞外多。）较细胞外多。 因此细胞膜内外两侧存在离子分布的不平衡，即存在因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓离子浓 度差和电位差度差和电位差，在电化学梯度的作用下，离子就有扩散到膜，在电化学梯度的作用下，离子就有扩散到膜 另一侧的可能性。细胞在静息状态下，膜对另一侧的可能性。细胞在静息状态下，膜对Na+Na+的通透性小，的通透性小， 而膜对而膜对K+K+有较大的通透性，于是有较大的通透性，于是K+K+浓度差推动浓度差推动K+K+从膜内向膜从膜内向膜 外扩散，正电荷随钾离子外流，而带负电荷的蛋

5、白质不能外外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能外 流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这 种电位差随着种电位差随着K+K+的外流逐渐增大，并对的外流逐渐增大，并对K+K+外流产生阻碍作用。外流产生阻碍作用。 当膜内外当膜内外K+K+浓度差（浓度差（K+K+外流动力）与电位差（外流动力）与电位差（K+K+外流阻力）外流阻力） 达平衡时，即形成达平衡时，即形成静息电位静息电位。因此，细胞的静息电位主要由。因此，细胞的静息电位主要由 K+K+外流所产生，反映外流所产生，反映K+K+的平衡电位。的平衡电位。 基本原理 膜电

6、位保持在一个稳定的负电位膜电位保持在一个稳定的负电位( (即静止膜电即静止膜电 位位) )上，数值上与钾离子平衡电位上，数值上与钾离子平衡电位VkVk相近，约相近，约 60mV60mV左右。左右。 膜电位膜电位是神经生理学中最重要的状态参数之一。是神经生理学中最重要的状态参数之一。 若以细胞膜外液的电位作为基准电位，则神经若以细胞膜外液的电位作为基准电位，则神经 元的跨膜电位分布如图元的跨膜电位分布如图2.32.3所示。所示。 基本原理 图图2.3 2.3 神经元的膜电位分布神经元的膜电位分布 基本原理 第二节第二节 大脑的信息处理原理大脑的信息处理原理 基本原理 尽管大脑是一个高级的信息处理

7、系统，尽管大脑是一个高级的信息处理系统， 但作为它的基本元素的神经元的动作但作为它的基本元素的神经元的动作 却相当慢，仅达到每秒数百赫兹，可却相当慢，仅达到每秒数百赫兹，可 是由于大脑神经网络具有并行的结构，是由于大脑神经网络具有并行的结构， 所以信息处理是在所以信息处理是在超并列时空超并列时空中进行中进行 的，整体动作可以被认为具有相对高的，整体动作可以被认为具有相对高 的速度。的速度。 基本原理 图图2.4 2.4 突触中的信号传递突触中的信号传递 大脑神经系统是由庞大的神经网大脑神经系统是由庞大的神经网 络构成的络构成的有序阶层型系统有序阶层型系统。 整个大脑神经系统可分为整个大脑神经系

8、统可分为中枢神中枢神 经系统经系统和和末梢神经系统末梢神经系统两大类。两大类。 基本原理 中枢神经的构造中枢神经的构造 大脑信息处理的特征有：大脑信息处理的特征有： 1.1.神经元是一种神经元是一种非线性非线性元件，神经元之间的相互作元件，神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。度较慢，约几个毫秒。 2.2.神经脉冲信号的频率只有数百赫兹，尽管单个神神经脉冲信号的频率只有数百赫兹，尽管单个神 经元的动作速度较慢，但众多神经元构成的经元的动作速度较慢，但众多神经元构成的大规大规 模并行系统模并行系统，具有相对快

9、速的信息处理能力。，具有相对快速的信息处理能力。 3.3.学习能力学习能力和和自组织能力自组织能力。大脑通过与外界环境的。大脑通过与外界环境的 相互作用，学习周围的各种事物，把信息存储、相互作用，学习周围的各种事物，把信息存储、 记忆在脑中并进行自组织。记忆在脑中并进行自组织。 基本原理 第三节第三节 大脑的人工神经网络模型大脑的人工神经网络模型 2.3.1 2.3.1 形式神经元模型形式神经元模型 形式神经元模型是生物神经元在功能形式神经元模型是生物神经元在功能 上和结构上的一种数学模型。最早是上和结构上的一种数学模型。最早是 在在19431943年由年由McCulloch-PittsMcC

10、ulloch-Pitts提出的，提出的， 所以也称为所以也称为 MPMP模型模型。 通常通常MPMP模型是一个多输入单输出的非模型是一个多输入单输出的非 线性元件。线性元件。 人工神经网络模型 图图2.6 MP2.6 MP模型模型 人工神经网络模型 设设x1x1，x2,x2,xn ,xn 为神经元为神经元i i的的n n个输入，个输入， 为第为第i i个神经个神经 元与来自其它层第元与来自其它层第j j个神经元之间的结合强度，称为个神经元之间的结合强度，称为权值权值； 表示神经元表示神经元i i的的输入总和输入总和，即生物神经细胞的膜电位，也，即生物神经细胞的膜电位，也 称为激活函数；称为激活

11、函数； 是神经元的是神经元的阈值阈值， 是神经元的是神经元的输出输出， 则神经元的输出方程为则神经元的输出方程为 ji w i u i i y 1 (2.1) (2.2 ( ) ( ) n ijiji j ii u tw x yf u t 人工神经网络模型 是输入与输出之间的非线性函数，通常称为 作用函数或阈值函数。在MP模型中， 是二值 函数，其输出为0或1，分别代表神经元的抑制和 兴奋状态。 ( ) i f u ( ) i f u i i u 0 u0 1 0 ( ( .3) 2 i f u 图2.7 阈值函数 人工神经网络模型 在式(2.1)中， 当 时为兴奋性突触结合； 当 时为抑制性

12、突触结合； 当 时为无结合。 当膜电位超过阈值 时，神经元处于 兴奋状态并发出电脉冲。 由形式神经元构成的神经网络如图2.8 所示。 0 ji w 0 ji w 0 ji w i 人工神经网络模型 图图2.8 2.8 形式神经元构成的神经网络形式神经元构成的神经网络 人工神经网络模型 在上述模型是离散的。但是，神经元也可以有 模拟量输入输出和时间上是连续的模型，它的 数学模型为 式中式中 ， 为神经元在为神经元在t t时刻的平均输入和输出，时刻的平均输入和输出， 为平均膜电位，为平均膜电位， 为膜电位变化的时间常数，为膜电位变化的时间常数， 为静止膜电位。为静止膜电位。 函数函数f f通常为通

13、常为S S型的单调递增函数，其数学形式为型的单调递增函数，其数学形式为 j x i y i u 0 u 0 1 (2.4) (2. ( ) ( )( ) )(5) n i ijij j ii du t u tw x tu dt yf u t 1 ( ) 1 u f u e 人工神经网络模型 在串行连接中， 当w0为兴奋性连接时，若神经元1处于兴奋 状态，则神经元2也处于兴奋状态； 当w0为抑制性连接时，若神经元1处于兴奋 状态，反而会使神经元2容易处于抑制状态。 图图2.10(a) 2.10(a) 串行连接串行连接 人工神经网络模型 相互结合型状态中，相互结合型状态中， 若若w21w21和和w

14、12w12均为正，则某一个神经元处于兴奋状态时，另一均为正，则某一个神经元处于兴奋状态时，另一 个神经元也倾向于兴奋状态，这称为神经元之间的个神经元也倾向于兴奋状态，这称为神经元之间的协调协调作用。作用。 若若w21w21和和w12w12均为负，则某一个神经元处于兴奋状态时，另一均为负，则某一个神经元处于兴奋状态时，另一 个神经元倾向于抑制状态，这称为神经元之间的个神经元倾向于抑制状态，这称为神经元之间的竞争竞争作用，作用， 即两个神经元之间的互相牵制作用。即两个神经元之间的互相牵制作用。 协调和竞争时神经网络中并行信息处理的基本动态特性。协调和竞争时神经网络中并行信息处理的基本动态特性。 图

15、图2.10(b) 2.10(b) 相互结合型连接相互结合型连接 人工神经网络模型 2.3.2 2.3.2 神经网络的基本结构神经网络的基本结构 把大量的神经元通过一定的把大量的神经元通过一定的拓扑结构拓扑结构连接起来，连接起来， 就形成了神经网络。就形成了神经网络。 神经元之间连接的方式可分成神经元之间连接的方式可分成相互结合型结构相互结合型结构 和和层状结构层状结构二大类。通常神经网络的互连结构还决定二大类。通常神经网络的互连结构还决定 了它的特性和能力了它的特性和能力。 人工神经网络模型 通常，神经网络内的神经元之间均是互相连接的，通常，神经网络内的神经元之间均是互相连接的， 构成图构成图

16、2.11(a)2.11(a)所示的所示的互相结合型互相结合型神经网络，可以神经网络，可以 认为互相结合型的结构是一种普遍的结构形式。认为互相结合型的结构是一种普遍的结构形式。 图图2.11(a) 2.11(a) 相互结合型神经网络相互结合型神经网络 人工神经网络模型 在相互结合型神经系统中，在相互结合型神经系统中， 一定存在着反馈环，在神一定存在着反馈环，在神 经元的学习过程中，也同经元的学习过程中，也同 样存在着反馈环样存在着反馈环( (误差反误差反 馈馈) )。因此，互相结合型神。因此，互相结合型神 经网络是一种经网络是一种非线性动力非线性动力 学系统学系统。 此外，从大脑的工作机理来看，

17、还存在着不同的功此外，从大脑的工作机理来看，还存在着不同的功 能性模块，下位的功能模块向上位的功能模块传送能性模块，下位的功能模块向上位的功能模块传送 信息，因此神经网络的结构还有信息，因此神经网络的结构还有层次性层次性，如图，如图 2.11(b)2.11(b)所示。所示。 图图2.11(b) 2.11(b) 层次型神经网络层次型神经网络 人工神经网络模型 1.1.误差传播式学习误差传播式学习 感知机是一种最基本的神经网络模型，设神经元的输入感知机是一种最基本的神经网络模型，设神经元的输入 输出关系为输出关系为 式中式中 是学习率，是学习率， 是教师信号或希望输出，是教师信号或希望输出， 是实

18、际输出与希望输出之差，是实际输出与希望输出之差， 和和 取取1或或0的离散值。由于权值更新与的离散值。由于权值更新与 有关，所以也称有关，所以也称 学习规则学习规则。 i d i i y j x 1 ( ) n ijiji j ii uw x yf u i i 1 u0 0 u0 ( ) i f u 则学习规则为则学习规则为 (1)( )()( ) jijiiijjiij wtwtyd xwtx(2. 8) 人工神经网络模型 2.2.联想式学习联想式学习 无教师的联想式学习模式的学习规则可无教师的联想式学习模式的学习规则可 以用数学形式表示为以用数学形式表示为 (1)( ) jijiij wt

19、wty x(2.9) 与式与式(2.8)(2.8)不同的是，即无教师信号。所以在联想不同的是，即无教师信号。所以在联想 式学习中，权值变化仅是输入与输出同时兴奋的式学习中，权值变化仅是输入与输出同时兴奋的 结果。由于联想发生在输入和输出之间，所以这结果。由于联想发生在输入和输出之间，所以这 种联想被称为种联想被称为异联想异联想。 人工神经网络模型 3.3.概率式学习概率式学习 概率式学习的特点式把分子热力学、统计力学和概概率式学习的特点式把分子热力学、统计力学和概 率论中关于系统达到稳态的基本条件率论中关于系统达到稳态的基本条件能量极小能量极小 标准标准，作为网络学习的重要前提。，作为网络学习

20、的重要前提。 其中以其中以 波尔兹曼波尔兹曼BM BM 的学习算法最具有代表性。的学习算法最具有代表性。 人工神经网络模型 若神经元状态更新的概率若神经元状态更新的概率 服从波服从波 尔兹曼分布，则有尔兹曼分布，则有 1 ( ) 1exp(/) i i P l ET (2. 10) 式中，式中， 为系统对应状态的能量变化，为系统对应状态的能量变化，T T是绝对温度。是绝对温度。 E ( ) i P l 人工神经网络模型 4.4.竞争性学习和基于知识的学习竞争性学习和基于知识的学习 竞争性学习竞争性学习的特点是网络的高层次单元对低层次的特点是网络的高层次单元对低层次 单元的输入模式的竞争性识别。

21、学习时只需要输单元的输入模式的竞争性识别。学习时只需要输 入学习样本，而无需教师信号的监督。学习过程入学习样本，而无需教师信号的监督。学习过程 中不同层次之间的神经元产生兴奋性连接，而同中不同层次之间的神经元产生兴奋性连接，而同 一层神经元中，距离兴奋中心很近的神经元均处一层神经元中，距离兴奋中心很近的神经元均处 于兴奋状态，而距离较远的神经元均处于抑制状于兴奋状态，而距离较远的神经元均处于抑制状 态。态。 基于知识的学习基于知识的学习也是人工智能中的一个重要研究也是人工智能中的一个重要研究 领域。领域。 共同点都是具有利用知识进行操作的过程。共同点都是具有利用知识进行操作的过程。 人工神经网

22、络模型 神经网络的学习过程神经网络的学习过程: : 首先设定初始值，一般由于无先验的知识，初始权首先设定初始值，一般由于无先验的知识，初始权 值可设定为随机值。值可设定为随机值。 接着输入样本数据进行学习，参照评价标准进行评接着输入样本数据进行学习，参照评价标准进行评 判。判。 如果达到要求，就停止学习，否则按照给定的学习如果达到要求，就停止学习，否则按照给定的学习 法则调整权值，继续进行学习，直到取得满意的结法则调整权值，继续进行学习，直到取得满意的结 果为止。果为止。 人工神经网络模型 2.4 2.4 神经网络研究的内容和特点神经网络研究的内容和特点 1.1.神经网络的数学模型及神经计算方

23、法神经网络的数学模型及神经计算方法 神经网络的数学模型神经网络的数学模型需要抓住大脑的各种重要特需要抓住大脑的各种重要特 征进行构造才行。模型就是从单个神经元及其复征进行构造才行。模型就是从单个神经元及其复 杂的连接中概括出来的十分有效的模型之一。杂的连接中概括出来的十分有效的模型之一。 神经计算神经计算是对认知过程的一种表征，用新的概念是对认知过程的一种表征，用新的概念 对信息进行加工和存储。例如对信息进行加工和存储。例如HopfieldHopfield神经网络神经网络 计算并不是一种单纯的数字式计算，而是对大脑计算并不是一种单纯的数字式计算，而是对大脑 提取信息提取信息( (记忆记忆) )

24、和获取信息和获取信息( (学习学习) )过程的理解。过程的理解。 内容和特点 2.2.神经计算机神经计算机: : 神经计算机是神经网络的一种实现。神经计算机是神经网络的一种实现。 基于硬件实现基于硬件实现的神经计算机是指每一种神经元及其连接的神经计算机是指每一种神经元及其连接 都是用物理器件来实现的，它可以是电子元器件、光学都是用物理器件来实现的，它可以是电子元器件、光学 元器件或分子元器件等，工作方式上可以是数字式的或元器件或分子元器件等，工作方式上可以是数字式的或 模拟式的。但是往往是专用的，缺乏通用性和灵活性。模拟式的。但是往往是专用的，缺乏通用性和灵活性。 基于传统计算机的实现基于传统

25、计算机的实现是利用现有的各种计算机软件和是利用现有的各种计算机软件和 硬件来模拟各种神经网络，它有灵活性好，开发方便，硬件来模拟各种神经网络，它有灵活性好，开发方便， 价格便宜，通用性强的优点。但是它在本质上仍然是一价格便宜，通用性强的优点。但是它在本质上仍然是一 种模拟，而不是真正意义上的神经计算机。种模拟，而不是真正意义上的神经计算机。 内容和特点 3.3.神经网络的应用开发神经网络的应用开发 神经网络的信息处理方法与传统的数字计神经网络的信息处理方法与传统的数字计 算机和人工智能方法有本质的不同，它具有算机和人工智能方法有本质的不同，它具有 大规模并行信息处理能、连续互相作用的动大规模并

26、行信息处理能、连续互相作用的动 力学、存储和操作合而为一和强大的自适应力学、存储和操作合而为一和强大的自适应 学习能力。学习能力。 这些优点使它在解决众多的应用领域问题这些优点使它在解决众多的应用领域问题 上有着诱人的前景。上有着诱人的前景。 内容和特点 本章主要从电生理学的角度介绍生物 神经元的基本工作原理，以及它们之间 的相互作用由此概述大脑的基本构造和 它的信息处理特征并在上述的基础上研 究生物神经元的数学模型及其学习法则。 基本原理 设设x1x1，x2,x2,xn ,xn 为神经元为神经元i i的的n n个输入，个输入， 为第为第i i个神经个神经 元与来自其它层第元与来自其它层第j j个神经元之间的结合强度，称为个神经元之间的结合强度，称为权值权值； 表示神经元表示神经元i i的的输入总和输入总和，即生物神经细胞的膜电位，也，即生物神经细胞的膜电位，也 称为激活函数；称为激活函数； 是神经元的是神经元的阈值阈值， 是神经元的是神经元的输出输出， 则神经元的输出方程为则神经元的输出方程为 ji w i u i i y 1 (2.1) (2.2 ( ) ( ) n ijiji j ii u tw x yf u t 人工神经网络模型 图图2.8 2.8 形式神经元构成的神经网络形式神经元构成的神经网络 人工神经网络模型 在上述模型是离散的。但是，