神经网络的基本原理

关于神经网络的基本原理本章主要从电生理学的角度介绍生物神经元的基本工作原理，以及它们之间的相互作用由此概述大脑的基本构造和它的信息处理特征并在上述的基础上研究生物神经元的数学模型及其学习法则。基本原理第2页,共41页，2024年2月25日，星期天第一节大脑的基本组成单元

——神经元基本原理第3页,共41页，2024年2月25日，星期天脑神经系统无论从构造和功能上来讲，都称得上是一个非常复杂的巨系统。正常大脑的神经细胞(神经元)的数目约在100亿到1000亿个左右。基本原理第4页,共41页，2024年2月25日，星期天图2.1神经元的构造基本原理第5页,共41页，2024年2月25日，星期天细胞体是神经元的主体，它包括细胞核、细胞质和细胞膜三部分。树状突起主要起感受器作用，接受来自其它神经元的信号。轴突用来输出细胞体产生的电脉冲信号。轴突的末端形成许多分枝，称作神经末梢，每一条神经末梢与其它神经元通过突触相连并传递信号。基本原理第6页,共41页，2024年2月25日，星期天细胞体相当于一个信息处理器，对来自其它神经元的信号求和，并产生神经脉冲输出信号。观看动画神经元刺激与反应的过程由于细胞膜将细胞体内外分开，因此细胞体内外具有不同的电位，通常是内部电位比外部低，内外电位之差称为膜电位。观看动画动作电位的形成基本原理第7页,共41页，2024年2月25日，星期天图2.2细胞膜等效电路漏电流支路基本原理第8页,共41页，2024年2月25日，星期天细胞膜内外离子分布很不相同。在正离子方面，细胞内K+浓度高，约为膜外的20-40倍，而细胞外Na+浓度约高于膜内的20倍。负离子方面，细胞外Cl-浓度较细胞内高，而细胞内大分子有机物（A-）较细胞外多。因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓度差和电位差，在电化学梯度的作用下，离子就有扩散到膜另一侧的可能性。细胞在静息状态下，膜对Na+的通透性小，而膜对K+有较大的通透性，于是K+浓度差推动K+从膜内向膜外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能外流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这种电位差随着K+的外流逐渐增大，并对K+外流产生阻碍作用。当膜内外K+浓度差（K+外流动力）与电位差（K+外流阻力）达平衡时，即形成静息电位。因此，细胞的静息电位主要由K+外流所产生，反映K+的平衡电位。基本原理第9页,共41页，2024年2月25日，星期天膜电位保持在一个稳定的负电位(即静止膜电位)上，数值上与钾离子平衡电位Vk相近，约－60mV左右。膜电位是神经生理学中最重要的状态参数之一。若以细胞膜外液的电位作为基准电位，则神经元的跨膜电位分布如图2.3所示。基本原理第10页,共41页，2024年2月25日，星期天图2.3神经元的膜电位分布基本原理第11页,共41页，2024年2月25日，星期天第二节大脑的信息处理原理基本原理第12页,共41页，2024年2月25日，星期天尽管大脑是一个高级的信息处理系统，但作为它的基本元素的神经元的动作却相当慢，仅达到每秒数百赫兹，可是由于大脑神经网络具有并行的结构，所以信息处理是在超并列时空中进行的，整体动作可以被认为具有相对高的速度。基本原理第13页,共41页，2024年2月25日，星期天图2.4突触中的信号传递第14页,共41页，2024年2月25日，星期天大脑神经系统是由庞大的神经网络构成的有序阶层型系统。整个大脑神经系统可分为中枢神经系统和末梢神经系统两大类。基本原理第15页,共41页，2024年2月25日，星期天中枢神经的构造

第16页,共41页，2024年2月25日，星期天大脑信息处理的特征有：1.神经元是一种非线性元件，神经元之间的相互作用主要为兴奋性和抑制性两种。神经元的动作速度较慢，约几个毫秒。2.神经脉冲信号的频率只有数百赫兹，尽管单个神经元的动作速度较慢，但众多神经元构成的大规模并行系统，具有相对快速的信息处理能力。3.学习能力和自组织能力。大脑通过与外界环境的相互作用，学习周围的各种事物，把信息存储、记忆在脑中并进行自组织。基本原理第17页,共41页，2024年2月25日，星期天第三节大脑的人工神经网络模型第18页,共41页，2024年2月25日，星期天2.3.1形式神经元模型形式神经元模型是生物神经元在功能上和结构上的一种数学模型。最早是在1943年由McCulloch-Pitts提出的，所以也称为MP模型。通常MP模型是一个多输入单输出的非线性元件。人工神经网络模型第19页,共41页，2024年2月25日，星期天图2.6MP模型人工神经网络模型第20页,共41页，2024年2月25日，星期天设x1，x2,…,xn为神经元i的n个输入，为第i个神经元与来自其它层第j个神经元之间的结合强度，称为权值；表示神经元i的输入总和，即生物神经细胞的膜电位，也称为激活函数；是神经元的阈值，是神经元的输出，则神经元的输出方程为人工神经网络模型第21页,共41页，2024年2月25日，星期天

是输入与输出之间的非线性函数，通常称为作用函数或阈值函数。在MP模型中，是二值函数，其输出为0或1，分别代表神经元的抑制和兴奋状态。图2.7阈值函数人工神经网络模型第22页,共41页，2024年2月25日，星期天在式(2.1)中，当时为兴奋性突触结合；当时为抑制性突触结合；当时为无结合。当膜电位超过阈值时，神经元处于兴奋状态并发出电脉冲。由形式神经元构成的神经网络如图2.8所示。人工神经网络模型第23页,共41页，2024年2月25日，星期天图2.8形式神经元构成的神经网络人工神经网络模型第24页,共41页，2024年2月25日，星期天在上述模型是离散的。但是，神经元也可以有模拟量输入输出和时间上是连续的模型，它的数学模型为式中，为神经元在t时刻的平均输入和输出，为平均膜电位，为膜电位变化的时间常数，为静止膜电位。函数f通常为S型的单调递增函数，其数学形式为人工神经网络模型第25页,共41页，2024年2月25日，星期天在串行连接中，当w>0为兴奋性连接时，若神经元1处于兴奋状态，则神经元2也处于兴奋状态；当w<0为抑制性连接时，若神经元1处于兴奋状态，反而会使神经元2容易处于抑制状态。图2.10(a)串行连接人工神经网络模型第26页,共41页，2024年2月25日，星期天相互结合型状态中，若w21和w12均为正，则某一个神经元处于兴奋状态时，另一个神经元也倾向于兴奋状态，这称为神经元之间的协调作用。若w21和w12均为负，则某一个神经元处于兴奋状态时，另一个神经元倾向于抑制状态，这称为神经元之间的竞争作用，即两个神经元之间的互相牵制作用。协调和竞争时神经网络中并行信息处理的基本动态特性。图2.10(b)相互结合型连接人工神经网络模型第27页,共41页，2024年2月25日，星期天2.3.2神经网络的基本结构把大量的神经元通过一定的拓扑结构连接起来，就形成了神经网络。神经元之间连接的方式可分成相互结合型结构和层状结构二大类。通常神经网络的互连结构还决定了它的特性和能力。人工神经网络模型第28页,共41页，2024年2月25日，星期天通常，神经网络内的神经元之间均是互相连接的，构成图2.11(a)所示的互相结合型神经网络，可以认为互相结合型的结构是一种普遍的结构形式。图2.11(a)相互结合型神经网络人工神经网络模型在相互结合型神经系统中，一定存在着反馈环，在神经元的学习过程中，也同样存在着反馈环(误差反馈)。因此，互相结合型神经网络是一种非线性动力学系统。第29页,共41页，2024年2月25日，星期天此外，从大脑的工作机理来看，还存在着不同的功能性模块，下位的功能模块向上位的功能模块传送信息，因此神经网络的结构还有层次性，如图2.11(b)所示。图2.11(b)层次型神经网络人工神经网络模型第30页,共41页，2024年2月25日，星期天1.误差传播式学习感知机是一种最基本的神经网络模型，设神经元的输入输出关系为式中是学习率，是教师信号或希望输出，是实际输出与希望输出之差，和取1或0的离散值。由于权值更新与有关，所以也称

学习规则。则学习规则为(2.8)人工神经网络模型第31页,共41页，2024年2月25日，星期天2.联想式学习

无教师的联想式学习模式的学习规则可以用数学形式表示为(2.9)与式(2.8)不同的是，即无教师信号。所以在联想式学习中，权值变化仅是输入与输出同时兴奋的结果。由于联想发生在输入和输出之间，所以这种联想被称为异联想。人工神经网络模型第32页,共41页，2024年2月25日，星期天3.概率式学习概率式学习的特点式把分子热力学、统计力学和概率论中关于系统达到稳态的基本条件――能量极小标准，作为网络学习的重要前提。其中以波尔兹曼BM的学习算法最具有代表性。人工神经网络模型第33页,共41页，2024年2月25日，星期天若神经元状态更新的概率服从波尔兹曼分布，则有

(2.10)式中，为系统对应状态的能量变化，T是绝对温度。

人工神经网络模型第34页,共41页，2024年2月25日，星期天4.竞争性学习和基于知识的学习竞争性学习的特点是网络的高层次单元对低层次单元的输入模式的竞争性识别。学习时只需要输入学习样本，而无需教师信号的监督。学习过程中不同层次之间的神经元产生兴奋性连接，而同一层神经元中，距离兴奋中心很近的神经元均处于兴奋状态，而距离较远的神经元均处于抑制状态。基于知识的学习也是人工智能中的一个重要研究领域。共同点都是具有利用知识进行操作的过程。

人工神经网络模型第35页,共41页，2024年2月25日，星期天神经网络的学习过程:

首先设定初始值，一般由于无先验的知识，初始权值可设定为随机值。接着输入样本数据进行学习，参照评价标准进行评判。如果达到要求，就停止学习，否则按照给定的学习法则调整权值，继续进行学习，直到取得满意的结果为止。

人工神经网络模型第36页,共41页，2024年2月25日，星期天2.4神经网络研究的内容和特点第37页,共41页，2024年2月25日，星期天1.神经网络的数学模型及神经计算方法神经网络的数学模型需要抓住大脑的各种重要特征进行构造才行。模型就是从单个神经元及其复杂的连接中概括出来的十分有效的模型之一。神经计算是对认知过程的一种表征，用新的概念对信息进行加工和存储。例如Hopfield神经网络计算并不是一种单纯的数字式计算，而是对大脑提取信息(记忆)和获取信息(学习)过程的理解。

内容和特点第38页,共41页，2024年2月25日，星期天2.神经计算机:

神经计算机是神经网络的一种实现。基于硬件实现的神经计算机是指每一种神经元及其连接都是用物理器件来实现的，它可以是电子元器件、光学元器件或分子元器件等，工作方式上可以是数字式的或模拟式的。但是往往是专用的，缺乏通用性和灵活性。基于传统计算机的实现是利用现有的各种计算机软件和硬件来模拟各种神经网络，它有灵活性好，开发方便，价格便宜，通用性强的优