《神经网络理论基础》PPT课件.ppt

人的大脑 脑神经元及其网络 神经元功能 神经元的模型特征 人工神经元模型 神经网络结构 神经网络的学习 神经网络的学习规则,本章主要教学内容,人的大脑,从解剖学角度，人脑可分为延脑(延髓)、脑桥、中脑、小脑、间脑和大脑。延脑被喻为“生命中枢”；小脑专司运动和平衡；中脑专门处理感觉信息；间脑是传递感觉和运动信息的“中继器”。,人的生理系统受人的神经系统控制，而人的神经系统包括脑及脑神经、脊髓及脊神经，又把脑和脊髓称为中枢神经。,人的大脑,与人类智能更直接悠关的是中脑水平以上的脑结构，特别是大脑皮层。大脑由左、右两半球构成，每个脑半球又分为额叶（计划与功能）、顶叶（体感）、枕叶（视觉）、颞叶（听觉、学习、记忆、感情）。,人脑大约包含10111012个神经元，每个神经元大约与102105个神经元相联接，形成极为错综复杂而又灵活多变的神经网络。,脑神经元及其网络,细胞核,细胞膜,细胞质,树 突,轴突,轴突末梢,细胞体,突触：一个神经元的轴突末梢与另一个神经元的树突或细胞体之间的联结。一个神经元约有103104个突触，人脑约有1014个突触。,神经元功能,兴奋与抑制：传入神经元的冲动经整和后使膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢输出；反之当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。,学习与遗忘：由于神经元的可朔性，突触的传递作用可增强与减弱，使神经元具有学习与遗忘功能。,时空整合功能 空间总和：单个神经元在同一时间可以从别的神经元接受多达上千个突触的输入，整个膜电位和输入信号与其权重的线性组合有关： 时间总和：神经元对于不同时间通过同一突触的输入信号具有时间总和的功能。 时空整和：神经元每时每刻都把位于神经细胞不同部位的突触输入进行加工处理，从而决定输出的大小：,神经元的模型特征,阈值特性：神经元的输入输出关系具有非线性特性，如图：,不应期：阈值 会随着神经元的兴奋而变化。对于绝对不应期，此时无论多么强的输入信号到达，也不会输出任何信号的期间，可以看作值上升为无穷大。,神经元的模型特征,疲劳：一个神经细胞持续兴奋，其阈值慢慢增加，神经细胞就很难兴奋的现象。 突触结合的可朔性：突触结合的强度即权重wi，可根据输入、输出信号可朔性地变化。 输出信号的种类 离散信号：神经元输入、输出信号是一定幅值的脉冲，将输出有脉冲时视为1，无脉冲视为零； 连续信号：将神经元输入、输出用其脉冲的频率来表示，将最高脉冲频率视为1，则输入输出信号取值在0和1之间。,人工神经元模型,从工程角度神经元模型可表示为图示结构：,说明： ui为神经元i的膜电位； 只考虑空间总和； xi(k)为神经元i在k时刻的活性度，Fi为确定其活性度的函数。,人工神经元模型,设有n个神经元互连，以第i个神经元作为对象，它从其它所有神经元j(j=1,.,n,ji)输入信息，神经元j到神经元i的连接权重为wij，于是MP模型可表示为：,阈值单元模型MP模型： 不考虑神经元活性度且不考虑输出与输入之间的延时，只处理0和1二值离散信息的阈值单元模型。,其中i为阈值，U( )为阶跃函数。,人工神经元模型,准线性单元模型：采用连续的信息作输入和输出,其输出函数的形式为：,人工神经元模型,概率神经元模型：模型输入输出信号采用0与1的二值离散信息，它是把神经元的动作以概率状态变化的规则模型化。神经元的输入总和为：,由输入xi到输出yi给出的概率分布形式为：,其中T是表示网络“温度”的正数。,人工神经元模型,基于控制观点的神经元模型： 如图，它包括三个部分：,加法器； 单输入单输出线性动态系统； 静态非线性函数。,神经网络的结构,前向网络（前馈网络）:该网络属于层状网络，通常可包含多层。图示为三层，由输入层、隐层、输出层组成。,神经网络的结构,反馈网络：该网络属于网状网络，它的输出层到输入层有反馈，即每个节点同时接收外来输入和其它节点本身的反馈输入。,神经网络的结构,相互结合型网络：该网络属于网状网络，构成网络的各个神经元都可能相互双向联接，所有的神经元既作输入同时也用于输出。,混合型网络：这种网络是介于层状网络与网状网络之间的一种联接结构，即在前向网络的同一层间神经元可以互联。,神经网络的学习,有教师学习：在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系的调整，将期望输出称为导师信号，是评价学习的标准。,有教师学习方法简单，能对训练数据所包含的特征信息进行学习，但不能适应没有学习过的环境，且这种学习方法在学到新知识的同时，也容易忘掉已学过的旧知识。,神经网络的学习,无教师学习：无导师信号提供给网络，网络能根据其特有的结构和学习规则，进行联接权系的调整，此时，网络的学习评价标准隐含于其内部。,这种学习方法能使神经网络自动提取输入数据的特征，并将其分成若干类。训练好的网络能够识别训练数据集以外的新的输入类别，并产生相应的输出，因而也称其具有自组织功能。,神经网络的学习,再励学习：再励学习介于有导师学习和无导师学习之间，它把学习看为试探评价过程，学习机选择一动作作用于环境，环境的状态改变，并产生再励信号re反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性增大。,神经网络的学习规则,联想式学习-Hebb规则 在空间和时间上相互接近的事物间，在性质上相似（或相反）的事物间，都容易在人脑中引起联想，联想是人脑形象思维过程的一种表现形式。,神经网络的学习规则,误差传播式学习-Delta学习规则： Delta学习规则是一种有教师学习，它是利用神经元的希望输出（答案）与实际输出的误差进行联接权值的修正。, 规则又称误差修正规则，这类算法的最终目标是通过反复迭代运算，使 最小，从而求得最佳的Wij值。这种算法适用于线性可分函数。,神经网络的学习规则,广义误差传播式学习-广义 规则：广义规则是在规则上的进一步发展，可适用于多层网络非线性可分函数。,根据广义 规则，误差由输出层逐层反向传至输入层，而输出则是正向传播，直至给出网络的最终响应。这种学习算法在前向网络的监督式学习中，具有重要意义。,神经网络的学习规则,竞争式学习：这是一种无教师学习方式。这种学习方式是通过模拟生物神经元之间的兴奋与抑制、竞争与协调