9-人工神经网络(2学时)

1、哈尔滨工业大学演讲人：李军宝演讲人：李军宝第九章人工神经网络1.1。基础知识基础知识2.2。前馈神经网络。反馈神经网络4.4。自组织映射神经网络。基础知识基础知识自然神经网络(神经元)的基本组成和特征：细胞、齿状突、轴突和突触神经元的功能：处理和传递信息(电脉冲信号)神经系统：神经网络：大量神经元的复杂连接通过大量简单单元的广泛而复杂的连接实现各种智能活动。基础知识人工神经网络是由简单处理元件组成的大规模并行分布式处理器，具有存储经验知识并使其可用的特点。人工神经网络从两个方面模拟大脑：(1)神经网络获取的知识是从外部环境中学习的。(2)内部神经元的连接强度，即突触权重，用于存储获得的知识。学

2、习算法是一个用来完成学习过程的程序，其功能是有秩序地改变系统的权重，以达到预期的设计目标。突触权重的修改为神经网络提供了一种设计方法。【基础知识】基本特征：1)神经元及其连接；2)神经元之间的连接强度决定了信号传输的强度；3)神经元之间的连接强度可以随着训练而改变；4)信号可以是刺激的或抑制的；5)神经元接收的信号的累积效应决定了神经元的状态；基础知识自然神经网络的某个模型(数学模型)有两个研究方向：探索智能活动的机制；建立可用的先进机器。(人工)神经网络的基本结构：大量简单的计算单元(节点)以某种形式连接起来形成网络。连接强度(权重)、节点计算特性甚至网络结构等因素，可以根据一定的规则与外部

3、数据进行适当的调整，最终实现一定的功能。【基础知识】神经网络学习方法神经网络学习方法：从环境中获取知识，提高自身性能主要是指调整网络参数，使网络达到一定的度量，也称为网络训练。学习风格：监督学习无监督学习学习规则：纠错学习算法竞争学习算法监督学习监督学习可以为训练样本集中的每组输入提供一组目标输出。网络根据目标输出和实际输出误差信号调整网络参数。教师-教师神经网络神经网络比较环境、实际输出、实际输入、预期输出、预期输出误差信号、误差信号、p(n) t(n) a(n) e(n)、无监督学习和强化学习神经网络环境、环境、输入和输入无监督学习：没有教师，网络根据外部数据的统计规律调整系统参数，使网络

4、输出能够反映数据的某些特征。神经网络环境输入/输出评价信息评价信息强化学习：外部环境只给网络输出评价信息，而不是正确答案，网络通过强化奖励行为来提高其性能。1943年，麦卡洛克(心理学家)和皮茨(数学逻辑学家)发表了一篇文章，提出了M-P模型。描述了简单的人工神经元模型的活性受二元变化(激发和抑制)的影响。总结了神经元的基本生理特征，提出了神经元的数学描述和网络结构方法。它标志着神经计算时代的开始。输出表达式MP模型：M-P模型可以完成一定的逻辑运算。第一种使用集体并行计算结构来描述人工神经元和网络的工作。它为进一步的研究提供了基础(布尔逻辑计算可以完成)。1949年，心理学家多纳拉赫布(Do

5、nala U.Hebb)撰写了行为的组织(Organization of Behavior)，提出了突触连接强度可以改变的假设，认为学习过程最终发生在神经元之间的突触处，突触连接强度随突触前后心理成分的活动而变化。药草规则主要用于自组织网络学习。也就是说，如果两个神经元输出兴奋，它们之间的联系就会加强，反之亦然。赫伯规则的含义(提出变化的概念):提出神经网络中的信息存储在突触连接的右侧。连接权的学习规律与两个相连神经细胞的活动状态值的乘积成正比。假设右边是对称的。细胞的相互连接结构是由它们的权利变化而产生的。1957年，弗兰克罗森布拉特定义了一种叫做感知器的神经网络结构。首次将神经网络的研究从

6、纯理论推向工程实现，并在IBM704计算机上进行仿真，证明该模型通过调整权值的学习有能力达到正确的分类结果，掀起了神经网络研究的高潮。1986年，美国的一个并行计算研究小组提出了反馈神经网络的反向传播学习算法。它已经成为最广泛使用的方法之一。该方法克服了感知器的非线性分类问题，给神经网络的研究带来了新的希望。1990年，汉森和萨拉蒙提出了神经网络集成方法。实践证明，简单地训练多个神经网络并拟合其结果，可以显著提高神经网络系统的泛化能力。神经网络集成可以定义为用有限数量的神经网络学习相同的问题。发展史三要素：三要素：神经元的计算特性(传递函数)网络结构(连接形式)学习规则不同的三要素形成不同的神

7、经网络模型，基本上可以分为三类：前馈网络，反馈网络，自组织网络(竞争学习网络)基础知识前馈网络，前馈网络，Hebb学习规则，基本思想：当两个神经元同时被激发时，它们的连接应该加强。前馈网络的典型结构反馈网络反馈网络代表：霍普菲尔德网络常用于：模式识别的联想记忆；模板匹配和特征选择的优化问题。自组织网络自组织神经网络是神经网络最有吸引力的研究领域之一。它可以通过输入样本检测其规律性和输入样本之间的关系，并根据这些输入样本的信息自适应地调整网络，使网络的未来响应能够适应输入样本。2.2 .前馈神经网络前馈神经网络21感知器罗森布拉特于20世纪50年代末提出。权重：权重：其中d(t)是向量x(t)的

8、正确输出。基本神经元：人工神经网络的神经元通常被简化为一个多输入单输出的非线性阈值装置：22个神经元的工作过程：神经元的工作过程：步骤1:从每个输入端接收输入信号xi。步骤2:根据每个连接权重wi: ni=1wi计算所有输入的加权和xi步骤3:用某个特征函数F进行变换以获得输出Y:Y=F(F)(Ni=1WIXI)，其中xi(i=1，2，n)是输入，wi是神经元和每个输入之间的连接权重，这是阈值Y是输出感知器23的连接权。右连接wij: wij0，称为正连接，表示神经元uj对ui有激活作用，wij0，称为负连接，表示神经元uj对ui有抑制作用。神经网络各种学习算法的不同特点体现在权值调整迭代过程的原理、方法、步骤和参数选择上。传感器传感器激励函数激励函数：通常选择下列函数之一：通常选择下列函数之一：最常用的传递函数Sigmoid Sigmoid函数硬限制函数阈值-逻辑函数最常用的传递函数26传感器感知器感知器问题：感知器只能解决一阶谓词逻辑问题，但不能解决高阶问题问题：感知器只能解决一阶谓词逻辑问题，但不能解决高阶问题。多层感知器。反馈神经网络反馈神经网络反馈神经网络反向传播算法，乐村1986，鲁梅尔哈特，