神经网络讲义

神经网络讲义第一页，共十七页，2022年，8月28日2/26/2023内容安排一、生物神经元结构二、人工神经网络结构第二页，共十七页，2022年，8月28日2/26/2023一生物神经元结构Whatyouseeinthepicture?第三页，共十七页，2022年，8月28日2/26/2023生物神经元示意图一生物神经元第四页，共十七页，2022年，8月28日2/26/2023神经元的相互连接第五页，共十七页，2022年，8月28日2/26/2023生物神经网络的模型化——人工神经网络

什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”

第六页，共十七页，2022年，8月28日2/26/2023二、人工神经网络结构人工神经元模型常见响应函数人工神经网络典型结构第七页，共十七页，2022年，8月28日2/26/2023通用模型求和操作响应函数人工神经元模型

第八页，共十七页，2022年，8月28日2/26/2023人工神经元模型

响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出第九页，共十七页，2022年，8月28日2/26/2023(a)阈值单元(b)线性单元(c)(d)非线性单元：Sigmoid函数

常见神经元响应函数第十页，共十七页，2022年，8月28日2/26/2023常见神经元响应函数人工神经元的响应函数第十一页，共十七页，2022年，8月28日2/26/2023人工神经网络的典型结构大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。第十二页，共十七页，2022年，8月28日2/26/20231．前向网络网络的结构如图a所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。2．从输出到输入有反馈的前向网络网络的结构如图b所示。网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。人工神经网络的构成第十三页，共十七页，2022年，8月28日2/26/2023第十四页，共十七页，2022年，8月28日2/26/2023人工神经网络的构成3．层内互连前向网络网络的结构如图c所示。通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。第十五页，共十七页，2022年，8月28日2/26/2023人工神经网络的构成4．互连网络网络的结构如图d所示。互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzman