人工神经网络1

人工神经网络

ArtificialNeuralNetworks2023/10/71郭文生计算机科学与技术系联系电话mail：gwsice@126.com2023/10/72教材书名：《人工神经网络导论》出版社：高等教育出版社出版日期：2006年12月作者：蒋宗礼2023/10/73主要参考书目1、SimonHaykin，神经网络原理（第2版），机械工业出版社，20042、阎平凡、张长水，人工神经网络与模拟进化计算，清华大学出版社，20053、NelloCristianini、JohnShawe-Taylor，支持向量机导论，电子工业出版社，20044、韩立群，人工神经网络教程，北京邮电大学出版社，20062023/10/74本课程的公共空间www.126.com用户名：wenshengcup@126.com密码：friday我会把每次课件放到草稿箱当中，大家有什么看法可以给我的邮箱或这个邮箱发信，一些通知也可以从收件箱看到。2023/10/75课程目的和基本要求

作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。介绍人工神经网络及其基本网络模型，使学生了解智能系统描述的基本模型掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题掌握软件实现方法。2023/10/76课程目的和基本要求了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。2023/10/77主要内容

智能及其实现ANN基础PerceptronBP自组织竞争网RBF统计学习初步Hopfield网与BAM小脑模型支持向量机2023/10/78人工神经网络是人工智能科学的希望之花，是科学研究思想在不同领域融会贯通的丰硕成果。第1章

引言2023/10/79第1章

引言主要内容：智能与人工智能；ANN的特点；历史回顾与展望重点：智能的本质；ANN是一个非线性大规模并行处理系统难点：对智能的刻画

2023/10/710第1章

引言1.1人工神经网络的提出1.2人工神经网络的特点1.3历史回顾1.4

应用领域2023/10/711第1章

引言人类对人工智能的研究可以分成两种方式对应着两种不同的技术：传统的人工智能技术——心理的角度模拟基于人工神经网络的技术——生理的角度模拟2023/10/7121.1人工神经网络的提出

人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。

2023/10/7131.1人工神经网络的提出1.1.1智能与人工智能

一、

智能的含义智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。

智能是个体认识客观事物和运用知识解决问题的能力。

人类个体的智能是一种综合能力。2023/10/7141.1人工神经网络的提出智能可以包含8个方面感知与认识客观事物、客观世界和自我的能力感知是智能的基础——最基本的能力

通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力。理解知识，运用知识和经验分析、解决问题的能力这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。2023/10/7151.1人工神经网络的提出联想、推理、判断、决策语言的能力这是智能的高级形式的又一方面。预测和认识“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。运用进行抽象、概括的能力上述这5种能力，被认为是人类智能最为基本的能力

2023/10/7161.1人工神经网络的提出作为5种能力综合表现形式的3种能力发现、发明、创造、创新的能力实时、迅速、合理地应付复杂环境的能力预测、洞察事物发展、变化的能力

2023/10/7171.1人工神经网络的提出二、人工智能人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。研究人工智能的目的增加人类探索世界，推动社会前进的能力进一步认识自己三大学术流派符号主义（或叫做符号/逻辑主义）学派联接主义（或者叫做PDP）学派进化主义（或者叫做行动/响应）学派2023/10/718偃师造人

偃师谒见王，王荐之曰：“若与偕来者何人邪？”对曰：“臣之所造能倡者。”穆王惊视之，趣步俯仰，信人也。巧夫颌其颐，则歌合律；摔其手，则舞应节。千变万化，惟意所适。王以为实人也，与盛姬内御并观之。技将终，倡者瞬其目而招王之左右侍妾。王大怒，立欲诛偃师。偃师大慑，立剖散倡者以示王，皆傅会革、木、胶、漆、白、黑、丹、青之所为。王谛料之，内则肝、胆、心、肺、脾、肾、肠、胃，外则筋骨、支节、皮毛、齿发，皆假物也，而无不毕具者。合会复如初见。

——《列子》2023/10/719巴贝奇艾达冯.诺依曼2023/10/720他狂怒之下回过头来，只见裘千尺膝头放着一碟待贺客的蜜枣，正吃得津津有味，缓缓的道：“我二十年前就已说过，你公孙家这门功夫难练易破，不练也罢。”人工智能的困境与希望2023/10/7211.1人工神经网络的提出1.1.2物理符号系统

人脑的反映形式化

现实信息数据

物理系统物理符号系统

表现智能2023/10/7221.1人工神经网络的提出起源于50年中期，由AllenNewell和HerbertSimon提出模拟人类求解问题的心理过程。(GPS)对思维过程进行形式化，用符号表示概念、符号之间满足一定的逻辑关系，采用启发式知识及启发式搜索对问题求解。符号主义的基本思想是把人类思维逻辑加以形式化，用一阶谓词逻辑加以描述问题求解的思维过程，实现人的左脑抽象逻辑思维功能。2023/10/7231.1人工神经网络的提出Newell和Simon假说：一个物理系统表现智能行为的充要条件是它有一个物理符号系统概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统2023/10/7241.1人工神经网络的提出困难：抽象——舍弃一些特性，同时保留一些特性形式化处理——用物理符号及相应规则表达物理系统的存在和运行。局限：对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。2023/10/7251.1人工神经网络的提出1958年CMU的Newell和Simon预言：10年内：计算机将成为世界象棋冠军；发现和证明重要的数学定理；优秀作曲家水平的曲子；大多数心理学理论将由计算机形成；80年代将全面成为人工智能的时代；2000年机器的智能的将超过人类。2023/10/7261.1人工神经网络的提出1997年IBM的DeepBlue超级计算机战胜称霸国际象棋棋坛十二年的俄罗斯人Kasporov.2023/10/7271.1人工神经网络的提出1.1.3联接主义观点

核心：智能的本质是联接机制。

神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统

ANN力求从四个方面去模拟人脑的智能行为物理结构

计算模拟

存储与操作

训练

2023/10/7281.1人工神经网络的提出1.1.4两种模型的比较

心理过程逻辑思维高级形式（思维的表象）

生理过程

形象思维

低级形式（思维的根本）

仿生

人工神经网络联结主义观点物理符号系统2023/10/7291.1人工神经网络的提出物理符号系统和人工神经网络系统的差别

项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布2023/10/7301.1人工神经网络的提出两种人工智能技术的比较项目传统的AI技术

ANN技术

基本实现方式

串行处理；由程序实现控制

并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制

基本开发方法

设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）

定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）

适应领域

精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象

左脑（逻辑思维）右脑（形象思维）2023/10/7311.2人工神经网络的特点信息的分布表示运算的全局并行和局部操作处理的非线性

2023/10/7321.2.1人工神经网络的概念1、定义

1）Hecht—Nielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。2023/10/7331.2.1人工神经网络的概念（1）Hecht—Nielsen（1988年）（续）处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。2023/10/7341.2.1人工神经网络的概念强调：①

并行、分布处理结构；②一个处理单元的输出可以被任意分枝，且大小不变；③输出信号可以是任意的数学模型；④处理单元完全的局部操作

2023/10/7351.2.1人工神经网络的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一组处理单元（PE或AN）；2）

处理单元的激活状态（ai）；3）

每个处理单元的输出函数（fi）；4）

处理单元之间的联接模式；5）

传递规则（∑wijoi）；6）

把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；7）

通过经验修改联接强度的学习规则；8）

系统运行的环境（样本集合）。

2023/10/7361.2.1人工神经网络的概念（3）Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。

2023/10/7371.2.1人工神经网络的概念2、关键点（1）

信息的分布表示（2）

运算的全局并行与局部操作（3）

处理的非线性特征3、对大脑基本特征的模拟1）

形式上：神经元及其联接；BN对AN2）

表现特征：信息的存储与处理2023/10/7381.2.1人工神经网络的概念4、别名人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）2023/10/7391.2.2学习（Learning）能力人工神经网络可以根据所在的环境去改变它的行为自相联的网络异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。——“抽象”功能。不同的人工神经网络模型，有不同的学习/训练算法2023/10/7401.2.3基本特征的自动提取

由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。泛化（Generalization）能力与抽象能力

2023/10/7411.2.4信息的分布存放信息的分布存提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。

2023/10/7421.2.5适应性(Applicability)问题

擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。

2023/10/7431.3历史回顾

1.3.1萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。

2023/10/7441.3.2第一高潮期（1950~1968）

以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。

2023/10/7451.3.3反思期（1969~1982）

M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

“异或”运算不可表示

二十世纪70年代和80年代早期的研究结果

认识规律：认识——实践——再认识

2023/10/7461.3.4第二高潮期（1983~1990）

1982年，J.Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上

2023/10/7471.3.4第二高潮期（1983~1990）2）1984年，

J.Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。

2023/10/7481.3.4第二高潮期（1983~1990）4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）国内首届神经网络大会是1990年12月在北京举行的。

2023/10/7491.3.5再认识与应用研究期（1991~）

问题：1）应用面还不够宽2）结果不够精确3）存在可信度的问题

2023/10/7501.3.5再认识与应用研究期（1991~）

研究：1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。

2023/10/7511.4应用领域

1.4.1信息处理领域信号处理模式识别数据压缩

2023/10/7521.4.2自动化领域

系统辨识神经控制器智能检测

2023/10/7531.4.3工程领域

汽车工程军事工程化学工程水利工程

2023/10/7541.4.4医学领域

检测数据分析生物活性研究医学专家系统

2023/10/7551.4.5经济领域

信贷分析市场预测2023/10/7562023/10/757第2章人工神经网络建模基础主要内容：BN与AN；拓扑结构；存储；训练重点：AN；拓扑结构；训练难点：训练2023/10/758第2章人工神经网络基础2.1生物神经网2.2人工神经元2.3人工神经网络的拓扑特性2.4人工神经网络的训练2023/10/7592.1生物神经网1、构成胞体(Soma)树突（Dendrite）胞体(Soma)

轴突（Axon）突触（Synapse）2、工作过程2023/10/7602.1生物神经网生物神经网络复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。已经发现的传递机制有突触后兴奋、突触后抑制、突触前兴奋、突触前抑制，远程“抑制”。2023/10/7612.1生物神经网3、六个基本特征：1）每个神经元都是一个多输入单输出的信息处理单元；2）神经元输入分兴奋性输入和抑制性输入两种类型；3）每个神经元可以有一个“阈值”；4）神经元输入与输出间有固定的时滞，主要取决于突触延搁；5）忽略时间整合作用和不应期；6)神经元本身是非时变的，即其突触时延和突触强度均为常数。2023/10/7622.2人工神经元

神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的六个基本特性。

2023/10/7632.2.1人工神经元的基本构成

人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…2023/10/7642.2.1人工神经元的基本构成

神经元的数学模型

2023/10/765

嚣魏牟显然未想过这问题，怒道："有什么不同，人脑兽脑我全看过，还不是骨壳和肉酱吧！"

项少龙哈哈一笑道：“你正说出了人和禽兽的最大分别，禽兽会研究它们的脑和人的脑有什么分别吗？”

——《寻秦记》2.2人工神经元2023/10/7662.2.1人工神经元的基本构成定理：令φ(*)为有界、非常量的单调递增连续函数，Ip代表p维单位超立方体[0,1]p。C(Ip)表示定义在Ip上的连续函数构成的集合，则给定任何函数f∈C(Ip)和ε>0，存在整数M和一组实数αi，θi和wij，其中i=1,…,M，j=1,…,p，使得网络输出可任意逼近f(*)，即2023/10/7672.2.2激活函数(ActivationFunction)

激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）

1、线性函数（LinerFunction）

f（net）=k*net+c

netooc2023/10/7682、非线性斜面函数(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0为一常数，被称为饱和值，为该神经元的最大输出。

2023/10/7692、非线性斜面函数（RampFunction）γ-γθ

-θ

net

o

2023/10/7703、阈值函数（ThresholdFunction）阶跃函数

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ双极形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2023/10/7713、阈值函数（ThresholdFunction）阶跃函数β

-γθonet02023/10/7724、S形函数

压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))

函数的饱和值为0和1。S形函数有较好的增益控制

2023/10/7734、S形函数

a+bo(0,c)netac=a+b/22023/10/7742.2.3M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也称为处理单元（PE）

2023/10/7752.3人工神经网络的拓扑特性

连接的拓扑表示

ANi wij ANj

2023/10/7762.3.1联接模式

用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度；用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式：

2023/10/7772.3.1联接模式

1、层（级）内联接层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。用来加强和完成层内神经元之间的竞争2、

循环联接反馈信号。

2023/10/7782.3.1联接模式3、层（级）间联接

层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递前馈信号反馈信号

2023/10/7792.3.2网络的分层结构

单级网

简单单级网

2023/10/780简单单级网……x1x2…xno1o2omwnmw11w1mw2mwn1输出层输入层 2023/10/781简单单级网W=（wij）输出层的第j个神经元的网络输入记为netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）2023/10/782单级横向反馈网输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 V2023/10/783单级横向反馈网

V=（vij）NET=XW+OVO=F（NET）时间参数——神经元的状态在主时钟的控制下同步变化考虑X总加在网上的情况NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0考虑仅在t=0时加X的情况。

稳定性判定2023/10/784多级网输出层隐藏层输入层o1o2om…x1x2xn………………2023/10/785层次划分

信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………2023/10/786第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号输出层隐藏层输入层o1o2om…x1x2xn………………2023/10/787约定

:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/10/788多级网——h层网络输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)2023/10/789多级网非线性激活函数

F(X)=kX+CF3(F2(F1(XW(1))W(2))W(3))2023/10/790循环网x1o1输出层隐藏层输入层x2o2omxn…………………2023/10/791循环网

如果将输出信号反馈到输入端,就可构成一个多层的循环网络。输入的原始信号被逐步地“加强”、被“修复”。大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。

2023/10/7922.4人工神经网络的训练

人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程2023/10/7932.4人工神经网络的训练

2023/10/7942.4.1无导师学习

无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应

抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。2023/10/7952.4.1无导师学习Hebb学习律、竞争与协同（CompetitiveandCooperative）学习、随机联接系统（RandomlyConnectedLearning）等。Hebb算法[D.O.Hebb在1961年]的核心：当两个神经元同时处于激发状态时权值被加强，否则被减弱。数学表达式表示：Wij（t+1）=Wij（t）+ηoi（t）oj（t）2023/10/7962.4.1无导师学习在Hebb学习规则中，学习信号简单地等于神经元的输出：r=f(WjTX)则权向量的调整公式为ΔWj=ηf(WjTX)X显然，经常出现的输入模式将对权向量有最大的影响，在这种情况下，需要预先设置权饱和值。2023/10/7972.4.1无导师学习例2.1设有4输入单输出神经元网络，其阈值T=0，学习率η=1，3个输入样本和初始的权向量分别为X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T，X3=(0,1,-1,1.5)T，W(0)=(1,-1,0,0.5)T，激活函数为双极性离散函数。2023/10/7982.4.2有导师学习

有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤包括：

1）

从样本集合中取一个样本（Ai，Bi）；

2）

计算出网络的实际输出O；

3）

求r=Bi-O；

4）

根据r调整权矩阵W；

5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。

2023/10/799Delta规则

Widrow和Hoff的写法：Wij(t+1)=Wij(t)+η(dj-oj(t))oi(t)也可以写成：Wij(t+1)=Wij(t)+∆Wij(t)∆Wij(t)=ηδjoi(t)δj=dj-oj(t)2023/10/7100Delta规则

事实上，delta规则可以由输出值与期望值的最小平方误差条件推导出来：其中误差E是权向量Wj的函数。欲使误差E最小，Wj应与误差的负梯度成正比所以权值调整的公式为2023/10/7101第3章

感知器3.1感知器与人工神经网络的早期发展

3.2感知器的学习算法

3.2.1离散单输出感知器训练算法

3.2.2离散多输出感知器训练算法3.2.3连续多输出感知器训练算法3.3线性不可分问题3.3.1异或(Exclusive–OR)问题

3.3.2线性不可分问题的克服

实现！问题的发现与解决！2023/10/71023.1感知器与ANN的早期发展McCulloch和Pitts1943年，发表第一个系统的ANN研究——阈值加权和(M-P)数学模型。1947年，开发出感知器。1949年，提出Hebb学习律。单输出的感知器(M-P模型)x2x1oxn…2023/10/71033.1感知器与ANN的早期发展1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西

o1多输出感知器x1x2o2omxn…

………输入层输出层2023/10/71043.2感知器的学习算法

感知器的学习是有导师学习感知器的训练算法的基本原理来源于著名的Hebb学习律基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵

2023/10/71053.2.1离散单输出感知器训练算法

二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。权向量：W=(w1，w2，…，wn)输入向量：X=(x1，x2，…，xn)训练样本集：{(X，Y)|Y为输入向量X对应的输出}2023/10/7106算法3-1离散单输出感知器训练算法

1.初始化权向量W；2.重复下列过程，直到训练完成：

2.1对每个样本（X，Y），重复如下过程：

2.1.1输入X；

2.1.2计算o=F（XW）；

2.1.3如果输出不正确，则 当o=0时，取W=W+X， 当o=1时，取W=W-X2023/10/71073.2.2离散多输出感知器训练算法

样本集：{(X,Y)|Y为输入向量X对应的输出}输入向量：X=(x1,x2,…,xn)理想输出向量：Y=(y1,y2,…,ym)激活函数：F

权矩阵W=(wij)实际输出向量：O=(o1,o2,…,om)o1多输出感知器x1x2o2omxn…

………输入层输出层2023/10/7108算法3-2离散多输出感知器训练算法

1.初始化权矩阵W；2.重复下列过程，直到训练完成：

2.1对每个样本（X，Y），重复如下过程：

2.1.1输入X；

2.1.2计算O=F（XW）；

2.1.3forj=1tomdo执行如下操作：

ifoj≠yjthen ifoi=0thenfori=1ton wij=wij+xi elsefori=1tondo wij=wij-xi2023/10/7109算法3-2离散多输出感知器训练算法算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。第1步，权矩阵的初始化：一系列小伪随机数。

2023/10/7110算法3-2离散多输出感知器训练算法第2步，循环控制。方法1：循环次数控制法：对样本集执行规定次数的迭代改进——分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果2023/10/7111算法3-2离散多输出感知器训练算法方法2：精度控制法：给定一个精度控制参数精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的欧氏距离的和“死循环”：网络无法表示样本所代表的问题2023/10/7112算法3-2离散多输出感知器训练算法方法3：综合控制法：将这两种方法结合起来使用

注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。2023/10/71133.2.3连续多输出感知器训练算法

用公式wij=wij+η

（yj-oj）xi取代了算法3-2第2.1.3步中的多个判断yj与oj之间的差别对wij的影响由η

（yj-oj）xi表现出来好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽

2023/10/7114算法3-3连续多输出感知器训练算法

1．用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数ε，学习率η

，精度控制变量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每个样本（X，Y）do 3.2.1输入X（=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改权矩阵W：

fori=1ton，j=1tomdo wij=wij+η(yj-oj)xi；

3.2.4累积误差

forj=1tomdo d=d+(yj-oj)22023/10/7115算法3-3连续多输出感知器训练算法

1、程序实现:ε、α、d、i、j、n、m为简单变量来表示，W为n行m列的二维数组。样本集二维数组2、系统的调试3、Minsky在1969年证明，有许多基本问题是感知器无法解决4、问题线性可分性可能与时间有关5、很难从样本数据集直接看出问题是否线性可分6、未能证明，一个感知器究竟需要经过多少步才能完成训练。2023/10/71163.3线性不可分问题

3.3.1异或(Exclusive–OR)问题

g（x，y）y01x0011102023/10/7117用于求解XOR的单神经元感知器

xyo单神经元感知器的图像ax+by=θ1yx1(0,0)(1,1)2023/10/7118线性不可分函数变量函数及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012023/10/7119线性不可分函数R.O.Windner1960年

自变量个数函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,1342023/10/71203.3.2线性不可分问题的克服

用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。解决好隐藏层的联接权的调整问题是非常关键的

2023/10/7121两级单输出网在n维空间中划分出m边凸域

…x1ANmAN1ANoxn…o2023/10/7122第1次课堂测试（5分*4）Newell和Simon的物理符号系统所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟？联接主义观点所基于的假说是什么？它在什么层面上如何实现对人类智能的模拟？画出有导师算法的流程图。证明：一个激活函数为线性函数的3级非循环网等价于一个单级网。2023/10/7123第4章

BP网络

主要内容：BP网络的构成隐藏层权的调整分析Delta规则理论推导算法的收敛速度及其改进讨论BP网络中的几个重要问题

重点：BP算法难点：Delta规则的理论推导

2023/10/7124第4章

BP网络4.1概述

4.2基本BP算法

4.3算法的改进

4.4算法的实现

4.5算法的理论基础

4.6几个问题的讨论

2023/10/71254.1概述

1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。3、优点：广泛的适应性和有效性。2023/10/71264.2基本BP算法

4.2.1网络的构成

神经元的网络输入：

neti=x1w1i+x2w2i+…+xnwni神经元的输出：2023/10/7127输出函数分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o应该将net的值尽量控制在收敛比较快的范围内可以用其它的函数作为激活函数，只要该函数是处处可导的2023/10/7128网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………………W(1)W(2)W(3)W(L)2023/10/7129网络的拓扑结构

BP网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。BP网一般都选用二级网络。2023/10/7130网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WV2023/10/71314.2.2训练过程概述

样本：(输入向量，理想输出向量)权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。1、向前传播阶段：（1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络；（2）计算相应的实际输出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))2023/10/71324.2.2训练过程概述

2、向后传播阶段——误差传播阶段：（1）计算实际输出Op与相应的理想输出Yp的差；（2）按极小化误差的方式调整权矩阵。（3）网络关于第p个样本的误差测度：（4）网络关于整个样本集的误差测度：2023/10/71334.2.3误差传播分析

1、输出层权的调整wpq=wpq+∆wpq∆wpq=αδqop

=αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op

wpqANpANq第L-1层第L层∆wpq2023/10/71342、隐藏层权的调整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2层第k层第k-1层……2023/10/71352、隐藏层权的调整δpk-1的值和δ1k，δ2k，…，δmk

有关不妨认为δpk-1通过权wp1对δ1k做出贡献，通过权wp2对δ2k做出贡献，……通过权wpm对δmk做出贡献。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)2023/10/71362、隐藏层权的调整vhp=vhp+∆vhp

∆vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2层第k层第k-1层……2023/10/71374.2.4基本的BP算法

样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)

，W(2)

，…，W(L)各做一次调整，重复这个循环，直到∑Ep<ε。用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程

2023/10/7138算法4-1

基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制参数ε；3E=ε+1;4whileE>εdo

4.1E=0;

2023/10/7139算法4-1

基本BP算法4.2对S中的每一个样本（Xp,Yp）：

4.2.1计算出Xp对应的实际输出Op；

4.2.2计算出Ep；

4.2.3E=E+Ep；

4.2.4根据相应式子调整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do

根据相应式子调整W(k)；

k=k-1

4.3E=E/2.0

2023/10/71404.3算法的改进

1、BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本2、给集中的样本安排一个适当的顺序，是非常困难的。3、样本顺序影响结果的原因：“分别”、“依次”

4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“总效果”修改W(1)

，W(2)

，…，W(L)。 ∆w(k)ij=∑∆pw(k)ij

2023/10/7141算法4-2消除样本顺序影响的BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制参数ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2对所有的i，j，k：∆w(k)ij=0；

2023/10/71424.3对S中的每一个样本（Xp,Yp）：

4.3.1计算出Xp对应的实际输出Op；

4.3.2计算出Ep；

4.3.3E=E+Ep；

4.3.4对所有i，j根据相应式子计算∆pw(L)ij；

4.3.5对所有i，j：∆w(L)ij=∆w(L)ij+∆pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do

对所有i,j根据相应式子计算∆pw(k)ij；

对所有i,j：∆w(k)ij=∆w(k)ij+∆pw(k)ij；

k=k-1

4.4对所有i，j，k：w(k)ij=w(k)ij+∆w(k)ij;4.5E=E/2.0

2023/10/7143算法4-2分析

较好地解决了因样本的顺序引起的精度问题和训练的抖动问题

收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量来加快收敛速度冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题

2023/10/7144算法4-2分析——冲量设置Rumelhart等人1986年∆wij=αδjoi+β∆wij′∆wij′为上一次的修改量，β为冲量系数，一般可取到0.9

Sejnowski与Rosenberg，1987年∆wij=α((1-β)δjoi+β∆wij′)

∆wij′也是上一次的修改量，β在0和1之间取值

2023/10/71454.4算法的实现

主要数据结构W[H，m]——输出层的权矩阵；V[n，H]——输入（隐藏）层的权矩阵；∆o[m]——输出层各联接权的修改量组成的向量；∆h[H]——隐藏层各联接权的修改量组成的向量；O1——隐藏层的输出向量；O2——输出层的输出向量；(X，Y)——一个样本。

2023/10/7146算法的主要实现步骤

用不同的小伪随机数初始化W，V；初始化精度控制参数ε；学习率α；

循环控制参数E=ε+1；循环最大次数M；循环次数控制参数N=0；

whileE>ε&N<Mdo

4.1N=N+1；E=0；

4.2对每一个样本(X,Y)，执行如下操作

2023/10/71474.2对每一个样本(X,Y)，执行的操作

4.2.1计算：O1=F1(XV)；O2=F2(O1W)；4.2.2计算输出层的权修改量

fori=1tom ∆o[i]=O2[i]*(1-O2[i])*(Y[i]-O2[i])；4.2.3计算输出误差：fori=1tomE=E+(Y[i]-O2[i])2；2023/10/71484.2对每一个样本(X，Y)，执行的操作4.2.4计算隐藏层的权修改量：fori=1toH Z=0；

forj=1tomdoZ=Z+W[i,j]*∆o[j]；

Δh[i]=Z*O1[i](1-O1[i])

；4.2.5修改输出层权矩阵：fork=1toH&i=1tom W[k,i]=W[k,i]+α*O1[k]*∆o[i]；4.2.5修改隐藏层权矩阵：fork=1ton&i=1toH V[k,i]=V[k,i]+α*X[k]*∆h[i]；2023/10/7149建议

隐藏层的神经元的个数H作为一个输入参数同时将ε、循环最大次数M等，作为算法的输入参数在调试阶段，最外层循环内，加一层控制，以探测网络是否陷入了局部极小点

2023/10/71504.5算法的理论基础基本假设网络含有L层联接矩阵：W(1)

，W(2)

，…，W(L)第k层的神经元：Hk个自变量数：n*H1+H1*H2+H2*H3+…+HL*m样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

误差测度: 2023/10/7151用E代表EP，用（X，Y）代表（XP，YP）

X=(x1，x2，…，xn) Y=(y1，y2，…，ym)该样本对应的实际输出为

O=（o1，o2，…，om）误差测度2023/10/7152误差测度用理想输出与实际输出的方差作为相应的误差测度2023/10/7153最速下降法，要求E的极小点

wijE>0，此时Δwij<0取E<0,此时Δwij>0wij2023/10/7154而其中的

所以，

最速下降法，要求E的极小点2023/10/7155令所以Δwij=αδjoiα为学习率最速下降法，要求E的极小点2023/10/7156ANj为输出层神经元

oj=f(netj)

容易得到

从而

2023/10/7157ANj为输出层神经元2023/10/7158所以，故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整：ANj为输出层神经元2023/10/7159ANj为隐藏层神经元

函数2023/10/7160ANj为隐藏层神经元netk=oj…o2o1oHhnetk是oj下一级的神经元的网络输入2023/10/7161ANj为隐藏层神经元2023/10/7162ANj为隐藏层神经元2023/10/7163ANj为隐藏层神经元2023/10/71644.6几个问题的讨论

收敛速度问题

局部极小点问题

逃离/避开局部极小点：修改W、V的初值——并不是总有效。逃离——统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。

2023/10/71654.6几个问题的讨论

网络瘫痪问题

在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的权值调整会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛

稳定性问题

用修改量的综合实施权的修改连续变化的环境，它将变成无效的

2023/10/71664.6几个问题的讨论

步长问题

BP网络的收敛是基于无穷小的权修改量步长太小，收敛就非常慢步长太大，可能会导致网络的瘫痪和不稳定自适应步长，使得权修改量能随着网络的训练而不断变化。[1988年，Wasserman]

2023/10/71674.6几个问题的讨论

引入陡度因子

2023/10/7168上次课内容回顾基本BP算法算法的改进用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“总效果”修改W(1)

，W(2)

，…，W(L)∆w(k)ij=∑∆pw(k)ij2023/10/7169上次课内容回顾改进算法有关问题抖动、收敛速度、偏移量、冲量算法的实现循环控制、算法的调试算法的理论基础2023/10/7170上次课内容回顾问题的讨论收敛速度局部极小点网络瘫痪稳定性步长2023/10/71714.7BP网络设计

网络信息容量与训练样本数训练样本集的准备初始权值的设计多层感知器结构设计网络训练与测试2023/10/71724.7.1网络信息容量与训练样本数

网络的权值和阈值总数nw代表网络信息容量训练误差ε训练样本数P2023/10/71734.7.2训练样本集的准备

输入输出量的选择输入量的提取与表示输出量的表示输入输出数据的预处理训练集的设计2023/10/7174

输入输出量的选择

输出量 代表系统要实现的功能目标，例如系统的性能指标，分类问题的类别归属或非线性函数的函数值。输入量对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小变量类型数值变量语言变量2023/10/7175

输入量的提取与表示

文字符号输入2023/10/7176

输入量的提取与表示

曲线输入（TimeSequence）2023/10/7177

输入量的提取与表示

曲线输入 采样周期的大小应满足香农采样定理的要求，周期越小，要求的网络输入层节点数也越多。采样区间的划分也可以采用不等分的方法，对于曲线变化较大的部分或能提供重要信息的部分，可以将区间分的较细，而对于曲线较平缓的部分，可将区间放宽。（存疑）2023/10/7178

输入量的提取与表示

函数自变量输入 用BP网建立系统的数学模型属于典型的非线性映射问题。一般当系统已有大量输入-输出数据对，建模的目的是提取其中隐含的映射规则（即函数关系）。2023/10/7179

输入量的提取与表示

图像输入（手写字符图像识别）全局统计特征是将整个字符点阵作为研究对象，从整体上抽取特征。常用的是全局变换特征：对字符图象进行各种变换，利用变换系数作为特征，常用的变换有Fourier变换、Hadamard变换、DCT变换、Walsh变换、Rapid变换、K-L变换等。另外还有：不变矩（Moment）特征、笔画穿透数目特征、全局笔画方向特征、背景特征。局部统计特征是将字符点阵图象分割成不同区域或网格，在各个小区域内分别抽取统计特征，主要包括局部笔画方向特征、细胞特征、相补特征、方向线素特征、Gabor特征、四角特征。2023/10/7180

输入量的提取与表示

图像输入（手写字符图像识别）2023/10/7181

输出量的表示

“n中取1”表示法 令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余n-1个分量全取0。“n-1”表示法 从0开始用二进制为分类进行编码。数值表示法 输出为连续型变量，不一定用于分类。2023/10/7182

数据预处理

尺度变换（归一化）网络各个输入数据有不同的物理意义和量纲，网络训练一开始就给各输入分量同等地位。避免因净输入的绝对值过大而使神经元输出饱和，权值调整进入误差曲面平坦区。Sigmoid激活函数的输出在0~1或-1~1之间，作为教师信号的输入数据如果不进行变换处理，势必使数值大的输出分量绝对误差大，数值小的绝对误差小。网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大。2023/10/7183

数据预处理

尺度变换（归一化）[0,1][-1,1]2023/10/7184

数据预处理

分布变换 尺度变换是一种线性变换，当样本的分布不合理时，线性变换只能统一样本数据的变化范围，不能改变其分布规律。最常用的变换是对数变换，其他还有平方根、立方根等变换。2023/10/7185

数据预处理

孤立点

是一个变量的值只出现一次或出现频率很低，它与均值和这个变量的主要值的距离很远。孤立点在数值数据中很常见，在实践中，我们通过定义一个有效的覆盖规则对孤立点进行处理。2023/10/7186

数据预处理

数据缺失

在神经网络的训练阶段，如果供训练的样本充足，可以直接丢弃掉属性缺失的记录。在测试阶段，这种简单处理的方法显然是不可取的。替换缺失值的目的有两个：用最可能的值填充这个空间，并保持变量的整体分布。我们采用类均值替换的方法进行处理：即如果节点n的属性A出现缺失，则选择1、2个与属性A密切相关的变量B和C，从而得到在B、C的取值范围内对A进行估计的平均值，并通过该值替换A的缺失值。2023/10/7187

数据预处理

连续变量离散化 离散化可以使数据更加简洁，也可以使人们在更容易理解的层次上对数据进行分析。如何对数据进行离散化，并没有统一的理论依据，应根据实际的情况和实验的效果确定划分的标准。

2023/10/7188

数据预处理

相关度分析 对于两个变量x和y，x的取值为xi，相应的概率为p(xi)，i=1,…,r；y取值为yi，相应的概率为p(xj)，j=1,…,s。若x，y相互独立，则在零假设下应在第(i,j)

个单元发现n(xi)n(yj)/n个观测值。按照某种顺序为所有单元从1到t(t=r·s)编号。2023/10/7189

数据预处理

相关度分析 如果独立的零假设是正确的，那么X2将服从自由度为(r-1)(s-1)的X2分布。2023/10/71902×2表