第六章神经网络

1、1李伟生李伟生信科大厦信科大厦19楼楼Tel：2内容提要内容提要: : 6.1 6.1 引言引言 6.2 6.2 人工神经网络的基本模型人工神经网络的基本模型 6.3 6.3 前馈型神经网络前馈型神经网络 6.4 6.4 反馈型神经网络反馈型神经网络 6.5 6.5 自组织竞争网络自组织竞争网络3l概念概念l人工神经网络人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统。l神经网络理论突破了传统的、线性处理的数字电子计算机的局限，是一个非线形动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络

2、系统所实现的行为却是极其丰富多彩的。 4l人工神经网络研究的历史第一阶段 初始发展期11943年，美国心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，即M-P模型。能完成有限的逻辑运算。 21949年，心理学家Hebb提出了改变神经元间连接强度的Hebb规则。 31957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，称之为感知器（Perceptron）用来模拟生物的感知和学习能力。 41962年，电机工程师Windrow和Hoff提出了自适应线形元件Adaline是一个连续取值的线形网络，在信号处理系统中用于抵消通讯中的回波和噪声，应用十分广泛

3、。 5第二阶段 低谷期 （60年代末70年代末） 原因：1.69年，人工智能之父Minskey和Papert发表了Perdeptron一书指出了Perdeptron无科学价值而言，连XOR逻辑分类都做不到，只能作线形划分。2.Von.Neumann机的兴盛期，陶醉在成功的喜悦之中，掩盖了新型计算机的发展的必然。但是仍然有不少有识之士不断努力：1.Boston大学的Grossberg和Carpenter提出了自适应共振理论ART网络。2.芬兰的Heisinki大学的Kohonen提出了自组织映射网络。3.日本的大坂大学的Fukushima提出了神经认知机网络模型。4.日本东京大学的Amari对神

4、经网络进行了数学理论的研究，为神经网络的研究奠定了理论基础。6兴盛期的代表人物：1.1982年，加州大学的物理学家Hopfield提出了Hopfield网络模型，并用电路实现。2.1985年，Rumelhart提出了BP算法。3.Hinton等人提出了Boltzman机模型。4.1988年，蔡少堂提出了细胞神经网络模型 。目前国内外研究状况1. 研究机构 美国DARPA计划、日本HFSP计划、法国尤里卡计划、德国欧洲防御计划、前苏联高技术发展计划2. 学会 86年4月，美国物理学会在Snowbirds召开了国际神经网络学术会议； 87年6月，IEEE在San Diego召开了国际神经网络学术会

5、议，并成立了国际神经网络学会； 88年起，IEEE和国际神经网络学会每年召开一次国际会议；我国自91年开始每两年召开一次学术会议。73. 刊物 1990年3月，IEEE神经 网络会刊问世。 4. 应用范围 已经渗透到各个领域，智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线形优化、语音识别、知识处理、传感技术与机器人等等。神经网络代表一种新的主义连接主义，解决诸如知识表达、推理学习、联想记忆、乃至复杂的社会现象，如混沌，社会演变的复杂系统的统一模型，它预示着一个新的工业。81. 生物神经元2. 人工神经元的形式化模型3. 电子神经元4. 人工神经网络模型5. 人工神经网络的学习规则6

6、. 人工神经网络与AI的比较9v 本体：本体：细胞体（细胞膜、质、核），对输入信号进行处理，相当于CPU。v 树突：树突：本体向外伸出的分支，多根，长1mm左右，本体的输入端。v轴突：轴突：本体向外伸出的最长的分支，即神经纤维，一根，长1cm1m左右，通过轴突上的神经末梢将信号传给其它神经元，相当于本体的输出端。v突触：突触：各神经元之间轴突和树突之间的接口，即神经末梢与树突相接触的交界面，每个细胞体大约有103104个突触。突触有兴奋型和抑制型两种。 10l神经元结构细胞核细胞质突触树突神经末梢细胞膜轴突来自其他细胞树突的神经末梢11l膜电位与神经元的兴奋v 膜电位：膜电位：细胞膜将细胞分为

7、内外两部分，当外部电位为0时，称内部电位为膜电位。v 静止膜电位：静止膜电位：当没有输入信号时的膜电位成为静止膜电位，通常为-70mv左右。v 兴奋状态：兴奋状态：当外部有输入信号时，将使膜电位发生变化，倘若使膜电位升高，比静止膜电位高15mv以上，即超过-55mv（阈值），神经元被激活，内部电位急剧上升至100mv左右，并维持约1ms，然后急剧下降。相当输出一个100mv高1ms宽的脉冲，并沿轴突以100m/s的速度传至其它的神经元。v 抑制状态：抑制状态：当外部输入信号使膜电位下降低于阈值电位时，神经元处于抑制状态，无脉冲输出。 “兴奋抑制”状态满足“01”律 12v A/D转换：转换：电

8、脉冲到达各突触接口后，放出某种化学物质，该物质作用于各个和其相连的神经元的细胞膜，并使其膜电位发生变化，完成了将离散的脉冲信号转换为连续变化的电位信号。v 不应期：不应期：神经元输出一个脉冲后，一段时间内对激励不响应，称之为不应期，一般为几ms。v 时间加算功能：时间加算功能：对于不同时间通过同一突触传入的信号具有时间的加算功能。v 空间加算功能：空间加算功能：对于同一时间通过不同突触的输入信号具有空间加算功能。 13M-P模型 y 0,1 兴奋性 输 入 抑制性 输 入 输出 I1 IN N1 NM 14 输入条件 输出 00000000010011111111YEIYEIYEIYEIMjj

9、NiiMjjNiiMjjNiiMjjNii时且时且时且时且15l线形加权模型 I1 IN E1 EM 兴奋性 输 入 抑制性 输 入 0，1 0，1 Y 0,1 输出 16l 输入条件 输出 00101111YEIYEIMjjNiiMjjNii17阈值逻辑模型 IN I2 I1 W1 W2 WN fY 18 其中：Ii-1,+1，Y-1,+1，Wi-1,+1iiIWYsgn 0011sgnxxxNiiiIWY0sgn1,00IW19例：用M-P模型实现二元Bool逻辑21Y=X1X2 Y=X1+X2 X1 X1 X2 X2 20例：用M-P模型实现三元Bool小项逻辑0123212111113

10、21xxxy 321xxxy 321xxxy 321xxxy 321xxxy 321xxxy 321xxxy 321xxxy 1x3x2x1x2x1x3x2x1x3x2x1x3x2x1x3x2x1x3x2x1x3x2x3x 抑制输入为抑制输入为0时时y=121神经元的延时作用1x(t) y(t) Tx(t) y(t) t t 22 利用神经元构造存储条件1兴奋输入抑制输入输出TTttt兴奋输入抑制输入输出23模拟条件发射的神经网络2N111N222 X1X2 Z1 Z2Z3Z4 Z5Y124lX1代表无条件刺激 (如巴甫洛夫试验中的“食物”)，lX2代表条件刺激或信号(如巴甫洛夫试验中的“铃声

11、”)，lN1和N2分别是限值为N1和N2的“达限归零”计数器，即当输入N1（N2）个脉冲后，计数器产生一个脉冲输出，同时回零重新计数。lZ1Z5都是基于线性加权模型的神经元，它们的阈值和联接方式都已在图中注明。l如果X1和X2同时输入N0 学习速率系数 要求：Y 0,1 或 Y -1,+1 Hopfield网络使用修正的Hebb规则： Wij =(2Yi-1)(2Yj-1) 要求： Y 0,1 或 Y -1,+1432)纠错规则纠错规则 依据输出节点的外部反馈来改变权系，使实际输出与期望输出相一致。（有教师指导的学习）(2)感知器的学习规则 如果一个节点的输出正确，则连接权值不变。 如果输出本

12、应为0而为1，则相应地减小权值。 如果输出本应为1而为0，则相应地增加权值。44(3) 学习规则 网络中神经元 j 与神经元 i 的连接权值为Wij ，则对权值的修正为： Wij (t+1)= Wij +Wij Wij= i Xi(t) 其中：为学习因子； i = Ti - Yi (t) 为第i个神经元的偏差，即i的期望输出和实际输出之差。 学习规则仅用于单层网络的学习规则，如单层感知器的学习。 45(4)广义 学习规则 用于多层网络，对于输出层节点和相邻隐层节点之间的权值修正用 学习规则，对于其它层间的连接权值，则使用广义 学习规则。设i为隐层节点，其偏差的计算为： i = f ( neti

13、 ) k Wki Wij= i Xi 其中： k 为i的上一层节点k的偏差，Wki 为 i 与 k 间的连接权值。i 的下一层节点的偏差可以用递归的方法得到。46 (5)Boltzmann机学习规则（模拟退火算法） 模拟退火算法基本上由三部分组成： (1) 以一定的概率密度函数跃迁到新的状态，这个概率密度函数称为生成函数。 (2) 以一定的概率密度函数容忍评估函数的偶然上升，这个概率密度函数称为容忍函数。 (3) 以一定的冷却方式降低温度，这个等效温度是生成函数和容忍函数的控制参量。47 经典的模拟退火算法中使用了高斯型生成函数， 其中T(t)是温度，决定了概率密度分布的特征宽度，这种分布函数

14、远处是指数型衰减的，因而代表一种局域型搜索过程，为了能找到全局最小，温度要下降的很慢，Geman兄弟证明只要满足退火率为： 且T(0)要足够大。 tTxxGg2exp tTtTln1048 算法大致如下，从一个随机选取的状态出发，依据生成函数产生一个新的状态，如果这个新的状态的评估函数值比原来的状态低，则令它为系统新的状态；如果它比原先状态的评估函数值高，则它成为新状态的概率由容忍函数确定，若系统不进入这个状态，则它仍保持原先的状态，生成函数与容忍函数按照规定的冷却方式变化。 在学习过程中，随机地改变一权值，确定权值改变后产生的最终能量，并按照下述规则来确定是否保留此权值的变化。49 (6)梯

15、度下降算法 将数学上的最优化方法应用于ANN中，权值的修正量正比于误差对加权的一阶导数。 其中，E 是描述误差的误差函数，是学习率。 ijijWEW503)无教师指导的学习规则无教师指导的学习规则 学习表现为适应于输入空间的检测规则。 (7)竞争学习规则 设输入层有n个节点，输出层m个节点，dj为距离接近测度，则： i1,2,n, j1,2,mniijijWXd12)(51胜者： j1,2,m)min(*jjdd ccijiijNjNjWXW0)(52一、人工神经网络一、人工神经网络(ANN)和人工智能和人工智能(AI)的比较的比较 1、人工智能系统是在传统计算机硬件基础上发展起来的图灵过程软

16、件，以使传统的计算机更有用和更有智慧。 2、 人工神经网络是把算法和结构统一为一体的系统，这是一种硬件和软件的混合体，由于它在某种程度上模拟大脑的结构，所以这种系统有更高的智慧。 3、 两者在运算逻辑上实际上是相同的，例如，识别事物均采用等价类模型，以识别苹果为例，当水果、红色及美味三要素重叠时，便判定为苹果。53二、人工神经网络二、人工神经网络(ANN)和人工智能和人工智能(AI)在工作原理上的不同在工作原理上的不同 1、知识表象不同。AI用一维串表示知识，ANN则用二维或高维矩阵表示知识，优点如下： 由于自由度增加，使存储空间扩大，因而存储容量可以更大。 容错性大为提高，因为高维空间中每一

17、状态有更多的近邻，使多体效应更加复杂和显著。另外，多维空间会有相变，对知识的存储和学习有重要意义。 高维空间更易于分类，分类就是识别事物，其原则是使得同类事物更加聚集，异类事物更分离，此原则在高维空间中容易实现。 2、学习方式不同。AI要求预编程，它是在指定规则的基础上工作的，这种系统只能进行推理。ANN是通过学习建立和改变知识，它具有推广和抽象的能力，这种系统可以进行引证，无需预编程和制定工作规则。54基于谓词逻辑的机器推理1.猴子香蕉问题已知一串香蕉挂在天花板上，猴子直接去拿是够不到的，但猴子可以走动且可以搬着梯子走动，也可以爬上梯子来达到吃香蕉的目的。用谓词逻辑描述该问题，并求得该问题的目标状态（猴子吃到香蕉列）。2.设已知：(1)能阅读者是识字的； (2)海豚不识字； (3)有些海豚是很聪明的。 求证：有些聪明者并不能阅读。考虑：设已知：(1)凡是清洁的东西就有人喜欢； (2)人们都不喜欢苍蝇； 用归结原理证明：苍蝇是不清洁的。55知识表示方法1.用语义网络表示下述命题：(1)树和草都是植物。(2)树和草都是有根、有叶的。(3)水草是草，且长在水中。(4)果树是树，且会结果。(5)苹果树是果树中的一种，它结苹果。2.用谓词公式表示下列规则性知识：(1)所有整数要么是偶数要么就是奇数。(2)自然数都是大