数学建模算法动态优化模型

1、第十八章动态优化模型动态过程的另一类问题是所谓的动态优化问题，这类问题一般要归结为求最优控制函数使某个泛函达到极值。当控制函数可以事先确定为某种特殊的函数形式时，问题又简化为求普通函数的极值。求解泛函极值问题的方法主要有变分法和最优控制理论方法。§1变分法简介变分法是研究泛函极值问题的一种经典数学方法，有着广泛的应用。下面先介绍变分法的基本概念和基本结果，然后介绍动态系统最优控制问题求解的必要条件和最大值原理。1.1 变分法的基本概念1.1.1 泛函设S为一函数集合，若对于每一个函数x(t)S有一个实数J与之对应，则称J是对应在S上的泛函，记作J(x(t)。S称为J的容许函数集。通俗

2、地说，泛函就是“函数的函数”。例如对于xy平面上过定点A(为，y1)和B(x2,y2)的每一条光滑曲线y(x),绕x轴旋转得一旋转体，旋转体的侧面积是曲线y(x)的泛函J(y(x)。由微积分知识不难写出x22J(y(x)2y(x)<1y'(x)dx(1)x1容许函数集可表示为1Sy(x)|y(x)Cx1,x2,y(x1)y1，y(x2)y?(2)最简单的一类泛函表为t2J(x(t)F(t,x,x)dt(3)t1被积函数F包含自变量t,未知函数x及导数x。(1)式是最简泛函。1.1.2 泛函的极值泛函J(x(t)在x0(t)S取得极小值是指，对于任意一个与x0(t)接近的x(t)S

3、,都有J(x(t)J(xo(t)。所谓接近,可以用距离d(x(t),xo(t)来度量，而距离定义为d(x(t),xo(t)max|x(t)x0(t)|,|x(t)x0(t)|泛函的极大值可以类似地定义。x0(t)称为泛函的极值函数或极值曲线。1.1.3 泛函的变分如同函数的微分是增量的线性主部一样，泛函的变分是泛函增量的线性主部。作为泛函的自变量，函数x(t)在x0(t)的增量记为x(t)x(t)x0(t)也称函数的变分。由它引起的泛函的增量记作JJ(x°(t)x(t)J(x0(t)如果J可以表为JL(x0(t),x(t)r(x°(t),x(t)其中L为x的线性项，而r是x

4、的高阶项，则L称为泛函在x0(t)的变分，记作J(Xo(t)。用变动的X(t)代替Xo(t),就有J(x(t)o泛函变分的一个重要形式是它可以表为对参数的导数:J(x(t)J(x(t)x(t)o(4)这是因为当变分存在时，增量JJ(x(t)x)J(x(t)L(x(t),x)r(x(t),x)根据L和r的性质有L(x(t),x)L(x(t),x)limr(x(t)，x)limr(x(t)，x)x000x所以1,、J(xx)J(x)J(xx)0lim.L(x,x)r(x,x)lim。一-L(x,x)J(x)1.1.4 极值与变分利用变分的表达式(4)可以得到泛函极值与变分的关系：若J(x(t)在x

5、0(t)达到极值(极大或极小)，则J(x0(t)0(5)这是因为对任意给定的x,J(x0x)是变量的函数，该函数在0处达到极值。根据函数极值的必要条件知J(x0x)00于是由(4)式直接得到(5)式。1.1.5 .变分法的基本引理引理(x)Cx1，x2,(x)cIxm,(x1)(x2)0,有x2(x)(x)dx0,x1则(x)0,xx1,x2。1.2无约束条件的泛函极值求泛函tfJtF(t,x(t),x(t)dt(6)t0的极值，一般是用泛函极值的必要条件去寻找一条曲线x(t),使给定的二阶连续可微*一函数F沿该曲线的积分达到极值。常称这条曲线为极值曲线(或轨线)，记为x(t)。1.2.1 端

6、点固定的情况设容许曲线x(t)满足边界条件x(t0)x0,x(tf)xf(7)且二次可微。首先计算(6)式的变分：tft0tfF(t,x(t)Fx(t,x,x)xt0对上式右端第二项做分布积分,再代回到(8)tfJFxt0x(t)x(t),x(t)x(t)0dtFx(t,x,x)xdt(8)并利用x(to)x(tf)0,有tfFx(t,x,x)xdtt0tfd/、.Fx(t'x，x)如式，并利用泛函取极值的必要条件，有dFxxdt0dt因为x的任意性，及x(t0)x(tf)0,所以由基本引理得到著名的欧拉方程FxdtFx0(9)它是这类最简泛函取极值的必要条件。(9)式又可记作(10)

7、FxFtxFxxxFxxx0xx.xx.xx通常这是x(t)的二阶微分方程，其通解的两个任意常数由(7)式中的两个端点条件确定。1.2.2 最简泛函的几种特殊情形(i) F不依赖于x,即FF(t,x)这时Fx0,欧拉方程为Fx(t,x)0,这个方程以隐函数形式给出x(t),但它一般不满足边界条件，因此，变分问题无解。F(t,x)Fx(t,x)Ci，由此可求出x(t,Ci),积分后得到(ii) F不依赖x,即F欧拉方程为dFx(t,x)0dt将上式积分一次，便得首次积分可能的极值曲线族t,Cidt(iii)F只依赖于x,即F这时Fx0，Ftx0,FxxxFxxF(x)0,欧拉方程为由此可设x另外

8、若Fxx0或Fxx0,如果x0,则得到含有两个参数的直线族xc,tc2。0有一个或几个实根时，则除了上面的直线族外,直线族xktc,它包含于上面含有两个参数的直线族FF(x)情况下，极值曲线必然是直线族。又得到含有一个参数c的xCitC2中，于是，在(iv)F只依赖于x和x,即F这时有Ftx0,故欧拉方程为F(x,x)FxxFxx此方程具有首次积分为xFxx事实上，注意到d(FdtFxFxF不依赖于t,xFx)FxxCi于是有FxxxFxddxFxx(Fx-Fx)0。dtdt例1(最速降线问题)最速降线问题是历史上变分法开始发展的第一个问题。它是约翰贝努里(J.Bernoulli)于1696年

9、提出的。问题的提法是这样的：设A和B是铅沿此曲线从x轴水平向右,直平面上不在同一铅直线上的两点，在所有连结质点仅受重力作用，且初速为零,解将A点取为坐标原点,A和B的平面曲线中，求一曲线，当A滑行至B时，使所需时间最短。y轴垂直向下，B点为B(x2,y2)。根据能量守恒定律，质点在曲线ds41y(x)上任一点处的速度型满足(s为弧长)dt21dsmmgy2dt将dsJiy'2(x)dx代入上式得dt于是质点滑行时间应表为y(x)的泛函J(y(x)0端点条件为y(0)0,y(x2)y2最速降线满足欧拉方程，因为F(y,y')1y2y不含自变量x,所以方程(10)可写作FyFyy&

10、#39;yFy'y'y''0等价于dx(Fy'Fy')0作一次积分得2y(iy')ci令y'ctg,则方程化为C12Cisin一y'2C1(1cos)2又因,dydxy'积分之，得x由边界条件y(0)c1sin-cosd22室万C1(sin)c220,可知a0,故得cos)dC1x(sin)2C1y(1cos).2y(x2)y2来确定。这是摆线(圆滚线)的参数方程，其中常数C1可利用另一边界条件例2最小旋转面问题X22J(y(x)2y(x)1y'(x)dxx11Sy|yCx1,x2,y(x1)必一)y2解因

11、Fy/y'2不包含x,故有首次积分Fy'Fyy*y'2y'y尸'G1y化简得yGJy'2令y'sht,代入上式，yc1V1sh2tc1chtdyc1shtdt.由于dx1c1dty'sht积分之，得xc1tc2消去t,就得到yGCh。C1这是悬链线方程。1.2.3 最简泛函的推广最简泛函取极值的必要条件可以推广到其它情况。(i)含多个函数的泛函使泛函x2J(y(x),z(x)F(x,y,y',z,z')dxx1取极值且满足固定边界条件y(xi)yi,y(X2)的极值曲线yy(x),zy2,z(x。Zi,z(X2)Z

12、2.z(x)必满足欧拉方程组FyFz；Fz，0dx(ii)含高阶导数的泛函使泛函x2J(y(x)F(x,y,y',y")dxxi取极值且满足固定边界条件y(xi)yi,yO2)y2,y'(x1)y'i,y'(x2)y'2的极值曲线yy(x)必满足微分方程Fydxd2dx2Fy"(iii)含多元函数的泛函设z(x,y)c2,(x,y)D,使泛函J(z(x,y)F(x,y,z,zx,zy)dxdyD取极值且在区域D的边界线l上取已知值的极值函数zz(x,y)必满足方程Fz一Fzzzxx上式称为奥式方程。1.2.4 端点变动的情况(横截条件

13、)ttf时不固定，是沿着给定的曲线设容许曲线x(t)在t0固定，在另一端点x(t)上变动。于是端点条件表示为x(t0)Xox(t)(t)这里t是变动的，不妨用参数形式表示为ttfdtf寻找端点变动情况的必要条件，可仿照前面端点固定情况进行推导，即有tf%0JF(t,xx,xx)dt010tf/Ldi,LL,/、(Fx-Fx)xdtFxxttfFttfdtf(11)10dtff再对(ii)式做如下分析：(i)对每一个固定的tf,x(t)都满足欧拉方程，即(ii)式右端的第一项积分为(ii)为考察(11)式的第二、第三项，建立dtf与xttf之间的关系，因为x(tfdtf)x(tfdtf)(tfd

14、ltf)对求导并令0得x(tf)dtf乂(tf)dtf即xttf(tf)x(tf)dtf(把(12)代入(11)并利用dtf的任意性，得F(x)Fxttf0(13)(13)式就是确定欧拉方程通解中另一常数的定解条件，称为横截条件。横截条件有两种常见的特殊情况：(i)当x(t)是垂直横轴的直线时，tf固定，x(tf)自由，并称x(tf)为自由端点。此时(11)式中dtf0及xtt的任意性，便得自由端点的横截条件ttfFxttf0(14)(ii)当x(t)是平行横轴的直线时，tf自由，x(tf)固定，并称x(tf)为平动端点。此时0,(13)式的横截条件变为FxFxttf0(15)注意，横截条件与

15、欧拉方程联立才能构成泛函极值的必要条件。1.3有约束条件的泛函极值在最优控制系统中，常常要涉及到有约束条件泛函的极值问题，其典型形式是对动态系统x(t)f(t,x(t),u(t)(16)寻求最优性能指标(目标函数)tfJ(u(t)(tf,x(tf)tF(t,x(t),u(t)dt(17)t0其中u(t)是控制策略，x(t)是轨线，t0固定，tf及x(tf)自由，x(t)Rn,u(t)Rm(不受限，充满Rm空间)，f,F连续可微。下面推导取得目标函数极值的最优控制策略u(t)和最优轨线x(t)的必要条件。采用拉格朗日乘子法，化条件极值为无条件极值，即考虑tfT,Ji(x,u,)(tf,x(tf)

16、tF(t,x,u)T(t)(f(t,x,u)x)dt(18)0的无条件极值，首先定义(16)式和(17)式的哈密顿(Hamilton)函数为H(t,x,u,)F(t,x,u)T(t)f(t,x,u)(19)将其代入(18)式，得到泛函tfTJ1(x,u,)(tf,x(tf)tH(t,x,u,)xdt(20)t0卜面先对其求变分(tftf%TtoH(t,xx,uu,)()(xx)dt0TtTTTx(tf)x(tf)(dtf)Ttf(dtf)TH(t,x,u,)ttf(dtf)T(Tx)ttf:(x)THx(u)THu()tH()TxTxdtt0(dtf)TtfF(t,x,u,t)ttfx(tf)

17、TX(tf)dttf(x)THx(u)THu()tH()TxdtT(tf)xttf：(x)Tt0t0注意到xttfx(tf),xttfx(tf)x(tf)dtf,因而Ji(dtf)TtfH(t,x,u,)ttfx(tf)T(x)ttftftTT(x)T(Hx)()T(Hx)(u)THudtt0再令J10,由dtf,x(tf),x,u,的任意性，便得，一、*.(1) x,必满足正则方程：状态方程xHf(t,x,u)协态方程Hx。(ii)哈密顿函数H(t,x,u,)作为u的函数，也必满足Hu0*并由此方程求得u。(川)求x,u时，必利用边界条件x(t0)x0,(用于确7Ex)(tf)x(tf),(

18、用于确定)tfH(t,x,u,)ttf,(确定tf)1.4最大(小)值原理如果受控系统xf(t,x,u),x(t0)x0其控制策略u(t)的全体构成有界集U,求u(t)U,使性能指标tfJ(u(t)(tf,x(tf)tF(t,x,u)dtt0达到最大(小)值。最大(小)值原理：如果f(t,x,u),(tf,x(tf)和F(t,x,u)都是连续可微的,那么最优控制策略u(t)和相应的最优轨线x(t)由下列的必要条件决定：(i)取优轨线x(t),协态向重(t)由下列的必要条件决7E：dxf(t,x,u),u(t)U,H.xdtddt(ii)哈密顿函数*T_*H(t,x,u,)F(t,x,u)(t)

19、f(t,x,u)作为u(t)的函数，最优策略u(t)必须使,，,*,，,*、H(t,x,u,maxH(t,x,u,)uU或使H(t,x*,u,*)minh(t,x,u,*)(最小值原理)(iii)满足相应的边界条件 若两端点固定，则正则方程的边界条件为x(0)x0,x(tf)xf。 若始端固定，终端tf也固定，而x(tf)自由，则正则方程的边界条件为x(0)x。，(tf)x(tf)(tf,x(tf)o 若始端固定，终端tf,x(tf)都自由，则正则方程的边界条件为x(0)x。，(tf)X(tf)(tf,x(tf),H(tf,x(tf),u(tf),(tf)tf(tf,x(tf)0。§

20、2生产设备的最大经济效益某工厂购买了一台新设备投入到生产中。一方面该设备随着运行时间的推移其磨损程度愈来愈大，因此其转卖价将随着使用设备的时间增加而减小；另一方面生产设备总是要进行日常保养，花费一定的保养费，保养可以减缓设备的磨损程度，提高设备的转卖价。那么，怎样确定最优保养费和设备转卖时间，才能使这台设备的经济效益最大。2.1问题分析与假设(i)设备的转卖价是时间t的函数，记为x(t)。x(t)的大小与设备的磨损程度和保养费的多少密切相关。记初始转卖价x(0)x0O(ii)设备随其运行时间的推移，磨损程度越来越大。t时刻设备的磨损程度可以用t时刻转卖价的损失值来刻画，常称其为磨损函数或废弃函

21、数，记为m(t)。(iii)保养设备可以减缓设备的磨损速度，提高转卖价。如果u(t)是单位时间的保养费，g(t)是t时刻的保养效益系数(每用一元保养费所增加的转卖价)，那么单位时间的保养效益为g(t)u(t)。另外，保养费不能过大(如单位时间保养费超过单位时间产值时，保养失去了意义)，只能在有界函数集中选取，记有界函数集为W,则u(t)Wo(iv)设单位时间的产值与转卖价的比值记为p,则px(t)表示在t时刻单位时间的产值，即t时刻的生产率。(v)转卖价x(t)及单位时间的保养费u(t)都是时间t的连续可微函数。为了统一标准，采用它们的贴现值。对于贴现值的计算，例如转卖价x(t)的贴现值计算，

22、如果它的贴现因子为(经过单位时间的单位费用贴现)，那么由dx(tjx(ti)dt11ex(t)解得x(ti)令t10,便得t时刻单位费用的贴现(称贴现系数)为e;所以设备在t时刻转卖价x(t)的贴现为x(t)e二仿此计算，u(t)的贴现为u(t)e，单位时间产值的贴现为px(t)e:(vi)欲确定的转卖时间tf和转卖价x(tf)都是自由的。2.2模型构造根据以上的分析与假设可知：考察的对象是设备在生产中的磨损一保养系统；转卖价体现了磨损和保养的综合指标，可以选作系统的状态变量；在生产中设备磨损的不可控性强，其微弱的可控性也是通过保养体现，加之保养本身具有较强的可控性，所以选dx(t)dtm(t

23、)g(t)u(t)(21)x(0)xo之下，在满足0u(t)U的函数集W中寻求最优控制策略u(t),使系统的经济效益这一性能指标tftftJ(u(t)x(tf)e0px(t)u(t)edt(22)为最大，其中tf,x(tf)都是自由的。2.3模型求解首先写出问题的哈密顿函数Hpx(t)u(t)etm(t)g(t)m(t)(23)再由协态方程及边界条件求出(t),即由d(t)dtHxtpe(tf)x(tf)e1解得(1-)etf%t卜面利用最大值原理求u(t)。先将(23)式改变为单位时间的保养费u(t)作为控制策略。这样，生产设备的最大经济效益模型可以构成为在设备磨损一保养系统的(转卖价)状态

24、方程显然，*u(t)Hpx(t)etm(t)g(t)etu(t)H是对u的线性函数，因此得到U,g(t)et0(24)0,g(t)e0U,(1-)etfpetg(t)et0U(t)(25)0,(1-)etf-etg(t)et0在上式中，还需解决两个问题：一是u(t)U与u(t)0的转换点ts在什么位置,即ts等于多少？二是u(t)是由U到0,还是由0到U。转换点ts应满足(1-)etf-petg(t)p卢1)e(ttf)g(t)(26)从而可解出ts。因为g(t)是时间t的减函数，所以(26)式的左端也是时间t的减函数，也就是说*.u(t)随时间应由U到0。于是最优控制策略的具体表达式为*U,

25、0ttsu0,tsttf至于tf,x(tf)的求法，请见下面的例子。例3在生产设备的最大经济效益的问题中，设x(0)100,U1,m(t)2,2p0.1,0.05,g(t),试求tf,(1炉解由(26)式可得求ts的公式1XX20.05(tstf)(1ts)242e当tts时，u(t)U1,状态方程为，、一*.x(tf)和u(t)。(27)dxdt于是解得dxdtts时,2一(1*utts时，有21t)20,状态方程为tdxdtdt2t2?dtt(2)dt一ts(1t)21x(t)4(1ts)2962t(28)由自由边界条件Httftf及(tf)etf,得tftftfpx(tf)e2eex(t

26、f)于是x(tf)240P当ttf时，由(28)式有1404(1ts)2962tf即1tf2(1ts28(29)将(27)和(29)联立求解，编写如下Matlab程序x,y=solve('(1+ts)A(1/2)=4-2*exp(0.05*(ts-tf)','tf=2*(1+ts)A(1/2)+28')求得ts10.6,tf34.8于是，最优控制策略(保养费)为*1,0t10.6u0,10.6t34.8习题十八1 .求自原点(0,0)到直线xy10的最速降线。2 .求概率密度函数(x),使得信息量J(x)ln(x)dx取最大值，且满足等周条件2 ,、.2(x)d

27、x1,x(x)dx(常数)。3 .在生产设备或科学仪器中长期运行的零部件，如滚珠、轴承、电器元件等会突然发生故障或损坏，即使是及时更换也已经造成了一定的经济损失。如果在零部件运行一定时期后，就对尚属正常的零件做预防性更换，以避免一旦发生故障带来的损失，从经济上看是否更为合算？如果合算，做这种预防性更换的时间如何确定呢？第十九章神经网络模型§1神经网络简介人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自1943年美国心理学家W.McCulloch和数学家W.Pits提出形式神经元的抽象数学模型一MP模型以来，人工神经网络理论技术经过了5

28、0多年曲折的发展。特别是20世纪80年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了40多种神经网络模型，其中比较著名的有感知机，Hopfield网络，Boltzman机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论最基本的网络模型及其学习算法。1.1 人工神经元模型下图表示出了作为人工神经网络（artificialneuralnetwork,以下简称NN）的基本单元的神经元模型，它有三个基本要

29、素：J小O_图值连接权（i） 一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。（ii） 一个求和单元，用于求取各输入信号的加权和（线性组合）。（iii） 一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0,1）或（1,1）之间）。此外还有一个阈值k（或偏置bkk）。以上作用可分别以数学式表达出来：pUkWkjXj,VkUkk,Yk（Vk）ji式中Xi，X2，,Xp为输入信号，Wki,Wk2,Wkp为神经元k之权值，Uk为线性组合结果，k为阈值，（）为激活函数，Yk为神经元k的输出。若把输入的维数增加一维，则可

30、把阈值k包括进去。例如pVkWkjXj,Yk（Uk）j0此处增加了一个新的连接，其输入为x01（或1）,权值为wk0k（或bk）,如下图所示。激活函数()可以有以下几种(i)阈值函数(v)1,v00,v0(1)即阶梯函数。这时相应的输出yk为yk1,Vk00,Vk0p其中vkwkjxjk,常称此种神经元为j1(ii)分段线性函数1,v11(v)-(1v),1v1(2)20,v1MP模型。它类似于一个放大系数为1的非线性放大器,当工作于线性区时它是一个线性组合器,放大系数趋于无穷大时变成一个阈值单元。(iii)sigmoid函数最常用的函数形式为(v)11exp(v)(3)0可控制其斜率。另一种

31、常用的是双曲正切函数v1exXv)(4)(v)tanh-21exo(v)这类函数具有平滑和渐近性，并保持单调性。Matlab中的激活(传递)函数如下表所示:函数名功能purelin线性传递函数硬限幅传递函数hardlimhardlims对称硬限幅传递函数satlin饱和线性传递函数satlins对称饱和线性传递函数logsig对数S形传递函数tansig正切S形传递函数radbas径向基传递函数compet竞争层传递函数各个函数的定义及使用方法，可以参看Matlab的帮助(如在Matlab命令窗口运行2,helptansig,可以看到tantig的使用方法，及tansig的te义为(v)2v1

32、)。1 e1.2网络结构及工作方式除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。(i)前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出(它可耦合到任意多个其它结点作为其输入)。通常前馈网络可分为不同的层，第i层的输入只与第i1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。(ii)反馈型网络所有结点都是计算单元，同时也可接受输入，并向外界输出。NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶

33、段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。§2螺虫分类问题与多层前馈网络2.1 螺虫分类问题螺虫分类问题可概括叙述如下：生物学家试图对两种螺虫(Af与Apf)进行鉴别，依据的资料是触角和翅膀白长度，已经测得了9支Af和6支Apf的数据如下：Af:(1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.

34、82),(1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82),(1.56,2.08).Apf:(1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).现在的问题是：(i)根据如上资料，如何制定一种方法，正确地区分两类螺虫。(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的3个标本，用所得到的方法加以识别。(iii)设Af是宝贵的传粉益虫，Apf是某疾病的载体，是否应该修改分类方法。如上的问题是有代表性的，它的特点是要求

35、依据已知资料(9支Af的数据和6支Apf的数据)制定一种分类方法，类别是已经给定的(Af或Apf)。今后，我们将9支Af及6支Apf的数据集合称之为学习样本。2.2 多层前馈网络为解决上述问题，考虑一个其结构如下图所示的人工神经网络，激活函数由1e)p(v)来决定。图中最下面单元，即由？所示的一层称为输入层，用以输入已知测量值。在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是最好的途径。在我们的例子中，取三个就足够了。最上面一层称为输出层，在我们的例子

36、中只包含二个单元，用以输出与每一组输入数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层数之内。为了叙述上的方便，此处引人如下记号上的约定：令s表示一个确定的已知样品标号，在螺虫问题中，s1,2,15,分别表示学习样本中的15个样品；当将第s个样品的原始数据输入网络时，

37、相应的输出单元状态记为Ois(i1,2),隐单元状态记为Hs(j1,2,3),输入单元取值记为I：*1,2)。请注意，此处下标i,j,k依次对应于输出层、中间层及输入层。在这一约定下，从中间层到输出层的权记为wj,从输入层到中间层的权记为Wjk。如果wj,Wjk均已给定，那么，对应于任何一组确定的输入(I；,I；),网络中所有单元的取值不难确定。事实上，对样品s而言，隐单元j的输入是_2hjsWjkIk(5)k1相应的输出状态是_2szIss、，一、Hj(hj)(WjkIk)(6)k1由此，输出单元i所接收到的迭加信号是332sss、hiwjHjwj(WjkIk)j1j1k1网络的最终输出是O

38、is（his）（WjH；）（Wj（WjkI；）（8）j1j1k1这里，没有考虑阈值，正如前面已经说明的那样，这一点是无关紧要的。还应指出的是，对于任何一组确定的输入，输出是所有权wj,Wjk的函数。如果我们能够选定一组适当的权值wj,Wjk,使得对应于学习样本中任何一组Af样品的输入（|；,|；）,输出（O；,O2）（1,0）,对应于Apf的输入数据，输出为（0,1）,那么螺虫分类问题实际上就解决了。因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近（1,0）亦或（0,1）,就可能判断其归属。当然，有可能出现介于中间无法判断的情况。现在的问题是，如何找到一组适当

39、的权值，实现上面所设想的网络功能。2.3 向后传播算法对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一段时间内，曾经是使研究工作者感到困难的一个问题，直到1985年，美国加州大学的一个研究小组提出了所谓向后传播算法（Back-Propagation）,使问题有了重大进展，这一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。如前所述，我们希望对应于学习样本中Af样品的输出是（1,0）,对应于Apf的输出是（0,1）,这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的，只能希望实际输出尽可能地接近理想输出。为清楚起见，把对应于样品s的理想输出

40、记为Tis,那么1 s八s2(9)E(W)-(TiOi)2i,s度量了在一组给定的权下，实际输出与理想输出的差异，由此，寻找一组恰当的权的问32一s2(Wij(WjkIk)j1k1(10)题，自然地归Z为求适当W的值，使E（W）达到极小的问题。将式（8）代入（9）,有1sE(W)-Ti2s,i易知，对每一个变量Wij或Wij而言，这是一个连续可微的非线性函数，为了求得其极最速下降法是一种迭代算法，为求出W。出发，计算在W0点的负梯度方向小点与极小值，最为方便的就是使用最速下降法。E（W）的（局部）极小，它从一个任取的初始点一E（W。），这是函数在该点下降最快的方向;只要E（W。）0,就可沿该方

41、向移动一小段距离，达到一个新的点W1W0E（W0）,是一一个参数，只要足够小,定能保证E（W1）E（W0）。不断重复这一过程，一定能达到E的一个（局部）极小点。就本质而言，这就是BP算法的全部内容，然而，对人工神经网络问题而言，这一算法的具体形式是非常重要的，下面我们就来给出这一形式表达。对于隐单元到输出单元的权Wj而言，最速下降法给出的每一步的修正量是WijWijTisOis1(his)HjsisH；ss(11)此处令'(h：)TisOis(12)对输入单元到E1单元的权wjkWjk-J-TisOis'(his)Wij'(h；)I：Wjks,iisWij'(h

42、jS)I；sI：(13)s,is此处_sssj(hj)Wiji从(11)和(13)式可以看出，所有权的修正量都有如下形式，即ssWpqpVq(14)s指标p对应于两个单元中输出信号的一端，q对应于输入信号的一端，v或者代表H或者代表I。形式上看来，这一修正是“局部”的，可以看作是Hebb律的一种表现形式。还应注意，：由实际输出与理想输出的差及h：决定，而一js则需依赖：算出，因此，这一算法才称为向后传播算法。稍加分析还可知道，利用由(11)(13)式所给出的计算安排，较之不考虑p的向后传播，直接计算所有含'的原表达式，极大地降低了计算工作量。这组关系式称作广义法则，它们不难推广到一般的

43、多层网络上去。利用这一迭代算法，最终生成在一定精度内满足要求的Wj,Wjk的过程，称为人工神经网络的学习过程。可以看出，这里所提供的学习机制是元与元之间权的不断调整，学习样本中任何一个样品所提供的信息，最终将包含在网络的每一个权之中。参数的大小则反映了学习效率。为了更有效地应用BP算法，我们做出如下一些补充说明。(i)在式(11)与(13)中，Wj,Wjk表示为与所有样品s有关的求和计算。实际上，我们还可以每次仅考虑输入一个样品所造成的修正，然后，按照随机选取的顺序，将所有样品逐个输入，不断重复这一手续，直至收敛到一个满意的解为止。(ii)在如上的算法中，利用实际输出与理想输出差的平方和作为度

44、量wj,Wjk优劣的标准，这并不是唯一的度量方式，完全可以从其它的函数形式出发，例如从相对嫡出发，导出相应的算法。(iii)在如上的讨论中使用的是最速下降法，显然，这也不是唯一的选择，其它的非线性优化方法，诸如共轲梯度法，拟牛顿法等，都可用于计算。为了加速算法的收敛速度，还可以考虑各种不同的修正方式。(iv)BP算法的出现，虽然对人工神经网络的发展起了重大推动作用，但是这一算法仍有很多问题.对于一个大的网络系统，BP算法的工作量仍然是十分可观的，这主要在于算法的收敛速度很慢。更为严重的是，此处所讨论的是非线性函数的优化，那么它就无法逃脱该类问题的共同困难：BP算法所求得的解，只能保证是依赖于初

45、值选取的局部极小点。为克服这一缺陷，可以考虑改进方法，例如模拟退火算法，或从多个随机选定的初值点出发，进行多次计算，但这些方法都不可避免地加大了工作量。2.4螺虫分类问题的求解下面利用上文所叙述的网络结构及方法，对螺虫分类问题求解。编写Matlab程序如下：clearp1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;p2=1,14,1.82;1.18,1.96;1.20,1.86;1.26,2.001.28,2.00;1.30,1.96;p=p1;p2,;pr

46、=minmax(p);goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6);plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')net=newff(pr,3,2,'logsig','logsig');net.trainParam.show=10;net.trainParam.lr=0.05;net.trainParam.goal=1e-10;net.trainParam.epochs=50000;net=train(net,p,goal);x=1.241

47、.80;1.281.84;1.402.04'y0=sim(net,p)y=sim(net,x)§3处理螺虫分类的另一种网络方法3.1 几个有关概念在介绍本节主要内容之前，首先说明几个不同的概念。在上一节中，我们把利用BP算法确定联接强度，即权值的过程称为“学习过程”，这种学习的特点是，对任何一个输入样品，其类别事先是已知的，理想输出也已事先规定，因而从它所产生的实际输出与理想输出的异同，我们清楚地知道网络判断正确与否，故此把这一类学习称为在教师监督下的学习；与它不同的是，有些情况下学习是无监督的，例如，我们试图把一组样品按其本身特点分类，所要划分的类别是事先未知的，需要网络自

48、身通过学习来决定，因而，在学习过程中，对每一输入所产生的输出也就无所谓对错，对于这样的情况，显然BP算法是不适用的。另一个有关概念是所谓有竞争的学习。在上节所讨论的螺虫分类网络中，尽管我们所希望的理想输出是(1,0)或(0,1)，但实际输出并不如此，一般而言，两个输出单元均同时不为0。与此不同，我们完全可以设想另外一种输出模式：对应任何一组输入，所有输出单元中，只允许有一个处于激发态，即取值为1,其它输出单元均被抑制，即取值为0。一种形象的说法是，对应任何一组输入，要求所有的输出单元彼此竞争，唯一的胜利者赢得一切，失败者一无所获，形成这样一种输出机制的网络学习过程，称为有竞争的学习。3.2 最

49、简单的无监督有竞争的学习本节叙述一种无监督有竞争的网络学习方法，由此产生的网络可用来将一组输入样品自动划分类别，相似的样品归于同一类别，因而激发同一输出单元，这一分类方式，是网络自身通过学习，从输入数据的关系中得出的。螺虫分类问题对应有教师的网络学习过程，显然不能由如上的方法来解决。但在这种无监督有竞争的学习阐明之后，很容易从中导出一种适用于有监督情况的网络方法；此外，本节所介绍的网络，在数据压缩等多种领域，都有其重要应用。考虑一个仅由输入层与输出层组成的网络系统，输入单元数目与每一样品的测量值数目相等，输出单元数目适当选取。每一个输入单元与所有输出单元联接，第j个输入元到第i个输出元的权记为

50、wj,同层单元间无横向联接。无妨假设所有输入数值均已规化到1,1之间，又因为是有竞争的学习，输出单元只取0或1两个值，且对应每一组输入，只有一个输出元取1。取1的输出兀记为i,称之为优胜者.对于任何一组输入s,规定优胜者是有最大净输入的输出元，即对输入I(11,In)而言,hiWjljWiI(15)取最大值的单元，其中Wj是输出元i所有权系数组成的向量，也就是说Wi-IWiI,(i)(16)如果权向量是按照wj1的方式标准化的，(16)式等价于|Wi-I|WiI|,(i)(17)即优胜者是其标准化权向量最靠近输入向量的输出元。令Oj1,其余的输出Oi0。这样的输出规定了输入向量的类别，但为了使

51、这种分类方式有意义，问题化为如何将学习样本中的所有样品，自然地划分为聚类，并对每一聚类找出适当的权向量。为此，采用如下的算法：随机取定一组不大的初始权向量，注意不使它们有任何对称性。.-.-.-*然后，将已知样品按照随机顺序输入网络。对输入样品s,按上文所述确定优胜者i,对所有与i有关的权作如下修正swi*j(IjWj)(18)所有其它输出单兀的权保持不变。任意到O1,Oi0(ii),所有权的修正公式可统一"表示为sWi-jOi(IjWi)这一形式也可视为Hebb律的一种表现。(18)式的几何意义是清楚的，每次修正将优.一.*胜者的权向量向输入向量移近一小段距离，这使得同一样品再次输入时，i有更大的获胜可能。可以合理地预期，反复重复以上步骤，使得每个输出单元对应了输入向量的一个聚类，相应的权向量落在了该聚类样品的重心附近。当然，这只是一个极不严密的说明。特别应当指出，上述算法，对于事先按照Ij1标准化了的输入数据更为适用，整个过程不难由计算机模拟实现。为了更有效地使用如上算法，下面对实际计算时可能产生的问题，作一些简要说明。首先，如果初始权选