第十一部分人工神经网络建模ArtificialNeuronNetsPPT学习教案

1、会计学1第十一部分人工神经网络建模第十一部分人工神经网络建模ArtificialNeuronNets 解法一： 把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示 得到的结果见图1 第1页/共49页 图1 飞蠓的触角长和翼长 第2页/共49页例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线： y 1.47x - 0.017， 其中X表示触角长；y表示翼长 分类规则：设一个蚊子的数据为（x, y）, 如果y1.47x - 0.017，则判断蚊子属A

2、pf类； 如果y；则判断蚊子属Af类 第3页/共49页图2 分类直线图 第4页/共49页若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线变为 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 哪一分类直线才是正确的呢？ 因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线第5页/共49页新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。第6页/共49页 图3 神经元的解剖图第7页/共49页神经网络研究的两个方面从生理上、解

3、剖学上进行研究从工程技术上、算法上进行研究第8页/共49页 图4神经元的数学模型 第9页/共49页miiixwfy1)( 为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数 第10页/共49页miiixwz1. 0, 0, 0, 1)sgn(xxx第11页/共49页miiimiiixwxwzfy11, 0, 1)(,11)(xexf; 1)(0 xf第12页/共49页,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( （1） 参数识别：假设函数形式已知，则可以从已有的输入输出数据确定出权系数及阈值。 第13页/共49页 图5 带中间层的B-P网络 第14页/共49页

4、 一个蚂蚁有50个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有 10万个体，那么这个群体相当于500万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等第15页/共49页第16页/共49页 （2）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理 （3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆第17页/共49页（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码第18页/共

5、49页算法的目的：根据实际的输入与输出数据，计算模型的参数（权系数）1简单网络的B-P算法 第19页/共49页第20页/共49页 其中输入向量为 , 目标输出向量为（实际上的） TpmppiiI),.,(1TpnppttT),.,(1第21页/共49页TpnppooO),.,(1记记wij为从输入向量的第为从输入向量的第j (j=1,m) 个分量到输出个分量到输出向量的第向量的第i (i=1,n)个分量的权重。通常理论值个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数比较，并根据极小原则修改参数wij，使误

6、差平方，使误差平方和达最小：和达最小：nipipiot12)(min（p=1,P） （2） 第22页/共49页 Delta学习规学习规则则: ijijijwwwPppjpipjPppipiijiiotw11)(pipipiot（4） （3） ijw表示递推一次的修改量，则有表示递推一次的修改量，则有称为学习的速率 第23页/共49页 注：由（1） 式，第i个神经元的输出可表示为mjpjijpiiwfo1)(特别当f是线性函数时 biwaomjpjijpi1)(（6）第24页/共49页第25页/共49页2多层前馈网络 第26页/共49页(2) 设)(iuk表示第k层第i神经元所接收的信息 wk(

7、i,j) 表示从第表示从第k-1层第层第j个元到第个元到第k层第层第i个元的权个元的权重，重， )(iak表第表第k层第层第i个元的输出个元的输出 第27页/共49页 (4) 设信息传输的方向是从输入层到输出层方向；因此称为前向网络没有反向传播信息 （5） 表示输入的第j个分量 )(0ja第28页/共49页,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中表示第k层第i

8、个元的阈值. 第29页/共49页PppEE1LNipLppiaitE12)()()()(21定理2 对于具有多个隐层的前馈神经网络；设激发函数为S函数；且指标函数取 （8）第30页/共49页则每个训练循环中按梯度下降时；其权重迭代公式为),(), (), ()(1)() 1()(jajiwjiwplplplpl,.,1Ll 表示第-1层第个元对第层第个元输入的第次迭代时的权重 ),()(jiwpl第31页/共49页)()()()()()()()(iufiaitipLpLppL（12）（11）11)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11 Ll第32页

9、/共49页选定学习的数据,p=1,P, 随机确定初始权矩阵W（0） Step2 用（10）式反向修正,直到用完所有学习数据.用学习数据计算网络输出 Step3 ),(),(),()(1)() 1()(jajiwjiwplplplpl,.,1Ll 第33页/共49页 已知的两类蚊子的数据如表1： 第34页/共49页目标值目标值 第35页/共49页目标目标t 第36页/共49页第37页/共49页) 3 , 2 () 2 , 2 () 1 , 2 () 3 , 1 () 2 , 1 () 1 , 1 (1111111wwwwwwW) 3 , 1 () 2 , 1 () 1 , 1 (2222wwwW

10、第38页/共49页)() 3 ,(jjwii（分析如下： 为第一层的输出，同时作为第二层的输入。为阈值 )2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa第39页/共49页1)3(0a若令 （阈值作为固定输入神经元相应的权系数） 则有： （作为一固定输入） ifjjw)3 ,(12 , 1j第40页/共49页3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 ()

11、 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawuxexf11)(第41页/共49页)()(11iufia= 则 同样，取 )(exp(111iu2 , 1i, 1) 3(1a) 3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj第42页/共49页 具体算法如下： （1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句： )0(1W)0(2W=rand(2,3); =rand(1,3

12、); (2) 根据输入数据利用公式算出网络的输出 第43页/共49页3101010101131010101011)(), 2 () 3 () 3 , 2 () 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)() (11iufia)(exp(111iu=2 , 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj第44页/共49页xexf11)(因为 所以 （4）取

13、（或其他正数，可调整大小） 计算 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat1 . 0), 1 ()1(2jWPj=1,2,3 第45页/共49页)() 1 (), 1 (), 1 ()1(1)1(2)(2)1(2jajWjWpppp)()1(1ip(5) 计算 和 : ),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),()1(0)1(1)(1)1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 第46页/共49页注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：2764. 02875. 05787. 05765. 05976. 75921.