神经网络预测法

1、万 敏理学院什么是数学建模什么是数学建模 用于描述实际问题的数学结构，称为数学用于描述实际问题的数学结构，称为数学模型；建立数学模型并加以求解的整个过模型；建立数学模型并加以求解的整个过程称为数学建模。程称为数学建模。 将实际问题翻译成一个数学问题，用数学将实际问题翻译成一个数学问题，用数学方法及计算机工具加以求解。方法及计算机工具加以求解。一、一、有导师学习有导师学习神经网络的原理；神经网络的原理； matlab实现；实现； BP、RBF在在预测、分类预测、分类中的应用中的应用; PNN在在分类分类中的应用中的应用二、二、无导师学习无导师学习神经网络的原理；神经网络的原理； matlab实现

2、；实现； 竞争神经网络、竞争神经网络、SOFM在在分类、聚类分类、聚类中的应用中的应用人工神经网络产生背景人工神经网络产生背景机器智能机器智能 研究怎样研究怎样用机器（计算机）模仿人脑用机器（计算机）模仿人脑从事推理、设计、思考、学习等思维活动，从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。以解决和处理较复杂的问题。 大脑神经系统大脑神经系统 大脑内约含大脑内约含1000亿个神经元亿个神经元神经系统是由这些神经元经过高神经系统是由这些神经元经过高度的组织与相互作用而构成的复度的组织与相互作用而构成的复杂的网络杂的网络 特征：神经元特征：神经元+相互作用相互作用神经元模型神经元

3、模型a模型模型 1w1xnw2w2xnx神经元与神经元之间如何神经元与神经元之间如何（传递信息传递信息）？）？依赖于突触的联接依赖于突触的联接！会受外界信息的影响或自身生长会受外界信息的影响或自身生长过程的影响而变化。正是通过神过程的影响而变化。正是通过神经元及其突触联接的经元及其突触联接的性，使性，使得大脑具有学习、记忆和认知等得大脑具有学习、记忆和认知等各种智能。各种智能。突触突触突触突触突触突触突触突触突触是可变的突触是可变的连接权值连接权值突触突触突触突触1wa1xnw2wnx2xfn输入输入-输出关系输出关系多输入多输入权值权值单输出单输出阈值)()(1xwfnfaxwxwnTTni

4、ii激活函数激活函数121nwwwwnxxxx21其中，连接权值连接权值求和单元求和单元激活函数激活函数净输入净输入完成输入完成输入-输出的非线性映射，有三个关键输出的非线性映射，有三个关键常见的几类激活函数常见的几类激活函数这些非线性函数具有两个显著的特征，一是这些非线性函数具有两个显著的特征，一是突变性突变性，二是，二是饱和性饱和性，这正是为了模拟神经，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳细胞兴奋过程中所产生的神经冲动以及疲劳等特性等特性人工神经网络神经元连接人工神经网络神经元连接神经元神经元神经元神经元连接连接人工神经网络人工神经网络神经网络分类神经网络分类无反馈网络

5、：前馈神经网络无反馈网络：前馈神经网络有反馈网络：递归神经网络有反馈网络：递归神经网络神经网络的结构神经网络的结构前馈神经网络前馈神经网络递归神经网络递归神经网络特点：神经元之间特点：神经元之间有反馈连接有反馈连接1wa1xnw2wnx2xfn输入输入-输出关系输出关系多输入权值权值单输出)()(1xwfnfaxwxwnTTniii121nwwwwnxxxx21其中，净输入净输入单个神经元单个神经元单层前馈神经网络单层前馈神经网络RjjijiRjjijiipwnpwfa11pWfaT输入输入-输出关系：输出关系：1p21w13w12w11wsa2a1aRp2p22w23w1Rw2Rw3Rw1f

6、2fsfsn2n1n多层前馈神经网络多层前馈神经网络1x21w13w12w11wRx2x22w23w1Rw2Rw3Rw12f11sf11sn12n11f11n22sf22sn22f22n21f21n31f31n32f32n33sf33sn11sa12a11a22sa22a21a22sa22a21apWfa,输入层隐含层隐含层：权值，权值， 求和，激活函数求和，激活函数输出层pa神经网络),(pWfa 一、网络结构一、网络结构1、输入神经元数，输出神经元个数2、隐层数，每个隐层中神经元个数3、每个神经元的激活函数f输入输入-输出关系输出关系二、前馈神经网络的学习二、前馈神经网络的学习这类网络模型

7、 怎样实现分类、识别、预测等智能行为？通过样本更新权值和阈值通过样本更新权值和阈值pa神经网络神经网络),(pWfa pshapetextureweight=期望输出期望输出t=1-苹果t=0-香蕉输入：苹果或香蕉输入：苹果或香蕉训练样本训练样本：p1t1,p2t2, pQtQ,期望输出期望输出输入输入训练样本训练样本：有导师的学习有导师的学习p1t1,p2t2, pQtQ,期望输出（向量）期望输出（向量）输入（向量）输入（向量）对样本对（输入和期望输出）进行学习；将样本的输对样本对（输入和期望输出）进行学习；将样本的输入送至神经网络，计算得到实际输出；若实际输出与入送至神经网络，计算得到实际

8、输出；若实际输出与期望输出之间的误差不满足精度要求，则调整权值期望输出之间的误差不满足精度要求，则调整权值W W和阈值和阈值b b，逐渐减小误差，直至满足精度要求。，逐渐减小误差，直至满足精度要求。pa神经网络),(pWfa 训练样本训练样本学习过程：学习过程：通过样本更新权值和阈值通过样本更新权值和阈值p1t1,p2t2, pQtQ,输出目标输入W(old)W(new)学习学习 网络的网络的学习学习：通过样本不断：通过样本不断调整权值调整权值 学习好以后的网络：权值不再改变，所学的知学习好以后的网络：权值不再改变，所学的知识识存储在权值存储在权值中中 学习好以后的网络进行预测、分类等等学习好

9、以后的网络进行预测、分类等等下面将给出三种典型的有导师学习的神经网下面将给出三种典型的有导师学习的神经网络：络：BP,RBF,PNNBP,RBF,PNNBP（反向传播）神经网络原理（反向传播）神经网络原理一、结构一、结构2、输入输出关系输入输出关系：激活函数通常采用激活函数通常采用S形函数，如形函数，如logsig，tansig函数；输出函数；输出层激活函数多采用层激活函数多采用purelin函数。函数。3、理论上理论上，具有一个隐含层的具有一个隐含层的BP网络可以以任意精度网络可以以任意精度逼近任意非线性函数。逼近任意非线性函数。 x1x2xnwij输入层输出层隐含层jik+- -wki信息

10、流误差反向传播(学习算法)MqL1、多层前馈网络多层前馈网络：前、后层之间各神经元前、后层之间各神经元实现全联接；同一层的实现全联接；同一层的神经元之间无联接。神经元之间无联接。xWfa,二、二、BP网络的学习算法网络的学习算法信号前向传播信号前向传播+误差反向传播误差反向传播 BP网络的学习算法是典型的有导师学习算法：网络的学习算法是典型的有导师学习算法：将样本输入神经网络，得到网络的实际输出，若将样本输入神经网络，得到网络的实际输出，若输出值与期望输出之间的误差不满足精度要求，输出值与期望输出之间的误差不满足精度要求，则则，从而调整权值及阈从而调整权值及阈值，使得网络的输出和期望输出间的误

11、差逐渐减值，使得网络的输出和期望输出间的误差逐渐减小，直至满足精度要求。小，直至满足精度要求。训练样本训练样本p1t1,p2t2, pQtQ,am1+fm1+Wm1+ambm1+=m0 2 M1 =a0p=aaM=Forward PropagationpaBP神经网络),(pWfa 1、信号前向传播、信号前向传播二、二、BP网络的学习网络的学习2、误差反向传播、误差反向传播p1t1,p2t2, pQtQ,训练样本：训练样本：Fx E e2=E ta2=均方误差（单输出）均方误差（单输出）Fx EeTe=Et aTt a=均方误差（多输出）均方误差（多输出）wFkwkw)() 1(梯度下降法梯度

12、下降法：权值阈值的调整沿着误差函数下降：权值阈值的调整沿着误差函数下降最快的方向最快的方向Wmk 1+Wmk smam 1T=bmk 1+bmk sm=Weight UpdateBP网络的学习算法（梯度下降法）网络的学习算法（梯度下降法）wFkwkw)() 1(mM1 2 1=误差反向传播误差反向传播11)(mTmmMmsWnFs)(2atnFsMMM 第第m层的灵层的灵敏度敏度BP学习过程 Step1 选定样本选定样本,p=1,P, 随机确定初始权矩阵随机确定初始权矩阵W（0）Step2 利用误差反向计算每一层的利用误差反向计算每一层的sensitivty，更新权值和阈值。直到误差满足精度更

13、新权值和阈值。直到误差满足精度要求。要求。 利用样本计算网络输出，得到误差利用样本计算网络输出，得到误差Step3 BP网络学习算法的改进网络学习算法的改进 BP算法缺点小结算法缺点小结易形成局部极小而得不到全局最优；易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。训练时学习新样本有遗忘旧样本的趋势。 基于基于Levenberg-Marquardt法的法的BP改进算法改进算法 Levenberg-Marquardt法实际上是梯度下降法和牛顿法的结合

14、，它的优点在于网络权值数目较少时收敛非网络权值数目较少时收敛非常迅速常迅速。应用Levenberg-Marquardt优化算法比传统的BP及其它改进算法（如共轭梯度法，附加动量法、自适应调整法及拟牛顿法等）迭代次数少，收敛速度快，迭代次数少，收敛速度快，精确度高精确度高。但对于复杂问题，需要更大的存储空间 MATLAB中的工具函数trainlm()即对应Levenberg-Marquardt法的改进算法。 BP网络的网络的Matlab工具箱函数工具箱函数1、BP神经网络创建函数神经网络创建函数: 函数newff用于创建一个BP神经网络，其调用格式为： p1t1,p2t2, pQtQ, 训练函数

15、确定算法训练函数确定算法的框架（全局），的框架（全局），学习函数确定权值学习函数确定权值的调整（局部）的调整（局部） 样本：p1, t1, p2, t2, , p50, t50 p1=0.1,0.2, t1=0.7; p2=0.98, 0.75, t2=0.8; p50=0.87, 0.6, t50=0.2 如何创建一个三层BP神经网络学习样本？设隐含层神经元个数为6.例例 P=0.1,0.2; 0.98, 0.75;0.87, 0.6;%每行为一样本的输入 T=0.7; 0.8;0.2;%每行为对应样本的期望输出 Net=newff(P,T,6,tansig, purelin, trainl

16、m, lerangdm, mse)网络结构：2-6-1 net=newff(P,T,6)BP神经网络的神经网络的Matlab工具箱函数工具箱函数2、BP神经网络训练函数神经网络训练函数: 函数train用于训练已经创建好的BP神经网络，其调用格式为： 训练前的网络，训练前的网络，newff产生的产生的BP网络网络训练好的训练好的BP神经网络，神经网络，权值不再改变权值不再改变BP神经网络的神经网络的Matlab工具箱函数工具箱函数3、BP神经网络的仿真函数神经网络的仿真函数: 函数sim用于利用训练好的BP网络进行仿真预测仿真预测，其调用格式为： BP神经网络用于预测，分类神经网络用于预测，分

17、类产生训练集/测试集创建/训练BP网络创建/训练RBF网络创建/训练PNN网络仿真测试性能评价1、产生训练集、产生训练集/测试集测试集：（P_tain,T_train），（P_test, T_test）将样本分为和，训练样本用于网络训练（学习），测试样本用于测试网络的泛化能力。一般，训练集样本数量占总样本数量的2/3-3/4为宜，剩余的1/4-1/3作为测试集。p1t1,p2t2, pQtQ,训练集和测试集随机产生 要分析网络模型的，应该也必须用非训练样本（称为测试样本）误差的大小来表示和评价，这也是将总样本分成训练样本和非训练样本主要原因之一。最直接和客观的指标是。非训练样本误差很接近训练样

18、本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律，否则，若相差很多（如几倍、几十倍甚至上千倍）就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律，而只是在这些训练样本点上逼近而已。2、创建、创建/训练训练BP神经网络神经网络: newff, train 创建前需要确定网络的结构： 含一个隐层的MLP网络能够以任意精度逼近任何有理函数。在设计BP网络时，靠增加隐层节点数来获得较低的误差。anmlnl2log1 nl3、仿真测试：、仿真测试：T_sim=sim(net, P_test) 网络创建并训练完成以后，将测试集的输入变量送入网络，网络的输出即为预测结果4、性能评价

19、：、性能评价： 通过计算测试集的预测值与真实值间的误差，对网络的性能（即：泛化能力）进行评价。BP神经网络做预测神经网络做预测/分类的步骤分类的步骤 样本采集、归一化、随机选择训练样本和测试样本样本采集、归一化、随机选择训练样本和测试样本 BP网络构建网络构建/训练训练 (newff/train) 性能评价性能评价 :利用测试样本计算预测误差，用于评价网利用测试样本计算预测误差，用于评价网络的泛化能力络的泛化能力 若泛化能力达要求，则训练好的若泛化能力达要求，则训练好的BP神经网络可进行神经网络可进行预测预测/分类。否则，需要调整网络参数继续学习直到分类。否则，需要调整网络参数继续学习直到泛化

20、能力达要求为止。泛化能力达要求为止。例例1、人口预测人口预测 以下是从北京统计年鉴中得到的 1983-2013年的北京城近郊区户籍人口统计结果。建立人工神经网络模型，预测2014年的北京城近郊区户籍人口北京市人口数统计表：年份人数（万人） 年份人数（万人）1983498.41999631.81984510.2 2000638.71985521.32001646.21986534.02002651.81987540.72003658.91988542.82004667.41989553.02005678.61990563.22006689.21991573.92007698.81992582.1

21、2008707.219935922009713.21994598.72010718.51995604.32011730.91996609.52012743.81997616.12013749.61998625.1产生训练集/测试集创建/训练BP网络创建/训练RBF网络创建/训练PNN网络仿真测试性能评价利用神经网络预测、分类的思路我们可以通过训练一个我们可以通过训练一个BPBP网络来达到预测目的：网络来达到预测目的：用前四用前四年的人数预测下一年的人数年的人数预测下一年的人数，也就是用，也就是用2010-20132010-2013年的人年的人数预测第数预测第20142014年的人数。年的人数。

22、 要使网络网络具有这个预测能力要使网络网络具有这个预测能力( (输入输入- -输出关系输出关系) )，需，需要通过样本对其进行训练。怎样构造样本？要通过样本对其进行训练。怎样构造样本？P1=83年人数，年人数，84年人数，年人数，85 年人数，年人数， 86年人数年人数，t1=87年人数年人数P2=84年人数，年人数，85年人数，年人数，86年人数，年人数， 87年人数年人数，t2=88年人数年人数.P27=09年人数，年人数，10年人数，年人数，11年人数，年人数， 12年人数年人数，t27=13年人数年人数网络结构：网络结构：4-6-1数据处理后的样本数据：样本用途样本组数输入一输入二输入

23、三输入四输出学习样本10.49840.51020.52130.5340.540720.51020.52130.5340.54070.542830.52130.5340.54070.54280.55340.5340.54070.54280.5530.563250.54070.54280.5530.56320.573960.54280.5530.56320.57390.582170.5530.56320.57390.58210.59280.56320.57390.58210.5920.598790.57390.58210.5920.59870.6043100.58210.5920.59870.60

24、430.6095110.5920.59870.60430.60950.6161120.59870.60430.60950.61610.6251130.60430.60950.61610.62510.6318140.60950.61610.62510.63180.6387150.61610.62510.63180.63870.6462160.62510.63180.63870.64620.6518170.63180.63870.64620.65180.6589180.63870.64620.65180.65890.6674190.64620.65180.65890.66740.6786200.6

25、5180.65890.66740.67860.6892210.65890.66740.67860.68920.6988220.66740.67860.68920.69880.7072检验样本230.6786 0.68920.69880.70720.7132240.6892 0.69880.70720.71320.7185250.6988 0.70720.71320.71850.7309260.7072 0.71320.71850.73090.7438 %创建网络创建网络 net=newff(minmax(P_train),minmax(T_train),6); %训练参数设置训练参数设置 ne

26、t.trainParam.epochs=1000; net.trainParam.goal = 1e-5; net.trainParam.lr=0.15; net.trainParam.mc=0.9; %训练网络训练网络 net=train(net,P_train, T_tain); %产生训练集产生训练集/测试集，从总样本中随机选择测试集，从总样本中随机选择(22,5) P_train (22*4矩阵), T_train (22*1矩阵); P_test (5*4矩阵), T_test (5*1矩阵) %仿真测试仿真测试 T_sim=sim(net, P_test); %性能评价，计算测试样

27、本的相对误差性能评价，计算测试样本的相对误差 Erro=abs(T_sim-T_test)./T_test; 模型评价：模型评价：利用测试样本测试网络的泛化能力，测试结果显示2006、2007、2008、2009、2010年预测值为：0.7258，0.7340，0.7405，0.7460，0.7503。将结果还原即为725.8，734.0，740.5，746.0，750.3万人。实际值分别为：716.2，725.5，735.9，743.8，752.6。相对误差为0.013，0.011，0.006，0.002，0.003，取最大的误差0.013. 检验结果的误差较小，检验结果的误差较小，可以达到

28、预测效果。即：可将训练好的网络用于预测。可以达到预测效果。即：可将训练好的网络用于预测。 1981年生物学家格若根（年生物学家格若根（W Grogan）和维什（）和维什（WWirth）发现了）发现了两类蚊子两类蚊子(或飞蠓或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：触角长，数据如下：翼长翼长 触角长触角长 类别类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长翼长 触角长触角长 类别类别1.

29、78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af例例2 问：问：如果抓到三只新的蚊子，它们的触角长如果抓到三只新的蚊子，它们的触角长和翼长分别为和翼长分别为(l.24,1.80); (l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个）问它们应分别属于哪一个种类？种类？ 问题分析：问题分析：该问题是一个分类问题，可利用该问题是一个分类问题，可利用BP神神经网络解决。飞蠓的数据作为输入，飞蠓的类型经网络解决。飞蠓的数据作为输入，飞

30、蠓的类型作为输出，研究输入作为输出，研究输入-输出的关系。输出的关系。产生训练集/测试集创建/训练BP网络创建/训练RBF网络创建/训练PNN网络仿真测试性能评价利用神经网络预测、分类的思路利用神经网络预测、分类的思路 样本有样本有15个，即个，即 , p=1,15; j=1, 2; 对应对应15个输出。个输出。 期望输出：期望输出： 当当t(1)=0.9 时表示属于时表示属于Apf类，类，t(2)=0.1表示表示属于属于Af类。类。 为什么不令为什么不令t(1)=1， t(2)=0作为期望输出？作为期望输出？ 隐含层采用隐含层采用S形函数，输入值接近无穷时，输出才为形函数，输入值接近无穷时，

31、输出才为0或或1。因此会导致权值因此会导致权值W趋于无穷。趋于无穷。 建模建模：（输入层，隐含层，输出层，每层的元素应取多少：（输入层，隐含层，输出层，每层的元素应取多少个？）个？） 建立神经网络（建立神经网络（2-2-1）总样本有15个: p =1.78,1.14,t =0.91p1t1, p2t2, pQtQ,11p =1.96,1.18,t =0.9221515p =2.08,1.56,t =0.1：随机选择训练样本，随机选择训练样本，测试样本测试样本Step 2Step 2：创建：创建BPBP神经网络神经网络(newff)(newff)1 1、结构：、结构：2-2-12-2-12、每个

32、神经元激活函数均为对数、每个神经元激活函数均为对数S形函数：形函数：Step 3Step 3 训练训练 traintrainStep 4Step 4 性能评价性能评价Step 5Step 5 进行分类，模型求解进行分类，模型求解 simsim3 3、采用、采用L-ML-M学习算法：学习算法：trainlmtrainlm产生训练集/测试集创建/训练BP网络创建/训练RBF网络创建/训练PNN网络仿真测试性能评价利用神经网络预测、分类的思路利用神经网络预测、分类的思路RBF神经网络结构神经网络结构 1X1XmXMNiy1yjyJwij输入层输入层隐含层（径向基层）隐含层（径向基层）输出层（线性层）

33、输出层（线性层）1X1XmXMNiy1yjyJwij输入层输入层隐含层（径向基层）隐含层（径向基层）输出层（线性层）输出层（线性层）RBF神经网络结构神经网络结构 中心、中心、方差方差 RBF神经网络的神经网络的MATLAB工具箱函数工具箱函数1、RBF网络的精确设计网络的精确设计 函数newrbe用于创建一个精确的RBF网络：隐含层神经元数目确定（与训练集样本数目相同），权值和阈值由线性方程组直接权值和阈值由线性方程组直接解出解出。其调用格式如下： net=newrbe(P,T,spread) P,T输入矢量、目标矢量。 spread扩展常数，缺省为1.相当于。 2、RBF网络的有效设计网络

34、的有效设计 newrb用迭代方法设计迭代方法设计RBF网络：隐含层神经隐含层神经元数目逐渐增加，每迭代一次就增加一个神经元，元数目逐渐增加，每迭代一次就增加一个神经元，直到平方和误差下降到目标误差以下或神经元个直到平方和误差下降到目标误差以下或神经元个数达到最大值时停止数达到最大值时停止。调用格式如下： net=newrb(P,T,goal,spread,mn,df) goal目标误差。 mn最大神经元个数；df迭代过程的显示频率。Spread值的选择值的选择 Spread值代表了径向基函数的宽度，表示的是值代表了径向基函数的宽度，表示的是RBF神经元能产生响应的范围神经元能产生响应的范围概率

35、神经网络概率神经网络概率神经网络通过训练集学习数据背后的统计规律-分布函数训练好以后的网络进行分类概率神经网络 许多研究已表明概率神经网络具有以下特性： (1)训练容易，收敛速度快，从而非常适用于实时处理； (2)可以完成任意的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接近； (3)各层神经元的数目比较固定，因而易于硬件实现； 这种网络已较广泛地应用于非线性滤波、模模式分类式分类、联想记忆和概率密度估计当中。PNN的matlab工具箱函数 函数newpnn用于创建一个PNN，其调用格式如下： Net=newpnn(P,T,spread) 其中，P为网络输入向量；T为网络目标向量；s

36、pread为径向基函数的扩展速度，默认值为0.1；net为创建好的PNN。这个调用函数包括了创建PNN网络和训练PNN网络两步，因此matlab中，PNN网络没有额外的训练函数。产生训练集/测试集创建/训练BP网络创建/训练RBF网络创建/训练PNN网络仿真测试性能评价利用有导师学习的神经网络预测、分类的思路p1t1,p2t2, pQtQ, 1 1、现给出一药品商店两年当中24个月的药品销售量（单位：箱）如下： 1856 1995 2220 2056 1123 1775 1900 1389 1609 1424 2276 1332 2056 2395 2600 2298 1634 1600 18

37、73 1487 1900 1500 2046 1556 要求用当前的所有数据预测下一个月的药品销售量。 练习练习问题分析问题分析 BP，RBF网络均可达到预测目的：用前三个月的销售量预测下一个月的销售量，也就是用1-3月的销售量预测第4个月的销售量，用2-4个月的销售量预测第5个月的销售量，如此循环下去，直到用9-11月预测12月份的销售量。这样训练BP神经网络后，就可以用10-12月的数据预测来年一月的销售量。2、 2000年全国竞赛A题 人类基因组计划中DNA全序列草图是由4个字符A，T，C，G按一定顺序排成的长约30亿的字符序列，其中没有“断句”也没有标点符号虽然人类对它知之甚少，但也发

38、现了其中的一些规律性和结构例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的目前在这项研究中最普通的思想是省略序列的某些细节，突出特征，然后将其表示成适当的数学对象作为研究DNA序列的结构的尝试，提出以下对序列集合进

39、行提出以下对序列集合进行分类的问题：分类的问题： 1）请从20个已知类别的人工制造的序列（其中序列标号110 为A类，1120为B类）中提取特征提取特征，构造分类方法构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类进行分类，把结果用序号（按从小到大的顺序）标明他们的类别（无法分类的不写入） 2）同样方法对182个自然DNA序列(他们都较长)进行分类分类，像1）一样地给出分类结果 已知的人工序列 1.aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacgga

40、ggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg 2.cggaggacaaacgggatggcggtattggaggtggcggactgttcggggaattattcggtttaaacgggacaaggaaggcggctggaacaaccggacggtggcagcaaagga 。 40.ccattagggtttatttacctgtttattttttcccgagaccttaggtttaccgtactttttaacggtttacctttgaaatttttggactagcttaccctggatttaacggccagttt 网络构建网

41、络构建：输入为特征，期望输出为类别：0.1或0.9网络的训练及检验：网络的训练及检验： 在已知类别序列120中,取A类前7个序列(17)和B类前7个序列(1117)作为训练集P_train,序列810、1820作为测试集P_test.对BP/RBF/PNN网络进行训练,给定样本总体误差标准为10(-5).当网络学习收敛于给定的标准后,用测试集进行分类检验,考察这三种网络性能优劣，选择性能最好的网络进行分类。网络进行分类网络进行分类 将标号2140的特征输入训练好的网络，输出即为类别无导师学习的神经网络 有导师学习的神经网络，样本中需要事先知道期望输出，当无法得到期望的输出时，基于有导师学习的N

42、N将无能为力。p1t1,p2t2, pQtQ,p1,p2,p3,68无导师学习的神经网络无导师学习的神经网络无导师学习：无导师学习：p1,p2,p3, 通过自动寻找样本中的内在规律和本质属性，通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织、自适应地改变网络参数与结构。分类分类分类是在类别知识等导师信号的指导下，分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。将待识别的输入模式分配到各自的模式类中去。聚类聚类无导师指导的分类称为聚类，聚类的目无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的是将相似的模式样本划归一类，而将不相似的分离开的分离开。竞争神经网络竞争神经网络所有输入节点到所有输出节点之间都有权值连接，而且在二维平面上的输出节点相互间也可能是局部连接的。而对改变节点竞争结果起决定作用的还是输入层的加权和，所以在判断竞争网络节点胜负的结果时，可忽略竞争层节点之间的权值连接。 在兴奋中心神经元C 周围 Nc 区域内的神经元都有不同程度的兴奋，而在 Nc以外的神经元都被迫处于抑制状态。这个 Nc区域可以具有正方形、六角形等形状，如图4.2所示。图图4.2 Nc(t)4.2 Nc(t)随时间变化及形状随时间变化及形状ijijjibWpn)()max