人工神经预测模型

3)3)研究人工神经网络模型对成绩预测的效果，建立人工神经预测模型，对铅球运动员的成绩进行评估和预测。结果表明：该模型克服了多元回归模型和灰色模型需要事先确定数学模型的缺点，更为准确地映射出运动员素质训练指标与专项运动成绩之间的函数关系，从而更精确地预测出铅球运动员的专项成绩。人工神经网络(ArtificialNeutralNetworks，简称ANN)是由大量

简单的基本元件——神经元相互连接，模拟人的大脑神经处理信

息的方式，进行信息并行处理和非线性转换的复杂网络系统。本

文通过相关分析，确定与运动员专项成绩高度相关的素质训练指

标。然后利用人工神经网络强大的函数映射能力，在不需要事先

确定预测模型的数学表达形式的条件下，通过神经网络对训练样

本的学习，建立起铅球运动员专项成绩模型的建立与实现，都是

借助MATLAB软件。其中的神经网络工具箱以人工神经网络理

论为基础，构造了网络分析和设计的许多工具函数。运用神经网

络工具箱进行预测研究，编程简便，预测过程易于实现。的预测模型。该模型如实反映了运动员专项成绩与素质训练指标

之间的映射关系，显示出很高的预测精度。BP神经网络算法原理BP网络模型处理信息的基本原理是：输入信号X.通过中间节点i(隐层点)作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t,网络k输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值W..和隐层节点与输出节点之间的联接强度.jT.k以及阈值，使误差沿梯度方向下降，经过反复学习训练，确jk定与最小误差相对应的网络参数(权值和阈值)，训练即告停止此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。一BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。节点输出模型隐节点输出模型：O.=f(》W..xX.-q.)(1)j.j.j输出节点输出模型：Yk=fQT.kxO.-q丿(2)kjkjkf-非线形作用函数；q-神经单元阈值。作用函数模型作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数：f(x)=1/(1+e-x)误差计算模型误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：E=1/2XE(t-O)2(4ppipi)t-i节点的期望输出值；0-i节点计算输出值。pipi自学习模型神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵W的设定和误差修正过程OBP网络有师学习方式-需要设定期ij望值和无师学习方式-只需输入模式之分。自学习模型为△W(n+l)=hXeXO+aXAW(n)ijijij(5)h-学习因子；e-输出节点i的计算误差；0-输出节点j的计ij算输出；a-动量因子。二BP网络模型的缺陷分析及优化策略学习因子h的优化采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。h=h+aX(E(n)-E(n-1))/E(n)a为调整步长，0~1之间取ppp值(6)隐层节点数的优化隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析法并进行参数的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死区（通常取±0.1、±0.05等区间）之中，则该节点可删除。最佳隐节点数L可参考下面公式计算：L=（m+n）1/2+c（7）m-输入节点数；n-输出节点数；c-介于1~10的常数。（3）输入和输出神经元的确定利用多元回归分析法对神经网络的输入参数进行处理，删除相关性强的输入参数，来减少输入节点数。（4）算法优化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。用基于生物免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA取代传统BP算法来克服此缺点BP神经网络优缺点之我见多层前向BP网络是目前应用最多的一种神经网络形式，但它也不是非常完美的，为了更好的理解应用神经网络进行问题求解，这里对它的优缺点展开讨论：多层前向BP网络的优点：网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；网络能通过学习带正确答案的实例集自动提取''合理的”求解规则，即具有自学习能力；网络具有一定的推广、概括能力。多层前向BP网络的问题：BP算法的学习速度很慢，其原因主要有：a由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现''锯齿形现象”，这使得BP算法低效；b存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；c为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。网络训练失败的可能性较大，其原因有：a从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；b网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题；新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓''过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。基于人工神经网络的学习成绩预测邱文教1，21.东南大学儿童发展与学习科学教育部重点实验室；2东南大学教务处，江苏南京210096)摘要准确预测大学生的学习成绩，对于提高学生学习成绩和提高教师教学质量具有重要意义。本文以前向神经网络为模型，采用Levenberg-Marquardt算法计算模型的最优权值，实现了大学生平时的行为对学习成绩影响的映射。实验基于800个学生样本，通过计算发现模型精度高达79.1％，本文提出的方法有效。关键词学习成绩预测；神经网络引言在校大学生学习成绩预测是指以单科学习情况为基本分析单元，在课程已经开始但尚未结束的过程中，根据学生的各种基本情况对其将要取得的成绩进行的评估［1］，其重要意义在于对学生和教师起到预警作用和采用有效的方法提高学习成绩［2］。影响大学生学习成绩的因素很多，而且各因素影响的程度也不同，传统的方法采用简单的线性模型来预测［3］，往往结果不尽如人意。若将模型本身视为黑箱，将影响学习成绩的因素视为黑箱输入，将学习成绩视为黑箱输出，则问题可以简化为黑箱的逼近［4］。考虑到神经网络可以任意精度逼近任意函数［5］，因此，本文采用神经网络实现预测。数据收集收集、描述数据是本文工作中相当重要的一部分。首先我们尽可能地找出影响学生成绩的所有因素，然后从学生角度出发，去除智力因素，将影响学生成绩的因素总结为以下9类：①课前预习时间；②上课集中听讲时间；③上课做笔记情况；④完成作业情况；⑤课后复习时间；⑥非学习性上网时间；⑦出勤情况；⑧平时作业得分；⑨一般听课位置。对某课程教学中的数据连续四年采集。另外，将各个因素采用“A、B、C”三个等级打分，意义列于表1。表1影响学习成绩的9个因素的等级意义因素等级A等级B等级C课前预习时间＞10分钟5-10分钟＜5分钟上课集中听讲时间＞30分钟15-30分钟＜15分钟上课做笔记情况总是做笔记偶尔做笔记从不做笔记完成作业情况当天完成滞后完成抄作业课后复习时间＞30分钟15-30分钟＜15分钟非学习性上网时间＜1小时1-2小时＞2小时出勤情况从不缺勤偶尔缺勤经常缺勤平时作业得分＞8060-8060一般听课位置靠前居中靠后对学生的学习成绩，按照期中考试与期末考试的加权平均，其中期中考试权重为30%,期末考试权重为70%。规定〉90为A等，70-90为B等，〈70为C等。人工神经网络概述人工神经网络以数学和物理方法为手段，以信息处理为解析角度，来对人脑的神经网络进行抽象，并建立某种简化模型[6]。网络结构考虑到该问题属于预测问题，因此可采用简单的双层前向神经网络求解。记网络的输入神经元个数为m,隐层神经元个数为n输出层神经元个数为q,则网络结构如图1所示。图1前向神经网络神经元数目由于在第0节中我们规定了影响学习成绩共有9个因素，因此m=9。另外，已经规定了输出的成绩分为A、B、C三个等级，因此q=3。然而，如何选则隐层节点数目n是个难题，采用一种基于信息熵的算法］7］，最终确定n=5，算法具体过程为：Step1将隐层神经元数目设置为充分大。Step2用给定样本集P训练网络，直到误差低于预设阈值。Step3将训练后的网络能够正确识别的样本，组成一个样本子集P'。Step4对网络输入P'，计算每个样本下每个隐层神经元的激活值Hij（i代表隐层神经元索引，j代表样本索引）。Step5将H沿每一行重新排序，得到排序后的隐层神经元激活矩阵H',记每行的排序映射为fi,拟映射为fi-1。Step6对H'的每行，分别假定一个切入点将该行分割成两块，计算分割后的信息增益矩阵N（N的列数二H的列数-1,N的行数二H的行数）。Step7选择N中的最大值Nmn,构建决策树的一个节点。Step8P'=P'-fm-1{H'm1，H'm2，„，H'mn}。Step9若P'=，则转Step10；否则转Step4。Step10搜索整个决策树，寻找所有重要节点。重要节点总数就是该网络的隐层神经元数。网络权值求解传统的求解网络权值的方法一般采用BP算法，然而BP算法收敛慢且容易陷入局部最优。究其原因为以下两点［8］：①传统的BP算法中学习速率无法很好设定。如果设置太高，则算法震荡变得不稳定；如果设置太低，算法需要花费过长的时间收敛。理论上在训练之前无法判断最优学习速率。②在训练过程的不同阶段，最优学习速率是变化的，因此用一个恒定的常量来描述学习速率必然导致算法性能下降。因此，本文采用Levenberg-Marquardt算法(LM),原理是采用拟牛顿法计算Hessian矩阵，收敛速度可以近似达到二阶［9］。实验实验在主频3GHz、内存2GB的IBM电脑上实现，采用的软件平台是Matlab2009b，并借助NeuralNetwork工具箱。实验数据共记录学生数800人，其中成绩A类348人，B类237人，C类215人。将其随机分为三部分［10］，各占原始数据的60％、20％、20％，称为训练子集、验证子集与测试子集。其中训练子集与验证子集用于交叉验证(cross-validation),测试子集用于最终的测试。收敛结果如图2所示。图2神经网络的收敛过程可见，LM算法在42代即收敛，仅花费了0.59s。同时，计算神经网络在训练子集、验证子集与测试子集的混淆矩阵，列于表2。表2混淆矩阵(a)训练子集(b)验证子集A(T)B(T)C(T)A(T)B(T)C(T)A(O)197320A(O)56190B(O)15869B(O)6219C(O)026115C(O)01336(c)测试子集(d)全部数据A(T)B(T)C(T)A(T)B(T)C(T)A(O)66150A(O)319660B(O)8166B(O)2912324C（O）0940C（O）04891可见，基于LM算法的神经网络能够很好地预测学生成绩，全部预测精度为79.1％，其中对训练子集的预测精度为82.9％，对验证子集的预测精度为70.6％，测试自己的预测精度为76.3%。另外，我们注意到，误差主要发生在“本应是B类但实际预测为A类或C类”，这是今后需要改进的地方。结论本文针对大学生成绩预测，采用神经网络模型，为了保证能够寻找到最优权值，采用了LM算法。对800个大学生的案例显示模型精度达到79.1%，令人满意。未来预测精度的提高，主要必须寻找更加全面的影响大学生成绩的因素，这可在教学过程中逐步完善。事实上，有些因素例如性格、智力、情商等对于学习成绩的影响可能更大，但这些因素很难精确测量，且后天难以改变，因此我们没有采用这些因素，这也会对预测精度造成影响。参考文献张兴科，王浩.通过数据挖掘技术预测学生学习成绩[J].科技信息.2007,22：43-102陈启山，李利.理解评估与成绩预测：两种不同的元理解监测形式[J].心理学报.2008,40(9)：961-968HairE,HalleT,Terry-HumenE,etal.Children‘sschoolreadinessintheECLS-K：Predictionstoacademic,health,andsocialoutcomesinfirstgrade[J].EarlyChildhoodResearchQuarterly,2006,21(4)：431-454TaylanO,KaragozogluB.Anadaptiveneuro-fuzzymodelforpredictionofstudent'sacademicperformance[J].Computers＆IndustrialEngineering.2009,57(3