实验1分类预测模型_神经网络.doc

学习资料收集于网络，仅供参考实验1分类预测模型神经网络一、 实验目的1. 了解和掌握神经网络的基本原理。2. 熟悉一些基本的建模仿真软件（比如SPSS、Matlab等）的操作和使用。3. 通过仿真实验，进一步理解和掌握神经网络的运行机制，以及其运用的场景，特别是在分类和预测中的应用。二、 实验环境PC机一台，SPSS、Matlab等软件平台。三、 理论分析神经网络起源于生物神经元的研究，其研究的主要对象是人脑。人脑是一个高度复杂的、非线性的、并行处理系统，其中大约有1011个称为神经元的微处理单元。这些神经元之间互相连接，连接数目高达1015.人脑具有联想、推理、判决、和决策的能力，对人脑活动机理的研究一直是一种挑战。通常认为，人脑智能的核心在于其连接机制，即有大量简单处理单元（神经元）的巧妙连接，使得人脑称为一个高度复杂的大规模非线性自适应系统。人工神经网络（Artificial Neural Network, ANN）是一种人脑的抽象计算模型，是一种人脑思维的计算机建模方式。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则跟据网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络需要很长的训练时间，对于足够长的训练时间的应用更合适。同时，还需要大量的参数，通常主要靠经验确定，如网络拓扑或结构。神经网络常常因其可解释性差而受到批评。例如，人们很难解释网络中学习的权重和“隐藏单元”的符号含义。然而，神经网络的优点包括其对噪声数据的高承受能力，以及对未经训练的数据的模式分类能力。因此，在缺乏属性与分类之间联系的知识时，仍然可以使用神经网络。而且，神经网络非常适合连续值的输入和输出，这是大多数决策树算法所不能比拟的。神经网络的算法是固有并行的，我们可以使用并行技术加快计算过程。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征： （1）非线性。非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性。一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。（3）非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 （4）非凸性。一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。 人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。鉴于本实验采用BP神经网络进行分类和预测，下面将重点简绍，首先我们来明确一些概念：输入单元：输入层的单元输出单元：隐藏层和输出层的单元网络层数：隐藏层和输出层的总数前馈：如果网络的权重不回送到输入单元，或前一层的输出单元。全连接：如果每个单元都向下一层的每个单元提供输入。后向传播：迭代地处理训练元组训练集，将每个元组的网络预测与实际已知的目标值比较。目标值可以是训练元组的已知类标号（对于分类标号）或连续值（对于预测）。对于每个训练样本，修改权重使网络预测和实际目标值之间的均方误差最小。这种修改“后向”进行，即由输出层，经由每个隐藏层，到第一个隐藏层。如图1所示，该多层前馈神经网络由一个输入层、一个隐藏层、一个输出层组成。x1x2x3xn1j2j1jnjOjjkOk输入层隐藏层输出层图1 BP神经网络神经网络计算步骤：（1） 初始化权重：网络的初始化为很小的随机数（例如，由-1.01.0，或由-0.50.5）。每个单元有一个偏倚（bias），下面解释。偏倚也类似的初始化为小随机数。y11jf输出偏倚jy22jynnj。输入（上一层的输出）加权和激励函数图2 一个隐藏层或输出层单元（2） 向前传输输入：首先，训练元组提供给网络的输入层。输入通过输入单元，不发生变化。也就是说，对于输入单元j，他的输出 Oj等于他的输入值 Ij 的响应。然后，计算隐藏层和输出层每个单元的净输入和输出。以图2为例：图中给出了一个隐藏层或输出层单元。事实上，每个单元有许多输入，是连接它的上一层各单元的输出。每个连接都有一个权重。为计算该单元的净输入，连接该单元的每个输入都乘以其对应的权重，然后求和。给定隐藏层或输出单元j，到单元j的净输入 Ij 是： (1-1)其中，ij是由上一层单元i到单元j的连接的权重；Oi是上一层的单元i的输出；而j是单元j的偏倚。偏倚充当阀值，用来改变单元的活性。隐藏层和输出层的每个单元取其净输入，然后以激励函数作用于它，如图2所示。该函数符号表现了单元代表的神经元活性。若使用逻辑斯谛（logistic）或S形（sigmoid）函数。给定单元j的净输入 Ij，则单元j的输出Oj用下式计算： (1-2)该函数又称挤压函数，因为它将一个较大的输入值域映射到较小的区间01。逻辑斯谛函数是非线性的和可微的，使得后向传播算法可以对非线性可分的分类问题建模。对于每个隐藏层，直到最后一个隐藏层，计算输出Oj，给出网络预测。实际上，由于在向后传播误差时还需要这些中间输出值，存放每个单元的中间输出值可以显著地降低所需要的计算量。（3） 后向传播误差：通过更新权重和反应网络预测误差的偏倚，向后传播误差。对于输出层单元j，误差用下式计算 (1-3)其中，Oj是单元j的实际输出，而Tj是j基于给定元组的已知目标值。为计算隐藏层单元j的误差，考虑下一层中连接到j的单元的误差加权和。隐藏层j的误差是 (1-4)其中，是由下一较高层中单元k到单元j的连接权重，而是单元k的误差。更新权重和偏倚，以反映传播误差。权重由下式更新，其中，是权的改变。变量l是学习率，通常取0.01.0之间的常数值。学习率帮助避免陷入决策空间的局部极小，并有助于找到全剧最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。一个经验法则是将学习率设置为1/t,t是当前训练集迭代的次数。 (1-5) =+ (1-6)偏倚的更新由下式更新。其中，是偏倚的改变。 (1-7) (1-8)（4） 终止条件：如果满足以下条件之一，则训练停止。前一周期所有的都小于某个指定的阀值。前一周期误分类的元组百分比小于某个阀值。超过预先给定的周期数。实践中，权重收敛可能需要数十万个周期。四、 实验案例与分析1. BP算法的基本思想学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐藏层逐层处理后，传出输出层。若输出层的实际输出与期望输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐藏层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程是周而复始地进行的。权值不断调整的过程也就是网络的学习过程。2. 软件基本操作说明（1）. 模型参数设置对话框如图3-1所示，具体参数含义如下：使用分区数据：选中表示利用Partion变量将样本集分割后，只在训练样本集中建立模型，利用检验样本集计算模型误差。方法：Clementine提供了几种网络训练算法：快速训练法，动态增补法，多层训练法，动态削减法，径向基函数网络。预防过度训练：选中表示在样本集中再随机抽取指定比例的样本训练模型，以克服过度拟合问题。如果希望样本重复出现，应选中设置随机种子项。停止：用来指定迭代停止的条件。其中，“默认”表示Clementine自动决定迭代终止条件，也可以手动指定停止条件：准确性、周期、时间。优化：表示计算过程中内存利用策略。“速度”和“内存”分别表示计算过程中是否将中间计算结果临时存入磁盘，前者存放，效率较高；后者不存，效率较低。图3-1模型参数设置对话框（2）. 选项卡设置对话框如图3-2所示，具体参数含义如下：继续训练现有模型：通常情况下，每次运行节点后都会得到一个完整的神经网络模型。选中该项表示继续运行上次没有运行完成的模型。使用二进制编码：选中表示分类型输入变量转换处理时，采用二进制编码策略减少输入变量个数。显示反馈图形：选中表示模型训练过程中绘制预测精度曲线图以跟踪模型训练效果。模型选择：“使用最佳网络”表示最终选取一个预测精度最理想的模型；“使用最终网络”表示根据用户指定条件结束迭代得到的模型，该模型不一定是最优模型。生成日志文件：选中表示将模型训练过程的误差数据保存到磁盘上，还应指定一个文件名。图3-2选项卡设置对话框（3）. 专家选项卡对话框如图3-3所示，具体参数含义如下：简单：表示初始初始网络依据Clementine的默认设置。专家：表示自行设置网络结构。其中，隐藏层选项中可以选择1、2、3层，同时还可以选择隐藏层所包含的隐节点个数。“持续次数”表示当模型预测精度不能继续得到明显改善时仍持续学习的周期数。学习率：其中，Alpha表示指定冲量项；Eta表示学习率。用户可以根据需要，指定学习率的初始值、最小值、最大值和衰减量。图3-3专家选项卡wt=X+w(t-1)X：输入向量W：某层权矩阵：动量系数。反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可以减少震荡趋势，提高训练速度。（4）. 模型的计算结果如图3-4所示：模型的预测精度是88.298% ，是基于训练样本集计算的。模型的分析准确性是93.0% ，是基于测试样本集计算的。图3-4模型的计算结果3. 利用Clementine 12.0进行建模（1）. 数据准备某药品的使用数据如表1所示，我们拟采用神经网络进行建模，针对病人的生理指标状况来选择不同的药品进行治疗。据临床分析，影响该药物的使用，可能有性别、年龄、血压、胆固醇、钠钾比等。表1.药品使用数据（2）. 模型的建立图3-5建立模型（3）. 结果分析A. 输入单元个数：离散值+连续值(1.若离散值=2，则只需1个输入单元表示；若离散值N2，则需N个输入单元表示(二进制编码条件下，只需要log2(N+1)个输入单元)。2.每个连续值对应一个输入单元。)图3-6变量重要性B. 由图3-6的结果可