实验1分类预测模型-神经网络

试验1分类预料模型一一神经网络

一、试验目的

1.了解和驾驭神经网络的基本原理。

2.熟识一些基本的建仿照真软件（比如SPSS、Mallab等）的操作和运用。

3.通过仿真试验，进一步理解和驾驭神经网络的运行机制，以及其运用的场景，特殊是在

分类和预料中的应用，

二、试验环境

PC机一台,SPSS、Matlab等软件平台。

三、理论分析

神经网络起源于生物神经元的探讨，其探讨的主要龙象是人脑。人脑是一个高度困难的、

非线性的、并行处理系统，其中大约有10”个称为神经元的微处理单元。这些神经元之间相

互连接，连接数目高达1V.人脑具有联想、推理、判决、和决策的实力，对人脑活动机理

的探讨始终是一种挑战。通常认为，人脑智能的核心在于其连接机制，即有大量简洁处理单

元（神经元）的奇妙连接，使得人脑称为一个高度困难的大规模非线性自适应系统。人工神

经网络（ArtificialNeuralNetwork,ANN）是一种人脑的抽象计算模型,是一种人脑思维

的计算机建模方式.

神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节

点代表一种特定的输出函数，称为激励函数（activationfunction）o每两个节点间的连

接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

网络的输出则跟据网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是

对自然界某种算法或者函数的靠近，也可能是对一种逻辑策略的表达。

神经网络须要很长的训练时间，对于足够长的训练时间的应用更合适。同时，还须要大

量的参数，通常主要靠阅历确定，如网络拓扑或结构。神经网络常常因其可说明性差而受到

指责。例如，人们很难说明网络中学习的权重和“隐藏单元”的符号含义。

然而，神经网络的优点包括其对噪声数据的高承受实力，以及对未经训练的数据的模式

分类实力。因此，在缺乏属性与分类之间联系的学问时，仍旧可以运用神经网络。而且，神

经网络特别适合连续值的输入和输出，这是大多数决策树算法所不能比拟的。神经网络的算

法是固有并行的，我们可以运用并行技术加快计算过程。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是

在现代神经科学探讨成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信

息的方式进行信息处理。人工神经网络具有四个基本特征：

（1）非线性。非线性关系是自然界的普遍特性，大脑的才智就是一种非线性现

象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线

性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性。一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为

不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所确定。通

过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）特别定性。人工神经网络具有自适应、自组织、自学习实力。神经网络不但处理

的信息可以有各种变更，而且在处理信息的同时，非线性动力系统本身也在不断变更。常常

采纳迭代过程描写动力系统的演化过程。

（4）非凸性。一个系统的演化方向，在肯定条件下将取决于某个特定的状态函数。例

如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系

统具有多个较稳定的平衡态，这将导致系统演化的多样性。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一

些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输

入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入

和输出单元之间，不能由系统外部视察的单元。神经元间的连接权值反映了单元间的连接强

度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是•种非程序化、

适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布

式的信息处理功能，并在不同程度和层次上仿照人脑神经系统的信息处理功能。它是涉及神

经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。

人工神经网络是并行分布式系统，采纳了与传统人工智能和信息处理技术完全不同的机

理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自

适应、自组织和实时学习的特点。

鉴于本试验采纳BP神经网络进行分类和预料，下面将重点简绍，首先我们来明确一些

概念：

输入单元：输入层的单元

输出单元：隐藏层和输出层的单元

网络层数：隐藏层和输出层的总数

前馈：假如网络的权重不回送到输入单元，或前一层的输出单元。

全连接：假如每个单元都向下一层的每个单元供应输入。

后向传播：迭代地处理训练元组训练集，将每个元组的网络预料与实际已知的目标值比

较。目标值可以是训练元处的已知类标号（对于分类标号）或连续值（对于预料）。对于每

个训练样本，修改权重使网络预料和实际目标值之间的均方误差最小。这种修改“后向”进

行，即由输出层，经由每个隐藏层，到第一个隐藏层。

如图I所示，该多层前馈神经网络由一个输入层、一个隐藏层、一个输出层组成。

输入层隐藏层输出层

图1BP神经网络

神经网络计算步骤：

（1）初始化权重：网络的初始化为很小的随机数（例如，由或由

-0.5-0.5）o每个单元有一个偏倚（bias）,下面说明。偏倚也类似的初始化为小

随机数。

＞输出

输入加权和激励函数

（上一层的输出）

图2一个隐藏层或输出层单元

（2）向前传输输入：首先，训练元组供应应网络的输入层。输入通过输入单元,

不发生变更。也就是说，对于输入单元j，他的输出等于他的输入值L的响应。

然后，计算隐藏层和输出层每个单元的净输入和输出。以图2为例：图中给出了一

个隐藏层或输出层单元。事实上，每个单元有很多输入，是连接它的上一层各单元

的输出。每个连接都有一个权重。为计算该单元的净输入，连接该单元的每个输入

都乘以其对应的权重，然后求和。给定隐藏层或输出单元j,到单元j的净输入L

是：

(IT)

i

其中，⑼堤由上一层单元i到单元j的连接的权重；6是上一层的单元i的输

出；而也是单元j的偏倚。偏倚充当阀值，用来变更单元的活性。

隐藏层和输出层的每个单元取其净输入，然后以激励函数作用于它，如图2

所示。该函数符号表现了单元代表的神经元活性。若运用逻辑斯谛(logistic)或

S形(sigmoid)函数。给定单元j的净输入I,则单元j的输出°j用下式计算：

。尸」^(1-2)

'1+P

该函数又称挤压函数，因为它将一个较大的输入值域映射到较小的区间0~1。逻辑

斯谛函数是非线性的和可微的，使得后向传播算法可以对非线性可分的分类问题建

模。

对于每个隐藏层，直到最终一个隐藏层，计算输出给出网络预料。事实上,

由于在向后传播误差时还须要这些中间输出值,存放每个单元的中间输出值可以显

著地降低所须要的计算量。

(3)后向传播误差：通过更新权重和反应网络预料误差的偏倚，向后传播误差。

对于输出层单元j,误差日,用下式计算

皿=0,(1-。/)仍-0)(1-3)

其中,5是单元j的实际输出.而“是j基干给定元组的已知目标值.

为计算隐藏层单元j的误差，考虑下一层中连接到j的单元的误差加权和。隐

藏层j的误差是

Ebj=。)(1一O’.)ZErr/5(1-4)

k

其中，1%是由下一较高层中单元k到单元j的连接权重，而后”是单元k的误

差。

更新权重和偏倚，以反映传播误差。权重由下式更新，其中，△叱,是权”/的变

更。变量1是学习率，通常取0.0~1.0之间的常数值。学习率帮助避开陷入决策空

间的局部微小，并有助于找到全剧最小。假如学习率太小，学习将进行得很慢。假

如学习率太大，可能出现在不适当的解之间摇摆。一个阅历法则是将学习率设置为

1/t,t是当前训练集迭代的次数。

△吗?=(/)£>,Q(1-5)

(1-6)

偏倚的更新由下式更新。其中，A0,是偏倚斗的变更。

△4=(/)£勺(1-7)

0-=6-+\0-(1-8)

(4)终止条件：假如满意以下条件之一，则训练停止。

①前一周期全部的△叱,都小于某个指定的阀值。

②前一周期误分类的元组百分比小于某个阀值。

③超过预先给定的周期数。

实践中，权重收敛可能须要数十万个周期。

四、试验案例与分析

1.BP算法的基本思想

学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本

从输入层传入，经各隐藏层逐层处理后，传出输出层,若输出层的实际输出与期望输出不

符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐藏层向输入层

逐层反传，并将误差分摊给各层的全部单元，从而获得各层单元的误差信号，此误差信号

即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程是

周而复始地进行的。权值不断调整的过程也就是网络的学习过程。

2.软件基本操作说明

(1).模型参数设置对话框如图3-1所示，详细参数含义如下：

运用分区数据：选中表示利用Partion变量将样本集分割后，只在训练样本集中建立模型，

利用检验样本集计算模型误差。

方法：Clementine供应了几种网络训练算法：快速训练法，动态增补法，多层训练法，动态

削减法，径向基函数网络。

预防过度训练：选中表示在样本集中再随机抽取指定比例的样本训练模型，以克服过度拟

合问题。假如希望样本重复出现，应选中设置随机种子项。

停止：用来指定迭代停止的条件。其中，“默认”表示Clementine自动确定迭代终止条件,

也可以手动指定停止条件：精确性、周期、时间。

优化：表示计算过程中内存利用策略。“速度"和''内存”分别表示计算过程中是否将中

间计算结果临时存入磁盘，前者存放，效率较高；后者不存，效率较低。

图3-1模型参数设置史话框

（2）.选项卡设置对话框如图3-2所示，详细参数含义如下：

接着训练现有模型：通常状况下，每次运行节点后都会得到一个完整的神经网络模型。选

中该项表示接着运行上次没有运行完成的模型。

运用二进制编码：选中表示分类型输入变量转换处理时，采纳二进制编码策略削减输入变

量个数。

显示反馈图形：选中表示模型训练过程中绘制预料精度曲线图以跟踪模型训练效果。

模型选择：“运用最但网络”表示最终选取一个预料精度最志向的模型；“运用最终网络”

表示依据用户指定条件结束迭代得到的模型，该模型不肯定是最优模型。

生成n志文件：选中表示将模型训练过程的误差数据保存到磁盘上，还应指定一个文件名。

图3-2选项卡设置对话框

（3）.专家选项卡对话框如图3-3所示，详细参数含义如下：

简洁：表示初始初始网络依据Clementine的默认设置。

专家：表示自行设置网络结构。其中，隐藏层选项中可以选择1、2、3层，同时还可

以选择隐藏层所包含的隐节点个数。“持续次数”表示当模型预料精度不能接着得到

明显改善时仍持续学习的周期数。

学习率：其中，Alpha表示指定冲量项；Eta表示学习率。用户可以依据须要，指定学

习率的初始值、最小值、最大值和衰减量。

图3-3专家选项卡

Vw(t)=q6X+aVw(t-1)

X：输入向量

W：某层权矩阵

«:动量系数。反映了以前积累的调整阅历，对于t时刻的调整起阻尼作用。当误差曲面出现隧

然起伏时，可以削减震荡趋势，提高训练速度。

(4).模型的计算结果如图3-4所示：

模型的预料精度是88.298%,是基于训练样本集计算的。

模型的分析精确性是93.0%,是基于测试样本集计算的。

♦神经网络

I2文件⑥生成/视图酶|

称折叠全部的展开全部

b分析

估计的准确性:88.298

•输入层了个神经元

隐藏层1：3个神经元

输出层：5个神经元

B&DRUG1n的分析（2012-5-421:44:13）

记录数200

:分析准确性：93.0%

a字段

3目标

Dg

\nJ

白e

夕Age

seax

ex®-

夕Nt

chop

£B

以构建设置

使用分区数据:假

计篁变量重要性:其

计菖原始的趋向得分:假

计篁调整倾向得分:假

・一方法:快速

停止准确性（%）

准确性%:90.0

设置随机数种子:假

预防过度训练:真

样本%：50.0

…优化:速度

模式:简单

模型汇总设置注解

图3-4模型的计算结果

3.利用Clementine12.0进行建模

（1）.数据打算

某药品的运用数据如表।所示，我们拟采纳神经网络进行建模，针对病人的生理指标

状况来选择不同的药品进行治疗。据临床分析，影响该药物的运用，可能有性别、年龄、

血压、胆固醇、钠钾比等。

No.AgeSe.xBPholesteroNaKDrug

123FHIGHHIGH0.7925350.031258drugY

247MLOWHIGH0.7393090.056468drugC

347MLOWHIGH0.6972690.068944drugC

128FNORMALHIGH0.5636820.072289drugX

561FLOWHIGH0.5592940.030998drugY

622FNORMALHIGH0.6769010.078647drugX

749FNORMALHIGH0.7896370.048518drugY

841MLOWHIGH0.7666350.069461drugC

960MNORMALHIGH0.7772050.05123drugY

1043MLOWNORMAL0.5261020.027164drugY

表1.药品运用数据

（2）.模型的建立

♦yj_drugleatn_Classification»-Clementine12.0D|X

文件用辐抽入视用工具起节.430毡助

^Clementine'

流Iam

Q9间4

CRISP-DM

俅厨

砒

商

®业

②数

数

®18菇

述

0模

评

②估

者

a部

G收喙央•通|•蚪裁11•手段选项|▲酬］•建桢।■.出］■导出］

国画图囹豳画画

»H*义*篇MB力析SMKH8n>®箱&&a金历・SPSS*出

“---->1

□服务图本地服务器|［T101MB/156MB

图3-5建立模型

（3）.结果分析

A.输入单元个数：离散值+连续值（1.若离散值=2,则只需1个输入单元表示；若离散值N>2,

则需N个输入单元表示（二进制编码条件下，只须要logKN+l）个输入单元晨2.每个连续值

对应一个输入单元。）

日&分析

估计的准确性：97.143

输入层7个神经元

隐藏层1:4个神经元

隐藏层2：8个神经元

隐藏层3：5个神经元

输出层：5个神经元

白》字段

01^目标

ADrug

白&•输入

p夕Age

OdSex

£Na_to_K

…晶BP

。与Cholesterol

图3-6变量重要性

B.由图3-6的结果可知，钠钾比是最重要的指标，其余依次为血压、胆固醉、年龄、性别。

c.一般而言，训练样本坤加，分类预料正确率也会增加，结果中可查看停止缘由：精确性、

周期、时间，本试验以精确性标准执行，其余指标设定见图3-7。

日②构建设置

k使用分区数据:假

5…计免变量重要性:真

计更原始的趋向得分:假

计算调整倾向得分:假

…方法:快速

停止:准确性(%)

卜准确性%:100.0

设置随机数种子:假

预防过度训练:其

•样本%：50.0

•优化:速度

•…模式:专家

J隐藏层:三

，层1：4

.层2：8

•层3：5

k持球次数：200

Alpha:0.9

初始Eta:0.3

高日a:0.1

LEta衰减：30

」.低Eta:0.01

B-&训练汇总

h篁法:神经网络

:模型类型:分类

图3-7模型分析结果

D.设置精确性=100与,则可视察最佳预料精确性，可知该模型的最佳预料精确度为92.94$。

图3-8建模过程的反馈图

E.在建好的模型中，选口置信度选项，即可在输出的表格中查看预料的药品种类以及对应的

置信度。详细设置方法见图3-9和预料结果见表2o

♦神经网络

12文件。生成一视图画叵］回

国计算置信度

使用方法计算置信度：

◎差OSoftMax

□为此模型生成SQL

模型汇汇总总设设置注注解解

।确定1［取消］［颐］置

图3-8设置置信度

No.A^eSexBPChole