Modeler分类预测神经网络算法专家讲座

分类预测：人工神经网络

Modeler分类预测神经网络算法专家讲座第1页什么是人工神经网络神经网络起源于生物神经元研究，其研究主要对象是人脑人脑是一个高度复杂、非线性、并行处理系统，其中大约有1011个称为神经元微处理单元。这些神经元之间相互连接，连接数目高达1015

人脑含有联想、推理、判断和决议能力，对人脑活动机理研究一直是一个挑战人脑智能关键在于其连接机制，即因为大量简单处理单元（神经元）巧妙连接，使得人脑成为一个高度复杂大规模非线性自适应系统Modeler分类预测神经网络算法专家讲座第2页什么是人工神经网络人工神经网络（ArtificialNeuralNetwork,ANN）是一个人脑抽象计算模型经过计算机程序实现对人脑系统模拟，形成类似于生物神经元处理单元，并希望经过这些处理单元有机连接，处理现实世界模式识别、联想记忆、优化计算等复杂问题人工神经网络主要应用于分类预测和聚类方面Modeler分类预测神经网络算法专家讲座第3页人工神经网络算法概述人工神经网络组成：由相互连接神经元，也称处理单元（ProcessingElement）组成。处理单元也称结点（Node）处理单元之间连接称为边，反应了各处理单元之间关联性关联性强弱表达在边权值上Modeler分类预测神经网络算法专家讲座第4页人工神经网络算法概述人工神经网络种类：从拓扑结构角度划分：网络层数：两层神经网络、三层神经网络和多层神经网络结点作用结点个数Modeler分类预测神经网络算法专家讲座第5页人工神经网络算法概述人工神经网络种类：从连接方式角度划分：层间连接前馈式神经网络：连接是单向，上层结点输出是下层结点输入。B-P、Kohonen反馈式神经网络：除单向连接外，输出结点输出又作为输入结点输入。Hopfield层内连接方式是指神经网络同层结点之间相互连接，如Kohonen网络人工神经网络种类：从学习方式角度划分：感知机：采取有指导学习方法认知机：采取无指导学习方法Modeler分类预测神经网络算法专家讲座第6页人工神经网络中结点和意义接收上层结点输出作为本结点输入，对输入进行计算后给出本结点输出加法器：激活函数：Modeler分类预测神经网络算法专家讲座第7页人工神经网络中结点和意义各种激活函数：Modeler分类预测神经网络算法专家讲座第8页人工神经网络中结点和意义3，4，5处理单元偏差为0，激活函数为(0,1)型Sigmoid函数：结点3：U为：1×0.2＋0.5×0.5=0.45，激活函数值为：y1=f(0.45)＝0.61结点4：U为：1×(－0.6)＋0.5×(－1.0)=－1.1，激活函数值为：y2=f(－1.1)＝0.25结点5：U为：0.61×1.0＋0.25×(－0.5)=0.735，激活函数值为：y3=f(0.735)＝0.68Modeler分类预测神经网络算法专家讲座第9页人工神经网络中结点和意义在加法器和激活函数共同作用下，结点起到了一个超平面作用

第一，怎样定位一个超平面

第二，假如n维空间中样本点线性不可分将会怎样

Modeler分类预测神经网络算法专家讲座第10页人工神经网络建立普通步骤

数据准备数值型变量数据标准化处理

[0，1]分类型变量网络结构确实定隐层层数和各隐层中隐结点个数决定复杂度

网络结构不一定在模型建立之前就完全确定

有4、5、6个类别分类变量都只需要3个变量即可

Modeler分类预测神经网络算法专家讲座第11页人工神经网络建立普通步骤

网络权值确实定第一，初始化网络权值：默认为来自均值为0，取值范围在－0.5至0.5之间正态分布随机数

0附近、随机数、小区间第二，计算各处理单元加法器和激活函数值，得到样本分类预测值第三，比较样本预测值与实际值并计算误差，依据误差值重新调整各网络权值第四，返回到第二步

Modeler分类预测神经网络算法专家讲座第12页感知机B-P反向传输网络是一个前馈式、多层、感知机网络每个样本都会提供关于输入输出变量数量关系信息，应依次向每个样本学习，并依据误差调整网络权值Modeler分类预测神经网络算法专家讲座第13页第一，0时刻，初始化各个网络权值和输出结点偏差第二，输入训练样本，t时刻：X=(X1(t),X2(t),…Xn(t))第三，计算输出结点预测值，t时刻当输出变量为数值型采取Sigmoid函数，为分类时普通采取[0,1]阶跃函数

感知机训练步骤Modeler分类预测神经网络算法专家讲座第14页第四，计算输出结点期望值与预测值误差，t时刻：对于二分类输出变量，错判为0则为1，错判为1则为－1第五，调整第i个输入结点和第j个输出结点之间网络权值和偏差第六，判断是否满足迭代终止条件。假如没有满足，则重新回到第二步delta规则

感知机训练步骤冲量学习率Modeler分类预测神经网络算法专家讲座第15页设

为1，

为0.1，

为0，激活函数f=U

Modeler分类预测神经网络算法专家讲座第16页B-P反向传输网络特点：激活函数采取Sigmoid函数、包含隐层、反向传输隐层作用：实现非线性样本线性化转化

Modeler分类预测神经网络算法专家讲座第17页B-P反向传输网络反向传输：正向传输：样本信息从输入层开始，由上至下逐层被隐结点计算处理，上层结点输出为下层结点输入，最终被传输到输出层结点并得到预测结果。传输期间全部网络权值保持不变反向传输：误差又被逐层反方向传回给输入结点。传输期间全部网络权值均得到调整。这种正向传输和反向传输过程将不停重复，直到满足终止条件为止Modeler分类预测神经网络算法专家讲座第18页反向传输算法计算某输出节点预测误差：输出节点总误差：找到误差函数下降最快方向和最大值

假如t时刻权值W偏导数存在，则W轴上方向导数就是误差函数对W偏导。因为Sigmoid激活函数处处可微，满足该条件。Modeler分类预测神经网络算法专家讲座第19页反向传输算法结点j局部梯度

第l隐层第j个结点，局部梯度定义为输出误差经过神经网络依次反向传递，并计算每个结点局部梯度

Modeler分类预测神经网络算法专家讲座第20页网络结构确实定

采取经验值法快速（Quick）训练法，只包含一个隐层，隐结点数默认为

多层训练法

动态调整法：动态削剪法

动态增补法

B-P反向传输网络：其它问题Modeler分类预测神经网络算法专家讲座第21页学习率

和冲量项

冲量项

加紧学习过程，甚至能够远离开平坦区域，通常该值经验值为0.9

B-P反向传输网络：其它问题Modeler分类预测神经网络算法专家讲座第22页敏感性分析敏感性分析目标是要得到各输入变量对输出变量敏感性系数，以及敏感性系数排序结果基于网络权值Tchaban算法:权积(WeightProduct)法：输入变量xi对输出变量y

k敏感性系数定义为B-P反向传输网络：其它问题Modeler分类预测神经网络算法专家讲座第23页基本模型调整模型：UsebinarysetencodingNeuralNetExpert卡，选择Expert选项自行设置网络结构。如1个隐层，10个隐结点，在预测精度没有显著改进时依然连续训练100周期等B-P反向传输网络应用示例对客户流失建立预测模型

Modeler分类预测神经网络算法专家讲座第24页径向基函数网络径向基函数（RadicalBasicFunction,RBF）网络是一个前馈式网络，Moody和Darken在1988年提出。径向基函数网络特点：径向基函数网络是三层网络结构隐结点采取径向基函数（因而得名径向基函数网络），输出结点采取线性加法器和Sigmoid激活函数径向基函数网络输入层和隐层之间网络权值固定为1，只有隐层和输出层之间网络权值需在学习过程调整，所以学习效率相对要高。Modeler分类预测神经网络算法专家讲座第25页径向基函数网络隐结点：径向基函数通常定义为空间中任意一点x到某个中心xc之间欧氏距离单调函数，记为ker(||x－xc||)径向基函数网络中隐结点采取是高斯核函数xc称为核函数中心，

称为宽度，

h称为径向覆盖长度关键是核中心xc和宽度

预计隐结点为非线性函数，实现了输入层到隐层非线性映射Modeler分类预测神经网络算法专家讲座第26页径向基函数网络输出结点：输出结点输入，是