神经网络专业知识讲座

第五章类神经网络1.第1页什么是类神经网络类神经网络（NeuralNetwork，NN）类似人类神经构造，是“一种基于脑与神经系统研究，所启发信息处理技术”。它具有人脑功能基本特性：学习、记忆和归纳。神经网络中几个术语：树突(Dendrites)：神经元中负责把神经脉冲传递至细胞体神经纤维。神经核(soma)：神经元中央处理部位。轴突(Axon)：神经元中负责把神经脉冲从细胞体往外传递神经纤维。突触(Synapse)：神经元之间连结机制。2.第2页32023/10/10类神经网络，类似人类神经元构造。神经元主要功能是接收刺激和传递信息。神经元通过传入神经接收来自体内外环境变化刺激信息，并对这些信息加以分析、综合和储存，再通过传出神经把指令传到所支配器官和组织，产生调整和控制效应。.第3页42023/10/10yVj.第4页5类神经网络和回归分析不一样，没有任何假设概率分布，是模式识别和误差最小化过程，在每一次经验中提取和学习信息。类神经网络能够处理连续型和类别型数据，对数据进行预测。神经网络是有监督学习。神经网络特点：.第5页.第6页.第7页什么是后向传输？后向传输是一种按误差逆传输算法训练多层前馈网络学习算法。这个神经网络包括输入层、隐藏层和输出层。这种学习算法下神经网络是一组连接输入/输出单元，其中每个连接都与一种权相连。它学习规则是使用最速下降法，按照误差纠正规则反向传输来不停调整网络权值和阈值，使网络误差平方和最小，从而使得能够预测输入样本正确类标号。前向传输：在前向传输过程中，神经网络中所有突触权重都是固定不变。8.第8页不一样信息流向造成不一样类型网络，可辨别为”前馈神经网络”（feedforwardneuralnetwork）和”反馈式神经网络”（feedbackneuralnetwork）。9什么是前馈神经网络：.第9页前馈神经网络是指信息只朝一种方向流动，也就是数据在神经元之间流动方向是单向，没有循环。这种网络而在分类过程中数据只能向前传送，直到达到输出层，层间没有向后反馈信号，因此被称为前馈网络。后向传输是在多层前馈神经网络上学习。10.第10页反馈式神经网络是指数据在神经元之间流动方向是双向关系，神经元会输出到其他所有神经元，也会接收其他神经元输出成为输入。11什么是反馈式神经网络？.第11页什么是自组织网络(SOM,Self-OrganizingNeuralNetworks)自组织神经网络是一种无监督学习网络。它通过自动寻找样本中内在规律和本质属性，自组织、自适应地变化网络参数与构造。12.第12页13类神经网络分为输入层、输出层和隐藏层，三层连结形成一种神经网络。输入层只从外部环境接收信息，该层每个神经元相称于自变量，不完成任何计算，只为下一层传递信息。输出层生成最后止果，为网络送给外部系统成果值。什么是层？.第13页14隐藏层介于输入层和输出层之间，这些层完全用于分析，其函数联系输入层变量和输出层变量，使其更拟合(fit)资料。隐藏层功能主要是增加类神经网络复杂性，以能够模拟复杂非线性关系。隐藏层多少要合适，过多容易过度拟合。一层加权神经元网络称单层感知器，多层加权神经元网络称多层感知器（multi-layerperceptrons）。.第14页一种输出元两层神经网络15神经网络形式：.第15页16一种输出元三层神经网络.第16页多种输出元三层神经网络17.第17页三、神经元构造18一种神经元j，有阈值，从上一层连接神经元得到n个输入变量X，每个输入变量附加一种链接权重w。输入变量将根据不一样权重加以合并（一般是加权总和），链接成组合函数（combinationfunction），组合函数值称为电位（potential）；然后，启动（转换、激活、赋活)函数（activationfunction）将电位转换成输出信号。.第18页n表达变量个数Oi表达第i个输入值(X)Wij表达第j个神经元第i个输入值权重：：o1o2onw1jw2jwnjOjIjf(Ij)19

是第j个神经元偏置（偏差）：偏差有增大或者减小激活函数净输入作用，取决于该偏差是负值还是正值。

表达第j个神经元输入值(组合函数)。f（•）是神经元启动（激活或赋活）函数Oj=f(Ij)是第j个神经元输出值(Y)。.第19页四、启动函数f(•)类型201、线性启动函数：启动函数就是负责将神经元接收输入脉冲总和，转换成输出脉冲，不过人类神经在处理外部刺激时，输出信号是有极限，不然也许会由于输出信号过强而造成对神经元伤害。因此，类神经网络在选用启动函数时，不能够使用传统线性函数，一般来说会选择兼具正向收敛与负向收敛函数。.第20页212.阶梯（step）启动函数一般形式：阶梯启动函数又称阈值（threshold）启动函数。当

时，得到当时，得到对称阶梯函数。即：.第21页对称阶梯函数a+1-10阶梯函数122.第22页3.Sigmoid（或称S型）启动函数Sigmoid启动函数输出值界于-1和1，或是0和1之间，是单调递增函数，函数型数有许多种，最常用是Logistic函数。式中α是正常数（一般为零），Sigmoid启动函数是最常用启动函数，非线性函数，不过易于微分和理解。23.第23页+1S函数024.第24页4、分段线性启动函数25分段线性函数+10.第25页265、高斯启动函数钟型曲线（bell-shapedcurve），输出值在0和1之间，其中，是均值，V是函数事先定义方差。.第26页五、类神经网络训练27类神经网络学习前，必须建立出一种训练样本（trainingpattern）使类神经网络在学习过程中有一种参照，训练样本建立来自于实际系统输入与输出或是以往经验。例如：洗衣机洗净衣服时间，与衣服质料、数量、肮脏程度有关，因此我们必须先针对不一样质料、数量、肮脏程度衣服统计出洗衣所需时间，建立训练样本。不一样衣服质料、数量、肮脏程度就是类神经网络输入，而洗衣所需时间则为类神经网络目标值（target），也就是类神经网络参照输出。.第27页28神经网络学习就是不停调整权重过程。训练之前，必须将数据集分为训练数据集和测试数据集，将权重指定给第一层神经元。大多数软件包使用向后传输办法(Backpropagation)，任何一种后向传输算法最主要部分都是使用误差度量来调整权重。.第28页后向传输神经网络通过更新权重和偏置使得网络预测误差达成最小。详细步骤如下：通过输入节点将输入变量加以标准化，标准化后变量数值落在0和1之间，或者是-1和1之间。将网络权重初始值设定为0（或随机产生）。通过各节点函数，估计数据目标变量值。29六、权重和偏置调整.第29页比较实际值和估计值之间误差，并根据误差值重新调整各权重和偏置。重新执行第二步骤，反复执行，始终到实际值和估计值之间误差值最小，此时才停顿学习，此时取得最佳权重。30.第30页31举例说明权重和偏置调整过程.第31页1、首先利用随机方式，产生各神经元间权重，以及隐藏层与输出层神经元偏置。32w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2θ4θ5θ6-0.40.20.1.第32页2、根据输入信号，计算各隐藏层神经元输出信号，假设输入样本是(X1,X2,X3,Y)=(1,0,1,1)。神经元4：神经元5：33.第33页3、根据隐藏层输出信号，计算输入层神经元输出信号。神经元634.第34页4、此时，输出值0.474与真值1不一致，我们能够计算神经元6误差项。神经元6误差项：5、将此误差项反馈至隐藏层，此时能够计算隐藏层神经元误差值。神经元4误差项：神经元5误差项：35.第35页6、最后根据神经元误差项，更新各神经元权重以及偏置，假设学习速率为0.9。36学习速率：一般是介于0～1之间，当其数值越大，每次权数修正量就越大。不能太小或太大。经验设置为1/t，t为迭代次数。目前调整权重办法是一种最陡坡降法。.第36页如此，即达成一种学习循环类神经网络权重修正，接下来连续此步骤，使得输出值越来越接近真值，从而达成建立模型目标。另外，根据理论当学习时间无限长时，误差应当会无限接近于零。但事实上，假如当模型训练越久，就有也许出现过度拟合问题，因此一般有两种办法来处理：设定阀值。使用测试样本。一般，测试组误差一开始会伴随上述误差减小而减小，但当过度拟合现象发生时，测试组误差会开始从小到大变化。37.第37页七、类神经网络长处类神经网络能够建构非线性模型，模型精确度高。类神经网络有良好推广性，对于未知输入亦可得到正确输出。类神经网络能够接收不一样种类变量作为输入，适应性强。类神经网络可应用领域相称广泛，模型建构能力强。类神经网络具含糊