数据挖掘神经网络

神经网络

vicky2自动驾驶汽车在高速公路上常速行驶。采用固定在汽车上的照相机的30*32像素作为输入（960个输入单元），输出为驾驶方向（30个输出单元）。内容要点神经网络介绍BP算法基本步骤神经网络结构主要参数的选择神经网络方法特点神经网络介绍神经网络是人工智能中研究比较成熟的技术。最早是由心理学家和神经生物学家提出的，旨在寻求和测试神经的计算模拟。神经网络介绍神经网络是一组连接的输入/输出单元（节点和有向链），其中每个连接都与一个权值相连。在学习阶段，通过不断调整神经网络的相连权值，使得能够正确预测输入样本的目标值。神经网络构成神经网络通常由输入层、输出层和隐藏层组成，输入层的神经元个数可以等于样本的特征数＋１(对应模型中的截距项)输出层就是分类判决层，它的神经元个数等于样本的类别数（２分类１个节点）或采用其他编码方式从而确定需要的节点个数。每个连接具有一个权值非输入节点激活函数（转换函数、挤压函数）激活函数神经网络流行算法目前最流行的神经网络学习算法是：后向传播算法（Back-propagation,BP）。它通过迭代地处理一组训练样本，将每个样本的网络预测与实际值比较，进行学习。对于每个训练样本，修改连接权值，使得网络预测与实际类值之间的均方误差最小。这种修改“后向”地进行,即由输出层，经由每个隐藏层，到第一个隐藏层。BP算法基本步骤1．初始化网络各层的权值及神经元阈值（偏倚）。（一个小的随机数）2.

向前传播输入计算预测值：对每一样本，计算隐藏层和输出层每个单元的净输入和输出。

前向传播输入激活函数采用符号函数例如：对第二个观测，v=w0*x0+w1*x1+w2*x2-0.4=0.2>0y=1BP算法基本步骤3.后向传播误差并调整权值OOOOOO输出向量输出节点隐藏层节点输入节点输入向量BP算法基本步骤4.循环对训练集执行2-3步。实例更新：每个观测执行一遍；周期更新：所有观测前向传播一遍，累计权重和偏倚的变动，只执行一遍更新BP算法训练终止条件更新权值较小（权值收敛逼近一个固定值）正确分类率达到预期或在测试集上的误差开始增加）超过预先指定的训练周期（实践中，权收敛可能需要数十万个周期）神经网络结构举例……o1o2omwnmw11w1mw2mwn1w21……wo11wo21wom1ownmw11w1mw2mwn1w21－如果太小，可能要几天才收敛－如果太大，可能会发散

训练神经网络关键参数—学习率一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。Hornik等早已证明：若输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。

在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。训练神经网络—隐层数在BP网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因。

确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。

研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。隐层节点数

在确定隐层节点数时必须满足下列条件：隐层节点数必须小于N-1（其中N为训练样本数），否则，建立的网络模型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数（变量数）必须小于N-1。(2)训练样本数必须多于网络模型的连接权数，一般为2~10倍。确定隐层节点数训练神经网络—训练遍数 对训练数据的所有记录的一次扫描称为一遍。 在训练过程中定期用验证数据计算误差率，在使用后向传播算法的前几遍验证数据的误差率会降低，但过一会就会升高。验证数据的最小误差率那一点表明最好的训练遍数。神经网络分类法特点可以对非线性和