《模式识别原理、应用及实现》 课件 8.5神经网络-实验

模式识别1/justinruan/Learning-ML学以致用，知行合一（实践篇）BP神经网络BackPropagation总结BP神经网络的算法流程：

(1)信号正向传递过程输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出

(2)误差反向传播过程输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.2通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。BP神经网络

3n个节点q个节点m个节点VW

隐层的传递(激活)函数为f1(·)，输出层的传递(激活)函数为f2(·)

∑f1(·)∑f2(·)BP神经网络正向传播隐层节点的输出为（将阈值写入求和项中）k=1,2,…,q输出层节点的输出为：

j=1,2,…,m至此B-P网络就完成了n维空间向量对m维空间的近似映射4

VW

nqm

反向传播

5

VW

nqm

输出层权值的变化

6

VW

nqm

E∑f2(·)输出层权值7

因为是输出层传递函数的偏微分

VW

nqm

∑f2(·)输出层权值8于是输出层各神经元的权值调整公式为：

因为

VW

nqm

∑f1(·)∑f2(·)隐层权值的变化

9

VW

nqm

E隐层权值1010

因为是隐层传递函数的偏微分

VW

nqm

隐层权值11于是隐层各神经元的权值调整公式为：

因为

VW

nqm

∑f1(·)∑f2(·)

Sk-Learn中的多层感知器12Multi-layerPerceptronclassifierclasssklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,),activation='relu',*,solver='adam',alpha=0.0001,batch_size='auto',learning_rate='constant',learning_rate_init=0.001,power_t=0.5,max_iter=200,shuffle=True,random_state=None,tol=0.0001,verbose=False,warm_start=False,momentum=0.9,nesterovs_momentum=True,early_stopping=False,validation_fraction=0.1,beta_1=0.9,beta_2=0.999,epsilon=1e-08,n_iter_no_change=10,max_fun=15000)hidden_layer_sizes：tuple，第i个元素表示第i个隐藏层的神经元个数。activation：隐藏层激活函数，identity、logistic、tanh、relu。solver：权重优化算法，lbfgs、sgd、adam。alpha：正则化项参数。(L2regularizationterm)13Multi-layerPerceptronclassifierbatch_size：随机优化的minibatches的大小。learning_rate：学习率，constant、invscaling、adaptive。learning_rate_init：初始学习率。只有当solver为sgd或adam时才使用。power_t：逆扩展学习率的指数，只有当solver为sgd时才使用。max_iter：最大迭代次数。shuffle：是否在每次迭代时对样本进行清洗，当solver为sgd或adam时使用。tol：优化算法停止的条件。当迭代前后的函数差值小于等于tol时就停止。14Multi-layerPerceptronclassifierverbose：是否将过程打印出。momentum：梯度下降的动量，介于0到1之间，solver为sgd时使用。nesterovs_momentum：是否使用Nesterov动量。early_stopping：判断当验证效果不再改善时是否终止训练。validation_fraction：用作早起停止验证的预留训练集的比例，0到1之间。beta_1：估计一阶矩向量的指数衰减速率，[0,1)之间。beta_2：估计二阶矩向量的指数衰减速率，[0,1)之间。epsilon：数值稳定值，solver为adam时使用。15Multi-layerPerceptronclassifier返回值属性说明classes_：每个输出的类标签，大小为(n_classes,)。loss_：损失函数计算出的当前损失值。coefs_：列表中的第i个元素表示i层的权重矩阵。intercepts_：列表中第i个元素表示i+1层的偏差向量。n_iter_：迭代次数。n_layers_：层数。n_outputs_：输出的个数。out_activation_：输出激活函数的名称。16返回值方法说明fit(X,y)：拟合(训练)。get_params()：获取参数。predict(X)：进行预测。predict_log_proba(X)：对数概率估计。predict_proba(X)：概率估计。score(X,y)：返回给定测试数据和标签的平均准确度。set_params()：设置参数。MNIST手写数字识别MNIST数据集，它有着70000张规格为28x28大小的手写数字图片17trainset:(60000,785)testset:(10000,785)X_train=(60000,784)y_train=(60000,)X_train=(10000,784)y_train=(10000,)MNIST手写数字识别18Iteration1,loss=0.32009978Iteration2,loss=0.15347534Iteration3,loss=0.11544755Iteration4,loss=0.09279764Iteration5,loss=0.07889367Iteration6,loss=0.07170497Iteration7,loss=0.06282111Iteration8,loss=0.05530788Iteration9,loss=0.04960484Iteration10,loss=0.04645355Trainingsetscore:0.986800Testsetscore:0.970000感知器的测试集Score=0.8897VW

nqm

因只迭代10轮，Loss还没有收敛，训练结束时会有警告。先忽略它们。隐层权重的可视化输入数据由28x28像素的手写数字组成，输入有784个特征。因此，第一层权重矩阵的形状为（784，hidden_layer_sizes[0]）。这里，我们可以将单个权重矩阵可视化为28x28像素的图像。19dim=50输出权重的可视化输入数据由50维的隐向量，输出10个类别的预测第二层权重矩阵的形状为（50，10）。因此，我们可以将单个权重矩阵可视化为5x10像素的图像。20神经网络与Numpy21使用Numpy实现构造神经网络：参数layers：整数数组，输入，隐层1，…，输出22训练网络参数：输入特征x,