深度神经网络手写图片识别尚学堂百战程序员tensorflow热恋

神经多层神经Multi-LayerANN人工神经网络有两个或两个以上隐反 ，就是梯度下降使用reverse-mode 求贡献就是反 是根据前 的误差来求梯然后根据贡献调整原来的权Reverse-modeTes=3=4开f(x,y)=𝑥2∗y+y+ 式求导法则

Reverse-mode因为n7是输出节点，所以f=n7，所以𝜕f=𝜕𝑛7让我们继续往下走到n5节点，

∗𝜕𝑛7.我们已𝜕f

𝜕𝑛5 𝜕𝑛7 𝜕𝑛51，所以我们需要知道𝜕𝑛7，因为n7=n5+n6，所以𝜕𝑛7 𝜕𝑛5们求得𝜕𝑛7=1，所以𝜕f=𝜕𝑛5 𝜕𝑛5现在我们继续走到节点n4，𝜕f

∗𝜕𝑛5，因𝜕𝑛4 𝜕𝑛5 𝜕𝑛4n5=n4*n2，我们求得𝜕𝑛5=n2，𝜕f =𝜕𝑛4 𝜕𝑛4沿着图一路向下，我们可以计算出所有节点，就能计算整体Momentum因 般深 习里面输入的维 因 般深 习里面输入的维 化，那 optimizer=tf.train.MomentumOptimizer(learning_rate=learning_rate,momentum=0.9) 而且用了momentum=0.9还可以更容易跳出局部最优调优神经网络超参你怎么知道哪种组合最适合你的GridCross但是需要时调优神经网络超参隐藏层上使用足够多的神经元就行了，很长一段时间人们满足了就没有去探索深度神经网络 这样网络不必从原始训练低层网络结构，它只需要训练对于很多问题，一个到两个隐藏层就是够用的了，MNIST可以达到97%当使用一个隐藏层上百个神经调优神经网络超参 用earlystop 防止过拟合通过Early 式使用TensorFlostepsstepss的li次数的时候，rtr最尽管earlystop EarlyEarlyL1L2正使用L1和L2正则去限制神经网络连接的weights权 式去使用TensL1L2正L1L2正个出时在给一层的重去算L1损，Tensorl需添这正化失整的损， 加则损到体损中否则它们将会被忽略在深度学习中，最流行的正则化技术，它被证明非常成1到2，即从53！在每一次训练sptkeep_prob是保留下来的比例，1-keep_prob是dropout当训练的时候，把is_trainin设置为TFalse激活函

调优神经网络超参大多数情况下激活函数使用ReLU且度下降会卡在 teaus不饱相 listicfuncti和ictangentfunctin，将会饱和1对于输出层，sxReLU激活函RectifiedLinearReLSiid激活函数，所有Siid激活函数和导多层感知机通常用于分类问题，二分sa输出变成用于评估属于哪个类别的概率dd数据增例如如果你的模型是分类蘑菇，你可以轻微的平移，旋转，改变大小，然后增加这些变化后的到训练集，这使得模型可以经响，你可以同理产生许多用不同的对比度，假设蘑菇对称的，TensorFlow提供一些操作算子，例如transposing(shifting)，rotating，resizing，flip，crop，adjustingbrightness，数据增梯度弥散Vanishing，不同层学不同的速度

会导致只更改高Xavier上面理论不能同时保证，除非层有相同的输入连连接，但是有一个不错的妥协在实际验证中，连接权重

和输出的连He我们可以改成Heinitialization使用不饱和激活函 但是不幸的是，ReLU激活函数不完美，有个问题是ReLU，在训练的时候一些神经元，去解决这，在乎运行性

不饱和

的数PReLU，Paramtr，a反向 适大据集ELUELU>leakyReLU>ReLU>tanh>ELU直接使

不饱和激活函Leaky_relu需要自己实BatchBatchNormalization可以更好解决问并且还做放大缩小，平Batch止过

Batch

BatchBatch复用预先训练好的Transfer复用TensorFlow模卷积神经网Convolutionalneural1998年YannLeCun等人推出了LeNet-5架构，广泛用于手感受卷积CNN里面最重要的构以前我们做MNIST的时候，把图像变成1D的，现在直接卷积Zero卷积的计5*53*3filte*3的Featurep卷积的计步

Stride等于Filter卷积ConvolutionVerticallinefilter中间列为1，周围列为7*7Feature在一个特征图里面，所有的神经元 样的参数weightsbias），权值共不同的特征图有不同的参灰度图一图(宽度或高度，两Wd,m,n表示filter第n列权重ad,I,j表示图像的第j列像素Padding模不适用zeropadding，有可能会忽略 于输入神经元个数除以步长ceil(13/5)=3Padding模池化sspik使用，参数数量（也可防止过拟合）减少输 大小也使得神经网络可以经受一 平，不受位置的影须定义大小，步长，padding类 2*2的池化核，步长为2，没有填池化池化长和宽两倍小，面积4倍小，丢掉75%的输入CNN架典型的CNN架构堆列一些卷积一般一个卷积层后跟ReLU+ReLU！最后常规的前向反馈神经网络被添加，由一些全连接的+ReLUsm9*93*3CNN架Top5 ，由于好的CNN模型的诞生，错误率从26%降到经典模LeNet-5架构，1998AlexNet，2012Net，201