bnbatch normaliz原理与使用过程详解

1、BN(Batch Normalization) 原理与使用过程详解2018 年 08 月 20 日 15:47:07 donkey_1993 阅读数：7742名字：Batch Normalization: Accelerating Deep Network Trainingby Reducing Internal Covariate Shift地址：BN 被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了 BN 层进去来替换掉 LRN 层，网络可以收敛。现在就讲一下 Batch Normalization 的工作原理。BN 层和卷积层，池化层

2、一样都是一个网络层。首先我们根据来介绍一下 BN 层的优点。1）加快训练速度，这样我们就可以使用较大的学习率来训练网络。2）提高网络的泛化能力。3）BN 层本质上是一个归一化网络层，可以替代局部响应归一化层（LRN 层）。4）可以打乱样本训练顺序（这样就不可能出现同一张被多次选择用来训练）中提到可以提高 1%的精度。下面我们就讲一下 BN 层是如何实现的：从中给出的伪代码可以看出来 BN 层的计算流程是：1.计算样本均值。2.计算样本方差。3.样本数据标准化处理。4.进行平移和缩放处理。引入了和两个参数。来训练和两个参数。引入了这个可学习重构参数、，让我们的网络可以学习恢复出原始网络所要学习的

3、特征分布。下面我们讨论一下样本是如何得到的？Batch Normalization 顾名思义，mini-batch 就是我们每次训练的 Batch_size。从上图卷积过程可以得出一张 5*5 的图片经过卷积核 3*3 的卷积之后得到一张3*3 的特征图。特征图就会包含了 9 个特征值，这 9 个特征值就是我们上面所提到的样本。假设我们的 batch-size 设为 m，那么就会有 m*9 个特征值传到 BN层里面作为样本来训练参数和。在网络训练中以 batch-size 作为最小来不断迭代。每当有新的 batch-size进入到网络里面就会产生新的和。也就是说我们训练过程中要生成 图片总量/

4、batch-size 组参数。图像卷积的过程中，通常是使用多个卷积核，得到多张特征图，对于多个的卷积核需要保存多个的与。BN 层的整体流程如下图：输入：待进入激活函数的变量输出：1.这里的 K，在卷积网络中可以看作是卷积核个数，如网络中第 n 层个卷积核，就需要计算 64 次。需要注意，在正向时，会使用与使得BN 层输出与输入一样。2.在反向时利用与求得梯度从而改变训练权值（变量）。3.通过不断迭代直到训练结束，求得关于不同层的与。4.不断遍历训练集中的图片，取出每个 batch_size 中的与，最后统计每层 BN的与各自的和除以图片数量得到平均直，并对其做无偏估计直作为每一层的 Ex与 Varx。5.在的正向时，对测试数据求取与，并使用该层的 Ex与 Varx，通过图中 11:所表示的公式计算 BN 层输出。注意，在时，BN 层的输出已经被改变，所以 BN 层在的作用体现在此处。参考文献：Batch Normalization: A