深度卷积神经网络及其在手写体汉字识别中的研究论文随记

1、深度卷积神经网络及其在手写体汉字识别中的研究应用关键词：深度学习深度卷积神经网络感受野手写体汉字识别已经有的DCNN研究只要集中在模型的层数，激活函数，感受野大小，池化层操作等对模型性能的研究。其中对于感受野的大小研究较少，感受野是DCNN模型实现的局部连接，提取结构化的先验信息的关键。理论上打的感受野能够学习到复杂的特征，从而能够干好的表示原始图但是参数也几何倍的增长，训练所需时间及硬件要求过高，小的感受野训练简单，但是表达能力差。这里枚举法选取感受野不予以推荐，有人提出使用自适应的学习方法，即是卷积层使用不同的感受野来生成不同的特征图集合，然后选取集合中同一位置的所有神经元的max值来生成

2、最终的卷积层输出，当然dropout思想也运用了。手写体汉字识别过程：输入汉字图像-特征提取-分类器-输出结果传统的汉字识别分为结构识别和统一识别两大类。结构识别一般以笔画轮廓为特征，用图的匹配或者松弛匹配的方法识别判决，优点是能够适应汉字的变形，但是手写体手写体中容易夹杂噪声。统计识别一般以汉字笔画中相似的稳定的以及区分能力较好的特征作为特征向量，提取特征分为局部特征和全局特征，全局特征将汉字作为一般的二维图像，采用常用的图像变换法进行变换，例如傅里叶变换,cosine变换以及gabor变换等等,这些变换可以直接在原始的图像上进行，也可以在投影过后过得到的一维图像上进行。局部特征是对图像的局

3、部表达，比如汉字的拐角和折点处提取信息，常用算法如网格单元特征。汉字手写数据集有HCL2000,HIT-MW,SCUT-COUCH2009和CASIA-HWDB。DCNN模型的结构M-P模型：a=f（求和wx-b）ANN模型相较于M-P增加层数DCNN是包括多个隐含层的CNN模型，其通过在ANN模型的隐含层中增加卷积层和polling层，输入层一般采用二维像素点矩阵表示原始图像（论学好矩阵的重要性），如果是彩色图像，改为三通道，对于灰度图像只需要一个二维像素点矩阵表示。结构图如下：每一个卷积层由其中的多张特征图组成，卷积层的输入要么是输入层，要么是池化层。卷积层中的每张特征图中的神经元与前一层

4、输入层或池化层中感受野的神经元相连。而且，同一张特征图中的神经元与对应的感受野中神经元连接时都具有相同的连接权重。对池化层来讲，一个池化层也由多张特征图组成，其特征图的数量与其前面的卷积层中的特征图个数相同。感受野在DCNN模型的卷积层中，一个神经元与其相连的输入层即原始图像输入层或前一层中的池化层所对应的区域（或范围），称为该神经元在当前层的感受野。卷积核卷积层中的神经元与其相应的感受野中的神经元（或像素点）之间的连接权值所形成的与感受野区域大小相同的连接权值矩阵，称为该卷积层的卷积核。特征图感受野中的神经元经与卷积核加权求和所生成的神经元集合，以及对该神经元集合通过采样所生成的神经元集合，

5、统称为特征图，一般用一个二维矩阵表示。DCNN模型的学习是使损失函数最小化的过程，采用反向传播算法（Back-Propagationalgorithm,BP）算法可以优化模型参数以寻找模型的最优解。传统ANN的反向传播反向传播算法是通过将模型的输出层结果与输入层对应的真实类别之间的误差差值进行反向传播，该过程需要计算出模型中每一个神经元对模型最终误差的一个贡献值（或残差）。单个样例的神经网络的代价函数为：m7n皿；3）冷一也住）7=1!=1运用梯度下降法时，每一次迭代都可按照如下公式对参数W,b进行更新:jdJ(Wfb;xfy)W-=W-a厂丄工LJfJdW.ffdb模型训练参数的偏导数计算如

6、下：CNN的反向传播过程与传统的人工神经网络的反向传播不同，在卷积神经网络中，神经元之间采用局部连接的方式，神经元之间的连接可以重叠以实现权重共享，它使得卷积神经网络中的残差值计算与人工神经网络中略有不同。DCNN模型的正则化方法机器学习中的一个核心问题是如何使学习算法不仅可以较好地处理训练数据，也能很好地处理未知的数据。机器学习算法对未知数据的处理称为学习的泛化。使学习算法获得好的泛化能力的一种主要方法就是对算法进行正则化。目前，在机器学习中已有较多的正则化方法。例如，在机器学习模型上添加额外的约束和对模型参数值的约束。其中，在损失函数中添加额外的项，它实际上是在参数值上添加软约束。集成学习法通过设定多个假设对训练数据进行解释。这些方法的主要思想是通过限制模型的容量提高模型的泛化能力，即匹配不同函数的能力。常用的正则化方法包括参数惩罚法、噪声法、Early-Stopping和集成学习法。特征图的大小不能小于感受野的大小实验的基本过程是，首先将二进制格式的数据转换为图像格式，再依次对获得的图像进行灰度化、增强对比度、二值化、归一化等处理，以形成大小为64X64的像素点图像矩阵作为实验模型输入层数据.数据集的大小均为300