PyTorch实现基于卷积神经网络的手写数字识别

PyTorch实现基于卷积神经网络的手写数字识别PYTORCH

REALIZESHANDWRITTENDIGITRECOGNITION目录摘要 [25]。其中，交叉熵(crossentropy)是一个常用的衡量方法：Hyj(i4.1.6定义优化器图18随机梯度算法Fig18Stochastic

gradient

descent使用一个普通的随机梯度下降算法，进行梯度下降迭代计算，通过更新权重，即上文所提到的反向传播过程，通过此过程训练参数，当梯度下降至极值点即导数为0的点，完成梯度下降算法。4.1.7输出特征图

def

retrieve_features(self,

x):

feature_map1

=

F.Relu(self.conv1(x))

x

=

self.pool(feature_map1)

feature_map2

=

F.Relu(self.conv2(x))

return

(feature_map1,

feature_map2)为查看训练效果，定义一个函数专门用于保存卷积神经网络的提取出的特征图。并将其存储到feature_map1,

feature_map2，再将feature_map1,

feature_map2返回输出。4.1.8准确率预测def

accuracy(predictions,

labels):

pred

=

torch.max(predictions.data,

1)[1]

right_num

=

pred.eq(labels.data.view_as(pred)).sum()

return

right_num,

len(labels)

对于任意一行（一个样本）的输出值的第1个维度，求最大，得到每一行的最大元素的下标，将下标与labels中包含的类别进行比较，并累计得到比较正确的数量，返回正确的数量和这一次一共比较了多少元素。4.2实验结果分析4.2.1特征图可视化本设计具有两层卷积神经网络，我们先搭建卷积神经网络层，输入卷积核，提取出对应的特征值，如图所示，我们输入手写数字4。图19卷积核的演变过程Fig19Evolutionofconvolutionalnuclei图20第一层卷积核的最终结果Fig20Theendresultofthefirstconvolutionalmostthefirstlayerofconvolution如图所示，我们在第一层卷积层中，使用了4个卷积核分别提取出了对应的4个特征值，提取特征值效果比较好，比较容易识别出，我们使用了padding，在边缘补充了层数，如果数字分布在图片边缘，也能正确提取出特征值，不会造成信息丢失。图21卷积层1的特征图Fig21Characteristicgraphofconvolutionlayer1图22第二层卷积核的变化情况Fig22Thechangeofconvolutionkernelinthesecondlayer将第一层的结果作为第二层的输入，继续进行卷积，提取特征值，我们在第二层设置了八个卷积核。如图所示，每一列对应一个卷积核，一共八个卷积核，更新一次卷积核代表迭代1次，此处只显示4次迭代更新。图23卷积层2特征图Fig23Convolutionlayer2characteristicgraph如图所示，第二层卷积核提取出的8个特征值，保留了基本特征，将其作为全连接网络层输入，通过正向后向传播，不断更新出权重，达到深度学习的效果4.2.2数字识别结果图24错误率曲线图Fig24Errorratecurve如图所示，红线代表验证错误率，蓝线代表训练集错误率。由曲线可以明显看出，随着训练次数的增加，错误率在逐渐减少，正确率也就对应的增加。在最初的几次训练中，错误率下降梯度很大，优化效果很好，后面几次训练效果，优化效果提升较少。图25第一次训练结果图Fig25Thefirsttrainingresultgraph由图可知，在一次的学习中，随着学习的数据量越来越大，准确率在逐渐增大，训练集正确率只有37.6%,验证集正确率达到了80.6%，实验效果不够理想，因此我们需要对数据进行多次训练，用来增加识别正确率。图26第10次训练结果图Fig25The10thtrainingresultgraph由图可知，通过10次的学习，随着学习的数据量越来越大，学习次数越来越多，准确率也越来越高，训练集正确率达到了96.54%，验证集正确率达到了96.86%，用最后5000个数据集作为测试集，测试集正确率达到了98.3%。第1次和第10次学习对比，具有较大的差异，但是在通过多次的学习，我们的准确率有了很大的提升，图片识别效果比较理想，达到了预期实验目标。5结论本设计基于PyTorch框架搭建了一个结构较为简单的卷积神经网络模型，通过训练和测试意在实现手写数字识别。我们前期先对现有的两大训练框架PyTorch和TensorFlow做了对比，分析了各自的优缺点，综合考虑下选择了PyTorch作为本设计的训练框架。在第三章中，进行了卷积层，池化层和全连接网络层的简单介绍，对各层的效果和工作原理做了简单的分析。在3.5节中，进行了前向和后向传播算法的推导，利用梯度下降算法，进行对权重和偏差值的更新。在第四章中，设计了实验的整体流程框图，并且完成了本次实验，使用测试集进行测试后得到此卷积神经网络的准确率达到98.3%,对手写数字图片的识别已经有了较高的准确性。最后，可以得出结论：此次设计在PyTorch深度学习框架下搭建的卷积神经网络系统能够较好地实现手写数字识别。参考文献高诺,胡文烨,杨玉娜.采用卷积神经网络的数字手写体识别的研究[J].齐鲁工业大学学报,2018,32(05):45-49.陈岩,李洋洋,余乐,王瑶,吴超,李阳光.基于卷积神经网络的手写体数字识别系统[J].微电子学与计算机,2018,35(02):71-74.王梓桥,刘沛丰,郝峰,王铮,崔现伟.基于深度学习的手写数字识别技术应用[J].数字技术与应用,2018,36(11):78-79.祝永志,张彩廷.基于TensorFlow深度学习的Minist手写数字识别技术[J].通信技术,2020,53(01):46-51.周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017(6).万士宁.基于卷积神经网络的人脸识别研究与实现[D].2016.陈先昌.基于卷积神经网络的深度学习算法与应用研究[D].浙江工商大学,2013.G.LouandH.Shi,"Faceimagerecognitionbasedonconvolutionalneuralnetwork,"inChinaCommunications,vol.17,no.2,pp.117-124,Feb.2020.Y.XiaoandJ.Keung,"ImprovingBugLocalizationwithCharacter-LevelConvolutionalNeuralNetworkandRecurrentNeuralNetwork,"201825thAsia-PacificSoftwareEngineeringConference(APSEC),Nara,Japan,2018,pp.703-704.R.Xin,J.ZhangandY.Shao,"Complexnetworkclassificationwithconvolutionalneuralnetwork,"inTsinghuaScienceandTechnology,vol.25,no.4,pp.447-457,Aug.2020.FokHingChiTiviveandA.Bouzerdoum,"Efficienttrainingalgorithmsforaclassofshuntinginhibitoryconvolutionalneuralnetworks,"inIEEETransactionsonNeuralNetworks,vol.16,no.3,pp.541-556,May2005.G.ShomronandU.Weiser,"SpatialCorrelationandValuePredictioninConvolutionalNeuralNetworks,"inIEEEComputerArchitectureLetters,vol.18,no.1,pp.10-13,1Jan.-June2019.P.LeCallet,C.Viard-GaudinandD.Barba,"AConvolutionalNeuralNetworkApproachforObjectiveVideoQualityAssessment,"inIEEETransactionsonNeuralNetworks,vol.17,no.5,pp.1316-1327,Sept.2006.Z.Xiang,J.Sang,Q.Zhang,B.Cai,X.XiaandW.Wu,"ANewConvolutionalNeuralNetwork-BasedSteganalysisMethodforContent-AdaptiveImageSteganographyintheSpatialDomain,"inIEEEAccess,vol.8,pp.47013-47020,2020.Z.Zeng,Q.GongandJ.Zhang,"CNNModelDesignofGestureRecognitionBasedonTensorFlowFramework,"2019IEEE3rdInformationTechnology,Networking,ElectronicandAutomationControlConference(ITNEC),Chengdu,China,2019,pp.1062-1067.Y.Ju,X.WangandX.Chen,"ResearchonOMRRecognitionBasedonConvolutionalNeuralNetworkTensorFlowPlatform,"201911thInternationalConferenceonMeasuringTechnologyandMechatronicsAutomation(ICMTMA),Qiqihar,China,2019,pp.688-691.范铭豪.TensorFlow中不同神经网络模型对MNIST数据集影响研究[J].现代信息科技,2018(11):75-77.田野,朱若华,汤知日,等.基于MNIST的忆阻神经网络稳定性研究[J].电子技术应用,2019(4):3-6.程换新,刘军亮.基于GA-BP神经网络在手写数字识别中的应用研究[J].电子测量技术,2019(9).汪雅琴,夏春蕾,戴曙光.混合样本训练方式的手写数字识别[J].电子测量技术,2018(18):52-56.陈德强,潘峰,李伟.基于多尺度卷积核特征提取算法的手写数字识别研究[J].韶关学院学报,2019(9).卜令正,王洪栋,朱美强,等.基于改进卷积神经网络的多源数字识别算法[J].计算机应用,2018,38(12):3403-3408.高学,金连文,尹俊勋.基于多通道PCA模型的手写汉字识别方法[J].中国图象图形学报,2018,8(7).黄献通.基于深度学习的手写数字识别研究及应用[D].曲阜师范大学,2018.黄睿,陆许明,邬依林.基于TensorFlow深度学习手写体数字识别及应用[J].电子技术应用,2018,44(10):6-10.致谢 本论文是在邹领老师的悉心指导和热情关怀下完成的，每当我遇到困难的时候老师总是会悉心指导，帮助我解决问题，克服困难。从初期与老师探讨关于设计题目时就给了我很大启发，刚开始老师询问我考研的方向，我们讨论了关于教育信息化及人工智能方面的话题，在老师的指引下我了解了近年来异常火热的深度学习，最终确定了选题。在设计过程中也提出了许多指导性的意见，并给予相应的帮助，在此向导师表示衷心的感谢。时光荏苒，不舍昼夜。转眼间，我的大学生涯就要结束。