基于神经网络(BP神经网络,CNN)和集成学习的手写字符识别.ppt

基于神经网络和集成学习的字符识别 文字是人类表达和交流信息的重要工具之一 不论是在生产还是日常生活中 人们都要接触和处理大量的文字信息 字符识别能够将字符高速 快效的输入到计算机系统 实现人机交互 减轻人们的劳动 将人力从枯燥冗杂的工作中解放出来 提高处理效率 因而具有重要的研究价值 CONTENTS ONE研究意义 TWO研究相关 神经网络识别文字研究的意义 目的 识别文字能够进行的相关工作 研究主要涉及的领域 研究中所使用的相关理论 以及研究所使用的技术和方法 THREE研究结果 FOUR算法改进 到目前为止 研究的结果 使用神经网络对字符进行识别能达到的效果 对前面所述的研究进行创新性的改进 使得能够更高效地识别 主要有四种改进 FIVE扩展及实际运用 对算法的进行实际运用性的扩展 以及实际运用 01 研究意义 神经网络识别文字研究的意义 目的 识别文字能够进行的相关工作 简化文字输入字符识别能够将字符高速 快效的输入到计算机系统 实现人机交互 减轻人们的劳动 将人力从枯燥冗杂的工作中解放出来 提高处理效率 因而具有重要的研究价值 车牌号码识别车牌智能自动识别作为智能交通管理系统中的重要组成部分 应用非常广泛 高速公路收费管理 超速违章自动拍照 停车场管理 小区进出车辆管理 交通数据采集等许多系统中都需要识别车牌号码 快递信息录入快递信息录入能够极大地减轻快递工作人员文字信息录入的工作 使得工作人员能够从辛苦 单一无聊的工作中解放出来 有效地加速中国快递业的发展 邮件文字录入在传统模式邮件寄送过程中 邮件的分类主要靠人工阅读并分类 再往各个地区发送 整个过程费时耗力 近年来 着计算机理论与技术为背景的人工智能运用的不断普及 使得机器录入成为现实 SIGNIFICANCEOFRESEARCH研究意义 SR 02 研究相关 研究主要涉及的领域 研究中所使用的相关理论 以及研究所使用的技术和方法 DOMAINOFKNOWLEDGE领域 DK 机器学习 MachineLearning ML 是一门多领域交叉学科 涉及概率论 统计学 逼近论 凸分析 算法复杂度理论等多门学科 专门研究计算机怎样模拟或实现人类的学习行为 以获取新的知识或技能 重新组织已有的知识结构使之不断改善自身的性能 它是人工智能的核心 人工智能 ArtificialIntelligence AI 是研究 开发用于模拟 延伸和扩展人的智能的理论 方法 技术及应用系统的一门新的技术科学 21世纪 已经取得了长足的进步 但是到目前为止 还没有一台计算机能产生 自我 的意识 深度学习 深度学习 DeepLearning DL 是机器学习中一种基于对数据进行表征学习的方法 观测值 例如一幅图像 可以使用多种方式来表示 如每个像素强度值的向量 或者更抽象地表示成一系列边 特定形状的区域等 机器学习 人工智能 集成学习 集成学习 ensemblelearning 集成学习是使用一系列学习器进行学习 并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法 THETWONEURALNETWORKOFRECGNIZATION两种神经网络 MR THETWOFRAMEOFNEURALNETWORK两种框架 FN 03 研究结果 到目前为止 研究的结果 使用神经网络对字符进行识别能达到的效果 BP NNBP神经网络 BN CONVOLUTIONALNEURALNETWORK卷积神经网络 BN COMMITTEEOFNEURALNETWORKS神经网络集成 CN THECURVEOFERROR误差曲线 mnist ER THEERRORRATEOFRECOGNITION误差率 mnist ER 97 3 搭建BP NN 搭建组合BP NN 搭建CNN 调参 搭建组合CNN Input Batch size 28 28 Dense 1024 Reluactivation Dense 10 Softmaxactivation Output 10 Input Conv2d Pooling relu Conv2d Pooling relu Flat dense dense Output Multi Input Conv2d Pooling relu Conv2d Pooling relu Flat dense dense Output Combination Finaloutput Multi Input Dense 1024 Reluactivation Dense 10 Softmaxactivation Output 10 Combination Finaloutput 98 3 99 1 99 4 04 算法改进 对前面所述的研究进行创新性的改进 使得能够更高效地识别 主要有四种改进 在传统CNN上添加了DropOut Regularization BatchNormalization优化层 优化层 传统为sigmod tanh 本文采用ReLU PReLU LeaklyReLU等激活函数 激活函数 传统优化器为SGD Momentum 采用Adam优化器进行神经网络的优化 优化器 IMPROVEMENTOFALGORITHM神经网络参数改进 IA Harmonica算法是优秀一种调参算法 十分高效 并且能够适应于几乎一切场景 在机器学习里面 调参尤其重要 Harmonica Bagging算法是一种集成学习算法 因为单一模型具有局限性 任何一种模型 都有其缺陷 通过多模型组合能够趋近完美 尽管是很简单的思想 但其所带来的效果令人惊叹 Bagging IMPROVEMENTOFALGORITHM算法改进 IA 原因 理由 单一模型具有局限性 任何一种模型 都有其缺陷 通过多模型组合能够趋近完美 启发 某一次听说有人用多分类器跑mnist到100 正确率 一个计算天才去算10000道四则运算题 很大某一道题可能会犯错 那么他就只能算是趋近完美 但如果十个计算天才一起去做这10000道题 每道题由多数人投票决定 那么 最终的效果必定是更优秀的 尽管是很简单的思想 但其所带来的效果令人惊叹 Error 0 9 0 6 因为单一模型的就已经足够优秀 所以数字上反应并不明显 CONBINATIONCLASSIFICATIONMODEL集成学习 Bagging CM 1 在参数空间中 随机采样 比如 100个点2 对每个点计算低度数傅里叶基的特征向量 捕捉参数之间的相关性3 对于计算好的100个特征向量 跑拉锁算法 得到 比如 5个重要的特征 以及这些特征对应的参数4 固定这些参数的值 得到了新的调参数问题 参数个数减少 搜索空间降低 5 回到第一步 重复若干轮之后 固定了很多参数的值 得到令人满意的参数 Harmonica调参算法 HA 论文 HyperparameterOptimization ASpectralApproach https arxiv org abs 1706 00764 Insteadofhopingeachfewstackedlayersdirectlyfitadesiredunderlyingmapping weexplicitlylettheselayersfitaresidualmapping Formally denotingthedesiredunderlyingmappingasH x weletthestackednonlinearlayersfitanothermappingofF x H x x TheoriginalmappingisrecastintoF x x 并不通过简单的stack的方式把网络的深度增加就可以提高performance 因为梯度消失 弥散问题 神经退化问题 神经元或其他失效 假设原本期望的映射函数为H x 我们让堆叠的非线性层去拟合另一个映射F x H x x 而原来函数映射则变为F x x 学习到的F x 即为残差 残差 残差在数理统计中是指实际观察值与估计值 拟合值 之间的差 残差 蕴含了有关模型基本假设的重要信息 如果回归模型正确的话 我们可以将残差看作误差的观测值 RESIDUALNETWORK残差网络 RN 论文 DeepResidualLearningforImageRecognition CVPR2015 2016最佳论文https arxiv org abs 1512 03385 Foreachlayer thefeaturemapsofallprecedinglayersaretreatedasseparateinputswhereasitsownfeaturemapsarepassedonasinputstoallsubsequentlayers 一个词概括就是 Dense 多层神经网络组合成一个DenseBlock 每一个DenseBlock都紧密相连 DENSELYCONNECTEDCONVOLUTIONNETWORK紧接卷积网络 DN 论文 DenselyConnectedConvolutionalNetworks