CN116612490B 基于目标检测盲文图像识别方法 （兰州大学）

本发明提出基于目标检测盲文图像识别方2所述目标检测模型包括：依次连接的改进的ResNet_50模块、Upsample模块和Class+34[0021]可选地，所述ResNet一50模块包括4个stage子模块，分别为：stage0、stage1、5[0059]目标检测模型包括：依次连接的改进的ResNet_50模块、Upsample模块和Class+6层特征图并预测结果。这种方式会丢失部分语义信息。图2的(c)方式为金字塔特征分层征融合相加后，卷积得到不同层次的p2_p7总特征图部分，最终经过子网络Class+Box通过p5特征图通过卷积与激活函数操作得到，p2部分的特征图是p3特征图通过卷积与激活35的特征图都是经过主干网络提取的特征图与双线性插值后的特征图相[0078]本实施例为节省更多计算资源和提取盲文图像主要特征，采用改进的ResNet_50结构包含4个stage模块，第一个stage0不具有残差结构，而stage1使用3个残差结构，7[0083]Upsample(上采样)部分主要作用是将ResNet_50主干网络中提取到的不同层次特8[0095]字符盲文数据集(CharsDataSet)是一个自建数据集。该数据集的标签均由a_z和[0097]单面盲文数据集(SigleDataSet)是一个自建数据集，由于大量的盲方识别工作9[0099]该双面盲文数据集(DBSI)由扫描仪制作并且在Github提供。该数据集由114张彩色双面盲文图片组成，这些图片分别来自6本不同的盲文书籍和1份普通印刷的盲文文件。[0101]另一个双面盲文数据集(AngelinaDataset)通过爬虫获得，用于补充DBSI数据集[0103]为了丰富双面数据集，本实施例中将DBSI数据集与AngelinaDataset数据集合并[0106]为了更容易捕抓盲文点信息，盲文图像需要在灰度化的基础上实现二值化的操验将近些年较为流行的模型与本文提出的模型做出对比，其中包括ResNet层级系列、Vit、PyramidNet在大数据集的准PyramidNet模型实验准确率最高，而传统盲文识别模型LBP+SVM实验准确率最低，其次为[0136]单面盲文数据集(SigleDataSet)相比于字符盲文数据集(CharDataSet)，数据集的正面盲方数量较多，且内存所占较大。为了进一步探究PyramidNet模型和R_vit在+SVM、RestNet_101、MobileNetV2、Vit，PyramidNet在小数据集上分别提高了11.2％、实验证明了盲文识别模型PyramidNet模型的有数据差中得到结论：基于PyramidNet模型实验准确率最高而传统盲文识别模型LBP+SVM实型有效性和合理性，而传统盲文识别模型LBP+SVM难以识别复杂的双面盲文图片。PyramidNet模型在测试集不能达到识别准确率为100％的原因是：模型识别不出较为模糊非盲文照片形式增加双面盲文数据集的数量，尤其在训练集中DBSI数据集中加入了表明基于两阶段盲文图像分类识别方法是最高效的。本实施例研究了Focalloss损失函数的消融实验，在PyramidNet模型分别使用和不使用Facalloss实验中，结果表明PyramidNet结合Focalloss达到了最好