CN116258632B 一种基于文本辅助的文本图像超分辨率重建方法 （南京邮电大学）

号一种基于文本辅助的文本图像超分辨率重本发明公开了一种基于文本辅助的文本图文本图像数据集对预构建的文本图像超分辨率2将所述低分辨率文本图像输入预训练好的文本图像超分辨率重建模及其灰度图作为四通道的图像输入，先通过卷积核为3*3的卷积层以及Relu激活层提取浅其中所述文本图像超分辨率重建模型的构建训练方法包括：将深度残差网络中的残差模块替换为门控文本检测模块，在门控将输入的第一特征图沿着通道和空间两个维度依次推断出图像的通道和空间注意力述门控文本检测模块将特征图依次经过两个卷积核为3*3的卷积层以及BN层提取图像特本图像超分辨率重建模型进行训练过程中采用的损失3两张文本图像识别序列的相似性来衡量两张图像文7.一种基于文本辅助的文本图像超分辨率重建所述处理器用于根据所述指令进行操作以执行根据权利要求1至6任一项所述方法的一个或多个处理器、一个或多个存储器以及一个或多个程序，程序包括用于执行根据权利要求1至6所述的方法中的任4而表征两者之间的映射关系。其中深度残差网络是通过多个残差模块对图像进行特征提5[0015]以低分辨率文本图像对应的RGB图像及其灰度图作为四通道的图像输入，先通过[0023]将输入的第一特征图沿着通道和空间两个维度依次推断出图像的通道和空间注[0024]在一些实施例中，所述门控文本检测模块将特征图依次经过两个卷积核为3*3的[0028]在一些实施例中，文本图像超分辨率重建模型进行训练过程中采用的损失函数6多个程序包括用于执行第一方面所述的方法[0045]1.本发明公开的文本图像超分辨率模型引入注意力机制对特征图赋予不同的权[0046]2.本发明公开的文本图像超分辨率模型将文本序列特征与图像纹理特征进行了[0048]图1为根据本发明一实施例的基于文本辅助的文本图像超分辨率重建方法流程示7技术特征的数量或者隐含指明所指示的技术特征的先后可以在任何的一个或多个实施例或示例中以合适的差网络(ResNet)的基础上将其中的残差模块替换为本发明提出的门控文本检测模块,利用[0066]以低分辨率图像对应的RGB图像及其灰度图作为四通道的图像输入，先通过卷积核为3*3的卷积层以及Relu激活层提取浅层特征；将特征图输入卷积块注意力模块以获取图像的通道和空间注意力权重，并通过多个门控文本检测模块进一步提取文本序列特征；8将门控文本检测模块输出的特征与第一层卷积输出的特征进行跳层连接(Concatenation)，相加得到新的特征图；将新的特征图输入到亚像素卷积上采样层[0067]卷积块注意力模块是将输入的特征图沿着通道和空间两个维度依次推断出注意[0068]如图3所示，本实施例中提出的门控文本检测模块是将特征图依次经过两个卷积核为3*3的卷积层以及BN层进一步提取图像特征，之后利用LSTM模块分别从横向和纵向提表示图像通过预训练的文本识别网络编码器过两张文本图像识别序列的相似性来衡量两张图像文9多个程序包括用于执行实现实施例1所述的方法现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0104]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多