CN120298259A 一种基于双条件引导的扩散模型文字修复方法及装置 （长江大学）

一种基于双条件引导的扩散模型文字修复本申请公开了一种基于双条件引导的扩散注入初始输入为待修复字符图像的扩散模型的特征；进而结合骨架先验与笔画先验的权重调2获取第一特征矩阵和第二特征矩阵；所述第一特征矩阵为基于将所述第一特征矩阵作为查询向量，与所述第二特征矩阵的键向量将所述目标条件向量注入初始输入为待修复字符图像的扩散模型的噪声预设网络中，将所述增强特征与所述第一特征矩阵和第二特征矩阵进行线性组合，在扩散模型的噪声预设网络的跳跃连接处，将第一特征通过缩放点积注意力计算上下文向量，与预设完整字符图像拼接后经在扩散模型的逆向去噪过程中，引入动态笔画生成机制，通过θt3所述分阶段激活为通过动态权重公式进行分阶段条件权将预设完整字符图像输入骨架图编码器，输出表征全将预设完整字符图像输入笔画集编码器，输出编码局部笔画形基于预设完整字符图像提取按书写顺序排列的笔画方向编码序列，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1_8中任一项4处理器运行时使得所述处理器执行如权利要求1_8中任一项所述的基于双条件引导的扩散5处理复杂背景、严重退化图像以及细节笔画缺失时效示的条件控制方法难以精确约束文字的结构细节，对复杂字形或低质量输入的鲁棒性不[0005]基于深度学习的图像生成方法中，基于VAE的修复方法可以缺乏细节控制；基于解决现有技术中文字修复过程中修复精度和复杂损坏场景的适应性[0011]将所述目标条件向量注入初始输入为待修复字符图像的扩散模型的噪声预设网67[0041]将预设完整字符图像输入骨架图编码器，输出表征全局骨架拓扑的节点特征矩述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于双条件引导的扩散模型文[0054]根据本申请的又一方面,通过了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于双条8[0058]图1为本发明实施例提供的基于双条件引导的扩散模型文字修复方法的流程示意9退化文字修复中结构失真与笔画细节缺失问题，提升生成结果的结构合理性与视觉连贯[0071]图1图示了根据本申请实施例的基于双条件引导的扩散模型文字修复方法的流程[0078]骨架与笔画特征提取可以通过骨架图编码器(SGE)建模文字骨架拓扑，通过笔画[0079]跨模态条件融合可以为将骨架特征与笔画特征通过跨注意力机制融合为条件向[0080]条件注入与动态生成为将条件向量嵌入扩散模型的U_Net架构，结合动态权重调[0099]全局骨架特征矩阵输出后可以通过线性投影层映射至与扩散模型U_Net兼容的通[0100]骨架特征与扩散模型的交互可以通过获取到二值化骨架图后进行图结构建模进[0107]具体的，首先，基于骨架图对文字进行笔画分解，按书写顺序排列为S＝{s1,画。[0137]具体的，将骨架特征矩阵作为查询(Query)，笔画特征矩阵作为键(Key)和值[0144]然后是进行上下文向量生成，对值向量加权求和，输出条件向量CERΛN征图F(64×64×256)与条件向量拼接，经1×1卷积融合为增强特征图F_fused(64×64×激活)某一层的特征图直接传递至解码器(例[0153]然后利用注意力权重对条件向量的值(Value)进行加权求和，生成上下文向量[0155]生成的Ffused不仅包含了F的局部细节特征，还充分嵌入了C=于预设完整字符图像的文字骨架拓扑进行建模得到的全局骨架特征矩阵准确重建鼎身的[0210]处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存请的各个实施例的基于双条件引导的扩散模型文字修复方法以及/或者其他算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于双条件引导的扩散模型文字修复方法中的步骤。[0218]所述计算机程序产品