CN118941449B 一种基于混合残差注意力的轻量化人脸超分辨率重建方法 （北京电子科技学院）

一种基于混合残差注意力的轻量化人脸超本申请提出了一种基于混合残差注意力的过局部卷积模块与轻量化自注意力模块分别捕块与轻量化自注意力模块以构建混合残差注意行特征融合；提取低分辨率人脸图像的初始特2构建局部卷积模块与轻量化自注意力模块，所述局部模块分别用于捕捉浅层特征图的局部细节信息与全局依赖关系，形成局部特征与全局特整合所述局部卷积模块与所述轻量化自注意力模块以构建所述主路径通过所述轻量化自注意力模块捕捉浅层特征图的全局依赖关其中，LightAttention(·)表示所述轻量化自注意力模块，MBconv(·)表示所述局部卷将主路径的全局特征和残差路径的局部特征进行特征融合，得到单提取低分辨率人脸图像的初始特征，将多个混合残差注意力模块串联拼3将所述初始特征Fnet输入轻量级线性空间压缩层生成轻量级键k特征图和值v特征图，线性层函数生成查询QeRixdk，其表达式如下：veRxd,和查询QeRixdk，dx和d,分别为键通过线性变换将拼接矩阵0映射回原始输入维度，得到oeRLxd，则最终的输出将输出Attention(Q,k,v)应用残差连接和层归一化，生成最终的全局特征，表达式为：4若有四个串联的混合残差注意力模块，先从最后一层串联的混6.根据权利要求5所述的方法,其特征在于，所述将多个混合残差注意力模块串联拼若有四个串联的混合残差注意力模块，将初始特征Fnir输入四个连续的混合残差注意其中，conv3x3(·)表示卷积核大小为3x3的卷积层函数，fup(·)表示上采样卷积亚元素函数，能够通过调整fup(·)的输出通道数确定放大倍数，lsr为相应放大倍数的高分辨率5[0004]近年来，基于注意力机制的Transformer模型在自然语言处理和计算机视觉领域6[0011]整合所述局部卷积模块与所述轻量化自注意力模块以构通过所述混合残差注意力模块对所述局部特征与所述全局特征进[0020]其中，Maxpool7x7(-)为卷积核大小为7×7的全局平均最大池化层函数，宽度；[0021]将所述初始特征Fnet输入轻量级线性空间压缩层生成轻量级键k特征图和值v特输入到线性层函数生成查询QeRixdk，其表达式如下：veRxd,和查询QeRixdk，dx和d,分别ki分别表示第i个头的查询和键矩阵，AeRL×L为注意力得分矩阵，7出Attention(Q,k,v)的表达形式为：w,eRdvxd为输出权重矩阵；[0035]将输出Attention(Q,k,v)应用残差连接和层归一化，生成最终的全局特征，表达[0043]其中，LightAttention(·)表示所述轻量化自注意力模块，MBconv(·)表示所述局8[0061]其中，conv3x3(·)表示卷积核大小为3×3的卷积层函数，fup(-)表示上采样卷积亚元素函数，能够通过调整fup(-)的输出通道数确定放大倍数，lsr为相应放大倍数的高分[0063]通过局部卷积模块与轻量化自注意力模块分别捕捉浅层特征图的局部细节信息量化的自注意力模块设计有效降低了计算复杂度，适合应用于资源受限的设备和实时场[0065]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0066]图1是根据本申请实施例示出的一种基于混合残差注意力的轻量化人脸超分辨率9[0070]图5是根据本申请实施例示出的基于混合残差注意力的人脸超分辨率重建网络的[0072]本发明的目的在于解决现有人脸超分技术中难以有效融[0073]下面参考附图描述本申请实施例的一种基于混合残差注意力的轻量化人脸超分[0074]图1是根据本申请实施例示出的一种基于混合残差注意力的轻量化人脸超分辨率征维度上进行归一化，表示GELU激活函数，Fnir为初始特征，xuusceRCXHXW宽度。[0086]接下来，将初始特征Fnir输入轻量级线性空间压缩层生成轻量级键k特征图和值vkeRixdx、值veRixdo和查询QeRixdk，dr和终的输出Attention(Q,k,v)的表达形式为：[0102]其中，woeRd,xd为输出权重矩阵；通过混合残差注意力模块对局部特征与全局特征进[0113]其中，LightAttention(·)表示轻量化自注意力模块，MBconv(·)表示局部卷积模对于i=3,2,1，则首先将当前的特征图Fi和上一层的融合结果HX1进行拼接，得到拼接后的特征图concat(F,HX1)，然后对拼接后的特征图进行卷积操作，得到最后的融合结果。特征Fnir输入四个连续的混合残差注意力模块，并将输出结果送入倒序融合模块以[0131]需要说明的是，图5是根据本申请实施例示出的基于混合残差注意力的人脸超分样模块构成的整体系统称为基于混合残差注意力的人脸超分[0133]参照图5所示的基于混合残差注意力的人脸超分辨率重建网络，该网络由三部分[0134]在将初始特征Fnir输入四个连续的混合残差注意力模块，并将输出结果[0137]其中，conv3x3(·)表示卷积核大小为3×3的卷积层函数，fup(-)表示