CN113962916B 视频修复方法及装置 （北京达佳互联信息技术有限公司）

过基于当前图像帧的图像特征对当前图像帧执2基于所述待修复视频的每个图像帧的图像特征，得到所述待修复针对经过形变处理后的每个图像帧，执行以下操作：通过基其中，所述将所述第一修复图像特征和所述第二修复图像特基于所述形变信息，分别确定所述第一修复图像特征的权重和基于所述第一修复图像特征的权重和所述第二修复图像特征的块是所述每个图像帧分别切分得到的预定个数的图像块中基于所述Query矩阵中每个图像块的Query子矩阵和所述Key矩阵中每个图像块的Key4.如权利要求3所述的视频修复方法，其特征在于，所述基于所述获取所述Query矩阵对应的每个图像块的掩码和Key矩阵对应的每个在所述Query矩阵中图像块的掩码和所述Key矩阵中图像块的掩码均为1的情况下，将所述Query矩阵中图像块的Query子矩阵和所述Key矩阵中图像块的Key子矩阵的乘积作为在所述Query矩阵中图像块的掩码和所述Key矩阵中图像块的掩码中任一个为0的情况3基于所述形变参数矩阵，对所述Key矩阵和所述Value矩阵执行形述Key矩阵和所述Value矩阵执行形变处理，得到形变后的Key矩阵和形变后的Value矩阵，针对每个图像块，通过所述形变参数矩阵中所述图像块的形变参述Key矩阵中所述图像块的Key子矩阵和所述Value矩阵中所述图像块的Value子矩阵进行将所述形变后的Key子矩阵进行拼接得到所述将所述形变后的Value子矩阵进行拼接得到所述形变基于所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中所述当前图像帧的Key子矩阵和所述形变后的Value矩阵中所述当前图像帧的Value子矩阵，得基于所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中除所述当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除所述当前图像帧将所述待修复视频输入所述编码器，得到所述待修复视频的每个图像帧的特征矩阵，阵中所述当前图像帧的Key子矩阵和所述形变后的Value矩阵中所述当前图像帧的Value子将所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中所述当前图像帧的Key子矩阵和所述形变后的Value矩阵中所述当前图像帧的Value子矩阵输入到4阵中除所述当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除所述当将所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中除所述当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除所述当前图像帧之外的其它图像帧的Value子矩阵输入到所述第二注意力网络，得到所述当前图像帧的第二其中，所述将所述第一修复图像特征和所述第二修复图像特将所述第一修复图像特征、所述第二修复图像特征和所述形变参将所述经过形变处理后的每个图像帧的融合修复图像特征输入到解获取训练样本集，其中，所述训练样本集包括多个训练视频和每基于所述Query矩阵中每个图像块的Query子矩阵和所述Key矩阵中每个图像块的Key基于所述形变参数矩阵，对所述Key矩阵和所述Value矩阵执行形将所述Query矩阵、所述形变后的Key矩阵和所述形变后的Value矩阵输入到所述第一将所述Query矩阵、所述形变后的Key矩阵和所述形变后的Value矩阵输入到所述第二将所述第一特征矩阵、所述第二特征矩阵和所述形变参数矩阵输入到所述融合网络，5基于所述预估的修复后的视频和所述训练视频对应的清晰视频，形变信息获取单元，被配置为基于所述待修复视频的每个图像帧的图形变处理单元，被配置为基于所述形变信息，对所述待修复视修复视频获取单元，被配置为基于经过形变处理后的每个图像帧的融合修复图像特所述Query矩阵中图像块的掩码和所述Key矩阵中图像块的掩码均为1的情况下，将所述Query矩阵中图像块的Query子矩阵和所述Key矩阵中图像块的Key子矩阵的乘积作为两个6矩阵中所述图像块的Key子矩阵和所述Value矩阵中所述图像块的Value子矩阵进行形变，得到所述图像块的形变后的Key子矩阵和形变后的Value子矩阵；将所述形变后的Key子矩所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中所述当前图像帧的Key子矩阵和所述形变后的Value矩阵中所述当前图像帧的Value子矩阵，得到所述当所述Query矩阵中所述当前图像帧的Query子矩阵、所述形变后的Key矩阵中除所述当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除所述当前图像帧之外的其所述形变信息获取单元，还被配置为将所述相似度矩阵输入到所述形变参数预测网所述形变后的Key矩阵中所述当前图像帧的Key子矩阵和所述形变后的Value矩阵中所述当前图像帧的Value子矩阵输入到所述第一注意力网络中对应的处理子网络，得到所述当前所述修复单元，还被配置为将所述Query矩阵中所述当前图像帧的Qu形变后的Key矩阵中除所述当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除所述当前图像帧之外的其它图像帧的Value子矩阵输入到所述第二注意力网络，得所述修复单元，还被配置为将所述第一修复图像特征、所述第二所述修复视频获取单元，还被配置为将所述经过形变处理后的每个7个图像块的Query子矩阵和所述Key矩阵中每个图像块的Key子矩阵的相似度，得到相似度少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至11中任一项所述的视行时实现权利要求1至11中任一项所述的视8[0002]视频修复是根据视频的已知区域的信息来修复未知(受损基于待修复视频的每个图像帧的图像特征，得到待修复视频的每个图像帧之间的形变信9Key矩阵和Value矩阵；基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图像[0009]可选地，基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图像块的Key矩阵对应的每个图像块的掩码；在Query矩阵中图像块的掩码和Key矩阵中图像块的掩码均为1的情况下，将Query矩阵中图像块的Query子矩阵和Key矩阵中图像块的Key子矩阵变参数矩阵，对Key矩阵和Value矩阵执行形变处理，得到形变后的Key矩阵和形变后的进行拼接得到形变后的Key矩阵；将形变后的Value子矩阵进行拼接得到形变后的Value矩[0013]可选地，通过基于当前图像帧的图像特征对所述当前图像帧执行空间注意力操阵、形变后的Key矩阵中当前图像帧的Key子矩阵和形变后的Value矩阵中当前图像帧的[0014]可选地，通过基于每个图像帧的图像特征对所述当前图像帧执行时间注意力操子矩阵、形变后的Key矩阵中除当前图像帧之外的其它图像帧的Key子矩阵和形变后的中当前图像帧的Query子矩阵、形变后的Key矩阵中当前图像帧的Key子矩阵和形变后的变后的Key矩阵中除当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除当前图像帧之外的其它图像帧的Value子矩阵，得到当前图像帧的第二修复图像特征，包它图像帧的Key子矩阵和形变后的Value矩阵中除当前图像帧之外的其它图像帧的Value子Value矩阵；基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图像块的Key子变参数矩阵，对Key矩阵和Value矩阵执行形变处理，得到形变后的Key矩阵和形变后的和第二修复图像特征的权重；基于第一修复图像特征的权重和第二修复图像特征的权重，将第一修复图像特征和第二修复图像特征进行融合，得到当前图像帧的融合修复图像特每个图像块的Query子矩阵和Key矩阵中每个图像块的Key子矩阵的相似度，得到相似度矩和Key矩阵对应的每个图像块的掩码；在Query矩阵中图像块的掩码和Key矩阵中图像块的掩码均为1的情况下，将Query矩阵中图像块的Query子矩阵和Key矩阵中图像块的Key子矩子矩阵进行拼接得到形变后的Key矩阵；将形变后的Value子矩阵进行拼接得到形变后的后的Key矩阵中当前图像帧的Key子矩阵和形变后的Value矩阵中当前图像帧的Value子矩后的Key矩阵中除当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除当像帧的Value子矩阵输入到第一注意力网络中对应的处理子网络，得到当前图像帧的第一的Key矩阵中除当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除当前图像帧之外的其它图像帧的Value子矩阵输入到第二注意力网络，得到当前图像帧的第二Value矩阵；基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图像块的Key子变参数矩阵，对Key矩阵和Value矩阵执行形变处理，得到形变后的Key矩阵和形变后的[0057]用户终端110或用户终端120获取到待修复的视频(同时包含运动员在户外跑步和帧分别切分得到的预定个数的图像块中的一个图像块；服务器100将相似度矩阵输入到形变后的Key矩阵和形变后的Value矩阵输入到第一注意力网络，得到修复后的第一特征矩于Query矩阵、形变后的Key矩阵和形变后的Value矩阵中不同图像帧的子矩阵之间的参考过本公开的视频修复方法得到的修复后的视频仍然取得了较好的修[0058]下面，将参照图2至图14详细描述根据本公开的示例性实施例的视频修复方法及图3是根据一示例性实施例示出的一种视频修复方法所应用到的结构示意图，如图3所示，Encoder即为编码器，对待修复视频的每一个图像帧进行编码，第t个图像帧经过编码器p应图片的W。再把每一个图像帧切分成预定个数的图像块，如每个图像帧切分成N个图像p整个待修复视频一共有T*N个图像块。然后把T*N[0066]根据本公开的示例性实施例，基于Query矩阵中每个图像块的Query子矩阵和Key个图像块的掩码和Key矩阵对应的每个图像块的掩码；在Query矩阵中图像块的掩码和Key像块的Key子矩阵的乘积作为两个图像块的相似度；在Query矩阵中图像块的掩码和Key矩DePtH是基于Transformer的形变单应估计器。图4是根据一示例性实施例示出的一种单应kpp[0070]例如，如图4所示，将PM的输出输入到形变参数预测器(DeformedTransformerestimator)，也即上述形变参数预测网络，得到预测偏置系数矩阵θ(即上述形变参数矩矩阵和形变后的Value矩阵。上述θ分别作用于Key矩阵和Value矩阵，可以把Key矩阵和数矩阵中图像块的形变参数子矩阵，分别将Key矩阵中图像块的Key子矩阵和Value矩阵中图像块的Value子矩阵进行形变，得到图像块的形变后的Key子矩阵和形变后的Value子矩矩阵和Value矩阵分别根据对应的θ′对每一个图像块做旋转变化，得到变换后的Key矩阵一注意力网络用于基于当前图像帧的图像特征对当前图像帧执行空间注意力操作。例如，虚线框代表处理子网络，Query矩阵、形变后的Key矩阵和形变后的Value矩阵输入到的Key矩阵中第1个图像帧的子矩阵和形变后的Value矩阵中第1个图像帧的子矩阵进行处pp二注意力网络用于基于每个图像帧的图像特征对当前图像帧执行时间注意力操作。例如，当前图像帧的Query子矩阵、形变后的Key矩阵中除当前图像帧之外的其它图像帧的Key子阵、形变后的Key矩阵中除第j个图像帧以外的图像帧的子矩阵和形变后的Value矩阵中除第j个图像帧以外的图像帧的子矩阵输入到第j个处理子网络，得到第j个图像帧的特征矩p注意力网络，里面的虚线框代表处理子网络，Query矩阵、形变后的Key矩阵和形变后的Value矩阵输入到TemporalTransformer后，第一个处理子网络对Query矩阵中第1个图像帧的子矩阵、形变后的Key矩阵中除第1个图像帧以外的图像帧的子矩阵和形变后的Valuep[0086]根据本公开的示例性实施例，将第一修复图像特征和第二修复图像特征进行融p向1×1卷积代表融合子网络，将第一特征矩阵(T*N)和形变参数矩阵θ输入到第一处理子ppppp[0091]根据本公开的示例性实施例，视频修复方法通过预先训练好的视频修复模型执Key子矩阵和形变后的Value矩阵中当前图像帧的Value子矩阵输入到第一注意力网络中对帧的Query子矩阵、形变后的Key矩阵中除当前图像帧之外的其它图像帧的Key子矩阵和形当前图像帧之外的其它图像帧的Key子矩阵和形变后的Value矩阵中除当前图像帧之外的其中，第二注意力网络用于基于每个图像帧的图像特征对当前图像帧执行时间注意力操修复后的视频，可以如图3所示的时空选择模块(STS)的输出是T个c×h×w的矩阵(即上述入编码器，得到训练视频的每个图像帧的特征矩阵；基于每个图像帧的特征矩阵，得到的图像块的特征进行提取与匹配。图7是根据一示例性实施例示出的一种基于所有图像块[0100]在步骤S804中，基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图Key矩阵和形变后的Value矩阵中相同图像帧的子矩阵之间的参Key矩阵和形变后的Value矩阵中不同图像帧的子矩阵之间的参形变后的Key矩阵中第i个图像帧的子矩阵和形变后的Value矩阵中第i个图像帧的子矩阵形变后的Key矩阵中除第j个图像帧以外的图像帧的子矩阵和形变后的Value矩阵中除第j个图像帧以外的图像帧的子矩阵输入到第j个处理子网络，得到第j个图像帧的特征矩阵，在公开的学术数据集YouTubeVOS和DAVIS上都超过了现有的视频修复方法，如VINet，子模块对整个模型的定量贡献程度。其中最后一行是整个模型在公开学术数据集YouTube帧。可以看到时间分支(TemporalBranch)更多的把注意力分配在目标图像帧周围的几个基于待修复视频的每个图像帧的图像特征，得到待修复视频的每个图像帧之间的形变信频的每个图像帧的图像特征；基于每个图像帧的图像特征，得到Query矩阵、Key矩阵和Value矩阵；基于Query矩阵中每个图像块的Query子矩阵和Key矩阵中每个图像块的Key子码和Key矩阵中图像块的掩码均为1的情况下，将Query矩阵中图像块的Query子矩阵和Key过形变参数矩阵中图像块的形变参数子矩阵，分别将Key矩阵中图像块的Key子矩阵和Value矩阵中图像块的Value子矩阵进行形变，得到图像块的形变后的Key子矩阵和形变后像帧的Query子矩阵、形变后的Key矩阵中除当前图像帧之外的其它图像帧的Ke