CN119417734A 高阶多项式和深度网络融合的无人机视图失真校正方法 （广东工业大学）

高阶多项式和深度网络融合的无人机视图阶多项式和深度网络融合的无人机视图失真校码器输出的径向畸变参数以及切向畸变参数到两个编码器输出的校正流通过基于置信度的指定地对存在径向或切向失真的图像进行畸变恢2和及切向畸变参数和，其中和是几何编码器提取出的径分别输入两个编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成将两个编码器输出的校正流通过基于置信度的指数衰减函数进行融合得到最终校正流f，并将校正流f应用于失真图像上得到校正后图像。2.根据权利要求1所述的高阶多项式和深度网络融合的无人机视图失真校正方法，其所述几何编码器D9的边缘特征提取指的是使用Canny边缘检测器对输入图像进行所述几何编码器D9的几何特征编码指的是使用ResNet50对边缘图le进行编码，生成所述空间编码器DS的编码过程指的是使用MobileNet对输入图像提取出n层的空间编所述空间编码器DS的解码过程指的是通过转置卷积逐层上采样逐步恢复特征图的空数ks和切向畸变参数；所述空间编码器DS的解码过程通过转置卷积逐层上采样逐步恢复特征图，过程描述成的第i+1层的空间解码特征图；所述校正流f表示一个从图像坐标系到校正坐标系的映射，其中(u,v)ewxH为失所述输入编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成具体的校正流，过程为：对于输入图像上的每个像素坐标(u,v)ewxH，根据径向畸变参数3R=1+k·r2+kz·r4+..+km·r2iu'=(u-w/2)·R+2·p1·(u-w/2)·(v-H/2)+pz·(r2+2·(u-w/2)2)v'=(v-H/2)·R+p1·(r2+2·(v-H/2)2)+2·p2·(u-w/2)·(v-H/2)所述通过全连接层计算出校正流在每个像素对应的置信度c=(cy,cp)具体做法为：cu=o(w·((u'-u)+I)+by)c,=o(w·((v'-v)+I)+b/)所述基于置信度的指数衰减函数进行融合得到最终校正流过所述将校正流f应用于失真图像上得到校正后图像指的是根据校正流f映射到校正4畸变参数ko和ks及切向畸变参数和，其中ko和是几何编码器pR2.分别输入两个编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成具体的校正流和fs，并通过全连接层计算出校正流在每个像素对应的置信度c9和cs；R3.将两个编码器输出的校正流通过基于置信度的指数衰减函数进行融合得到最终校正流f，并将校正流f应用于失真图像i上得到校正后图像r'。所述几何编码器D9的边缘特征提取指的是使用Canny边缘检测器对输入图像所述几何编码器D9的几何特征编码指的是使用ResNet50对边缘图le进行编码，生成径向畸变参数ko和切向畸变参数；所述空间编码器DS的编码过程指的是使用MobileNet对输入图像i提取出n层的空所述空间编码器DS的解码过程指的是通过转置卷积逐层上采样逐步恢复特征图5接生成的第i+1层的空间解码特征图；所述校正流f表示一个从图像坐标系到校正坐标系的映射，其中(u,v)ewxH所述输入编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成K计算径向畸变因子R,随后利用径向畸变因子R、切向畸变参数(P1,P2)和像素坐标R=1+kq·r2+kz·r4+...+km·r2iu'=(u-w/2)·R+2·p1·(u-w/2)·(v-H/2)+p2·(r2+2·(u-w/2)2)v'=(v-H/2)·R+p·(r2+2·(v-H/2)2)+2·p2·(u-w/2)·(v-H/2)所述通过全连接层计算出校正流在每个像素对应的置信度c=(cy,cp)具体做法c,=o(w·((v'-v)+I)+b7)所述基于置信度的指数衰减函数进行融合得到最终校正流过算出来的纵坐标的校正流，为由ks和计算出来的横坐标的置信度，c;为由ks和6所述将校正流f应用于失真图像i上得到校正后图像r'指的是根据校正流f映射到1.采用几何编码器和空间编码器分别提取输入图像的几何著深度变化的复杂场景中表现出更强的鲁棒2.将高阶多项式模型作为先验知识引入，有效保证了失真校正过程的稳定性和3.引入基于置信度的指数衰减函数，对几何编码器和空间编码器生成的校正流[0008]图1为本发明实施例中一种高阶多项式和深度网络融合的无人机视图失真校正方[0011]本申请实施例提供了一种高阶多项式和深度网络融合的无人机视图失真校正方样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描有的其它步骤或单元。[0012]如图1所示，本申请实施例中一种高阶多项式和深度网络融合的无人机视图失真7R1.本发明实施例分别使用几何编码器D9和空间编码器DS对失真图像i进行解R2.本发明实施例分别输入两个编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成具体的校正流和fs，并通过全连接层计算出校正流在每个像素R3.本发明实施例将两个编码器输出的校正流通过基于置信度的指数衰减函数进行融合得到最终校正流f，并将校正流f应用于失真图像i上得到校正后图像r'。所述几何编码器D9的边缘特征提取指的是使用Canny边缘检测器对输入图像所述几何编码器D9的几何特征编码指的是使用ResNet50对边缘图le进行编码，生成径向畸变参数ko和切向畸变参数；所述空间编码器DS的编码过程指的是使用MobileNet对输入图像i提取出n层的空所述空间编码器DS的解码过程指的是通过转置卷积逐层上采样逐步恢复特征图接生成的第i+1层的空间解码特征图；所述校正流f表示一个从图像坐标系到校正坐标系的映射，其中(u,v)ewxH所述输入编码器输出的径向畸变参数以及切向畸变参数到高阶多项式模型生成K计算径向畸变因子R,随后利用径向畸变因子R、切向畸变参数(P1,P2)和像素坐标8R=1+kq·r2+kz·r4+...+km·r2iu'=(u-w/2)·R+2·p1·(u-w/2)·(v-H/2)+p2·(r2+2·(u-w/2)2)v'=(v-H/2)·R+p·(r2+2·(v-H/2)2)+2·p2·(u-w/2)·(v-H/2)所述通过全连接层计算出校正流在每个像素对应的置信度c=(cy,cp)具体做法c,=o(w·((v