CN114287126B 一种基于光流计算的实时视频拼接方法 （深圳市铂岩科技有限公司）

2022.02.22PCT/CN2019/1020782019.08.22WO2021/031210ZH2021.02.25道高新区社区高新南七道019号清华US2018063513A1,2018.03.01一所述重叠区域内的所述原始视频进行多级光2获取多个原始视频，所述多个原始视频为按预设位置排列的多个按照与所述预设位置对应的预设规则，确定每一相邻的原始视频的重叠区域邻的原始视频为相邻排列的所述动态影像记录仪基于所述目标光流信息，对每一所述相邻的原始视频的所述重叠区域进所述对每一所述重叠区域内的所述原始视频进行多级光流计算，对两个原始视频的对应帧画面分别进行下采样，得到两个按分辨率从确定第一图像序列中的第一图像相对于第二图像序列中对应分辨率的图像的第一初基于所述第一初始光流信息，确定第一图像序列中的第一目标图像按照第一目标图像的分辨率从低至高的顺序，重复执行基于所述第一初始光流信息，确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨在得到目标帧画面的目标光流信息之后，根据所述目标帧画面和相相邻帧画面的第一图像序列中的预设图像相对于所述相邻帧画面的第二图像序列中对应按照第二目标图像的分辨率从低至高的顺序，重复执行基于所述第二初始光流信息，确定所述第二目标图像相对于所述相邻帧画面的第二图像序列中对应分辨率的图像的光相邻帧画面的第一图像序列中分辨率高于所述预3所述按照与所述预设位置对应的预设规则，按照与所述预设位置对应的预设规则，确定校准后的每一相邻的原始视频的重叠区所述基于所述目标光流信息，对每一所述相邻的原始视频的所述重叠区域进行拼接，根据基于所述目标光流信息，对校准后的每一所述相邻的原始视频所述基于所述初始光流信息，确定第一图像序列中的目标图像相对于第基于所述初始光流信息和/或所述候选光流信息，确定第一图像序列中的目标图像相根据所述动态影像记录仪的距离、瞳孔间距信息和所述目标光流信基于所述目标光流信息对所述目标视频中的背景区块和物体视频获取模块，用于获取多个原始视频，所述多个原始视频为按预重叠模块，用于按照与所述预设位置对应的预设规则，确定光流计算模块，用于对每一所述重叠区域内的所述原始视频进行多级光拼接模块，用于基于所述目标光流信息，对每一所述相邻的原始视频所述光流计算模块具体用于针对所述重叠区域内的两个所述原始视频的多个目标帧对两个原始视频的对应帧画面分别进行下采样，得到两个按分辨率从4确定第一图像序列中的第一图像相对于第二图像序列中对应分辨率的图像的第一初基于所述第一初始光流信息，确定第一图像序列中的第一目标图像按照第一目标图像的分辨率从低至高的顺序，重复执行基于所述第一初始光流信息，确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨所述光流计算模块具体用于在得到目标帧画面的目标光流信息之后，相邻帧画面的第一图像序列中的预设图像相对于所述相邻帧画面的第二图像序列中对应按照第二目标图像的分辨率从低至高的顺序，重复执行基于所述第二初始光流信息，确定所述第二目标图像相对于所述相邻帧画面的第二图像序列中对应分辨率的图像的光相邻帧画面的第一图像序列中分辨率高于所述预行时实现权利要求1-6中任一项所述一种基于光流计算的实时视频拼接方法5的每一所述相邻的原始视频的所述重叠区域进6息，确定所述第一目标图像相对于第二图像序列中对应分辨率的图像的光流信息的步骤，直至确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应相邻帧画面的第一图像序列中分辨率高于所述预设的重叠区域，所述相邻的原始视频为相邻排列的所述动态影像记录仪获取的所述原始视述多个原始视频进行时间同步；所述校准模块用于对同步后的所述多个原始视频进行校7将所述第一目标图像相对于第二图像序列中对应分辨率的图像的光流信息作为所述第一列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨率的图像的最终初始光流信息和/或所述候选光流信息，确定第一图像序列中的目标图像相对于第二图像帧画面的第一图像序列中的预设图像相对于第二图像序列中对应分辨率的图像的光流信确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨89[0043]S12、按照与所述预设位置对应的预设规则，确定每一相邻的原始视频的重叠区像机获取的视频的每一帧之间的光流信息，可以为这一帧的拼接位置和拼接方式提供参[0053]确定第一图像序列中的第一图像相对于第二图像序列中对应分辨率的图像的第息，确定所述第一目标图像相对于第二图像序列中对应分辨率的图像的光流信息的步骤，直至确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应[0059]当所述相邻帧画面为I帧画面时，利用上一实施方式中的方法对其进行下采样并帧画面的第一图像序列中的预设图像相对于第二图像序列中对应分辨率的图像的光流信息，确定所述第二目标图像相对于第二图像序列中对应分辨率的图像的光流信息的步骤，直至确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应[0064]在一种可能的实现方式中，确定所述目标帧画面中的sobel特征，并基于所述[0065]具体的，可以将sobel特征矩阵作为光流计算的输出图像的归一化亮度分量上的[0069]其中，lIOZ(x,sobel特征的y分量，l1x(x+AX,y+AY)为像素点(x+AX,y+AY)的sobel特征的x分用梯度下降法确定候选光流信息，并且可以基于所述初始光流信息和/或候选光流信息确[0081]图4是ODSV拍摄系统的重叠区域的示例图，该系统由均匀位于赤道上的四个摄像x轴。图5中矩形的顶侧和底侧是四分之一球面空间的伸展的北极和南极。PA和pg是摄像们与图4中的a和p（即光轴和P的输入光线之间的水平夹角）成正比例关系。其中，ODSV系统中可以利用两次计算分别计算面计算成像角的公式中描述的合成方法检查当前像素是否应该用前景内容填充来确定背[0105]光流计算模块603，用于对每一所述重叠区域内的所述原始视频进行多级光流计述多个原始视频进行时间同步；所述校准模块用于对同步后的所述多个原始视频进行校将所述第一目标图像相对于第二图像序列中对应分辨率的图像的光流信息作为所述第一列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨率的图像的最终初始光流信息和/或所述候选光流信息，确定第一图像序列中的目标图像相对于第二图像帧画面的第一图像序列中的预设图像相对于第二图像序列中对应分辨率的图像的光流信确定第一图像序列中与所述原始视频相同分辨率的图像相对于第二图像序列中对应分辨法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（StaticRandomAccessMemory，简称SRAM电可擦除可编程只读存储器（ProgrammableRead-OnlyMemory，简称PROM只读存储器（Read-OnlyMemory，简称一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（NearField块等等。[0118]在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的子设备800可以操作基于存储在存储器832的操作系