CN119202083B 多模态数据同步方法、装置、收集系统及电子设备 （中电信人工智能科技(北京)有限公司）

US2022352998A1,2022.定待处理数据集合中的待处理数据对应的初始时间戳；确定待处理数据的初始时间戳的置信基准时间轴和关联事件对目标待处理数据的时模态数据之间的时间同步导致的数据有效性低2确定待处理数据集合中的待处理数据对应的初始时间戳，确定所述待处理数据的所述初始时间戳的置信度，并依据所述置信度确定基准时间在所述基准数据中确定基准事件，以及所述基准事件在目标待依据所述基准时间轴确定所述基准事件的基准时间戳，并依的持续时长对所述目标待处理数据中的各组数据在所述基准时间轴中对应的数据上报时与所述基准时间戳之间的差值在预设取值范所述校正过程的持续时长对所述目标待处理数据中的各组数据在所述基准时间轴中对应采用以下公式对各组数据在所述基准时间轴中对应的数据上报时刻进i表示被校正的数据上报时刻，ti-1表示与被校正的数据上报时刻紧邻的上一数在所述预设压缩倍率和所述校正过程的持续时长满足所述校正目标待处理数据中的所述关联事件相对于所述基准时间轴的时间戳与所述基准时间戳之并且不同的所述基准事件对应的所述关联事在不存在使得所述目标待处理数据中的所述关联事件相对于所述基准时间轴的时间3降低所述基准数据的置信度，并再次依据各类所述待处理数据在所述待处理数据的数据模态为长时间流数据类型的视频数据处理数据中的第一段视频数据和第二段视频数据的时间流逝平确定预设临界倍数和所述待处理数据中的窗口个数，其中，每依据所述窗口个数，所述预设临界倍数和所述时间流逝平均速度k表示第一个窗口对应的数据上报时刻，tk+i表示第i个窗口对应的数据上报时在所述待处理数据的数据模态为固定变化时间事件的情况下，依据所述初始数据上报时刻，相邻每组数据之间的时间间隔，以及预设8.一种多模态数据同步收集系统，其特征在于，包括模态数据源采集的待处理数据集合中的待处理数据进行所述时间同步模块，用于确定所述待处理数据集合中的待处理数据对应的初始时间所述待处理数据集合中初始时间戳的置信度最高的数据；在所述基准数据中确定基准事4关联事件相对于所述基准时间轴的时间戳与所述基准时间戳之间的差值在预设取值范围述关联事件在所述基准时间轴中的时间戳与所述基准时间戳之间的差值在预设取值范围所述实时采集预处理框架包括流采集引擎和多模态数据库，其中，所述流采第二处理模块，用于确定所述待处理数据的所述初始时间所述待处理数据集合中初始时间戳的置信度最高第三处理模块，用于在所述基准数据中确定基准事件，以第四处理模块，用于依据所述基准时间轴确定所述基准事件述基准时间戳、所述基准时间轴和所述关联事件对所述目标待处理数据的时间流进行校依据所述预设压缩倍率和校正过程的持续时长对所述目标待处理数据中的各组数据联事件相对于所述基准时间轴的时间戳与所述基准时间戳之间的差值在预设取值范围内，关联事件在所述基准时间轴中的时间戳与所述基准时间戳之间的差值在预设取值在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所行时实现权利要求1至7中任意一项所述的多模态数据同步方法5少解决由于相关技术中无法实现多模态数据之间的时间同步导致的数据有效性低的技术基准时间轴中的时间戳与基准时间戳之间的差值在预设取值范6使得目标待处理数据中的关联事件相对于基准时间轴的时间戳与基准时间戳之间的差值据各类待处理数据的置信度从各类待处理数据中确流逝平均速度确定每个窗口对应的数据的初始时中，预处理模块用于对从多模态数据源采集的待处理数据集合中的待处理数据进行预处7后的待处理数据中的关联事件在基准时间轴中的时间戳与基准时间戳之间的差值在预设间轴中的时间戳与基准时间戳之间的差值在预设取值范[0024]在本申请实施例中，采用确定待处理数据集合中的待处理数据对应的初始时间轴和关联事件对目标待处理数据的时间流进行校正，使得其他待处理数据与基准数据对基准事件的基准时间戳，关联事件和基准时间轴来对其他待处理数据的时间流进行校正，8员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范[0035]为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如[0040]相关技术中的多模态数据处理方案通常采用固定的数据类型对应固定的解决方9[0044]由于相关技术中存在上述问题，因此需要对多模态数据进行统一实时的采集处是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，[0047]本申请实施例所提供的方法可以在如图1所示的多模态数据同步收集系统中运从多模态数据源采集的待处理数据集合中的待处理数据进行[0050]实时采集预处理框架12包括流采集引擎122和多模态数据库，其中，流采集引擎[0052]在从各个多模态数据源中采集到多模态数据后，可以采用预处理模块102先对多模态数据进行预处理，然后再采用时间同步模块104对预处理后的多模态数据进行时间同[0063]在本申请的一些实施例中，本申请实施例所提供的方法中还引入了watermark概无序问题，大多数还是由数据携带时间进行判断。而本申请实施例所提供的框架引入的[0065]本申请实施例所提供的框架引入的watermark中包括水印生成器(WatermarkGenerator)、水印置信度计算器(WatermarkConfidence)、水印同步器(WatermarkSyncStrategy)和事件标记栅栏(EventmarkBarrier)始时间戳的步骤包括：在待处理数据的数据模态为长时间流数据类型的视频数据的情况据窗口个数，预设临界倍数和时间流逝平均速度确定每个窗口对应的数据的初始时间戳。后可以在其他待处理数据中查看红绿灯切换事件是否存在对应事件barrier如果存在则进的持续时长对目标待处理数据中的各组数据在基准时间轴中对应的数据上报时刻进行修并且目标待处理数据中的每组数据与各个数据上报时刻一公式对各组数据在基准时间轴中对应的数据上报时据的事件流进行压缩，具体来说可以对目标待处理数据中的各组数据的上报时刻进行修存在使得目标待处理数据中的关联事件相对于基准时间轴的时间戳与基准时间戳之间的次依据各类待处理数据的置信度从各类待处理数据中确定基理数据中对应的关联事件，目标待处理数据为除了基准数据之外的任意其他待处理数据；的待处理数据中的关联事件在基准时间轴中的时间戳与基准时间戳之间的差值在预设取[0104]本申请实施例所提供的多模态数据同步采集系统中还提供了高性能的数据处理对齐后的所述待处理数据中的所述关联事件在所述基准时间轴中的时间戳与所述基准时的情况下，确定待处理数据中的第一段视频数据和第二段视频数据的时间流逝平均速度；对应的初始时间戳的步骤包括：在待处理数据的数据模态为固定变化时间事件的情况下，确定待处理数据中的各组数据对应的初始数据上报时刻，相邻每组数据之间的时间间隔，据上报时刻用于确定待处理数据对应的初始时倍率和校正过程的持续时长对目标待处理数据中的各组数据在基准时间轴中对应的数据时长对目标待处理数据中的各组数据在基准时间轴中对应的数据上报时刻进行修正的步到在预设数量次的校正过程中存在使得目标待处理数据中的关联事件相对于基准时间轴理数据中的关联事件相对于基准时间轴的时间戳与基准时间戳之间的差值在预设取值范待处理数据中的各组数据对应的数据上报时刻被回滚为执行校正过程前的数据上报时刻；装置中执行。图7示出了一种用于实现多模态数据同步方法的计算机终端(或移动设备)的[0122]应当注意到的是上述一个或多个处理器702和/或其他数据处理电路在本文中通算机终端70(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，[0123]存储器704可用于存储应用软件的软件程序以及模块，如本申请实施例中的多模态数据同步方法对应的程序指令/数据存储装置，处理器702通过运行存储在存储器704内[0124]传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括[0125]显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与关联事件在基准时间轴中的时间戳与基准时间戳之间的差值在预设取值时间轴中的时间戳与基准时间戳之间的差值在预设取值