CN114820042B 一种广告节目实时替换方法、设备、芯片及存储介质 （中央广播电视总台）

本申请实施例公开了一种广告节目实时替的所述帧图像的待匹配图像特征与特征库进行2利用所述图像特征提取网络连续对目标节目的若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在第一述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与M个匹的每个新广告节目与其对应的被替换广告节目的图像帧对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作，使所述每个被替换广告节目的每一帧图像都符合所述图像特征提对输入所述图像特征提取网络的每个经过预处理的被替换广告节目的图像数据进行对提取到的所述目标节目的帧图像进行预处理操作，使提取到的所述利用所述图像特征提取网络连续对每个经过预处理的所述提取到的所述目标节目的将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度3果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性被替换广告节目；若K个图像特征相似性度量计算结果中存在大于或等于预设的第二阈值于或等于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似性度果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相似性被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四阈值于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配结果，当单独一帧或连续i帧待匹配图像的匹配结果与其前后所属被替换广告节目片段不一当单独一帧或连续i帧的匹配结果对应到被替换广告节目中的时序与其前后的时序不4将所述不可靠匹配结果的前面或后面的帧图像的可靠匹配结果代替其提取模块，用于利用所述图像特征提取网络，提取所有被替换广告所述提取模块：利用所述图像特征提取网络连续对目标节目的帧图第二条件，所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的替换模块：用于基于预设的替换规则，将所述第一被替换广述新广告节目中的每个新广告节目与其对应的被替换广告节目的图像帧所述提取模块：还用于对提取到的每一帧图像进行预处理操作，得安装有所述芯片的设备执行如权利要求1至13中任一项所述的广告节得计算机执行如权利要求1至13中任一项所述的广告节5[0008]若存在连续M帧图像的匹配结果均满足预设的条件，则判定所述目标节目中存在6机程序使得计算机执行本申请实施例所提供的任意一种广告节目实[0031]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说7地，可利用手动设计的特征算子，如尺度不变特征变换(Scale-invariantfeature8[0045]步骤102：利用所述图像特征提取网络连续对目标节目的帧图像进行图像特征提[0051]对所述所有被替换广告节目中的每个被替换广告节目的每一帧图像进行预处理操作，使所述每个被替换广告节目的每一帧图像都符合所述图像特征提取网络的输入格9[0056]通过本申请实施例所提供的方案构建的特征库仅包含所有被替换广告节目的特[0059]本申请实施例所提供的广告节目实时替换方法按照目标节目时域依次连续进行预设条件可以是：连续M帧图像的匹配结果都属于所述第一被替换广告节目和/或连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一[0061]第一条件，所述第一条件为所述连续M帧图像的匹配结果都属于所述第一被替换[0062]第二条件，所述第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个匹配结果对应于所述第一被[0068]利用所述图像特征提取网络连续对每个经过预处理的所述提取到的所述目标节所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第二征相似性度量计算结果中大于预设的第二阈值的计算结果对应的特征库中的帧图像就是[0073]将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征[0074]若N个原子特征相似性度量计算结果中存在大于或等于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于或等于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相属于被替换广告节目；若K个图像特征相似性度量计算结果中存在大于或等于预设的第二中大于或等于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都大于预设的第四征相似性度量计算结果中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图[0079]将所述帧图像的待匹配图像特征与所述特征库中的每个原子特征集合进行相似算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征[0080]若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配[0082]经过步骤102中的图像特征匹配后，可以基本确定目标节目的当前帧是否为被替+1帧，第T+2帧的匹配结果在被替代广告中的时序对在第T帧的匹配结果进行可靠性判定。[0085]当单独一帧或连续i帧待匹配图像的匹配结果与其前后所述被替代节目片段不一[0086]当单独一帧或连续i帧的匹配结果对应到被替代广告中的时序与其前后的时序不[0098]参考图5，图5是本申请上述应用实例所提供的帧图像特征快速匹配的流程示意式可以采用闵可夫斯基距离(MinkowskiDistance)、曼哈顿距离(ManhattanDistance)、[0101]提取模块602：用于利用所述图像特征提取网络连续对目标节目的帧图像进行图所述新广告节目中的每个新广告节目与其对应的被替换广告节目的图像帧第二条件为所述连续M帧图像的匹配结果对应于所述目标节目的帧图像的时序与所述M个特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第一阈值比较，若N个原子特征相似性度量计算结果都小于预设的第在大于预设的第一阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中大于预设的第一阈值的计算结果对应的原子特征集合所对应的聚类个图像特征相似性度量计算结果中的每个图像特征相似性度量计算结果都小于预设的第似性度量计算结果中大于预设的第二阈值的计算结果对应的特征库中的帧图像就是最后像特征与所述特征库中的每个原子特征集合进行相似性度量计算，得到N个原子特征相似性度量计算结果，并将所述N个原子特征相似性度量计算结果中的每个原子特征相似性度量计算结果都与预设的第三阈值比较，若N个原子特征相似性度量计算结果都大于预设的[0114]若N个原子特征相似性度量计算结果中存在小于或等于预设的第三阈值的计算结果，再将所述帧图像的待匹配图像特征与N个原子特征相似性度量计算结果中小于或等于预设的第三阈值的计算结果对应的原子特征集合所对应的聚类中的每个图像特征进行相属于被替换广告节目；若J个图像特征相似性度量计算结果中存在小于或等于预设的第四中小于或等于预设的第四阈值的计算结果对应的特征库中的帧图像就是最后得到的匹配匹配图像的匹配结果与其前后所述被替代节目片段不一致时，则判定其为不可靠匹配结果；当单独一帧或连续i帧的匹配结果对应到被替代广告中的时序与其前后的时序不一致[0119]本领域技术人员应当理解，图6所示的广告节目实时替换装置中的各单元的实现功能可参照前述方法的相关描述而理解。图6所示的广告节目实时替换装置中的各单元的[0120]图7是本申请实施例提供的一种电子设备700示意性结构图。图7所示的电子设备[0125]该电子设备700具体可为本申请实施例的广告节目实时替换装置，并且该电子设备700可以实现本申请实施例的各个方法中由广告节目实时替换装置实现的相应流程，为[0126]图8是本申请实施例的芯片的示意性结构图。图8所示的芯片8件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DigitalSignal器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(Direct还可以是静态随机存取存储器(staticRAM，SRAM)、动态随机存取存储器(dynamicRAM，存取存储器(doubledatarateSDRAM，D