CN114329050B 视觉媒体数据去重处理方法、装置、设备和存储介质 （腾讯科技（深圳）有限公司）

本申请涉及一种视觉媒体数据去重处理方2分别对至少两个视觉媒体数据进行视觉特征提取，得对各所述视觉媒体数据进行文字信息提取，得到各所述视觉媒体数据的文字内容特基于所述图像特征和所述文字区域特征，进行视觉相似度计基于所述训练好的特征提取网络，分别对至少两个视觉媒体数据进行图像特征提取，所述视觉媒体数据间的相似度为视频帧间的相似度；所述根据所述获取任意两个所述视频数据所抽取的预设对视频帧中的根据预设相似视频帧对阈值和所述相似视频帧对数量，确定当前两获取所述视觉媒体数据样本集中视觉媒体数据的不同区域图获取所述视觉媒体数据样本集中不同视觉媒体数据的相同区根据所述训练视觉媒体数据正样本和所述训练视觉媒体数据负样本5.根据权利要求1或2所述的方法，其特征在3基于所述字符特征进行特征分类和内容识别，得到所述视觉媒体数据的文字内容特获取目标视频信息，并根据所述目标视频信息，对所述至少两个按照预设抽帧时间间隔，对所述至少两个视频数据进行定时视频抽帧，视觉特征提取模块，用于分别对至少两个视觉媒体数据进行视觉特征文字内容特征提取模块，用于对各所述视觉媒体数据去重处理模块，用于根据所述视觉媒体数据间的相似度，对所所述视觉媒体数据间的相似度为视频帧间的相似度；所述去重处理模述视频帧间的相似度大于所述预设相似度阈值时，确定当前两个视频帧为相似视频帧对；视频帧对阈值和所述相似视频帧对数量，确定当前两个所述视频数据中是否存在重复视随机采集视觉媒体数据样本集；获取所述视觉媒体数据样4对各所述视觉媒体数据进行图像预处理，得到预处理后的待识别图像获取目标视频信息，并根据所述目标视频信息，对所述至少两个理器执行时实现权利要求1至6中任一项所述的方法5[0003]由于现有的视觉媒体制作方式门槛较低，用户可借助视觉媒体制作工具快速生[0010]根据所述视觉媒体数据间的相似度，对所述至少两个视觉媒体数据进行去重处6[0020]根据所述视觉媒体数据间的相似度，对所述至少两个视觉媒体数据进行去重处[0025]根据所述视觉媒体数据间的相似度，对所述至少两个视觉媒体数据进行去重处[0030]根据所述视觉媒体数据间的相似度，对所述至少两个视觉媒体数据进行去重处7等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的8102发送的本地视觉媒体数据，也可从服务器104自身的云端数据库中获取视觉媒体数据。示视觉媒体数据所表征的图像数据，而文字区域特征则表示具备文字的视觉媒体数据中，9据进行文字信息提取，以得到各视觉媒体数据的文字内容特征，比如OCR(Optical[0067]此外，当视觉媒体数据为图片时，本实施例中还可以采用感知哈希算法(即的作用是对每张图片生成一个指纹(fingerprint)字符串，然后比较不同图片的指纹字符重的情况，同时通过采用多角度综合考虑的方式，也可避免传统的基于md5值的去重方式[0081]基于训练好的特征提取网络，分别对至少两个视觉媒体别对至少两个视觉媒体数据进行文字区域位置检测，生成视觉媒体数据的文字区域特征，[0091]步骤S306，获取任意两个视频数据所抽取的预设对视频帧中的相似视频帧对数断相似视频帧对数量是否大于预设相似视频[0099]其中，预设相似视频帧对阈值可根据用户需求或实际应似视频帧对。进一步获取任意两个视频数据所抽取的预设对视频帧中的相似视频帧对数视觉媒体数据样本集，进而根据训练视觉媒体数据样本集对初始特征提取网络进行训练，始特征提取网络可以是多种不同类型或不同结构的网络模型，可实现特征提取即满足要[0144]步骤S613，获取任意两个视频数据所抽取的预设对视频帧中的相似视频帧对数[0148]本申请还提供一种应用场景，该应用场景应用上述的视觉媒体数据去重处理方重的情况，同时通过采用多角度综合考虑的方式，也可避免传统的基于md5值的去重方式[0170]关于视觉媒体数据去重处理装置的具体限定可以参见上文中对于视觉媒体数据计算机程序被处理器执行时以实现一种视觉媒体非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，