CN113539299B 一种多媒体信息处理方法、装置、电子设备及存储介质 （腾讯科技（深圳）有限公司）

A,2018.05.15A,2020.12.18A,2020.12.11A,2019.09.06媒体信息进行解析以实现分离出多媒体信息中形成与目标音频的时域特征和频域特征相匹配2获取目标多媒体信息，并对所述目标多媒体信息进行解析以对所述目标音频进行转换处理，形成与所述目标音频的时域特征根据所述灰度图像，通过多媒体信息处理模型中第一子模基于所述梅尔频谱图的数量，确定所述第一子模型网络中的门控循环单元的通道数基于所述第一子模型网络中的门控循环单元通道数量和所述通过所述第一子模型网络中的循环神经网络确定所述目标音频对应的第一音频特征基于与所述目标音频的时域特征和频域特征相匹配的梅尔频息处理模型中的第二子模型网络中的残差网络确定根据所述平均池化层网络的输出信息，对所述第二子模型网络通过所述第二子模型网络中的图像分类网络，基于与所述目标音频的时基于所述第一音频特征向量和所述第二音频特征向量，确定所根据所述目标多媒体信息的时序信息，对所述目标多媒体信息所基于所述目标多媒体信息对应的播放时长参数与音轨信息参基于与所述多媒体信息处理模型相对应的加窗函数，对所述单声根据所述时长参数，对所述频谱图进行处理，形成与所述目标音频的3获取第一训练样本集合，其中所述第一训练样本集合为通过通过多媒体信息处理模型对所述第二训练样本集合进行处理，根据所述多媒体信息处理模型的更新参数，通过所述第二训确定所述多媒体信息处理模型的使用环境相匹配根据所述动态噪声类型，对所述第一训练样本集合进行噪声添加，将所述第二训练样本集合中不同音频样本，代入所述多媒体信息处理确定所述损失函数满足相应的收敛条件时对应所述多媒体信息处理模型中第一子模将所述第一子模型网络和第二子模型网络所分别对应的参数作为所述多媒体信息处参数，通过所述第二训练样本集合对所述多媒体信息处理模型的网络参数进行迭代更新，确定与所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别相匹配对所述第一子模型网络和第二子模型网络所分别对应的参数进行第一子模型网络和第二子模型网络所分别对应的损失函数满足对所述第一音频特征向量和所述第二音频特征向量进行向量4信息传输模块，用于获取目标多媒体信息，并对所述目信息处理模块，用于对所述目标音频进行转换处理，形所述信息处理模块，用于将所述梅尔频谱图转换为相对应的灰度图像；基于所述梅尔频谱图的数量，确定所述第一子模型网络中的门控循环单元的通道数所述信息处理模块，用于基于与所述目标音频的时域特征和频域特所述信息处理模块，用于基于所述第一音频特征向量和所述第二音处理器，用于运行所述存储器存储的可执行指令时，实现权利要求156[0016]所述信息处理模块，用于基于所述第一音频特征向量和7[0039]所述训练模块，用于通过多媒体信息处理模型对所述第二训练样本集合进行处所述多媒体信息处理模型的第一子模型网络和第二子模型网络所分别对应89块链的状态数据库进行操作，包括更新操作(终端10_1和终端10_2)通过网络300从相应的服务器200中利用不同的业务进程获取不同的端10_2)既可以通过网络300从相应的服务器200中获取长视频(即视频中携带视频信息或器400中获取短视频进行浏览。服务器200和服务器400中可以保存有不同类型的视频。其短视频播放中通常会对不同数据来源的不同短视频进行处理，最终在用户界面UI(User进程(例如网页多媒体信息推荐进程、小程序多语音信号频域分析(Speechsignalfrequencyanalyzing)、语音信号特征提取(Speechsignalfeatureextraction)、语音信号特征匹配/识别(Speechsignalfeature包括人工神经网络(artificialneuralnetwork)，例如卷积神经网络(Convolutional仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10_1)的译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，ApplicationSpecificIntegratedCircuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic明实施例所提供的多媒体信息处理装置可以直接体现为由处理器201执行的软件模块组205的其他组件)完成本发明实施例提供的多媒程逻辑器件(PLD，ProgrammableLogicDevice)、复杂可编程逻辑器件(CPLD，ComplexProgrammableLogicDevice)、现场可编程门阵列(FPGA，Field_ProgrammableGateArray)或其他电子元件执行实现本发明实施例提供的多媒体信[0117]本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操现本发明实施例的从多媒体信息处理方法的程序可以包含在可执执行时，将实现本发明实施例提供的多媒体信息处理方法，下面对多媒体信息处理装置[0125]结合图2示出的电子设备20说明本发明实施例提供的多媒体信息处理方法，在介由于landmark中的组合hash依赖于dt(t2_t1)，倍速慢速的dt改变，会导致生成的hash不行解析以实现分离出所述多媒体信息中所包括的后获取对应的播放时长参数与音轨信息参数可以通过解析音频同步包中的音频头解码数Hann窗口对音频进行短时傅里叶变换得到相应的频谱图；通过将频谱图映射到64阶的mel[0134]进一步地，将音频数据转换为梅尔频谱图中的数据时，由于频率的单位是赫兹[0137]将与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图转换为相对应的所述第一子模型网络中的循环神经网络确定所述目标音频对应的第一音频特(NetVladNetVectoroflocallyaggregateddescriptors)聚类编码，得到音频特征向谱映射到64阶梅尔滤波器组中计算梅尔频谱，得到N个从Hz映射到梅尔频谱图的三元组样[0143]步骤405：多媒体信息处理装置基于所述第一音频特征向量和所述第二音频特征[0144]其中，可以对所述第一音频特征向量和所述第二音频特征向量进行向量融合处[0153]在本发明的一些实施例中，当确定所述目标多媒体信息[0154]在本发明的一些实施例中，当确定所述目标多媒体信息与源多媒体信息不相似[0155]继续结合图2示出的电子设备20说明本发明实施例提供的多媒体信息处理方法，条件时对应所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别对应的对所述多媒体信息处理模型的网络参数进行[0173]接收所述区块链网络中的其他节点的数据同步请求；响体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类备(例如终端/服务器)可以接入区块链网络200，[0178]区块链网络200中的共识节点接收来自不同业务主体(例如前序实施中示出的业务主体400和业务主体500)的客户端节点(例如，前序实施例中示出的归属于业务主体400网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端[0180]下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相行的客户端都可以向区块链网络200请求接入而成为客频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型填充至新区块，音频特征向量和所述目标多媒体信息的目标音频的类型发送至区块链网络200，可以预先特征向量和所述目标多媒体信息的目标音频的类型自动发送至区块链网络200，也可以由功后签署共识节点210自己的数字签名(例如，使用共识节点210_1的私钥对交易的摘要进新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系[0191]资源层205封装了实现区块链网路200中的各个共识节点210的计算资源、存储资[0192]数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法(例如数字证据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络[0195]共识层202封装了区块链网络200中的共识节点210对区块达成一致性的机制(即[0196]交易管理用于验证共识节点210接收到的交易中携带的数字签名，验证业务主体当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询[0199]由此，经过相似性识别的目标多媒体信息的版权信息可所述目标音频对应的第一音频特征向量；通过多媒体信息处理模型中的第二子模型网络，