CN119276843B 会议终端设备多路音频同步方法、装置、设备及存储介质 （深圳市奕扬科技有限公司）

道天安社区泰然五路9号天安科技创缓冲策略作为状态输入多智能体强化学习模型2对每个会议终端设备的音频数据流进行采集，并将环境音频信息编对所述嵌入式音频数据流进行时频域转换和峰值检测，通过局部敏基于所述音频特征向量计算终端设备间的互相关函数，通过多尺根据所述全局时间关系图构建两层缓存结构，通过卡尔曼滤波器预将所述缓冲策略作为状态输入多智能体强化学习模型，通过双深度Q网络优化通信资基于所述资源分配策略构建全局同步优化问题，通过梯度下降算法求解最优同步参误差和网络资源利用率作为优化指标，并对所述全局同步优化目标函数进行约束条件设对每个会议终端设备的环境进行声音采集，通过高通滤波器对采集对所述特征环境音频进行离散余弦变换，将所述特征环境音频转换到频域空对所述音频数据流进行分帧处理，将连续的音频数据划分为固定长度的音频基于所述频域环境音频特征，对所述频域音频数据的中高频段3对所述嵌入式音频数据流进行分段处理，将所述嵌入式音频数据对所述时频谱图进行能量计算，通过积分方法计算每个时频单元将所述差值向量输入局部敏感哈希函数，通过随机投影和阈值比较生成哈音频特征向量计算终端设备间的互相关函数，通过多尺度分析和中值滤波确定时间延迟，对所述音频特征向量进行时间序列分解，通过将所述音频特征向量对所述互相关函数曲线进行峰值检测，通过在所述互相关函数曲线基于所述初始时间延迟候选值构建多尺度时间延迟矩阵，将不同对所述融合时间延迟值进行中值滤波，设定一个奇数大小的滑动窗口，将基于所述平滑时间延迟序列构建时间延迟图，将每个会议终端设4对所述设备间的拓扑结构进行全局优化，建立一个以参考设备为原基于所述一致性时间坐标，将每个会议终端设备在统一时间坐标系中基于所述全局时间关系图，对每个会议终端设备分配缓存空间，将对所述两层缓存结构中的数据进行时间戳分析，通过计算相邻音频帧之间的时间间对所述网络状态预测模型进行参数初始化，通过历史数据计算初始根据所述网络状态的最优估计，计算音频数据在缓存中的理想停留基于所述缓存调整目标值，对两层缓存结构中的数据进行重新组对所述缓冲策略进行特征提取，得到缓冲状态特征向量，并基于所述对所述多智能体学习环境进行奖励函数设计，通过综合考虑音频同步基于所述强化学习的优化目标构建双深度Q网络模型，包括一个在线网络和一个目标5对所述初始化的双深度Q网络进行参数初始化，通过随机采样方法生成经验回放缓冲对所述初始分配策略进行全局协调，通过构建一个中心化的资源分配7.一种会议终端设备多路音频同步装置，其采集模块，用于对每个会议终端设备的音频数据流进行采集，并将环映射模块，用于对所述嵌入式音频数据流进行时频域转换和峰值计算模块，用于基于所述音频特征向量计算终端设备间的互构建模块，用于根据所述全局时间关系图构建两层缓6所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执述指令被处理器执行时实现如权利要求1_6中任一项所述的会议终端设备多路音频同步方7[0009]根据所述全局时间关系图构建两层缓存结构，通过卡尔[0010]将所述缓冲策略作为状态输入多智能体强化学习模型，通过双深度Q网络优化通89过将音频特征向量按照不同的时间尺度进行重采样，生成多个具有不同分辨率的子序列。关函数曲线。互相关函数曲线表示两个设备之间的特征序列在不同时间偏移下的相似性，曲线上的峰值点代表两个设备之间的最佳同步时间延迟。对互相关函数曲线进行峰值检延迟候选值构建多尺度时间延迟矩阵。多尺度时间延迟矩阵的每一行代表一个时间尺度，将每个会议终端设备视为时间延迟图中的一个节点，将设备之间的时间延迟作为边的权利用率三个方面的因素。音频同步度用于衡量各个会议终端设备之间音频数据同步的质用这种策略使得在训练过程中既能够找到新的最优策略，又能够充分利用已学得的知多智能体强化学习模型和双深度Q网络优化通信资源分配，使系统能够自适应地应对复杂本发明显著提升了多方远程会议的音频质量和用户算来确定哪些频率成分在时间上持续稳定且具有显著特征。计算各个频率分量上的能量；[0068]其中，s,(r,)表示第k个音频片段在频率f和时间t上的时频表示，x:(t)为输；t分别为频率和时间的量化步[0080]对互相关函数曲线进行峰值检测，通过在互相关函数曲间尺度上的信息，得到的多尺度特征序列能够表征音频信号在各个时间层级上的动态特[0099]对两层缓存结构中的数据进行时间戳分析，通过计算相邻音频帧之间的时间间表示第i个音频帧的到达时间，时间间隔At;表示为：状态估计基于历史数据进行估计，而误差协方差矩阵P,用于描述初始状态的不确定性。i,表示第i个历史样本的到达时间，Tisi为历史整目标值csa;表示为：[0123]基于强化学习的优化目标构建双深度Q网络模型，包括一个在线网络和一个目标[0124]对初始化的双深度Q网络进行参数初始化，通过随机采样方法生成经验回放缓冲；[0130]通过定义动作空间，每个智能体选择适合当前网络状况标，构建双深度Q网络(DQN)模型。双深度Q网络包括两个网络：一个是在线网络(Online[0133]Q(s,az;9)=D双深度Q网络学习到如何在不同的状态下为每个设备选择最佳的通信策略。在网络构建完突和功率分配过载等问题，以确保每个设备都能够在不干扰其他设备的前提下进行通信。[0145]cr-(f,n,)；i行代表第i个设备的通信资源分配。对通信资源i和设备j之间的算会议终端设备间的传输延迟d;，描述音频数据从一个设备传输到另一个设备的时间延以时间同步误差和网络资源利用率作为优化指标，设时At朗日函数B表示为：设备的音频时间轴对齐到参考时间轴上，得到时间对齐的音频流。设设备的音频帧为[0174]应当理解的是，处理器301可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(DigitalSignal上述描述的电子设备300的具体工作过程，可以参考前述会议终端设备多路音频同步方法[