CN115731924B 单通道时域鸟声分离方法、装置以及计算机可读存储介质 （广州大学）

US2020273484A1,2020.08.27本发明公开了一种单通道时域鸟声分离方2构建鸟声分离网络的编码器；其中，所述编码器由一层一维卷将鸟声信号中的特征分割为若干个重叠块，将分割后的所有重叠通过一维卷积层将特征长度减半处理，然后进行多头注意力计算，再接归一化层和通过局部transformer处理和全局transformer处理完成序列建模过程，得到目标特对所述目标特征进行重叠相加处理，得到不同声源估计的掩膜，使用一个转置卷积层作为解码器，通过分离器得到不同声每个音频文件中的鸟声存在时长不小于音频文件总时长的50%；音频文件中连续的非鸟声对获取到的鸟声数据进行归一化处理，将鸟声数据统一音频格式、采用分层抽样策略将归一化处理后的鸟声数据划分为训练集和验3得到两个相等长度的鸟声信号后，将两个鸟声信号进行混合处理，练集和所述验证集中任意两个种类的任意两个鸟声s(t)=s(t)+u·sz(t)其中，s(t)为混合后的鸟声信号，s1(t)和s2(t)为程中sz(t)的增益系数。按照设定的信噪比范围把噪声切片数据叠加到鸟声数据集上，向所述鸟或者，将切片数据在时间轴上等距离划分成若干等份，或者，将鸟声数据集的鸟声信号的所有采样第五模块，用于根据所述鸟声分离模型对混合鸟声数构建鸟声分离网络的编码器；其中，所述编码器由一层一维卷将鸟声信号中的特征分割为若干个重叠块，将分割后的所有重叠通过一维卷积层将特征长度减半处理，然后进行多头注意力计算，再接归一化层和通过局部transformer处理和全局transformer处理完成序列建模过程，得到目标特4对所述目标特征进行重叠相加处理，得到不同声源估计的掩膜，使用一个转置卷积层作为解码器，通过分离器得到不同声所述处理器执行所述程序实现如权利要求1至4中任一项56[0014]获取不同类别的鸟声数据；其中，每种类别的鸟声数据的音频播放时长不低于1200秒；每个音频文件中的鸟声存在时长不小于音频文件总时长的50音频文件中连续的非鸟声音频段不大于整个音频文件总时长的25%;述训练集和所述验证集中任意两个种类的任意两个鸟声信号的2和s2[0028]或者，将鸟声数据集的鸟声信号的所有采样点的幅度值乘以设定的幅度增益因78[0066]获取不同类别的鸟声数据；其中，每种类别的鸟声数据的音频播放时长不低于1200秒；每个音频文件中的鸟声存在时长不小于音频文件总时长的50音频文件中连续的非鸟声音频段不大于整个音频文件总时长的25%;9述训练集和所述验证集中任意两个种类的任意两个鸟声信号的2和s2[0080]或者，将鸟声数据集的鸟声信号的所有采样点的幅度值乘以设定的幅度增益因[0106]参考图1的整体方法流程图，本发明实施例提供的一种基于深度学习在复杂声学声时长不得小于音频文件总时长的50音频文件中连续的非鸟声段不能大于整个音频文和s2[0129]对已经完成时域数据增强方法的混合鸟声信号保存为新的数据集用于后续的模DPTTNet块中使用一维卷积层来降低特征长度，一维卷积层的卷积核个数和输入特征维度[0141]在双路径处理阶段，每次完整的序列建模包括局部transformer处理和全局[0144]分割阶段输出的特征D首先传递给局部transformer处理，局部transformer处理后的输入特征D。还需要注意的是每个局部transformer处理和全局transformer处理的层[0154]在B次双路径处理完后得到的Doutput需要通过重叠相加的方法转换成和分割前一[0159]si=transpose.c习率，eta_min是参数eta_min表示最小学习率，T_max表示cos的周期的1/4。例如可设置[0174]本实施例在20种不同鸟类的混合鸟声数据集中取得了和其他声源分离模型相似19.32.621.522.142.96119.320.142.961的时间，F/BGPUMemory表示模型在GPU上运行时所消耗的前向推断和方向传播所消耗的[0182]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提改变以及其中被描述为较大操作的一部分的子操作被说明，所述的功能和/