CN118094309B 一种用于呼吸音分类模型训练的多域协同自监督学习方法 （广东工业大学）

WO2023143995A1,2023.08.03一种用于呼吸音分类模型训练的多域协同本发明公开一种用于呼吸音分类模型训练提取子网和松弛注意力特征融合子网进行预训2对所述呼吸音数据集进行预处理，得到预处理后的辅助数据集处理后的辅助数据集和目标数据集为多个长度统一的呼吸周构建依次连接的特征提取子网、松弛注意力特征进行呼吸音分类识别；其中，所述特征提取子网包括时域特征提取子网和时频特征提取子网是由wav2vec2.0构成的；所述时频域特征提取子网是由Swin_Transformer2.根据权利要求1所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特使用SPRSound儿科呼吸声音数据库作为辅助数据集；所述辅助数据集包括292名儿童使用ICBHI呼吸音数据库作为目标数据集；所述目标数据集包括不同厂家的数字听诊3.根据权利要求1所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特对所述呼吸音数据集进行重采样，将所有呼吸音数据的采样率统一至8将所述重采样数据以设定呼吸周期进行截取，并对截取后不足对所述呼吸周期数据进行淡入淡出操作，按照设定的渐变权重调整音频波形的振幅，4.根据权利要求1所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特3将所述特征提取子网和所述松弛注意力特征融合子网的优化参数与所述特征分类子网的随机初始化参数，以最小化预处理后的目标数据集呼吸音分类的FocalLoss为目标，5.根据权利要求4所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特对预处理后的辅助数据集进行随机时移，确定局部近邻片段或相邻呼将局部近邻片段或相邻呼吸周期信号，以及设定呼吸周期的数据段输入时域特征提取子对预处理后的辅助数据集进行短时傅里叶变换，得到第一时频谱，6.根据权利要求4所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特利用AdamW优化器和所述特征融合前后的域间正样本对，通过反向梯度传播预训练进7.根据权利要求4所述的用于呼吸音分类模型训练的多域协同自监督学习方法，其特4关联关系；在时频域进行自监督学习则难以细致地表征呼吸音各时间片段之间的关联关[0004]本发明的目的是提供一种用于呼吸音分类模型训练的多能够突破单一变换域自监督学习无法表征复杂多样呼吸音数据潜在多尺度时频关联信息述预处理后的辅助数据集和目标数据集为多个长度统一的呼吸所述预处理后的目标数据集进行所有子网参数的联合调优，得到训练好的呼吸音分类模5时域特征提取子网是由wav2vec2.0构成的；所述时频域特征提取子网是由Swin_Transformer构成的；所述松弛注意力特征融合子网包括与加法器连接的结构相同的两个[0012]使用SPRSound儿科呼吸声音数据库作为辅助数据集；所述辅助数据集包括292名[0013]使用ICBHI呼吸音数据库作为目标数据集；所述目标数据集包括不同厂家的数字[0022]将所述特征提取子网和所述松弛注意力特征融合子网的优化参数与所述特征分[0024]对预处理后的辅助数据集进行随机时移，确定局部近邻片段或相邻呼吸周期信6[0029]利用AdamW优化器和所述特征融合前后的域间正样本对，通过反向梯度传播预训7[0040]本发明的目的是提供一种用于呼吸音分类模型训练的多能够突破单一变换域自监督学习无法表征复杂多样呼吸音数据潜在多尺度时频关联信息[0042]如图1所示，本发明提供了一种用于呼吸音分类模型训练的多域协同自监督学习时域特征提取子网是由wav2vec2.0构成的；所述时频域特征提取子网是由Swin_Transformer构成的；所述松弛注意力特征融合子网包括与加法器连接的结构相同的两个损失函数，分别对呼吸音时域和时频域特征提取子网进行预训练，实现域内正样本对齐；8[0051]使用SPRSound儿科呼吸声音数据库作为辅助数据集。该数据集由292名儿童的2,[0053]使用ICBHI呼吸音数据库作为目标数据集。该数据集由不同厂家的数字听诊器所如果数据长度大于8秒,则舍弃8秒之后的数据。如果数据长度小于8s,则复制同一呼吸周[0061]对步骤2.2得到的数据进行淡入淡呼吸音不同层次的时序特征；wav2vec2.0的自注意力模块适合表征呼吸音长程时域关联[0067]令步骤2.3处理后所获得的辅助数据集的呼吸周期信号为SA1。对SA1进行数据增强，即通过随机时移取SA1的局部近邻片段(与SA1有交叠)或相邻呼吸周期信号(与SA1无交力机制和滑动窗口注意力机制可以有效捕获呼吸音时频域的局部和全局特征，并且通过9[0080]本发明采用AdamW优化器，通过反向梯度传播预训练时域和时频域特征提取子网分别表示沿通道维度融合局部和全局上下文信息。左边分支表示求取局部上下文信息Cl，g右边分支表示求取全局上下文信息C。对步骤3.2获得的时域g[0087]C=ciscg(4-3)[0088]其中，表示广播相加。合并后，分别生成时域调制掩码M?和时频域调制掩码/传统的注意力特征融合模块，此处松弛注意力特征融合子网去除了值域局限于[0,1]之间[0105]呼吸音特征分类子网由全连接层和Softmax激活函数构成，实现由呼吸音特征至网参数作为初始参数。把它们与分类子网参数一起以最小化目标数据集呼吸音分类的FocalLoss为目标，进行联合调优，以克服辅助数据集和目标数据集的分布差异。Focal[0112](1)现有技术都属于单一变换域的自监督学习，受限于时间分辨率和频率分辨率[0113]