CN115349821B 一种基于多模态生理信号融合的睡眠分期方法及系统 （深圳技术大学）

一种基于多模态生理信号融合的睡眠分期本发明公开了一种基于多模态生理信号融将所述频域时域融合特征和空域时域融合特2将所述多导联信号进行短时傅里叶变换处理，转换得到时频图，分别将所述时频图和所述机器自学习图进行相邻睡眠阶段的时域特征结合，得到频将所述频域时域融合特征和空域时域融合特征进行多视图特征融把每个导联看作图中的每个节点；其中，所述节点的特征根据提取到的所述特征矩阵生成自学习图，进而形成不同信号导联间的所述分别将所述时频图和所述机器自学习图进行相邻睡眠阶段的时域特征结所述使用空域卷积对所述自学习图进行特征提取，提取人体生理结构之间的空间特在自学习图上加入空间注意力机制，利用切比雪夫图卷积捕获自学习图中的拓扑结其中，所述切比雪夫图卷积过程中学习到的邻接矩阵和空间根据所述配置好的采样频率和STFT窗宽度，对每30秒一段的信号进行短时傅里叶变3将当前提取的频率特征及频率特征前后两个片段组合成将每个序列的输出输入到一个注意网络中，学习每个序列的权在当前记录及前后两段记录的构造图中加入一个时间注意力5.一种应用如权利要求1一4中任一项所第三模块，用于分别将所述时频图和所述机器自学习图第四模块，用于将所述频域一时域融合特征和空域一时域所述处理器执行所述程序实现如权利要求1至4中任一项4进行夜间记录，使用附着在身体上的传感器测量多种生5[0020]使用空域卷积对所述自学习图进行特征提取，提取人体生理结构之间的空间特[0032]将融合的特征与当前睡眠阶段本身的特征相结合后，输入到一个128维的全连接6[0035]本发明实施例的另一方面还提供了一种基于多模态生理信号融合的睡眠分期系[0045]本发明的实施例对采集到的多导睡眠监测信号进行降采样处理，得到多导联信7[0066]使用空域卷积对所述自学习图进行特征提取，提取人体生理结构之间的空间特8[0078]将融合的特征与当前睡眠阶段本身的特征相结合后，输入到一个128维的全连接[0081]本发明实施例的另一方面还提供了一种基于多模态生理信号融合的睡眠分期系方法中两大经典方法卷积神经网络(CNN),循环神经网络(RNN)，从多导睡眠9型的输入包括多导睡眠图中的EEG，EOG，ECG和EMG信号。(2)本发明通过构建时频图(TFImage)以及自学习图(GLGraph)分别表示规则化导联信号间关系以及非规则化生理结构征用于提高睡眠分期的准确率。(3)本发明在睡眠信号公开数据集ISRUC_SleepS3进行了[0096]本发明提出的多模态融合模型MVF_SleepNet的工作流程如图2所示。首先把信号本发明在当前记录及其前后两段的构造图中加入了一个时间注意力机制，并利用时间卷Gu和Gv之间的相关强度。[0123]多视图特征融合模块。模型从TFImage中获取频域_时域特征以及从GLGraph中[0124]x=x"IX8MSTGCN等)进行了比较，实验结果是10折交叉验证的平均值，其中，表1是在公开数据集ISRUC_SleepS3上每段的睡眠分期识别性[0128]在本发明中，本发明开发了一种新的基于深度学习的多模态融合算法MVF_sleepstageclassificationsystem,”IEEETrans.NeuralSyst.Rehabil.Eng.,Trans.NeuralSyst.Rehabil.Eng.,vol.26,献中采用的方法。forautomaticsleepstagescoringbasedonrawsingle_channelEEG,”IEEE[0137]第五种方法是指“S.Chambon,M.N.Galtier,P.J.Arnal,G.Wainrib,andA.Gramfort,“Adeeplearningarchitecturefortemporalsleepstageclassificationusingmultivariateandmultimodaltimeseries,”IEEE“SeqSleepNet:End_to_endhierarchicalrecurrentneuralnetworkforsequence_to_sequenceautomaticsleepstaging,”IEEETrans.NeuralSyst.Rehabil.Eng.,graphconvolutionalnetworksforsleepstageclassification,”inProc.29thH.L.Li_wei,“Multi_viewspatial_temporalgraphconvolutionalnetworkswithdomaingeneralizationforsleepstageclassification,”IEEETransactionson[0141]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提被改变以及其中被描述为较大操作的一部分的子操作被说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块算机软件产