CN115813408B 一种用于脑电信号分类任务的Transformer编码器自监督学习方法 （华中科技大学）

一种用于脑电信号分类任务的Transformer本发明公开了一种用于脑电信号分类任务的Transformer编码器自监督学习方法，该方法据人头皮脑电特性引入多层小波包重构技术将计了一种基于Transformer编码器的自监督预训2S2，分别将各子波信号切分为等尺寸的信号S3，将完成掩码操作的各子波信号分别输入至与其一一对应的Transformer编码器及EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及解其中，各子波信号的Transformer编码器对完成掩码操作的各子波信号进行编码得到全部片段的隐空间特征表示，各子波信号的的Transformer解码器对所述全部片段的隐空将各子波信号的信号片段按照相同的线性映射方式3.一种脑电信号分类模型的训练方法，其特征在于权利要求1-2任一项所述的预训练方法得到的预训练好的Transformer编码器及与其一一4.如权利要求3所述的方法，其特征在于，所述可学习权重初始化为归一化的相同权3掩码操作模块，用于分别将各子波信号切分为等尺寸的信号片段，并EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述其中，各子波信号的Transformer编码器对完成掩码操作的各子波信号进行编码得到全部片段的隐空间特征表示，各子波信号的的Transformer解码器对所述全部片段的隐空7.一种脑电信号分类模型的训练装置，其特征在于权利要求6所述的预训练装置得到的预训练好的Transformer编码器及与其一一对应连接训练模块，用于基于可学习权重对各子波信号的分类概9.一种计算机存储介质，所述计算机存储介质中存4[0001]本发明属于脑机接口领域，更具体地，涉及一种用于脑电信号分类任务的[0004]在基于EEG的脑机接口任务中，不同于计算机视觉任务中所使用的图像数据存在5[0009]S3，将完成掩码操作的各子波信号分别输入至与其一一对应的Transformer编码述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及号分类模型包括采用第一方面所述的预训练方法得到的预训练好的Transformer编码器及分类的EEG信号输入至采用第二方面所述的训练方法得到的训练好的脑电信号分类模型，[0014]按照本发明的第四方面，提供了一种用于脑电信号分类任务的Transformer编码[0017]预训练模块，用于将完成掩码操作的各子波信号分别输入至与其一一对应的EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述号分类模型包括采用第四方面所述的预训练装置得到的预训练好的Transformer编码器及[0019]分类概率获取模块，用于将预训练好的Transformer编码器作为初始化的特征提6号输入至采用第五方面所述的训练装置得到的训练好的脑电信号分类模型，得到分类结脑电数据信号重构为不同频段的子波信号，并设计了一种基于Transformer编码器的自监[0026]图1为本发明实施例提供的用于脑电信号分类任务的Transformer编码器预训练[0029]基于此，本发明实施例提供一种用于脑电信号分类任务的Transformer编码器预7[0040]具体地，按相同长度m将各个子波信号按照无重叠线性映射的方式切分成个片如：10％)随机生成长度为的掩码序列用[0041]S3，将进行掩码操作后的各子波信号分别输入至与其一一对应的Transformer编应连接；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述以及与之对应的Transformer解码器(Froaer…FO):8[0046]构造预训练任务：不断迭代训练以最小化预训练损失：Lpt=1(si-x)2,即[0049]所述脑电信号分类模型包括采用上述任一实施例所述的预训练方法得到的预训练好的Transformer编码器及与其一[0053]将经预处理后的EEG信号各频段的子波输入至经过预训练的编码器中，得到隐空[0060]本发明实施例提供一种用于脑电信号分类任务的Transformer编码器预训练装9[0063]预训练模块，用于将完成掩码操作的各子波信号分别输入至与其一一对应的EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述括采用上述实施例所述的预训练装置得到的预训练好的Transformer编码器及与其一一对[0066]分类概率获取模块