CN119400341A 基于多模态时间序列数据的蜂窝肺疾病病情预测方法 （太原理工大学）

号基于多模态时间序列数据的蜂窝肺疾病病本发明提供一种基于多模态时间序列数据一种基于多模态时间序列数据的蜂窝肺疾病病情预测方法；解决该技术问题采用的技术方案数据转换为嵌入表示，由输入层处理多模态数2步骤S1：通过医院的电子病历系统和放射科报告收集步骤S8：将融合的特征向量输入到全连接层，2.根据权利要求1所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特对CT图像数据进行人工标注，提取病变区域并生成二值化的掩膜图33.根据权利要求2所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特输入模型的数据包括CT图像数据和文本数据的数字化表示，其中4.根据权利要求3所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特5.根据权利要求4所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特4步骤S53：在经过前馈神经网络之后，将所提取到的特征进行逆小波变换转换为空间6.根据权利要求5所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特5将计算好的位置编码向量PE添加到输入层处理过的特征向量将输入的特征序列划分为多个自注意力头，对每个注意Qk是键矩阵的维度；将每个位置的特征向量通过前馈神经网络做进一步的处7.根据权利要求6所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特为小波变换特征Fwavelet和Transformer特征Ftrans分别设置门控单元，控制每种特征的6G-transFtrans+bG-tr8.根据权利要求7所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特ij9.根据权利要求8所述的基于多模态时间序列数据的蜂窝肺疾病病情预测方法，其特t；步骤S114：定义二阶动量估计vt为当前梯度gt的平方的指数加权移动平均，计算公式vt=β2t2；步骤S115：使用偏差校正后的一阶动量估计和二阶动78法在处理复杂时间序列数据和多尺度特征提取方面存在不足，都将导致预测结果误差较9[0028]对图像数据进行清洗，选取采集数据中能体现病灶的2D切片、统一图像大小为256*256像素大小，再将图像数据进行清洗后通过重建技术将现有的2D切片数据构建为3D步通过Transformer网络生成特征向量，将上述生成的特征向量组合成一个综合的输入数[0050]步骤S51：使用低通滤波器h[n]和高通滤波器g[n]对融合向量进行滤波和下采样是一个时间点的一个病人的数据的特征维度，n是序列长度，将其表示为适合输入seq[0065]将计算好的位置编码向量PE添加到输入层处理过的特征向量F中，使得输入seq[0068]将输入的特征序列划分为多个自注意力头，对每个注意力头独立进行注意力计[0081]为小波变换特征Fwavelet和Transformer特征Ftrans分别设置门控单元，控制每种特i个样本的第j个类别的真实标签，表示第i个样本的第j个类别的预测值；t；t2；并通过将小波变换与Transformer模型相结合，使整个预测模型不仅可以实现对蜂窝状肺[0119]最后通过设计合理的网络结构和优化超参数，Transformer能够有效学习时间序[0120]进一步的，本发明提出的基于多模态时间序列数据的蜂为256*256像素大小，再将图像数据进行清洗后通过重建技术将现有的2D切片数据构建为术语和单位。接着，对CT图像数据进行人工标注，提取病变区域并生成二值化的掩膜图[0155]步骤S51：使用低通滤波器h[n]和高通滤波器g[n]对融合向量进行滤波和下采样够通过使用Transformer网络更加有效的捕捉输入数据中的时序关一个时间点的一个病人的数据的特征维度，n是序列长度。将它们表示成适合输入[0168]步骤S62：由于Transformer模型本身并没有内置的处理时间序列数据信息的机制，因此通过位置编码(PositionalEncoding，PE)来引入时间序列数据信息。位置编码(PE)可以将输入模型的数据的特征在时间序列中的位置，可以帮助Transformer模型更加seq[0171]将计算好的位置编码向量PE添加到输入层处理过的特征向量F中，使得输入seqTransformer模型中的数据不仅包含特征信息，还包含了每个特征在时间序列中的位置信立的进行注意力计算，从而学习到不同的特征表示。在多头自注意力机制(Multi_Head[0184]步骤S65：层归一化和残差连接：在经历过多头自注意力机制和前馈神经网络之[0185]通过使用上述的过程，Transformer网络能够有效的处理时间序列数据中的时序i个样本的第j个类别的真实标签，表示第i个样本的第j个