CN119494079B 一种基于多模态大模型分析的数据决策方法及系统 （广州技客信息科技有限公司）

12号西湖商业大厦第30楼自编号334号一种基于多模态大模型分析的数据决策方本发明提出一种基于多模态大模型分析的高效的模态融合方法以及更精准的任务决策能2S3、利用最终情境特征分别对每个模态特征使用模态特化的动态权重分别对多模态特征进行特化优化，生成优化后的模态特征，分别将交互特征与优化后的文本特征、图像特征和时间序列若任务存在多目标场景，则设计协同优化模块，通过协同优化I;和时间序列模态si；设计基于上下文注意力的动态语义聚合模块CTX-TXT，对词向生成文本特征向量Fr：;3;是第个单词的注意力权重，softmax是归一化函数，是语义查询向量所述动态语义聚合模块CTX-TXT通过动态调整任务相关的语义查询向量Qr捕;d,'为最终图像特征的嵌入维度；对于时间序列模态，设计多尺度趋势捕获模块MSC，所述多尺度趋势捕获模块MSC;分别使用平滑卷积提取的全局特征和多尺度窗口卷积提取的局部;为最终时间序列特征的嵌入维度，是长周期趋势部分的全局特征向量，4;分别为模态m的均值和标准差；;其中，e表示向量拼接是最终多;;根据模态之间的相关性引入模态交互增强模块，通过张量化方式建5;利用模态交互信息的高维张量M对初始情境特征进行增强，并加入正则化项以抑制过高的交互复杂度：;;;;;6;;;;述对全局特征进行动态加权，权重由最终情境特征c-引导生成，权重的计算直接与全局;;7;为第2个子任务的特化特征，为第n个子任务的特化特征；协同矩阵R是可学习;;多模态数据采集单元，用于采集多模态数据并进行预处多模态特征分析单元，用于对所述多模态特征进行特征多模态特征优化单元，用于利用最终情境特征分使用模态特化的动态权重分别对多模态特征进行特化优化，生成优化后的模态特征，8分别将交互特征与优化后的文本特征、图像特征和时间序列若任务存在多目标场景，则设计协同优化模块，通过协同优化9[0003]当前多模态数据中往往存在部分冗余信息（如文本描述与图像中呈现内容的重在数据融合时通常采用简单的拼接或对齐方式，未能有效过滤或修正这些冗余和冲突信务动态调整模态权重。例如，在医疗诊断中，不同疾病可能需要关注的模态特征有所不同对所有模态一视同仁，未能充分利用情境信息提升决策的针对性，尤其在机器学习集成模[0007]基于上述问题，目前的多模态决策技术在面对复杂任务时存在明显的性能瓶[0030]所述动态语义聚合模块CTX-TXT通过动态调整任务相关的语义查询向量Qr捕获上下文中与任务最相关的信息，为最终文本特征，dz'为最终文本特征的嵌入维[0055]对增强后的情境特征通过LZ范数约束进行特征稀疏化优化，移除低重要性的维[0060]利用模态交互信息的高维张量对初始情境特征进行增强，并加入正则化项以抑制过高的交互复杂度：[0084]该正则化项通过约束模态间的特征点积减少冗余，确保融合后的全局特征既[0094]所述任务特化特征cual计算如下：w的维度；[0106]多模态特征优化单元，用于利用最终情境特征分别对每个模态特征进行特化优学习集成模型与分类决策任务中，通过对不同情境的动态感知提升模型的灵活性和针对[0122]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限[0128]具体的，输入多模态数据集D={dy,d3,…,d}，其中每个数据点df=(T;,IY,s)包i的频域表示，v是正则化系数，用于平衡频域抑制对特征的对初步情境特征C进行增强，并加入正则化项[0184]其中是模态的交互增强特征，由情境特征和优化后的模态特征的加权和生是模态[0196]其中ya是模态m的权重，由情境特征c*控制。例如，ya可以通过softmax(c*v)计[0199]该正则化项通过约束模态间的特征点积减少冗余，确保融合后的全局过动态权重和正则化控制实现模态间的平衡。全局特征作为后续任务驱动优化决策的输[0217]如图2所示，在本发明的另外一个实施例提供了一种基于多模态大模型分析的数[0220]多模态特征优化单元103，用于利用最终情境特征分别对每个模态特征进行特化法可借助软件加必需的通用硬件平台的方式来实