CN119494079A 一种基于多模态大模型分析的数据决策方法及系统 （广州技客信息科技有限公司）

12号西湖商业大厦第30楼自编号334号一种基于多模态大模型分析的数据决策方本发明提出一种基于多模态大模型分析的高效的模态融合方法以及更精准的任务决策能2S3、利用最终情境特征分别对每个模态特征使用模态特化的动态权重分别对多模态特征进行特化优化，生成优化后的模态特征，分别将交互特征与优化后的文本特征、图像特征和时间序列若任务存在多目标场景，则设计协同优化模块，通过协同优化模态数据表示为D={dy,d3,…,dy,d⃞,其中每个数据点d=(T;,IY,s)包含三种模态：文本;;3所述动态语义聚合模块CTX-TXT通过动态调整任务相关的语义查询向量Qr捕获上下文中与任务最相关的信息，FpeRdr'为最终文本特征，dz'为最终文本特征的;通过减少高频噪声增强图像特征的稳定性和有效性;;;4;dp=dz'+df'+ds'，dp是最终多模态特征的维度，ds';;根据模态之间的相关性引入模态交互增强模块，通过张量化方式建;利用模态交互信息的高维张量对初始情境特征进行增强，并加入正则化项以抑制过高的交互复杂度：;;5;;;;;w是模态;合后的全局特征既保留模态独特信息，又能有效结合模态协同性；表示逐元素乘积，;6;;所述任务特化特征cual计算如下：;;;多模态数据采集单元，用于采集多模态数据并进行预处多模态特征分析单元，用于对所述多模态特征进行特征多模态特征优化单元，用于利用最终情境特征分7使用模态特化的动态权重分别对多模态特征进行特化优化，生成优化后的模态特征，分别将交互特征与优化后的文本特征、图像特征和时间序列若任务存在多目标场景，则设计协同优化模块，通过协同优化8当前多模态数据中往往存在部分冗余信息（如文本描述与图像中呈现内容的重在数据融合时通常采用简单的拼接或对齐方式，未能有效过滤或修正这些冗余和冲突信务动态调整模态权重。例如，在医疗诊断中，不同疾病可能需要关注的模态特征有所不同对所有模态一视同仁，未能充分利用情境信息提升决策的针对性，尤其在机器学习集成模[0006]基于上述问题，目前的多模态决策技术在面对复杂任务时存在明显的性能瓶9;;所述动态语义聚合模块CTX-TXT通过动态调整任务相关的语义查询向量Qr捕获上下文中与任务最相关的信息，为最终文本特征，dz'为最终文本特征的嵌入维;;;对提取的三种模态特征Fr、F和FS进行归一化处理，使;;;;对增强后的情境特征通过LZ范数约束进行特征稀疏化优化，移除低重要性的维;利用模态交互信息的高维张量对初始情境特征进行增强，并加入正则化项以抑制过高的交互复杂度：;;;;;;;该正则化项通过约束模态间的特征点积减少冗余，确保融合后的全局特征既;;;所述任务特化特征cual计算如下：;;;多模态特征优化单元，用于利用最终情境特征分别对每个模态特征进行特化优学习集成模型与分类决策任务中，通过对不同情境的动态感知提升模型的灵活性和针对[0023]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限[0028]具体的，输入多模态数据集D={dy,d3,…,d}，其中每个数据点df=(T;,IY,s)包;;;;;;其中a和oa分别为模态m的均值和标准差。;;;对初步情境特征C进行增强，并加入正则化项;;;;其中是模态的交互增强特征，由情境特征和优化后的模态特征的加权和生;;其中ya是模态m的权重，由情境特征c*控制。例如，ya可以通过softmax(c*v)计;该正则化项通过约束模态间的特征点积减少冗余，确保融合后的全局特征既保过动态权重和正则化控制实现模态间的平衡。全局特征作为后续任务驱动优化决策的输;;;;;[0066]如图2所示，在本发明的另外一个实施例提供了一种基于多模态大模型分析的数多模态特征优化单元103，用于利用最终情境特征分别对每个模态特征进行特化法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技