CN119516316B 基于人工智能的多模态数据融合方法及系统 （河南融创新合科技有限公司）

基于人工智能的多模态数据融合方法及系统本申请提供了一种基于人工智能的多模态工智能和深度学习的数据处理和图像分析算法植株本体水分分布特征和土壤湿度时序特征之间的隐式关联来刻画出农作物水分供给跨模态技术结合多模态的数据分析来实现更为智能化2获取由摄像头采集的农作物生长状态图像，并对所述农作物生获取由红外摄像头采集的农作物植株本体红外图像，并对所述农像进行植物本体水分分布特征提取以得到农作物获取由土壤湿度传感器采集的土壤湿度值的时间队对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物水分给跨模态时序联合编码特征进行特征二级筛选以得到所述农作物水分供给跨模态时序联对所述农作物水分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码以得到农作物所需水分基于所述农作物所需水分时序关联特征进行灌溉优化控制以确取器以得到农作物生长语义编码状态特征图作为所述农作物生长语义作物植株本体红外图像进行植物本体水分分布特征提取以得到农作物植株本体水分分布物本体水分分布特征提取器以得到农作物植株本体水分分布特征图作为所述农作物植株值的时间队列输入基于前向LSTM模型的序列编码器以得到土壤湿度时序关联隐含特征向作物植株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作3对所述农作物植株本体水分分布特征图进行特征蒸馏以得到农作物植株本体水分分将所述土壤湿度时序关联隐含特征向量和所述农作物植株本体水分分布蒸馏特征向量输入多模态隐式关联特征捕获网络以得到农作物水分供给跨模态时序隐式共性特征向作物水分供给跨模态时序隐式共性特征进行特征初步筛选以得到初筛农作物水分供给跨将所述农作物水分供给跨模态时序隐式共性特征向量输入基于门控单元的特征初筛模块以得到一级农作物水分供给跨模态时序特征初基于所述一级农作物水分供给跨模态时序特征初筛权重向量水分分布特征图进行特征初步筛选以得到初筛农作物水分供给跨模态时序联合编码特征图作为所述初筛农作物水分供给跨模态时序联筛农作物水分供给跨模态时序联合编码特征进行特征二级筛选以得到所述农作物水分供将所述农作物水分供给跨模态时序隐式共性特征向量输入基于多级门控单元的特征二级筛选模块以得到二级农作物水分供给跨模态时序基于所述二级农作物水分供给跨模态时序特征筛选权重向量，对所述供给跨模态时序联合编码特征图进行特征二级筛选以得到农作物水分供给跨模态时序联合编码特征图作为所述农作物水分供给跨模态时序作物水分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时图和所述农作物水分供给跨模态时序联合编码特征图输入灌溉时序解码网络以得到农作物所需水分时序关联编码特征图作为所述农作物所需水10.一种基于人工智能的多模态数据融合系统，用于执行如权利要求1至9任一项所述农作物生长状态特征提取模块，用于获取由摄像头采集的农作所述农作物生长状态图像进行农作物生长状态特征提取以得到农作物生长语义编码状态植物本体水分分布特征提取模块，用于获取由红外摄像头采集的农土壤湿度值时间队列序列编码模块，用于获取由土壤湿度传4跨模态优选联合编码模块，用于对所述农作物植株本体水分分布特征和时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供给跨模态时序联合编灌溉时序解码模块，用于对所述农作物水分供给物生长语义编码状态特征进行灌溉时序解码以得到农作物所推荐灌溉量确定模块，用于基于所述农作物所需水分时序关联特征进5作物生长状态特征提取以得到农作物生长语外图像进行植物本体水分分布特征提取以得到农作物植株本[0010]对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨6物植株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物分供给跨模态时序联合编码特征进行特征二级筛选以得到所述农作物水分供给跨模态时[0011]对所述农作物水分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码以得到农作物所需水分时[0014]农作物生长状态特征提取模块，用于获取由摄像头采集并对所述农作物生长状态图像进行农作物生长状态特征提取以得到农作物生长语义编码湿度时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供给跨模态时序联农作物生长语义编码状态特征进行灌溉时序解码以得到农作物所需[0021]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、7[0023]图2为根据本申请实施例的基于人工智能的多模态数据融合方法的数据流动示意[0024]图3为根据本申请实施例的基于人工智能的多模态数据融合方法中对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供给跨模态时序联合编码特征的[0025]图4为根据本申请实施例的基于人工智能的多模态数据融合方法中对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物水所说明的任何实施例不必解释为优于或好于其它实长状态语义进行解码生成农作物所需水分时序语义，以此来进行农作物灌溉量的优化控在满足农作物灌溉需求的同时有利于提高水资源[0032]具体地，图1为根据本申请实施例的基于人工智能的多模态数据融合方法的流程8间队列，并对所述土壤湿度值的时间队列进行序列编码以得到土壤湿度时序关联特征；分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码图像输入基于空洞卷积神经网络模型的农作物生长状态特征提取器以得到农作物生长语输入基于空洞卷积神经网络模型的农作物生长状态特征提取器以得到农作物生长语义编后续的农作物所需水分时序信息推断以及灌溉量控制提株本体红外图像输入基于深度可分离卷积神经网络模型的植物本体水分分布特征提取器解，通过所述基于深度可分离卷积神经网络模型的植物本体水分分布特征提取器进行处9时监测土壤湿度变化可以帮助农业管理者及时调整灌溉和施肥策略，优化水资源的使用。LSTM模型的序列编码器以得到土壤湿度时序关联隐含特征向量作为所述土壤湿度时序关株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态优选的联合编码以得分布特征图包含了农作物植株本体的温度分布特征信息，其反映了植物表面温度分布情特征和所述土壤湿度时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供合来自不同模态的数据信息(包括土壤湿度时序关联特征和农作物植株本体水分分布特征)来进行农作物水分供给的跨模态时序联合表示，这种编码方式旨在识别并利用不同数到的农作物水分供给跨模态时序联合编码特征不仅能够捕捉单一模态中所呈现的农作物的跨模态间互补性和一致性，以此来更好地表征农作物水分供给的时序特性和变化趋势，[0040]图3为根据本申请实施例的基于人工智能的多模态数据融合方法中对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态优选的联合编码以对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态优选株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物水分农作物水分供给跨模态时序联合编码特征进行特征二级筛选以得到所述农作物水分供给[0041]图4为根据本申请实施例的基于人工智能的多模态数据融合方法中对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物水所述土壤湿度时序关联隐含特征向量和所述农作物植株本体水分分布蒸馏特征向量输入多模态隐式关联特征捕获网络以得到农作物水分供给跨模态时序隐式共性特征向量作为植株本体水分分布通道调制特征图中沿通道维度的各个特征矩阵进行全局均值池化处理向量输入Sigmoid函数中进行处理以得到所述农作物植株本体水分分布蒸馏物植株本体水分分布蒸馏特征向量输入多模态隐式关联特征捕获网络以得到农作物水分作物植株本体水分分布蒸馏特征向量输入多模态隐式关联特征捕获网络以得到农作物水分供给跨模态时序隐式共性特征向量作为所述农作物水分供给跨模态时序隐式共性特征，态时序级联特征向量与线性变换权重矩阵进行相乘后再与线性变换偏置向量进行按位置分供给跨模态时序级联特征向量通过tanh函数中进行处理以得到所述农作物水分供给跨式共性特征进行特征初步筛选以得到初筛农作物水分供给跨模态时序联合编码特征，包行特征初步筛选以得到初筛农作物水分供给跨模态时序联合编码特征图作为所述初筛农量输入基于门控单元的特征初筛模块以得到一级农作物水分供给跨模态时序特征初筛权向量输入基于门控单元的特征初筛模块以得到一级农作物水分供给跨模态时序特征初筛行相乘后再与初筛偏置向量进行按位置相加以得到初筛线性变换农作物水分供给跨模态量通过Sigmoid函数中进行处理以得到一级农作物水分供给跨模态时序特征初筛调制向一级农作物水分供给跨模态时序特征初筛调制向量中的特征值大于所述预设阈值且小于分供给跨模态时序联合编码特征图作为所述初筛农作物水分供给跨模态时序联合编码特水分供给跨模态时序联合编码特征图作为所述初筛农作物水分供给跨模态时序联合编码特征图输入tanh函数中进行处理以得到所述初筛农作物水分供给跨模态时序联合编码特序联合编码特征进行特征二级筛选以得到所述农作物水分供给跨模态时序联合编码特征，模态时序联合编码特征图进行特征二级筛选以得到农作物水分供给跨模态时序联合编码特征图作为所述农作物水分供给跨模态时序联量输入基于多级门控单元的特征二级筛选模块以得到二级农作物水分供给跨模态时序特向量输入基于多级门控单元的特征二级筛选模块以得到二级农作物水分供给跨模态时序重矩阵进行相乘后再与初筛偏置向量进行按位置相加以得到所述初筛线性变换农作物水式共性特征向量通过Sigmoid函数中进行处理以得到一级农作物水分供给跨模态时序特征数中进行处理以得到所述二级农作物水分供给跨模态时序到农作物水分供给跨模态时序联合编码特征图作为所述农作物水分供给跨模态时序联合得到农作物水分供给跨模态时序联合编码特征图作为所述农作物水分供给跨模态时序联通道筛选农作物水分供给跨模态时序联合编码特征图输入sigmoid函数中进行处理以得到土壤湿度时序关联特征进行基于跨模态优选的联合编码以得到所述农作物水分供给跨模2是所述农作物植株本体水分分布特征图，Conv1×1(·)为点卷积编码，yy物水分供给跨模态时序隐式共性特征向量，和b0f分别为初筛权重矩阵和初筛偏置向分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码特征则反映了作物的生长状况和生理需求。这两者的结合能够形成一个多维度的信息框合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码以得到农作物所需水模态时序联合编码特征图输入灌溉时序解码网络以得到农作物所需水分时序关联编码特状态特征图和所述农作物水分供给跨模态时序联合编码特征图分别包含了有关于农作物的生长阶段和健康状况语义特征以及农作物的水联合编码特征图输入灌溉时序解码网络(按位置差分)以得到农作物所需水分时序关联编生长语义编码状态特征图和所述农作物水分供给跨模态时序联合编码特征图进行按位置而在满足农作物灌溉需求的同时有利于提高图表示基于农作物植株本体红外图像确定的植株本体水分分布特征和土壤湿度时序关联物生长语义编码状态特征图和所述农作物水分供给跨模态时序联合编码特征图之间的模需水分时序关联编码特征向量的特征流形在高维特征空间中存在表达稀疏性和分布不均述L个农作物所需水分时序表达随机扰动特征值进行从大到小有序化排列以得到农作物所能量调制特征值对所述农作物所需水分时序表达随机扰动有序向量进行语义强度放缩以扰动有序向量与所述农作物所需水分时序关联编码特征向量的转置向量之间的乘积以得达最佳样例提示正交调制矩阵与所述农作物所需水分时序关联编码特征向量之间的矩阵时序关联编码特征向量输入所述基于解码器的灌溉优化控制器以得到所水分时序关联编码特征向量进行L次随机采样以得到一组基于原始特征但包含轻微变化的机扰动特征值从大到小有序化排列以形成一个农作物所需水分时序表达随机扰动有序向计算农作物所需水分时序关联编码特征向量的自内积以得到农作物所需水分时序表达能联编码特征向量转置之间的乘积以得到农作物所需水分时序表达最佳样例提示正交调制需水分时序表达最佳样例提示正交调制矩阵应用于原始农作物所需水分时序关联编码特[0083]综上，对所述农作物所需水分时序关联编码特征图的特利用农作物植株本体水分分布特征和土壤湿度时序特征之间的隐式关联来刻画出农作物[0085]图5为根据本申请实施例的基于人工智能的多模态数据融合系统的系统框图。如对所述农作物植株本体红外图像进行植物本体水分分布特征提取以得到农作物植株本体述土壤湿度时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供给跨模态码特征和所述农作