CN119516324A 基于多模态表型数据融合的土壤水分含量估计方法、装置、系统、设备及介质 （北京市农林科学院信息技术研究中心）

心基于多模态表型数据融合的土壤水分含量本发明提供一种基于多模态表型数据融合作物时空对齐后的多模态表型数据进行数据融标作物的多模态融合表型数据输入土壤水分含的基于多模态表型数据融合的土壤水分含量估2获取目标作物的多模态表型数据，所述目标作物包括种植热红外传感器采集到的所述目标作物的热红外图像以及利用可见光传感器采集到的所述对所述目标作物的多模态表型数据进行时空对齐，获得所述目标作物将所述目标作物的多模态融合表型数据输入土壤水分含量估计模其中，所述土壤水分含量估计模型是基于样本作物的多模态的所述样本作物的热红外图像以及利用可见光传感器采集到的所述样本作物的可见光图2.根据权利要求1所述的基于多模态表型数据融合的土壤水分含量估计方法，其特征基于所述目标作物时空对齐后的多模态表型数据中所述目标作物采用空间差值算法，将所述目标作物表面的温度信息和颜色信息映对于所述目标作物的原始融合数据中的每一点，利用基于权重的加权述每一点携带的空间位置信息以及所述目标作物表面的温度信息和颜色信息进行数据融3.根据权利要求2所述的基于多模态表型数据融合的土壤水分含量估计方法，其特征所述将所述目标作物的多模态融合表型数据输入土壤水分含量估计模型将所述目标作物的多模态融合表型数据输入所述特征提取模块，获取将所述目标作物的几何特征、温度特征和纹理特征输入所述模3将所述目标作物的融合特征输入所述预测模块，获取所述预4.根据权利要求3所述的基于多模态表型数据融合的土壤水分含量估计方法，其特征所述将所述目标作物的多模态融合表型数据输入所述特征提取模块分别将所述目标作物的多模态融合表型数据输入所述其中，所述几何特征提取单元用于采用最远点采样算法去除对于所述目标作物的多模态融合表型数据中的每一点，所述温度特征对于所述目标作物的多模态融合表型数据中的每一点，所述纹理特征于所述每一点携带的融合数据，计算所述每一点的局部纹理特征和颜色信息的梯度向量5.根据权利要求3所述的基于多模态表型数据融合的土壤水分含量估计方法，其特征6.根据权利要求3所述的基于多模态表型数据融合的土壤水分含量估计方法，其特征所述将所述目标作物的融合特征输入所述预测模块，获取所述将所述目标作物的融合特征输入所述预测模块中的第1个预测层之后，获取所述预测模块中第l-1个预测层的输出结果，对所述预测模块中第l-1个预测层的输出结果进行正则化之后，输入所述预测模块中的第l个预测层，获取所述预测模块中第l个预测层的输出结果表示所述预测模块中所述预测层4数据获取模块，用于获取目标作物的多模态表型数据，所述数据融合模块，用于对所述目标作物的多模态表型数据进行模型计算模块，用于将所述目标作物的多模态融合表型数据输入土壤水结果输出模块，用于基于所述目标作物所在区域的土壤水其中，所述土壤水分含量估计模型是基于样本作物的多模态的所述样本作物的热红外图像以及利用可见光传感器采集到的所述样本作物的可见光图8.一种电子设备，包括存储器、处理器及存储一项所述基于多模态表型数据融合的土壤水分含所述多模态传感子系统包括刚性支架、移动体和目标传感器机程序被处理器执行时实现如权利要求1至6任一项所述基于多模态表型数据融合的土壤5[0006]获取目标作物的多模态表型数据，所述目标作物包括种植于目标区域内的作物，所述目标作物的多模态表型数据包括利用深度传感器采集到的所述目标作物的深度图像、利用热红外传感器采集到的所述目标作物的热红外图像以及利用可见光传感器采集到的壤水分含量估计模型输出的所述目标作物所在区域的土基于所述目标作物所在区域的土壤水分含量，获取所述目标区域的土壤水分含6集到的所述样本作物的热红外图像以及利用可见光传感器采集到的所述样本作物的可见对于所述目标作物的原始融合数据中的每一点，利用基于权重的加权平均算法，对所述每一点携带的空间位置信息以及所述目标作物表面的温度信息和颜色信息进行数7将所述目标作物的融合特征输入所述预测模块中的第1个预测层之后，获取所述预测模块中第l-1个预测层的输出结果，对所述预测模块中第l-1个预测层的输出结果进行正则化之后，输入所述预测模块中的第l个预测层，获取所述预测模块中第l个8集到的所述样本作物的热红外图像以及利用可见光传感器采集到的所述样本作物的可见机程序被处理器执行时实现如上述任一种所述基于多模态表型数据融合的土壤水分含量执行时实现如上述任一种所述基于多模态表型数据融合的土壤水分分布与实际土壤水分含量，从而更准确且更高效地获取大面积区域的土壤水分含量，9[0019]图1是本发明提供的基于多模态表型数据融合的土壤水分含量估计方法的流程示[0020]图2是本发明提供的基于多模态表型数据融合的土壤水分含量估计装置的结构示[0025]需要说明的是，精准农业的快速发展对土壤水分含量的监测提出了更加精细化、腾作用和水分缺失情况，进而可以基于作物的蒸腾作用和水分缺失情况推断土壤水分含量。尽管基于热红外影像可以分析得到叶片或冠层温度的偏离度间接的推断土壤水分含明提供的基于多模态表型数据融合的土壤水分含量估计方法通过引入多模态传感器技术[0037]本发明提供的基于多模态表型数据融合的土壤水分含量估计方法通过深度融合高精度三维点云数据，进而能基于上述高精度三维点云数据更准确地估计土壤水分含量。[0041]本发明提供的基于多模态表型数据融合的土壤水分含量估计方法实现了多模态[0042]本发明提供的本发明提供的基于多模态表型数据融合的土壤水分含量估计方法[0044]图1是本发明提供的基于多模态表型数据融合的土壤水分含量估计方法的流程示[0051]可见光传感器可以用于捕捉作物表面的纹理和颜色信息标作物的多模态表型数据进行数据预处理，获得目标作物数据预处理后的多模态表型数P=K[Rt]Xt分别表示外参中的旋转矩阵和平移[0066]作为一个可选地实施例，对目标作物时空对齐后的多模态表型数据进行数据融pointi包括上述第个点的三维空间坐标poincpth=tr,vrz、上述第个点在目标作物表面的对应点的温度值pointfhermal={T}和上述第个点在目标作物表面的对用基于权重的加权平均算法对上述第个点携带的空间位置信息以及目标作物表面的温[0077]本发明实施例通过获取目标作物的三维点云数据、表面温度信息和颜色信息之后，采用空间差值算法将目标作物的温度信息和颜色信息映射到三维点云数据的每一点上，确保了每个点都携带了精确的空间位置信息以及目标作物表面的温度信息和颜色信壤水分含量估计模型输出的目标作物所在区域的土外图像以及利用可见光传感器采集到的样本作物[0082]需要说明的是，本发明实施例中获取样本作物的多模态融合表型数据的处理步得土壤水分含量评估模型能够有效地从目标作物的多模态融合表型数据中提取到与土壤算法提取目标作物采样后的多模态融合表型数据中的几何特征，作为目标作物的几何特作物的多模态融合表型数据中所有点的局部纹理特征和颜色信息的梯度向量场进行融合，获更大范围的上下文信息。这一特性使得PointNet++模型在处理不均匀样本时表现出色，xi-xll表示目标作物的多模态融合表型数据第个点和第个点之间的距离；prps表示目标作物采样后的多模态融合表型数据；argmaxi表示找出使minyllxi-xjll取得最大值时对应的变量i的值的函数。[0103]几何特征提取单元获取目标作物采样后的多模态融合表型数据prps之后，可以利用多层感知机算法对目标作物采样后的多模态融合表型数据prps进行特征聚合，从局部到全局逐层提取目标作物采样后的多模态融合表型数据prps中的局部空间特征和全局MLP(*)表示多层感知机算法。实施例中的温度特征提取单元旨在捕捉目标作物的多模态融合表型数据中表面温度的空点的邻域点集合中邻域点的数量；T(j)表示上述第个点[0108]上述第个点的局部温度梯度特征gr(i)能够反映目标作物表面温度分布的局部X变换对输入特征进行加权和置换，然后应用典型卷积。这个过程被称为X_Conv，是[0113]温度特征提取单元获取目标作物的多模态融合表型数据中每一点的局部温度梯[0115]需要说明的是，温度特征提取单元获得的目标作物的温度特征fremp是目标作物特征提取单元的目标是从目标作物的多模态融合表型数据中提取用于描述目标作物表面上述第个点几何邻域计算颜色分布的局部统计特性，描述上述第个点的局部纹理特[0125]纹理特征提取单元获取目标作物的多模态融合表型数据中第个点的局部纹理特征tstac(i)和颜色信息的梯度向量场tatr(i)，可以将上述第个点的局部纹理特征[0126]其中，frer表示目标作物的纹理特征；[tsrae,tar:]表示目标作物的多模态融合表型数据中所有点的局部纹理特征和颜色信息的梯度向量场的拼接；FC(*)表示全连接计为目标作物的纹理特征；cj表示目标作物的第个特征fj对应的权重。[0131]模态融合模块获取目标作物的几何特征、温度特征和纹可以基于目标作物的几何特征、温度特征和纹理特征对应的权重计算目标作物的几何特测模块中第l-1个预测层的输出结果，对预测模块中第l-1个预测层的输出结果进行正则化之后，输入预测模块中的第l个预测层，获取预测模块中第l个预测层的输出结果，l个预测层的输出结果可以通过如下公式表示：h1=Relu(w1·h-1+b),lE{1,2,3}w表示预测模块中的第l个预测层的权重矩阵；b表示预测模块中的第l个预测层的偏置项；表示预测模块中第l-1个预测层的输出结果。[0139]获取预测模块中第l个预测层的输出结果之后，可以对预测模块中第l个预测yk表示训练中的土壤水分含量估计模型输出的第k个样本作物所在区域[0145]步骤104、基于目标作物所在区域的土壤水分含量，获取目标区域的土壤水分含[0149]图2是本发明提供的基于多模态表型数据融合的土壤水分含量估计装置的结构示意图。下面结合图2对本发明提供的基于多模态表型数据融合的土壤水分含量估计装置进[0152]模型计算模块203，用于将目标作物的多模态融合表型数据输入土壤水分含量估外图像以及利用可见光传感器采集到的样本作物空对齐后的多模态表型数据之后，对目标作物时空对齐后的多模态表型数据进行数据融分含量估计模型，获取土壤水分含量估计模型输出的目标作物所在区域的土壤水分含量；量估计模型是基于样本作物的多模态融合表型数据和样本作物所在区域的土壤水分含量[0158]此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以[0160]本发明提供的土壤水分含量估计系统，能够提升土壤水热红外传感器采集到的目标作物的热红外图像以及利用可见光传感器采集到的目标作物