CN119418191A 基于多模态大数据的油菜发育期识别方法以及装置 （中国气象局气象探测中心）

基于多模态大数据的油菜发育期识别方法本公开的实施例提供了一种基于多模态大处理后的模态数据集输入预设文本提取模型输2将预处理后的图像数据集输入预设图像特征提取模型输出图像特征，将所述图像特征和所述语义特征输入预设多模态特征融合模型将所述融合特征输入预设发育期识别模型输出油7.根据权利要求1至6中任一权利要求所述提取模块，用于将预处理后的图像数据集输入预设图像特征提取模型输出图像特征，将预处理后的模态数据集输入预设文本提取模型融合模块，用于将所述图像特征和所述语义特征输入预设多所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被令用于使所述计算机执行根据权利要求1_7中任一权3[0004]根据本公开的第一方面，提供了一种基于多模态大数据的油菜发育期识别方本提取模型用于提取模态数据集中油菜发育期相关的语义特征，所述语义特征包括株高、4[0018]根据本公开的第二方面，提供了一种基于多模态大数据的油菜发育期识别装够通过获取油菜的图像数据集和模态数据集；再对图像数据集和模态数据集进行预处理；[0029]图1示出了根据本公开的实施例的基于多模态大数据的油菜发育期识别方法的流[0032]图4示出了根据本公开的实施例的基于多模态大数据的油菜发育期识别装置的方5[0037]图1示出了根据本公开实施例的基于多模态大数据的油菜发育期识别方法100的预处理后的模态数据集输入预设文本提取模型[0045]在一些实施例中，可以通过多模态大数据采集设备中机位1作物长势(上)球形相机和机位2作物长势(下)枪型相机采集油菜的图像数据67[0070]在框130，预设图像特征提取模型和预设文本提取模型可以根据用户是实际需求[0079]在一些实施例中，预设图像特征提取模型可以选用基于Transformer架构的神经高224像素大小，ViT通过卷积层将输入图像分割成宽和高各16个像素的49个特征块注意力机制Transformer层提取特征，再使用1个归一化层和一个参数学习层得到512维度8[0084]具体地，text_encoder包括4个词元编码(token_embedding)层、4个位置编码[0085]在一些实施例中，预设多模态特征融合模型可以选用乘加卷积神经网络模型[0087]在一些实施例中，预设发育期识别模型可以使用融合后的特征训练发育期识别一个全连接层输出128维度的特征，128维度的特征通过softmax分类层输出油菜的发育期9[0094]图4示出了根据本公开的实施例的基于多模态大数据的油菜发育期识别装置400[0097]提取模块430，用于将预处理后的图像数据集输入预设图像特征提取模型输出图[0098]融合模块440，用于将图像特征和语义特征输入预设多模态特征融合模型输出融通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息而被载入和/或安装到电子设备500上。当计算机程序加载到RAM503并由计算单元501执行算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理[0109]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_