CN119445691A 一种基于大模型和自然人机交互的生成式mr工业巡检方法 （韦玛实业集团有限公司）

一种基于大模型和自然人机交互的生成式一种基于大模型和自然人机交互的生成式明包括利用MR头显设备采集待巡检的场景图像大模型和自然人机交互的生成式MR工业巡检过2S2.基于MR头显设备采集对应的空间定位信息和交互信息，所述交互信息包括眼球追S3.拟合步骤S1得到的待巡检的类别序列信息和步骤S2得到的各巡检模块的检查序列S4.利用步骤S3得到的巡检执行模型，执行基于大模型和自然人机交互的生成式MR工2.根据权利要求1所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法，所述均方误差损失函数MSE用于回归问题，计算预测值与真实值之间的平均平方差对iS1.4.对步骤S1.3构建的多模态大模在损失函数中加入时间连贯性约束，计算相邻帧之间预测对具有运动信息的图像序列添加光流损失约束模型对物体运动的计算相邻帧之间像素的位移衡量模型预测的运动与训练步骤为将巡检的场景图像数据集输入到多模态大3.根据权利要求2所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法，34.根据权利要求3所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法，S2.1.基于MR头显设备采集对应的空间定位信息和交互信息，包括使用眼球追踪设备S2.4.将巡检模块数据集分为训练集和测试集，选择神经网络或支持向量机或决策树采用测试集对训练好的巡检模块的机器学习模型进行评估，评估指标5.根据权利要求4所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法，4x)为视线与参考坐标系x轴的夹角的余弦值，为参考坐标系中x轴的单位6.根据权利要求5所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法，5统逐渐在工业现场中得到应用。对比，来判断在哪个工位/工站/巡检点)，或根据外部布要专业的程序开发人员参与，还需要有丰富生产经验和丰富巡检经验的工程师参与策划，[0009]S2.基于MR头显设备采集对应的空间[0010]S3.拟合步骤S1得到的待巡检的类别序列信息和步骤S2得到的各巡检模块的检查6[0011]S4.利用步骤S3得到的巡检执行[0016]所述均方误差损失函数MSE用于回归问题，计算预测值与真实值之间的平均平方之间预测值的差异作为损失项加入到总损失通过计算相邻帧之间像素的位移衡量模型预测的运动与实际运动之7[0035]采用测试集对训练好的巡检模块的机器学习模型进行评估，评估指标包括准确)为视线与参考坐标系x轴的夹角的余弦值，为参考坐标系中x轴的8[0055]图1为本发明所述的一种基于大模型和自然人机交互的生成式MR工业巡检方法的施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他具体实施方9[0067]所述均方误差损失函数MSE用于回归问题，计算预测值与真实值之间的平均平方之间预测值的差异作为损失项加入到总损失通过计算相邻帧之间像素的位移衡量模型预测的运动与实际运动之[0079]S2.基于MR头显设备采集对应的空间[0087]采用测试集对训练好的巡检模块的机器学习模型进行评估，评估指标包括准确[0094]Z=F-E)为视线与参考坐标系x轴的夹角的余弦值，为参考坐标系中x轴的[0099]S3.拟合步骤S1得到的待巡检的类别序列信息和步骤S2得到的各巡检模块的检查[0107]S4.利用步骤S3得到的巡检执行