CN118503832B 一种基于多模态大模型的工业智能检测方法及系统 （杭州祐全科技发展有限公司）

一种基于多模态大模型的工业智能检测方本发明提出了一种基于多模态大模型的工多模态数据的融合极大提升了对复杂工业环境2对不同采集设备的时间同步精度要求和性能差异进行分析，设置时实施定期的时间同步校准，通过比对时间基准源和采设计统一的时间戳分配机制，并引入数据标签，为每个数据点分配建立时间同步性能监控体系，实时监测采集设备的时间同步状态、同步精根据监控结果和数据分析，动态调整时间同步策略、优化同步3对数据类型的特性和工业检测的具体需求进行分析，并根据模型对筛选后的模型进行深入性能测试，记录每个维度的详细数据，根据综合评分，再次选择性能表现三分之一的模型作为集成模在独立的验证集上对集成模型进行性能测试，验证其在未知数4系统根据预设的阈值范围对多模态大模型的通过异常置信度评估机制，结合模型输出的不确定性估计和历史异常通过多维度的异常严重程度评估指标体系，通过综合评分法或层次根据异常严重程度评分，对多个并发异常进行优先级排序，优先级高基于内置的应急措施库，针对不同类型、不同严重程度的异常制定根据异常类型、严重程度以及当前工业现场的实际状况，从应急措8.一种用于实现如权利要求1所述的基于多模态大模型的工业智能检测方法的系统，部署应用模块：将训练好的多模态大模型部署到工业现场，实5量和安全性成为了企业关注的核心问题。传统的工业检测方法往往依赖于单一模态的数据6[0020]对不同采集设备的时间同步精度要求和性能差异进行分7[0052]S55、根据多模态大模型的检测结果和异常报告，对工业生产的参数进行自动调[0056]通过异常置信度评估机制，结合模型输出的不确定性估[0057]高置信度的异常将被优先处理，而低置信度的异常则进入进一步验证或观察阶8理方案；9或长短时记忆网络LSTM用于时间序列数据等从处理后的数据中自动提取出与工业检测通过数据完整性检查、数据一致性校验和数据有效性评估等多个维度对数据进行全面监续处理和分析提供了更好的基础；根据数据的重要性和紧急程度设置不同的缓存优先级，议将时间基准信号分发至所有采集设备；[0108]对不同采集设备的时间同步精度要求和性能差异进行分[0116]上述技术方案的工作原理为选择GPS时间服务器或原子钟等高精度时间基准源，入允许对不同参数进行不同程度的重视或忽视，从而根据不同场景和需求进行灵活调整。投票法来集成多个模型的预测结果；利用特征选择算法从提取的特征中筛选出关键特征。型还能够有效减少单一模型可能存在的过拟合或欠拟合问题，提高系统的稳定性和可靠si是第i个模型的综合评分，m表示模型的性能指标、pj表示第iwij表示对应于pj的权重，也即这内寻找最优的超参数组合。超参数调优能够进一步提升集成模型的性能。在独立的验证集上对集成模型进行性能测试，验证其在未知数据上的表现。通过对比集成前后的模型性能际需求。[0136]上述技术方案的效果为：通过对数据类型特性和工业检测具体需求的深入分析，型在多个维度上均表现优异；将多个性能表现优秀的模型通过预设的集成方法组合成一个时间序列等该方案能够针对不同类型的数据选择合适的模型，并通过集成策略增强模型的跨模态适应能力；在初步筛选和深入性能测试阶段，可以通过模拟不同的工业场景和异常情况来评估模型的泛化能力，确保模型在实际应用中能够稳定可靠地工作；通过科学的选模型在实际部署时能够充分利用现有资源，避免资源浪费；预设的集成方法可以根据实际需求进行调整和优化，以适应不同场景下的检测任务；在独立的验证集上对集成模型进行性能测试，并根据验证结果对集成策略和模型参数进行迭代优化，确保模型性能能够持模型。每个性能指标都通过其对应的权重被考虑在内，这确保了模型评估的完整性和全面估则能更准确地反映模型在实际应用中的表现；权重的引入使得评估者可以根据实际需求灵活调整不同性能指标的重要性。在工业检测中，某些性能指标可能比其他指标更为重要不同性能指标的量纲和取值范围可能差异很大，直接进行比较可能导致偏误。通过标准化性能瓶颈和提升空间；根据评估结果采用梯度下降算法对交互模块的参数进行迭代更新，[0158]上述技术方案的效果为：通过收集各种工业场景下的多[0164]S55、根据多模态大模型的检测结果和异常报告，对工业生产的参数进行自动调间的高效传输。将训练好的多模态大模型转换为符合工业现场部署的格式，如参数进行自动调整。这种调整可能是基于模型对生产过程的深入理解和对潜在问题的预[0171]高置信度的异常将被优先处理，而低置信度的异常则进入进一步验证或观察阶[0182]模型