CN119495007A 融合多模态数据的城市治理大模型检测方法及系统 （云途信息科技(杭州)有限公司）

融合多模态数据的城市治理大模型检测方本发明公开了融合多模态数据的城市治理景或城市街区的图片数据，以得到初始图片数特征向量以及图像特征向量进行余弦相似度计的城市管理解决方案在面临快速变化的城市环2根据所述问题内容构建城市管理违规行为的文字描述集合，并使对所述初始图片数据结合所述匹配结果进行块过滤以及图像特根据所述文本特征向量以及所述图像特征向量进行余弦相似度述构建城市管理违规行为的文字描述集合，并使用文本思维链方法处理所述文字描述集根据所述问题内容构建城市管理违规行为的文字描述集合，其中采用文本思维链方法将所述文字描述集合的逻辑复杂描述转换为由简单词汇和关系将所述简化后的描述集合中的每一项简单描述进行分词，并通过文将所述切割结果中的每个图像块与所述转换后的文本特征向量进行卷积运果包括可能包含与所述简化后的描述集合相符的内容所对应的块以及连续相关问题区域根据所述匹配结果筛选符合要求的图像块，并将所述符合要求的图3述根据所述匹配结果筛选符合要求的图像块，并将所述符合要求的图像块展平为一维向将所述符合要求的图像块展平为一维向量，通过全连接层映射到高维的空计算所述文本特征向量与所述图像特征向量的余弦相似度，并通过Softmax函数将所将所述拼接结果输入至专家模型库内由聚类机制筛选的若干个专家模描述集合确定单元，用于根据所述问题内容构建城市管理违规行为的文字描述集合，文本特征提取单元，用于对简化后的描述集合进行文本特征匹配单元，用于对所述初始图片数据以及文本45识别模型大多是基于特定问题场景进行定制的，这使得模型的灵活性和扩展性受到限制。实现跨区域或跨平台的共享和复用。6集合包括C={c,cz,}，其中cj代表第j种问题的表述文字；采用文本思维链方法将所述文字描述集合的逻辑复杂描述转换为由简单词汇和配结果包括可能包含与所述简化后的描述集合相符的内容所对应的块以及连续相关问题7计算所述文本特征向量与所述图像特征向量的余弦相似度，并通过Softmax函数8[0020]图1为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图2为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图3为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图4为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图5为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图6为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图7为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图8为本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示图12为本发明实施例提供的融合多模态数据的城市治理大模型检测系统的示意9[0025]请参阅图1图1为本发明实施例提供的融合多模态数据的城市治理大模型检测方[0026]图1是本发明实施例提供的融合多模态数据的城市治理大模型检测方法的流程示为全天候运行或是按照预设的时间表激活。这取决于具体的应用场景以及所需的监测频[0032]为了确保采集到的图像具有足够的分辨率和清晰度，系统会设置相应的参数配[0036]在本实施例中，城市管理违规行为的文字描述集合C是指对各种城市管理问题的描述集合包括C={c,cz,}，其中cj代表第j种问题的表述文字。[0043]简化后的描述集合Tsegmenrs是指经过文本思维链方法处理后得到的新描述集定算法转换为固定长度的数值向量，该向量能够有效地表示原文本的语义信息和结构特量，称为词向量。这一过程确保了不同Token之间的语义相似性可以在几何空间中得到体[0061]每个词向量代表了一个Token在这个多维空间中的位置，共同构成了整个文本的[0064]多头自注意力机制允许模型同时关注文本的不同部分，容可能包含有与问题描述相符的元素。当多个相邻的图片块都具有较高的相似度得分时，关性。在这个过程中，就像是一个探测器，用来寻找图片中哪些部分包含了与[0082]图像特征向量通常具有较低维度但富含信息的特点，便于高效存储和快速检[0105]具体地，计算所述文本特征向量与所述图像特征向量的余弦相似度，并通过果。具体地，如果仅考虑单个相似度值CosSim，则问题疑似分数Score可以简化为：[0110]将计算得到的问题疑似分数与设定的阈值进行比较。如果Score>阈值Score>阈[0114]在本实施例中，拼接结果是指将文本特征向量[0124]本实施例的方法能够直接从上传的图片中自动识别出是否存在预定义的问题类[0125]无需额外训练或微调该方法的一个显著优点是，它不需要为每一个具体的社会征向量Fimage，而文本编码器则负责将给定的问题描述文本转换成相应的文本特征向量步处理这个相似度值，可以得到一个表示图片中存在所述问题可能性的问题疑似分数[0140]图12是本发明实施例提供的一种融合多模态数据的城市治理大模型检测系统300明还提供一种融合多模态数据的城市治理大模型检测系统300。该融合多模态数据的城市治理大模型检测系统300包括用于执行上述融合多模态数据的城市治理大模型检测方法的集合构建子单元，用于根据所述问题内容构建城市管理违规行为的文字描述集分词编码子单元，用于将所述简化后的描述集合中的每一项简单描述进行分词，城市治理大模型检测系统300和各单元的具体实现过程，可以参考前述方法实施例中的相[0152]上述融合多模态数据的城市治理大模型检测系统300可以实现为一种计算机程序[0155]该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序以得到匹配结果；对所述初始图片数据结合所述匹配结果进行块过滤以及图像特征编码，以得到图像特征向量；根据所述文本特征向量以及所述图像特征向量进行余弦相似度计集合包括C={c,cz,}，其中cj代表第j种问题的表述文字；采用文本[0162]在一实施例中，处理器502在实现所述对所述初始图片数据以及文本特征向量进[0163]在一实施例中，处理器502在实现所述对所述初始图片数据结合所述匹配结果进[0165]在一实施例中，处理器502在实现所述从所有图像块中保留所述匹配结果对应的[0166]在一实施例中，处理器502在实现所述根据所述文本特征向量以及所述图像特征[0167]在一实施例中，处理器502在实现所述计算所述文本特征向量与所述图像特征向计算所述文本特征向量与所述图像特征向量的余弦相似度，并通过Softmax函数[0168]在一实施例中，处理器502在实现所述根据所述文本特征向量以及所述图像特征[0169]应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器微处理器或者该处理器也可以是任何常规的[0170]本领域普通技术人员可以理解的是实现上述实施例的方以得到匹配结果；对所述初始图片数据结合所述匹配结果进行块过滤以及图像特征编码，以得到图像特征向量；根据所述文本特征向量以及所述图像特征向量进行余弦相似度计集合包括C={c,cz,}，其中cj代表第j种问题的表述文字；采用文本计算所述文本特征向量与所述图像特征向量的余弦相似度，并通过Softmax函数