CN120297354A 一种基于空间计算与多模态ai融合的多智能体协作系统及方法 （中国建筑第八工程局有限公司）

一种基于空间计算与多模态AI融合的多智本发明公开了一种基于空间计算与多模态多模态数据采集与融合单元采集施工现场的各通过空间计算单元构建施工现场的三维虚拟环为管理单元对多智能体进行任务分配和行为规案能够解决建筑行业智能建造中存在的多源数2多模态数据采集与融合单元，所述多模态数据采集空间计算单元，所述空间计算单元配置成能够与智能体行为管理单元，所述智能体行为管理单元配置多智能体协作单元，所述多智能体协作单元置成2.根据权利要求1所述的基于空间计算与多模态AI融合的多智能体协作系统，其特征所述数据采集模块配置成通过相应的数据采集设备获取施工现场的所述数据预处理模块配置成与所述数据采集模块数据交互，能够对数所述数据融合模块配置成与所述数据预处理模块数据交互，能够将经过所述语义建模与关联模块配置成与所述数据融合模块数据交互，能够基3.根据权利要求1所述的基于空间计算与多模态AI融合的多智能体协作系统，其特征所述三维虚拟环境构建模块配置成基于多模态数据采集与融合单元采集处理后的多所述实时同步与动态更新模块配置成能够获取多模态数据采集与融合单元采集的施所述空间查询与分析模块配置成针对构建的三维虚拟环境模型3所述多模态可视化模块配置成能够获取多模态数据采集与融合单元采集并清洗后的4.根据权利要求1所述的基于空间计算与多模态AI融合的多智能体协作系统，其特征所述任务分配模块配置成能够针对不同的施工任务，根据施工任务的类所述行为规划模块配置成与任务分配模块数据交互，能够根据所述实时决策模块配置成使得智能体能够根据实时感知的数据自主选择最优的行动所述自适应优化模块配置成能够实时监控智能体的任务状态、环境参数和执行结果，5.根据权利要求1所述的基于空间计算与多模态AI融合的多智能体协作系统，其特征在于，所述多智能体协作单元配置成能够基于多模态数据采集与融合单元提供的环境信采集施工现场的各项实时数据，并利用多模态AI算法对采集到的所有数据进行清洗、根据步骤(1)中所采集与处理的数据，通过空间计算引擎构建施工现场的三维虚拟环基于强化学习算法和分布式决策模型，对多智能体进行任务分配7.根据权利要求6所述的基于空间计算与多模态AI融合的多智能体协作方法，其特征针对步骤(1.1)中所采集的不同模态的数据分别进行预处理，形成可兼容的标准结构4将经过步骤(1.2)预处理后的多模态数据进行语义融合，首先通过坐标转换与时空同8.根据权利要求6所述的基于空间计算与多模态AI融合的多智能体协作方法，其特征基于采集处理后的多模态数据以及生成的统一语义关联模型构建能够实时映射施工够获取施工现场实时数据，并基于增量建模算法对三维虚拟环境模型获取被采集且清洗后的多源数据，并通过统一的语义模型进9.根据权利要求6所述的基于空间计算与多模态AI融合的多智能体协作方法，其特征针对不同的施工任务，根据施工任务的类型、优先级和资源约基于步骤(3.1)对智能体所分配的任务，针对智能体规划生成的具体的操作路径和动实时监控智能体的任务状态、环境参数和执行结果，根据智能体行为管理步骤中形成的任务规划指令，协调智能体进行自主协作与路径优化，5(BIM)技术的广泛应用在一定程度上缓解了信息分散的问题，但其功能多集中于几何信息6[0009]本发明的目的在于提供一种基于空间计算与多模态AI融[0016]所述数据采集模块配置成通过相应的数据采集设备获取施工现场的全面数据信7[0021]所述三维虚拟环境构建模块配置成基于多模态数据采集与融合单元采集处理后的多模态数据以及生成的统一语义关联模型构建能够实时映射施工现场的三维虚拟环境[0022]所述实时同步与动态更新模块配置成能够获取多模态数据采集与融合单元采集[0024]所述多模态可视化模块配置成能够获取多模态数据采集与融合单元采集并清洗[0028]所述实时决策模块配置成使得智能体能够根据实时感知的数据自主选择最优的[0035]根据步骤(1)中所采集与处理的数据，通过空间计算引擎构建施工现场的三维虚8[0044]针对步骤(1.1)中所采集的不同[0046]将经过步骤(1.2)预处理后的[0051]基于采集处理后的多模态数据以及生成的统一语义关联模型构建能够实时映射[0062]基于步骤(3.1)对智能体所分配的9[0064]基于度强化学习算法使得智能体能够根据实时感知的数据自主选择最优的行动建筑行业智能建造面临的技术难题，通过空间计算技术来构建施工现场的虚拟三维环境，[0069]进一步地，本发明给出的基于空间计算与多模态AI融合的多智能体协作系统方[0070]进一步地，本发明给出的基于空间计算与多模态AI融合的多智能体协作系统方[0077]为便于对本发明方案的表述与理解，这里首先解释一下本发明方案中涉及到的[0078]作为进一步说明，这里的智能体的主要构成包括多模态传感器(LiDAR、摄像头、[0081]本发明据此给出一种基于空间计算与多模态AI融合的多智能体协作系统来实现[0083]本系统中的多模态数据采集与融合单元110设置成能够采集施工现场的各项实时[0085]作为进一步说明，本多模态数据采集与融合单元110可通过传感器、激光雷达[0087]作为进一步说明，本多模态数据采集与融合单元110中采用的多模态AI算法在具够实现施工现场的动态建模与智能分析，可有效克服传统方法仅限于静态几何展示的局[0088]本系统中的空间计算单元120配置成能够与多模态数据采集与融合单元130进行[0095]本系统中的智能体行为管理单元130配置成能够基于强化学习算法和分布式决策采集与融合单元110提供的实时环境数据，感知施工现场的动态变化，并与空间计算单元[0097]作为进一步说明，本智能体行为管理单元130中采用的强化学习算法具体结合深[0098]作为进一步说明，本智能体行为管理单元130中采用的分布式决策模型具体结合多智能体强化学习(MARL)与图神经网络(GN结合强化学习优化任务分配与路径规划，确保高效协作以及结合图神经网络(GNN)增强智[0099]本系统中的多智能体协作单元140置成能够将智能体间配置成通过通信协议进行[0101]作为进一步说明，本多智能体协作单元140中优选采用ROS2(机器人操作系统)、[0102]进一步地，多智能体协作单元140能够控制智能体通过ROS2的分布式架构进行低[0105]本基于空间计算与多模态AI融合的多智能体协作系统通过上述四个功能单元之[0107]本协作系统100中的多模态数据采集与融合模单元110构[0118]本单元中的数据预处理模块112具体配置成能够与数据采集模块111进行数据交[0119]由于数据采集模块111针对施工现场所采集到的原始数据通常包含噪声、冗余信息和误差，本数据预处理模块112通过对数据采集模块111所采集的各项数据进行预处理，[0122]在具体实现时，本数据预处理模块112针对施工现场数据的高动态性和复杂环境学习的跨模态特征匹配方法SuperGlue，优化激光雷达点云与摄像头图像的空间对齐。同经过数据预处理模块112预处理后的多模[0131]具体的，本数据融合单元113针对多模态数据通过坐标转换与时空同步确保数据[0133]本数据融合单元113配置成能够基于特征级融合算法，从不同模态的数据中提取[0134]本数据融合单元113配置成能够基于决策级融合算法，结合环境传感器数据与视[0135]由此构成的数据融合单元113在具体应用时，针对施工现场数据的复杂性与高动[0136]在此基础上，该数据融合单元113采用基于Transformer的跨模态数据关联网络够基于数据融合模块113融合处理后的数据，将来自不同数据采集设备的数据整合生成统[0143]由此构成的语义建模与关联模块114在具体应用时，针对施工现场数据存在复杂入自适应多尺度融合网络(MSF_Net)，再结合点云、图像和传感器数据进行跨模态特征提[0148]最后，本多模态数据采集与融合模单元110还引入自适应数据流压缩与增量更新[0149]如此部署的多模态数据采集与融合模单元110能够确保施工现场的数据处理具备[0150]本协作系统100中的空间计算单元120基于多模态数据采集与融合模单元110所采[0152]其中，本单元中的三维虚拟环境构建模块121配置成基于多模态数据采集与融合单元110采集处理后的多模态数据以及生成的统一语义关联模型构建能够实时映射施工现[0153]本单元中的实时同步与动态更新模块122具体配置成能够获取多模态数据采集与融合单元110采集的施工现场实时数据，并基于增量建模算法对三维虚拟环境模型中的变在相应的中央服务器中，在现场，通过物联网(IoT)设备和传感器网络获取现场的实时数模块121所构建的三维虚拟环境模型中的变化部分进行局[0156]同时，本实时同步与动态更新模块122还采用深度学习模型RNN或Transformer分[0157]作为进一步说明，本实时同步与动态更新模块122中还集成有相应的物理仿真引[0159]本单元中的空间查询与分析模块123配置成能够对构建的三维虚拟环境模型的三[0160]作为进一步举例说明，本空间查询与分析模块123在对三维空间进行查询并为相[0165]本空间查询与分析模块123相比传统基于阈值的静态分析，其支持实时动态调整[0166]本单元中的多模态可视化模块124配置成能够获取多模态数据采集与融合单元110采集并清洗后的多源数据，并通过统一的语义模型进行关联整合，形成可视化输入基[0171]作为进一步举例说明，对于多模态可视化模块124中集成的事件驱动机制在实现[0173]基于上述方案所形成的空间计算单元120在运行时，能够有效实现物理施工现场[0174]本协作系统100中的智能体行为管理单元130用于实现整个多智能体协作系统中[0177]作为进一步举例说明，本任务分配模块131配置成具体通过基于分布式计算的任及环境约束(如施工进度、设备可用性)动态优化任务分配；其次，引入基于图神经网络(GNN)的施工场景建模，对智能体间的协作关系进行图结构优化，提高任务调度的全局效[0181]作为进一步补充说明，本任务分配模块131在为每个子任务分配最适合的智能体[0183]作为进一步补充说明，本任务分配模块131优选通过分布式任务分发机制将任务[0185]作为进一步举例说明，本行为规划模块132在针对智能体规划生成的具体的操作络(GNN)构建动态施工环境图，结合环境变化(如新障碍物、[0188]据此实现的行为规划模块132相比传统基于Dijkstra或A*的静态路径规划，其能径规划方面，创新性地引入基于图神经网络(GNN)与强化学习(MARL)的多智能体动态路径[0195]不同于传统Dijkstra等静态路径算法，如此部署设置的行为规划模块132采用基[0196]在此基础上，本行为规划模块132在实际部署应用时，还进一步结合边缘计算技[0197]本单元中的实时决策模块133配置成使得智能体能够根据实时感知的数据自主选[0198]作为进一步举例说明，本实时决策模块133可通过集成深度强化学习(DeepReinforcementLearning,DRL)算法，使智能体能够根据实时感知的数据自主选择最优的行动策略；同时智能体能够通过Q_learning或PolicyGradient算法学习如何在施工过程[0200]在此基础上，本实时决策模块133还可通过边缘计算技术将决策推理部分下沉至[0201]如此部署设置的实时决策模块133，相较于采用传统Q_learning或Policy[0203]再者，本单元中的实时决策模块133在部署实现时，优选通过多智能体通信协议[0204]本单元中的自适应优化模块134配置成能够实时监控智能体的任务状态、环境参而使得智能体能够根据施工现场的动态变化不断优化任[0205]作为进一步举例说明，本自适应优化模块134优选采用遗传算法(GeneticAlgorithm)对任务分配和行为规划的参数案，而强化学习则通过经验回放(ExperienceReplay)与优先级采样(Prioritized[0209]在此基础上，本自适应优化模块134还结合图神经网络(GNN)与[0211]作为进一步补充说明，本协作系统100中的智能体行为管理单元130在部署实现[0214]具体的，智能体行为管理单元130，首先基于DockerCompose构建模块化容器架Kubernetes(K8s)进行集群