CN119414833A 一种基于大语言模型的机器人路径规划感知方法和系统 （华南师范大学）

一种基于大语言模型的机器人路径规划感本发明公开了一种基于大语言模型的机器始数据集；选择SLAM算法对初始数据集进行处行语义标注处理；根据大语言模型进行路径规2根据实际应用场景选择SLAM算法对所述初始数据集进行处理，得根据大语言模型，对完成语义标注处理后的第三地图进行路径规划根据所述路径规划方案转换得到机器人的执行信息，所述执行信获取机器人在移动过程中的目标感知信息和环境信息，并根据2.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在根据调整后的最佳参数组合，通过所述KartoSLAM算法对所述初始数据集进行处理，3.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在将所述第一地图上连续的地图空间划分成一个个大小相等的栅格4.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在使用Yolov8目标检测模型作为机器人感知模块算法，通过相机5.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在36.根据权利要求5所述的一种基于大语言模型的机器人路径规划感知方法，其特征在设计多个具有代表性的路径规划案例，所述路径规划案例包含不同地通过专家设计和标注获取来获取路径规划案例；或者，通过路径规划将自动生成的路径规划案例转换成大语言模型可理解的格式，根据对所述初始路径规划方案进行合理性评估，具体为：定义一系列判断7.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在进行坐标系转换，将路径规划方案中的坐标点从栅格地图坐标系转对转换后的路径进行平滑处理，平滑处理包括使用贝塞尔曲线处理根据实际应用场景选取局部路径规划算法进行局部路径实时获取周围环境中的障碍物信息，将障碍物信息根据机器人的运动学模型和动力学模型选择运动控制算法，控制机8.根据权利要求1所述的一种基于大语言模型的机器人路径规划感知方法，其特征在4利用大语言模型的推理能力和知识库，辅助机器人进行最佳观测角度和距离的判断，通过目标识别、最佳观测角度与距离判断和姿态调整的步骤，使第一模块，用于获取初始数据集，所述初始数据集包括机第二模块，用于根据实际应用场景选择SLAM算法对所述初始数据集进行处理，得到第六模块，用于根据所述路径规划方案转换得到机器人的执行信息第七模块，用于获取机器人在移动过程中的目标感所述处理器执行所述程序实现如权利要求1至8中任一项5其应用于机器人导航和感知的挑战，例如如何使机器人理解环境并进行可靠的路径规划。[0003]现有机器人规划和感知技术面临着尚未充分整合LLMs的语义理解能力和决策能仿真环境与真实环境的差异也导致机器人难以将学习到的策略应用到实际场景中。此外，如何充分利用LLMs的理解和推理能力生成更优质的路径规划方案也是[0004]本发明实施例的主要目的在于提出一种基于大语言模型的机器人路径规划感知6[0024]使用Yolov8目标检测模型作为机器人感知模块算法，通过相机与激光7[0048]本发明实施例的另一方面还提供了一种基于大语言模型的机器人路径规划感知8路径规划感知方法和系统,该方案获取初始数据集，所述初始数据集包括机器人传感器信9技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，智能平台等基础云计算服务的云服务器，服务器还可以是区块链网络中的一个节点服务[0083]服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集[0086]示例性地基于图1所示的实施环境，本发明实施例提供了一种基于大语言模型的径规划感知方法的流程图，该方法的执行主[0106]使用Yolov8目标检测模型作为机器人感知模块算法，通过相机与激光[0132]如图3所示，本方案旨在构建一个基于大语言模型(LLMs)的具身智能机器人规划[0135]2.采用Few_shotrefine方法(创新方法[0136]3.结合传统机器人技术实现导航和控制:LLMs生成的路径规划方案需要转换成机[0140]下面详细阐述基于大语言模型(LLMs)的具身智能机器人规划和感知框架的技术米的分辨率，表示每个栅格单元代表0.05米x0.05米的区域。可以使用OpenCV库中的resize函数将SLAM构建的地图转换成指定分辨率的为"E"的位置。这种基于文本的地图表现方式支持灵活而多种的语义标签而且大模型也可后通过相机与激光雷达之间的标定关系，将现实中重要的物体的位置投影到栅格地图上，最后为每个栅格单元赋予相应的语义标签以[0155]之后，由用户给出偏好(perference)或者指令(instructions)明确机器人的任[0156]为了进一步提升大语言模型(LLM)在路径规划任务上的性能，本方案引入Few_例如邀请专家或用户提供高质量的路径规划方案；也果LLM的自我反思过程发现路径规划方案存在问题，则将识别到的问题转换成自然语言描并要求LLM重新生成路径规划方案。Few_shotrefine方法的迭代过程需要设定终止条件，例如设置最大迭代次数(例如10次)，或者当LLM[0163]机器人路径执行模块负责将大语言模型(LLM)生成的路径规划方案转换成机器人基于深度学习的目标检测算法进行目标识别。根据目标物体的特点和应用场景进行考虑，的最佳观测案例。LLM根据学习到的知识和输入的信息，判断当前观测角度和距离是否合态以及感知结果通过图像或视频等方式可视化，方便用户理解。如图7所示，本方法使用[0177]本发明通过构建完整的端到端框架，利用Few_shotrefine方法增强了大语言模[0178]此外，本发明还通过人工交互和知识库构建机制实现人[0179]本发明实施例的另一方面还提供了一种基于大语言模型的机器人路径规划感知可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部