第八章-具身智能机器人工业场景全流程实物实验

具身智能机器人工业场景全流程实物实验从实验到应用的具身智能探索wit目录01具身智能机器人实验02扫描面单03称重任务04文字信息读取050607分拣任务上下楼梯与配送进阶拓展具身智能机器人实验PART01验证乐聚Aelos具身智能机器人在工业场景的全流程操作，评估其性能并探索优化方向，为工业生产应用提供实验依据。实验目的需全面检查乐聚Aelos硬件，确保无损坏、松动或异常；同时，校准其功能，确保各项操作准确，并准备备用电池以防电量不足。实验设备要求应模拟工业场景，确保场地、地面条件满足操作需求，并准备快递面单、称重设备、分拣区域、楼梯及配送路线，同时保持环境相对稳定。实验环境要求具身智能机器人实验连接实体机器人启动机器人，连接数据线与电脑，打开aelos_edu软件并配置网络，获取机器人IP地址，为实验后续步骤做准备。扫描面单通过语音指令唤醒Aelos机器人，利用摄像头识别快递面单二维码，并协同多技术精准判定包裹快递公司，提供实践机会。称重操控Aelos机器人在工业环境完成物体搬运称重任务，结合HSV颜色识别、轮廓检测与大模型图像理解技术，提升视觉感知与任务自动化能力。具身智能机器人实验文字信息读取01集成OpenCV与RapidOCR技术，通过精确HSV阈值与轮廓检测预处理图像，实现文字信息的自动识别，为复杂场景视觉导航与任务规划提供基础。分拣02采用YOLOv8模型实现机器人视觉感知，通过摄像头识别物体并实时推理，驱动机器人完成任务，提升工业环境下物体识别的准确性。上下楼梯与配送03通过编写动作库文件，实现乐聚Aelos机器人在工业环境下的上下楼梯与配送任务，为具身智能机器人在特殊场景的行为控制提供基础框架。具身智能机器人实验动态环境抗干扰在分拣中引入动态干扰和模糊、倾斜面单，以提升机器人通过YOLO模型实时过滤干扰能力和RapidOCR预处理算法的优化。人机协作增强集成语音交互模块，实时响应“暂停任务”等指令，并通过力传感器感知人类触碰触发安全停机机制，以增强人机协作安全性。数据闭环优化将实物实验数据反馈至仿真平台训练模型，形成从实物到仿真的数据闭环，加速算法迭代，优化模型性能。多任务协同调度设计从扫描面单到称重、分拣至跨楼层配送的连续任务流，机器人自主规划任务顺序，大模型动态调整策略以应对楼梯拥堵等突发情况。具身智能机器人实验扫描面单PART02实验利用Aelos人形机器人实现语音指令唤醒，借助摄像头对快递面单的二维码进行识别，进而精准判定包裹所属快递公司。语音唤醒与面单识别实验涵盖语音识别、图像采集与处理、二维码解析等多个技术的协同应用，为学习者提供具身智能机器人在物流场景中应用实践的机会。技术协同与应用实践启动TongVerse仿真环境，配置IP地址与端口，安装必要的库文件，创建Python脚本实现面单识别，并连接机器人执行识别任务。面单识别操作流程扫描面单称重任务PART03实验目的针对乐聚Aelos具身智能机器人在工业环境下执行称重任务，通过操控机器人完成物体搬运、电子秤数显区域识别及重量读取，实现全流程任务操作。结合HSV颜色识别、轮廓检测与大模型图像理解技术，实现高精度数字提取，深化对机器人视觉感知与任务自动化协同机制的理解。读取胸部摄像头图片，将提取的HSV范围值应用于代码，通过掩膜提取数显部分，实现高精度重量读取，并保存处理后的图像。将提取的图片送入Ollama大模型进行识别，并编写判断语句以处理模型无法识别小数点的情况，根据识别结果修正并返回最终的数值。在实验的最后阶段，我们需要对程序进行全面的检查，确保程序的完整性与准确性，随后在终端中运行程序，开始执行任务。操作流程数值识别与修正程序检查与运行称重任务核心代码解析称重任务文字信息读取PART040102安装RapidOCR在安装RapidOCR时，需要确保系统已经安装了Python和pip，可以使用pip命令进行安装，具体安装方法参考第四章。记录HSV值记录任务面板HSV值的具体操作方法是在OpenCV环境中，使用cv2.inRange()函数配合已知的任务面板HSV范围值来计算得到。提取文字部分读取胸部摄像头图片，通过提取的HSV值创建掩膜，提取文字部分，具体实现通过ImgExtraction函数来执行。使用RapidOCR识别使用RapidOCR对决策面板进行识别，通过OCRRecognition函数来实现，导入RapidOCR库，设置参数，并返回识别结果。检查程序完整性与准确性在程序运行之前，务必进行完整性与准确性的检查，确保程序没有错误，终端运行程序，观察输出结果是否符合预期。030405文字信息读取分拣任务PART05创建YOLOv8数据集在“yolov8”文件夹内，创建“dataset”文件夹和“firedata.yaml”文件，填写文件内容。数据集标注使用labelImg进行数据集标注，下载链接为/HumanSignal/labelImg配置环境在主目录新建一个名为YOLOv8的文件夹，安装虚拟环境，进入yolov8文件夹，创建虚拟环境，安装ultralytics。分拣任务模型转换将训练好的pt模型转换为onnx，再转为bin格式，转换方法涉及安装相关软件包，并使用Docker进行转换。模型检查通过Netron工具查看模型结构内容，将ONNX文件转换为BIN格式，确认模型转换成功。训练模型训练YOLO模型，完毕后生成“run”文件夹，训练内容和结果存在此文件夹内。分拣任务编写推理节点yolov8.py与控制节点yolo_detect.py，实现模型加载、图像预处理、推理与后处理等功能。核心代码初始状态下，机器人执行分拣命令后，能够识别并选择特定物体（如苹果），进行抓取和移动。实际效果

分拣任务上下楼梯与配送PART06配送物体需要识别待配送的物体并且执行配送动作，以绿色方块物体为例，通过颜色识别与位置判断，实现精确导航与配送。识别收纳物体的箱子并将待配送物体放入箱子，以红色箱子为例，通过颜色识别与位置判断，实现将待配送物体放入箱子。上下楼梯与配送效果机器人能够自主规划任务顺序，并通过大模型动态调整策略，实现连续任务流的高效处理。编写上下楼梯动作通过引用并执行预先编写动作库文件，实现乐聚Aelos具身智能机器人在工业环境下的上下楼梯与配送任务。上下楼梯与配送进阶拓展PART07多任务协同调度设计包含从扫描面单到称重再到分拣最后跨楼层配送的连续任务流，让机器人自主规划任务顺序，通过大模型动态调整策略。人机协作增强集成语音交互模块，实现“暂停任务”“更换分拣目标”等实时指令响应；通过力传感器感知人类触碰，触发安全停机机制，提升协作安全性。数据