《鸿蒙机器人比赛》课件-07 综合应用开发

综合应用开发课程内容2©NXROBO20231.机器视觉与机械臂应用2.Pick&Place中的关键技术3.uArm编程控制实验4.Spark+uArm抓取实验1.机器视觉与机械臂应用3©NXROBO2023机器视觉作业环境感知目标定位目标识别目标跟踪……机械臂关节空间点到点的运动运动笛卡尔空间点到点运动规划碰撞检测障碍物环境下的运动规划……+=智能的机械臂应用自主避障的运动自主pick&place操作自主抛光打磨自主焊接……1.机器视觉与机械臂应用4©NXROBO2023运行下列命令：$

roslaunch

marm_description

view_marm_with_kinect.launch1.机器视觉与机械臂应用5©NXROBO2023marm_description/urdf/marm.urdf1.机器视觉与机械臂应用6©NXROBO2023$

roslaunch

marm_gazebo

arm_world.launch仿真环境与上个例子完全相同1.机器视觉与机械臂应用7©NXROBO2023$roslaunchmarm_moveit_configdemo_gazebo.launchMoveIt

！视觉集成1.机器视觉与机械臂应用8©NXROBO2023运动控制1.机器视觉与机械臂应用9©NXROBO2023marm_moveit_config/launch/demo_gazebo.launch(1)1.机器视觉与机械臂应用10©NXROBO2023marm_moveit_config/launch/demo_gazebo.launch(2)1.机器视觉与机械臂应用11©NXROBO2023marm_moveit_config/config/sensors_3d.yamlmarm_moveit_config/launch/marm_moveit_sensor_manager.launch.xml12©NXROBO2023pickplacepickplace能否通过摄像头获取pick和place的位姿呢？2.Pick&Place中的关键技术13©NXROBO2023视觉与控制的集成2.Pick&Place中的关键技术2.Pick&Place中的关键技术14©NXROBO202315©NXROBO20232.Pick&Place中的关键技术1)摄像头标定（内参、外参）2)物体识别3)抓取姿态分析4)机器人运动规划16©NXROBO20232.Pick&Place中的关键技术camera_calibration

：

/camera_calibration/1)摄像头标定17©NXROBO20232.Pick&Place中的关键技术visp_hand2eye_calibration

：

/visp_hand2eye_calibrationros

easy_handeye

：

/IFL-CAMP/easy_handeye1)摄像头标定18©NXROBO20232.Pick&Place中的关键技术

基于

OpenCV

的图像定位find_object_2d

：

/object_recognitionobject_recognition

：

/object_recognition2)物体识别19©NXROBO20232.Pick&Place中的关键技术基于

PCL

的点云信息处理：

/pcl/Tutorials基于点云的物体识别2)物体识别20©NXROBO20232.Pick&Place中的关键技术3)抓取姿态分析21©NXROBO20232.Pick&Place中的关键技术agile_grasp

(点云)：

/agile_graspgraspit(仿真)

：

/graspitmoveit_simple_grasps(简单物体)：

/moveit_simple_grasps3)抓取姿态分析22©NXROBO20232.Pick&Place中的关键技术运动规划23©NXROBO20233.uArm编程控制实验——MoveIt!控制参见：24©NXROBO20233.uArm编程控制实验——MoveIt!控制

$

roslaunch

swiftpro

pro_control.launchMoveIt!

控制

$

roslaunch

pro_moveit_config

demo.launch

$

rosrun

uarm_planning

moveit_fk_demo.py25©NXROBO20233.uArm编程控制实验——MoveIt!控制roslaunch

swiftpro

pro_control.launchroslaunchpro_moveit_configdemo.launch26©NXROBO20233.uArm编程控制实验——SDK接口moveit_fk_demo.py27©NXROBO20234